自動微分（Autograd）の仕組み

そもそも「微分を自動で」とはどういうことか

深層学習の学習は、損失をパラメータで微分した勾配に沿ってパラメータを更新する作業の繰り返しです（勾配降下法）。問題は、現代のモデルが数億〜数千億個のパラメータを持ち、しかも合成関数が何百層も積み重なる点にあります。これを人手で微分するのは不可能です。

プログラムの微分を得る方法は、大きく「手計算・記号微分・数値微分・自動微分」の4つに整理できます。よく混同されますが、自動微分（automatic differentiation, AD）は他の3つのどれとも異なる独自のアプローチです。

自動微分の核心は、プログラムを「加算・乗算・exp・sin などの基本演算の連なり」とみなし、各演算の局所的な微分を連鎖律で機械的に掛け合わせる点にあります。数式としての導関数を「書き下す」のではなく、特定の入力点での勾配の値を、元の計算と同じ計算量オーダーで求めます。だから記号微分のような式爆発も、数値微分のような近似誤差も起きません。得られる勾配は丸め誤差の範囲で厳密です。

計算グラフ：プログラムを微分可能な構造に変える

自動微分の出発点は 計算グラフ（computational graph） です。z = (x · y) + sin(x) のような式を、ノード＝演算、エッジ＝データの流れとして表現します。

x ──┬──► [×] ──► a ──┐
    │     ▲          ▼
y ──┘     │         [+] ──► z
          │          ▲
x ──────► [sin] ─► b ─┘

各ノードは自分の出力を入力で微分した局所的な値を知っています。[×] ノードなら a = x·y なので ∂a/∂x = y、∂a/∂y = x。[sin] ノードなら ∂b/∂x = cos(x)。全体の勾配 ∂z/∂x は、x から z へ至るすべての経路の局所微分を掛け、経路ごとに足し合わせることで得られます（多変数連鎖律）。上の例なら経路は2本あり、∂z/∂x = y · 1 + cos(x) · 1。

つまり一度グラフを組んでしまえば、勾配計算は「どの順序でこの掛け算と足し算をたどるか」という、純粋にグラフ走査の問題に帰着します。ここで走査の向きが2つあり、それが前進モードと逆伝播モードの分かれ目です。

前進モードと逆伝播モード：走査の向きが計算量を決める

前進モードは、各変数に「値」と「その変数を入力 x で微分した接ベクトル（微係数）」をペアで持たせ、計算を順方向に進めながら微分も同時に伝播させます。x を1つ動かしたときに全出力がどう動くか（ヤコビアンの1列）を1パスで得ます。入力次元 n、出力次元 m なら、全勾配を得るには入力ごとに n 回パスが必要です。

逆伝播モードは逆です。まず順方向に計算して全中間値を記録し、次に出力側から ∂出力/∂各ノード（随伴, adjoint）を逆向きに伝播させます。1回の逆走査で、1つの出力に対する**全入力の勾配（ヤコビアンの1行）**が得られます。

深層学習では n＝パラメータ数が数億、m＝損失はスカラー1つ。だから逆伝播モードが圧倒的に有利です。前進モードなら数億回パスが必要なところを、逆伝播モードは順1回＋逆1回で全勾配を出します。これが「ニューラルネットの学習＝逆伝播（backpropagation）」である根本理由で、誤差逆伝播は逆伝播モード自動微分の特殊例にすぎません（土台はニューラルネットワーク）。

テープ方式：PyTorch はグラフを実行時に動的に組む

PyTorch の autograd は テープベース（tape-based） の動的計算グラフです。「テープ」とは、順方向の演算を実行しながら、その記録を時系列に書き残していく仕組みを指します。

import torch
x = torch.tensor(2.0, requires_grad=True)   # 勾配を追跡する印
y = x ** 3 + 2 * x                            # 演算のたびにグラフに記録
y.backward()                                  # テープを逆向きに再生し勾配計算
print(x.grad)                                 # dy/dx = 3x^2 + 2 = 14.0

ポイントは、Python のコードを普通に実行するだけでグラフが構築されることです。requires_grad=True のテンソルが関わる演算ごとに、PyTorch は結果テンソルへ grad_fn（その演算の逆向き微分を知る関数オブジェクト）を貼り付けます。こうして演算が連なると、出力から入力へさかのぼれる逆向きの関数の連鎖が自然にできあがります。これがテープの実体です。

backward() を呼ぶと、出力ノードの随伴を 1 で初期化し、grad_fn を逆順にたどって各テンソルの .grad に勾配を累積します。if 文やループでグラフの形が毎回変わってもよい（define-by-run）のが動的グラフの強みで、可変長系列や条件分岐の多いモデルを自然に書けます。

トレース方式：JAX は関数を変換して微分する

JAX は思想が異なります。テープに「記録」するのではなく、grad という関数変換で、元の関数 f から「勾配を返す新しい関数 f'」を生成します。

import jax
import jax.numpy as jnp

def f(x):
    return x ** 3 + 2 * x

df = jax.grad(f)        # f を微分した“別の関数”を合成
print(df(2.0))          # 14.0

JAX は f を一度トレースして中間表現（jaxpr）という純粋な計算グラフに落とし、それに対し連鎖律を適用して微分版のグラフを構築します。関数が純粋（副作用なし・同じ入力なら同じ出力）である前提を置くことで、jit（コンパイル）・vmap（自動ベクトル化）・grad を自由に合成できます。jax.grad(jax.grad(f)) で2階微分、と変換を重ねられるのもこの設計ゆえです。

どちらも裏でやっているのは逆伝播モード自動微分による連鎖律の自動適用で、本質は同じです。違いは「グラフをいつ・どう作るか」という戦略にあり、動的で書きやすい PyTorch と、純粋関数を変換して最適化しやすい JAX、という得手不得手の差として現れます。

まとめ：backward() の裏側で起きていること

loss.backward() や jax.grad(f) という一行の裏では、プログラムが基本演算の計算グラフに分解され、連鎖律が出力から入力へ機械的に積み上げられています。手で微分式を書く必要も、数値近似で誤差に悩む必要もありません。この仕組みを理解しておくと、メモリが足りない理由、勾配のゼロクリアが要る理由、高階微分が書ける理由が一本の線でつながり、ディープラーニングの学習がなぜ動くのかという問いに、原理から答えられるようになります。最適化アルゴリズムが受け取るのは、まさにこの自動微分が吐き出した勾配です。