誤差逆伝播法（バックプロパゲーション）の数理

なぜ「逆伝播」が必要なのか

ニューラルネットの学習は、損失 L（予測と正解のズレ）を最小化するよう各パラメータを少しずつ動かす作業です。その「動かす方向と量」を与えるのが勾配 ∂L/∂W——各重みを微小に変えたとき L がどれだけ変わるかです。勾配を使った更新そのものは 勾配降下法 が担いますが、問題はこの勾配を、数百万〜数十億個の重みすべてについて、どう現実的なコストで求めるかにあります。

素朴な方法は数値微分——各重みを W + ε と W - ε でそれぞれ順伝播し、(L(W+ε) − L(W−ε)) / 2ε を計算する方法です。しかしこれは重み1個の勾配を得るのにネットワーク全体の順伝播を1回要します。パラメータが N 個なら順伝播 N 回。N が百万を超える現代のモデルでは非現実的です。

出発点は連鎖律——合成関数の微分

ニューラルネットは、線形変換と活性化関数を何層も重ねた巨大な合成関数です。合成関数の微分は連鎖律で計算できます。y = f(g(x)) なら dy/dx = f'(g(x)) · g'(x)。各段の局所的な微分を掛け合わせるだけです。

3層の単純な連鎖 x → a → b → L を考えます。

a = f(x),   b = g(a),   L = h(b)
∂L/∂x = (∂L/∂b) · (∂b/∂a) · (∂a/∂x)
      =  h'(b)  ·  g'(a)  ·  f'(x)

ここで決定的に重要なのが計算の順序です。右から左（f'(x) から）掛けるのが順伝播的な発想ですが、バックプロパは左から右、つまり出力 L 側から掛けていきます。なぜそれが効くのかは、分岐があるネットワークで初めて明確になります。

計算グラフと、共通項の再利用

ネットワークを計算グラフ——ノード（演算）とエッジ（データの流れ）の有向グラフ——として捉えます。順伝播は入力から出力へ値を流し、逆伝播は出力から入力へ勾配（誤差信号）を流します。

鍵は、ある中間ノード v の勾配 ∂L/∂v を一度求めれば、v より下流（入力側）の全ノードがそれを共通の出発点として再利用できることです。出力側から計算するからこそ、上流で計算済みの ∂L/∂v が手元にあり、各ノードは「自分の局所微分」を掛けるだけで済みます。逆向き（入力側から）に計算すると、この共通項を毎回ゼロから計算し直すことになり、まさに数値微分と同じ非効率に陥ります。

多層パーセプトロンでの具体形

層 l の計算を定式化します。a_{l-1} を前層の出力（活性）、W_l を重み行列、b_l をバイアス、σ を活性化関数とすると、順伝播は次の2段です。

z_l = W_l · a_{l-1} + b_l      # 線形変換（プリアクティベーション）
a_l = σ(z_l)                   # 非線形活性化

逆伝播では、まず出力層の誤差信号を損失関数の微分から初期化します。たとえば二乗誤差なら δ_L = (a_L − y) ⊙ σ'(z_L)（⊙ は要素ごとの積、アダマール積）。ソフトマックス＋交差エントロピーの組み合わせなら、より簡潔に δ_L = a_L − y になります。そこから中間層へ、次の漸化式で δ を後退させます。

δ_l = (W_{l+1}ᵀ · δ_{l+1}) ⊙ σ'(z_l)

意味を分解すると——W_{l+1}ᵀ · δ_{l+1} は「下流の誤差を、重みの転置を通して逆向きに引き戻す」操作（順伝播で W を掛けたぶんを転置行列で巻き戻す）、⊙ σ'(z_l) は「この層の活性化関数の局所的な傾き」を掛けることです。δ さえ求まれば、その層のパラメータ勾配は機械的に確定します。

∂L/∂W_l = δ_l · a_{l-1}ᵀ      # 入力との外積
∂L/∂b_l = δ_l

∂L/∂W_l = δ_l · a_{l-1}ᵀ が示すのは、**重み勾配＝（その重みの出力側の誤差 δ）×（その重みの入力側の活性）**という直観的な構造です。誤差が大きく、かつ入力が大きく効いていた重みほど、強く修正される。これがバックプロパの数理的な核心です。

なぜ効率的なのか——順伝播と同じオーダー

3つの勾配計算法を、コストの観点で並べます。

バックプロパが速い理由は2点に集約されます。(1) 共通の中間勾配 δ を一度だけ計算して使い回すため重複がない。(2) 出力が1つ（スカラーの損失 L）で入力（パラメータ）が多数という機械学習特有の構造に、出力側から流す逆モード自動微分が最適に噛み合う。仮に入力1・出力多数なら順モード（入力側から）が有利ですが、学習では損失が常にスカラーなので逆モードが圧勝します。結果として、全パラメータの勾配が、順伝播1回とほぼ同じコストで手に入る——これが深層学習を計算可能にした立役者です。

落とし穴——勾配消失と勾配爆発

δ の漸化式をもう一度見ます。δ_l は δ_{l+1} に W_{l+1}ᵀ と σ'(z_l) を掛けたものです。つまり逆伝播は、層を遡るたびにこれらを繰り返し掛け算する構造を持ちます。ここに深層ネット特有の不安定さが潜みます。

σ' が小さい活性化関数（古典的なシグモイドは最大でも 0.25）を多層で重ねると、δ は層を遡るほど指数的に 0 へ縮小します。これが勾配消失——入力に近い層がほとんど学習されなくなる現象です。逆に重みや勾配が大きいと指数的に発散する勾配爆発が起きます。

まとめ：バックプロパを一枚で

最後に、原理を要点に圧縮します。

バックプロパゲーションは「魔法のような学習法」ではなく、合成関数の微分（連鎖律）を、計算グラフ上で最も無駄なく適用するための順序づけです。出力側から δ を流すことで共通項を再利用し、数百万のパラメータの勾配を順伝播1回ぶんの手間で一括取得する。この見立てを持つと、勾配消失のような問題が「アルゴリズムのバグ」ではなく「掛け算の繰り返しという構造の帰結」だと腑に落ち、対症療法ではなく原理に基づいた設計判断ができるようになります。求めた勾配の活かし方は 勾配降下法 へ続きます。