勾配クリッピングと学習の安定化

なぜ勾配を「切る」必要があるのか

学習が順調に進んでいたのに、あるステップで損失が突然 inf や NaN に飛ぶ——深層学習を回したことがあれば一度は遭遇する現象です。原因の多くは勾配爆発にあります。逆伝播は層（あるいは系列の時刻）ごとにヤコビアンを掛け続けるため、その実効倍率が 1 を超えると勾配は深さ・系列長に対して指数的に発散します。詳しい機構は 勾配消失・勾配爆発と残差接続 に譲りますが、要点は「巨大な勾配が一度でも生じると、更新 θ - η·g が桁違いの距離をジャンプし、損失曲面の崖から転落して二度と戻れなくなる」ことです。

勾配クリッピングは、この破滅的な一歩を勾配の大きさに上限を設けて未然に防ぐ処方箋です。学習率を全体的に下げても解決できますが、それは平時の進みまで遅くしてしまう。クリッピングは「普段は素通し、暴れたときだけ抑える」ため、平均的な学習速度を犠牲にせず安定性だけを買えるのが利点です。

値クリッピング：成分ごとに区間へ切り詰める

最も素朴なのが**値クリッピング（value clipping）**です。勾配ベクトルの各成分を独立に、固定区間 [-c, c] へ切り詰めます。

# 値クリッピング: 成分ごとに [-c, c] へ
g_clipped = clip(g, -c, c)   # 各 g_i を min(max(g_i, -c), c) に

実装は一行で済み、突出した成分を確実に抑えられます。しかし致命的な弱点があります。勾配ベクトルの向きを歪めるのです。例えば g = (10, 0.1) を c = 1 で切ると (1, 0.1) になり、もとは第1軸がほぼ全てだった方向が、2軸が拮抗する方向へねじ曲がります。勾配の向きは損失を最も下げる方向の推定なので、これを崩すと最適化の質が落ちます。値クリッピングが主流にならないのはこのためです。

ノルムクリッピング：方向を保って大きさだけ抑える

標準として使われるのが**ノルムクリッピング（norm clipping、gradient norm scaling）**です。発想は単純で、勾配ベクトル全体の L2 ノルム（長さ）が閾値 τ を超えたときだけ、ベクトル全体を一律に縮めて長さを τ に揃えます。

norm = l2_norm(g)            # 勾配ベクトル全体の長さ ‖g‖
if norm > tau:
    g = g * (tau / norm)     # 長さを tau に揃える。向きは不変
# norm <= tau のときは何もしない（素通し）

全成分に同じスカラー τ/‖g‖ を掛けるため、向き（各成分の比）は完全に保たれ、大きさだけが上限 τ に張り付きます。値クリッピングが向きを歪めたのに対し、ノルムクリッピングは「方向は信じるが、一歩の長さだけ制限する」という解釈になり、最適化の質を保ったまま暴走だけを止められます。これが標準採用される理由です。

二手法の比較

同じ「クリッピング」でも、向きの扱いという一点で性質が分かれます。

RNN・Transformer・RLHF での役割

クリッピングが特に効くのは、同じヤコビアンが何度も積み重なる構造です。

• RNN／系列モデル：時刻方向の逆伝播（BPTT）は、同一の再帰重み行列のヤコビアンを系列長ぶん掛け続けます。スペクトルノルムが 1 を少しでも超えれば系列長に対し指数的に爆発するため、勾配爆発は構造的に避けられません。ノルムクリッピングはこの系列モデルの学習を成立させる定番処置で、提案論文（Pascanu ら）も RNN の文脈でした。

• Transformer：残差接続と層正規化で勾配は比較的整いますが、学習初期の大きな更新や、稀に現れる外れ値バッチで一時的にノルムが跳ねることがあります。クリッピングは「滅多に起きないが起きると致命的な」スパイクへの保険として広く併用されます。

• RLHF／PPO：強化学習による微調整では、報酬モデルの推定誤差や方策比 π_new/π_old の暴れにより、勾配が大きく振れがちです。PPO のクリップ目的関数とは別に、勾配ノルムのクリッピングを併用して更新の暴走を抑えるのが定石です。方策勾配の不安定性そのものは 方策勾配法と PPO を参照してください。

適応的クリッピング（AGC）：閾値を捨ててスケール不変にする

固定閾値 τ の弱点は、適切な値が層・モデル規模・学習段階で変わることです。重みが大きい層では大きな勾配が正常でも、小さい層では同じ大きさが異常——なのに τ は一律です。これを解くのが**適応的勾配クリッピング（AGC, Adaptive Gradient Clipping）**で、正規化層を持たない高精度ネットワーク NFNet（Brock ら 2021）で導入されました。

AGC の核心は、勾配ノルムをそのパラメータ自身のノルムとの比で評価することです。パラメータブロック（層の重み行列など）ごとに、勾配ノルムが重みノルムの一定割合 λ を超えたら、その割合に収まるよう縮めます。

# パラメータブロックごとに（ユニット/行単位で計算するのが原典）
ratio = l2_norm(g) / max(l2_norm(theta), eps)
if ratio > lambda_:
    g = g * (lambda_ * max(l2_norm(theta), eps) / l2_norm(g))
# 「勾配の一歩」が「現在の重みの大きさ」に対し λ 倍を超えないよう制限

これは「1ステップの更新が、現在の重みに対して相対的にどれだけ大きいか」を制限する考え方です。重みのスケールに合わせて閾値が自動で伸縮するためスケール不変で、層やバッチ規模が変わっても閾値の再調整が要りません。

固定閾値クリッピングと AGC の比較

両者は「何を基準に大きさを測るか」で本質的に異なります。

まとめ：方向を信じ、長さだけ抑える

勾配クリッピングは、逆伝播がヤコビアンを掛け続ける構造から不可避に生じる勾配爆発に対し、更新の一歩の長さに上限を設けることで破滅的なジャンプを防ぐ手法です。成分ごとに切る値クリッピングは向きを歪めるため限定的で、ベクトル全体を一律スケールして方向を保ったまま大きさだけ抑えるノルムクリッピングが標準になりました。実務ではグローバルノルムで切るのが定石で、RNN の BPTT、Transformer の学習初期、RLHF の PPO 更新といった「同じ積が伸びて勾配が暴れやすい場面」で効果を発揮します。

固定閾値の限界——スケールに依存し再調整が要る——を超えたのが AGC で、勾配ノルムを重みノルムとの相対比で測ることでスケール不変性を獲得し、バッチ正規化なしの大規模学習を可能にしました。クリッピングは単なる応急処置から学習設計の中核へと役割を広げています。土台となる最適化の流れは SGD から Adam・AdamW まで、大規模学習での数値安定性の周辺事情は 混合精度学習 と合わせて確認すると、安定化の設計判断が立体的に見えてきます。