最適化アルゴリズムの派生系統図

系統図として読む理由：派生は「追加要素1つ」で説明できる

最適化アルゴリズムは数が多く、論文ごとに記号も違うため、列挙して暗記すると破綻します。しかし実際には、すべて SGD という1つの根から「前段に要素を1つ足す」操作の連鎖で生まれています。系統樹として並べれば、各手法は「親 ＋ 追加要素」というラベルで一意に説明でき、新しい派生が出ても同じ軸で位置づけられます。本稿は更新式の導出よりも 分岐関係と各々の追加要素 の整理に焦点を当てます。式中心の解説は SGD から AdamW まで を併読してください。

幹その1：慣性の枝（モメンタム → Nesterov）

SGD の更新は θ_{t+1} = θ_t - η · g_t で、生の勾配 g_t を歩幅 η で進むだけです。最初の分岐は 慣性（速度）の状態変数を1つ持つことでした。

• モメンタム（Momentum, 1964 / DL文脈では1986頃） ＝ SGD ＋「過去勾配のEMA v」。同符号の勾配が続く軸で加速し、振動軸で打ち消し合う。追加要素は 状態変数1つ（1次モーメントの原型）。
• Nesterov 加速勾配（NAG, 1983） ＝ モメンタム ＋「先読み」。勾配を現在地ではなく「慣性で先に進んだ仮の位置」で評価する点だけが違います。

# モメンタム：現在地 θ_t で勾配を測る
v_t     = β·v_{t-1} + g_t
θ_{t+1} = θ_t - η·v_t

# Nesterov：先に β·v だけ進んだ点で勾配を測る（先読み）
v_t     = β·v_{t-1} + g(θ_t - η·β·v_{t-1})
θ_{t+1} = θ_t - η·v_t

Nesterov の追加要素は 勾配の評価点をずらすこと だけで、新しい状態変数は増えません。先読みにより「行き過ぎ」を1ステップ早く察知でき、凸問題では収束レートが理論上改善します。

幹その2：適応学習率の枝（AdaGrad → RMSProp / AdaDelta）

もう1本の幹は、慣性ではなく パラメータごとに学習率を変える 方向です。共通の発想は「過去の勾配の大きさを溜め、それで歩幅を割る」こと。

• AdaGrad（2011） ＝ SGD ＋「勾配二乗の累積和 G」。θ_{t+1} = θ_t - η·g_t / (√G_t + ε)。よく動いた軸ほど歩幅が縮む。追加要素は 2次モーメントの原型。ただし G が単調増加するため、学習が進むと歩幅が0へ潰れる弱点があります。
• RMSProp（2012） ＝ AdaGrad の「累積和」を「EMA」に置換。s_t = β2·s_{t-1} + (1-β2)·g_t²。過去を指数的に忘れるので歩幅が0へ潰れない。追加要素は 減衰係数 β2。
• AdaDelta（2012） ＝ RMSProp ＋「学習率 η の除去」。更新量自体の二乗EMAで分子を作り、ハイパーパラメータから η を消す試み。RMSProp と兄弟関係にある分岐です。

合流点：Adam は2本の幹を1つに束ねる

Adam（Adaptive Moment Estimation, 2014） は系統樹の最大の合流点です。慣性の枝から 1次モーメント m（向き）、適応学習率の枝から 2次モーメント v（大きさ） を受け継ぎ、両方を別々の係数で持ちます。Adam 固有の追加要素は バイアス補正 です。

m_t = β1·m_{t-1} + (1-β1)·g_t          # 慣性の枝を継承（1次）
v_t = β2·v_{t-1} + (1-β2)·(g_t·g_t)    # 適応の枝を継承（2次, EMA）
m̂_t = m_t / (1 - β1^t)                  # ← Adam固有：初期バイアス補正
v̂_t = v_t / (1 - β2^t)
θ_{t+1} = θ_t - η · m̂_t / (√v̂_t + ε)

m, v を0で初期化すると序盤に過小評価が生じるため、(1 - β^t) で割って打ち消すのがバイアス補正です。t が大きくなると β^t → 0 となり補正は消えます。デフォルトは β1=0.9, β2=0.999, ε=1e-8。

Adam の下流：3つの枝分かれ

Adam を親として、さらに「要素1つ追加」の派生が複数生まれました。互いに独立した改良なので、横並びの枝として捉えます。

このうち AdamW が事実上の標準です。理由は、weight decay 項 λ·θ を √v̂ で割らずに更新の末尾で直接引くため、全パラメータが一様に縮み、正則化 の効果が勾配の大きさに依存しなくなるからです。従来 Adam の「L2を勾配に加算」では、勾配が大きいパラメータほど正則化が弱まる歪みがありました。Transformer 系の大規模学習（LLM と Transformer）はほぼ AdamW を採用します。

別系統：Lion は適応学習率を捨てて分岐する

ここまでの主流は「2次モーメントで割る適応学習率」でしたが、Lion（EvoLved Sign Momentum, 2023） はその前提から外れる分岐です。Lion は 状態変数を1つ（モメンタムのみ） しか持たず、2次モーメント v を持ちません。更新の向きは勾配ではなく 符号関数 sign(·) で決めます。

# Lion：更新方向を sign で出す。状態は m ひとつだけ
c_t   = sign( β1·m_{t-1} + (1-β1)·g_t )   # 更新方向（補間してから符号）
θ_{t+1} = θ_t - η·( c_t + λ·θ_t )          # weight decay は分離（AdamW流）
m_t   = β2·m_{t-1} + (1-β2)·g_t            # モメンタムの更新は別係数で

追加要素というより 削減が本質です。2次モーメントを捨てることでオプティマイザ状態のメモリが Adam 系の約半分になり、大規模モデルで効きます。符号更新は全パラメータの更新量を一律 η 程度に揃えるため、学習率と weight decay の最適値が Adam 系とは大きく異なる点に注意が必要です（一般に η はより小さく、λ はより大きく取る）。性能は画像・言語の大規模学習で AdamW に匹敵または上回る報告があり、適応学習率一辺倒だった系統樹に新しい幹を生やした位置づけです。

まとめ：根・2本の幹・合流・別系統で覚える

系統樹の骨格はこうです。根は SGD。そこから 慣性の枝（モメンタム→Nesterov） と 適応学習率の枝（AdaGrad→RMSProp/AdaDelta） の2本が伸び、両者が Adam で合流。Adam の下流に AdamW（decay分離）・NAdam（Nesterov化）・RAdam（分散整流）・AMSGrad（最大値制約） が枝分かれし、実務標準は AdamW。これらの適応系統から外れた 別系統として、2次モーメントを捨て符号更新を採る Lion がある——この5層で全体を保持できます。

重要なのは、各ノードを「親 ＋ 追加（または削減）した要素1つ」で言えるようにしておくことです。そうすれば新しい派生が出ても、どの幹のどこに接ぐべきかを即座に判断できます。土台のネットワークと勾配の流れは ニューラルネットワーク を合わせて確認してください。