アドバンテージ推定（GAE）と分散低減

なぜアドバンテージ推定が学習の質を決めるのか

方策勾配法と PPO で見たとおり、方策勾配の更新式は ∇log π_θ(a|s) に係数を掛けた形をしています。この係数に何を使うかで学習の安定性が決まります。素朴な REINFORCE は実測リターン G_t を使いますが、これは不偏（期待値としては正しい勾配）な代わりに 分散が極端に大きい。係数を真のアドバンテージ A(s,a) = Q(s,a) − V(s) に置き換えると分散は下がりますが、真の A は未知なので推定するしかありません。

ここで本質的な問いが生じます。アドバンテージを推定するとき、「何ステップ先の実測まで信用するか」 をどう決めるか。実測を多く使えば偏りは消えるが分散が増える。価値関数 V の予測に頼れば分散は減るが V の誤差がそのままバイアスとして混入する。GAE（Generalized Advantage Estimation）は、このトレードオフを 連続パラメータ λ ひとつで調律する 枠組みです。

出発点：k ステップアドバンテージ

割引リターンの定義から始めます。TD誤差を次のように置きます。

δ_t = r_t + γ·V(s_{t+1}) − V(s_t)
   r_t : 時刻tで得た報酬
   γ   : 割引率（0 から 1）
   V   : 価値関数（学習中の近似 V_φ）

δ_t は「1ステップだけ実測を入れた」アドバンテージ推定そのものです。ここで V が真の価値なら δ_t の期待値は真のアドバンテージに一致しますが、V は近似なので誤差が乗ります。実測をもっと長く使う k ステップ推定 はこう書けます。

A_t^(1) = δ_t                            （1ステップ）
A_t^(2) = δ_t + γ·δ_{t+1}                 （2ステップ）
A_t^(k) = Σ_{l=0}^{k-1} γ^l · δ_{t+l}     （kステップ）

この式が成り立つのは、隣接する TD誤差の V 項が望遠鏡和（telescoping）で打ち消し合うからです。A_t^(k) を展開すると中間の V(s_{t+1}) などが消え、Σ γ^l r_{t+l} + γ^k V(s_{t+k}) − V(s_t) という「k ステップ分は実測、残りは V で代用」の形になります。

GAE：すべての k を指数加重で混ぜる

単一の k を選ぶ代わりに、すべての A_t^(k) を重み付き平均で混ぜる のが GAE の発想です。重みを (1−λ)·λ^(k-1) という幾何分布（総和が 1 になる）に取り、λ が 0 に近いほど小さい k を、1 に近いほど大きい k を重視させます。

A_t^GAE(γ,λ) = (1−λ) · ( A_t^(1) + λ·A_t^(2) + λ^2·A_t^(3) + ... )

この無限和を δ で書き直すと、驚くほど簡潔な閉じた形に畳めます。各 A_t^(k) を TD誤差の和に展開して項を整理すると、重みが指数的にまとまり、最終形は次のようになります。

A_t^GAE(γ,λ) = Σ_{l=0}^{∞} (γλ)^l · δ_{t+l}

これが GAE の核心の式です。アドバンテージ推定が「TD誤差 δ の指数加重和」になり、減衰率は γλ ひとつ で決まります。γ は本来の割引、λ は推定量の調律ノブとして役割が分離されている点が美しい設計です。実装上は軌跡を後ろから前へ走査し、A_t = δ_t + γλ·A_{t+1} という1行の再帰で計算できます。

# 軌跡を末尾から先頭へ逆順に走査して GAE を計算
adv = 0.0
advantages = [0.0] * T
for t in reversed(range(T)):
    nonterminal = 1.0 - done[t]            # 終端なら次状態の価値を使わない
    delta = reward[t] + gamma * value[t+1] * nonterminal - value[t]
    adv = delta + gamma * lam * nonterminal * adv
    advantages[t] = adv
# Critic の学習標的（リターン）は advantage に V を足して復元
returns = [advantages[t] + value[t] for t in range(T)]

λ が決めるバイアス・分散トレードオフ

λ の両極を代入すると、GAE が既知の推定量を端点に持つ「連続な橋」であることが分かります。

λ=1 のとき和は望遠鏡和で Σ_{l} γ^l r_{t+l} − V(s_t)、すなわち「実測リターン − ベースライン」に一致します。これは reward-to-go からベースラインを引いた形そのもので、Critic に依存しない不偏推定です。λ=0 では δ_t 単独となり、V の質に推定が完全に支配される代わりに分散は最小。λ を 0 から 1 へ動かすことは、「Critic をどれだけ信用するか」のダイヤルを回すこと と理解できます。

ベースラインとしての価値関数：なぜ不偏か

GAE の土台にあるのが「ベースラインを引いても勾配は偏らない」という事実です。方策勾配の係数からベースライン b(s) を引いても、b が行動 a に依存しなければ追加項の期待値はゼロになります。E_a[∇log π(a|s)·b(s)] = b(s)·∇Σ_a π(a|s) = b(s)·∇1 = 0。確率の総和は常に 1 で、その勾配は 0 だからです。つまり ベースラインは勾配の向きを変えず、分散だけを動かせる自由なノブ です。

分散を最小化する最適ベースラインは厳密には価値とは少し異なりますが、状態価値 V(s) が良い近似であり、これを引いたものがアドバンテージになります。GAE は単一ステップのこの構図を 多ステップへ一般化 したものと位置づけられます。価値関数を Critic として近似し、その出力で TD誤差 δ を組み、指数加重で混ぜる。

PPO での実務的な扱い

GAE は単独の手法ではなく、PPO の標準的な前処理として使われます。1つのバッチで複数エポックの更新を回す PPO では、アドバンテージの分散が小さいほどクリップ目的が安定します。実装上の定番処理を押さえておきます。

アドバンテージの正規化（バッチ内で標準化）は理論的必然ではありませんが、スケールを揃えることで学習率（最適化の調整 と関連）に対する感度を下げ、実用上の安定に大きく効きます。GAE で求めたアドバンテージに V を足し戻した returns を Critic の回帰標的にすると、Actor と Critic が同じ推定量を共有でき整合が取れます。

まとめ

GAE の要点は、「Critic をどれだけ信用するか」という連続的な選択を λ ひとつに集約し、TD誤差の指数加重和という線形時間で計算できる形に落とした ことにあります。λ を回せば1ステップTDからモンテカルロまでを滑らかに行き来でき、価値関数の成熟度に応じて分散を削れます。この安定したアドバンテージ推定が、PPO や RLHF・DPO で LLM のアライメントを支える土台になっています。バイアスと分散 の一般論を強化学習の推定問題に持ち込んだ実例として読むと、設計の必然性がより深く見通せます。