TD学習と適格度トレース（TD(λ)）

モンテカルロとブートストラップの間を埋める

価値関数 V(s) を学習する方法は、大きく二つの極があります。一方は モンテカルロ（MC） で、エピソードを最後まで走らせ、実際に得たリターン G_t を教師信号にして V(s_t) をそこへ近づけます。もう一方が 動的計画法（DP） で、次状態の価値 V(s_{t+1}) という自分の予測値を使ってベルマン期待方程式どおりに V(s_t) を更新します。MCは実測なので偏りがない代わりに、最後まで待たないと更新できず分散も大きい。DPは1ステップで更新できるが、環境の遷移確率を全部知っている必要があります。

TD学習（Temporal Difference learning） は、この二つのいいとこ取りです。MCのように環境モデルを必要とせず（実際の遷移をサンプルとして使う）、DPのように1ステップ進むだけで更新できる。鍵は ブートストラップ——まだ未完成な自分の予測 V(s_{t+1}) を、教師信号の一部として使い回すことです。

強化学習 の全体像と ベルマン方程式 を前提に、ここではその更新則の中身を分解します。

TD誤差：1ステップ先の現実と予測のズレ

最も基本的な TD(0) の更新則はこうです。

V(s_t) ← V(s_t) + α·δ_t
δ_t = r_{t+1} + γ·V(s_{t+1}) − V(s_t)
   α   : 学習率
   γ   : 割引率（0以上1以下）
   δ_t : TD誤差

δ_t が TD誤差 です。意味を分解すると、r_{t+1} + γ·V(s_{t+1}) は「1ステップ実際に進んで得た報酬 ＋ 次状態の現在の見積もり」、すなわち TDターゲット です。そこから現在の見積もり V(s_t) を引いた差が、いま得た情報による予測の修正量になります。「進んでみたら予想より良かった（δ > 0）なら価値を上げ、悪かった（δ < 0）なら下げる」という、ごく自然な誤差駆動の学習です。

ここで重要なのは、TDターゲットが 真の V ではなく現在の推定 V(s_{t+1}) を含む 点です。教師信号自身が学習中のパラメータに依存するため、TDターゲットは正しくは固定の目標ではありません。この自己参照ゆえにTDは「偏った（バイアスのある）推定だが分散は小さい」という性質を持ちます。

バイアスと分散：MCとTDの対立軸

MCとTD(0)を同じ土俵で比べると、両者のトレードオフがはっきりします。

MCのターゲット G_t は将来の報酬すべての和なので、途中の確率的な遷移や行動の揺らぎがすべて積み重なり、分散が大きくなります。TD(0)は1ステップぶんの報酬と遷移しか含まないので分散は小さい。しかしその代償に、まだ正しくない V(s_{t+1}) を信じて更新するためバイアスが生じます。どちらが良いかは「実測をどこまで信じ、予測をどこから使うか」の選択 であり、その境界を連続的に動かせるようにしたのが次のn-stepとTD(λ)です。

n-step：実測と予測の境界をずらす

TD(0)は1ステップだけ実測しました。MCは終端まで実測しました。その中間が n-step TD です。n ステップぶんだけ実際の報酬を足し、その先をブートストラップで代用します。

G_t^(n) = r_{t+1} + γ·r_{t+2} + ... + γ^(n-1)·r_{t+n} + γ^n·V(s_{t+n})
V(s_t) ← V(s_t) + α·( G_t^(n) − V(s_t) )

n = 1 ならTD(0)、n をエピソード終端まで伸ばせばMCに一致します。n を大きくするほど実測の比率が増えて バイアスは減り分散は増える。小さくするほど予測に頼って バイアスは増え分散は減る。n はバイアスと分散を刻む整数のノブだといえます。ただし実務では「最適な n」を一つ選ぶのは難しく、しかもオンライン更新には n ステップ先まで待つ必要が生じます。そこで、複数の n をまとめて滑らかに混ぜる発想が出てきます。

TD(λ)とλリターン：forward view

すべての n に対する n-step リターン G_t^(n) を、λ（0以上1以下）で幾何的に重み付けして平均したものが λリターン です。これがTD(λ)の理論的な教師信号で、未来を見渡して定義するので forward view（前向きの視点） と呼ばれます。

G_t^λ = (1 − λ)·Σ_{n=1}^{∞} λ^(n-1)·G_t^(n)

重み (1 − λ)·λ^(n-1) は n について幾何分布をなし、総和は1になります。λ = 0 では n = 1 の項だけが残ってTD(0)に一致し、λ = 1 では実質的にすべての重みが終端のリターンへ集まりMCに一致します。λ 一本でTD(0)からMCまでを連続的にスイープできる のがTD(λ)の眼目です。

forward viewには実用上の難点があります。G_t^λ は未来のすべての報酬を必要とするため、結局エピソード終了まで更新できず、MCと同じ「待ち」が発生します。これをオンラインで（1ステップごとに）等価に計算する仕掛けが、適格度トレースです。

適格度トレース：backward view

適格度トレース（eligibility trace） は、状態ごとに「最近・頻繁に訪れたか」を表す痕跡 e(s) を持たせます。訪れた瞬間に痕跡を立て、時間が進むごとに γλ で減衰させる。そして毎ステップのTD誤差 δ_t を、現在のトレースに比例させて すべての状態へ一括で配分 します。これは「過去を振り返って責任を配る」ので backward view（後ろ向きの視点） と呼ばれます。

各ステップ t で:
  e(s) ← γ·λ·e(s)          # 全状態のトレースを減衰
  e(s_t) ← e(s_t) + 1       # いま訪れた状態にトレースを足す（accumulating trace）
  δ_t = r_{t+1} + γ·V(s_{t+1}) − V(s_t)
  V(s) ← V(s) + α·δ_t·e(s)  # 全状態を一括更新

ポイントは、TD誤差 δ_t が その時点で訪問済みのすべての状態 に、トレースの大きさだけ波及することです。直前に通った状態は痕跡が濃いので大きく、ずっと前に通った状態は減衰して小さく更新される。「いま判明したズレ δ_t は、ここに至るまでに通った状態たちの責任である」という信用割当を、減衰した重みで分配していると読めます。

トレースの取り方には流儀があります。上記の e(s_t) ← e(s_t) + 1 は accumulating trace（累積型） で、同じ状態を短時間に何度も踏むとトレースが1を超えて伸びます。これに対し訪問のたびに1へ上書きする replacing trace（置換型） は、頻繁な再訪での過大評価を抑え、実用上より安定することが多いです。

制御への拡張：Sarsa(λ) と Q学習

ここまでは価値 V(s) の予測（方策評価）でしたが、行動価値 Q(s,a) に同じ枠組みを適用すれば制御（最適方策の学習）になります。状態と行動の組 (s,a) ごとにトレースを持たせ、オンポリシーで更新するのが Sarsa(λ)、TD誤差を貪欲行動で組むのが Q学習 系（Q学習とDQN 参照）です。

まとめ

TD学習の系譜は、「実測をどこまで信じ、予測をどこから使うか」という一本の軸 で見通せます。TD(0)は1ステップだけ実測する極、MCは終端まで実測する極、その間を整数で刻むのがn-step、連続で刻むのがTD(λ)です。そしてforward viewの理想（λリターン）を、過去の痕跡を持ち回ることでオンラインに実装したのが適格度トレース。同じバイアス分散の調整思想は 方策勾配法 のGAEへ受け継がれ、現代の強化学習の通奏低音になっています。