思考の連鎖（Chain-of-Thought）と推論の引き出し

CoT とは：答えの前に推論をトークンで吐かせる

思考の連鎖（Chain-of-Thought, CoT） は、最終解を出す前に 中間推論ステップを自然言語のトークン列として生成させるプロンプト手法です。Wei ら（2022）が示したのは、「ステップを踏んで考えよう」と促すだけで、多段算術・記号操作・常識推論のベンチマークで精度が大きく上がるという経験的事実でした。

なぜ効くのかは、Transformer の計算構造から説明できます。デコーダは1トークンを出すたびに 固定の深さ（層数）の前向き計算しか行いません。つまり1トークンあたりの逐次的計算量は一定です。多段の問題をいきなり答えさせると、本来は何ステップも要する計算をこの固定深さに押し込むことになり、表現力が足りません。

直接回答:   問題 → [固定深さの計算1回] → 答え   ← 多段計算が層数に収まらない
CoT:        問題 → ステップ1 → ステップ2 → … → 答え
            各ステップが新トークンとして文脈に積まれ、次段がそれを参照

CoT は中間結果をトークンとして外部化し、それを文脈（KVキャッシュ）に書き戻して次段の条件付けに使います。これにより、逐次的な計算を生成トークン数の方向に展開でき、実効的な計算深さを増やせます。理論的にも、CoT を許した Transformer は許さない場合より広いクラスの問題を解けることが示されています。

なぜ精度が上がるか：分布の条件付けと計算の逐次化

CoT の効き目は、確率モデルの観点で2つに整理できます。

第一に 逐次計算の展開。前述のとおり、各ステップが新トークンになることで、1トークンあたり固定深さという制約を回避し、実効的に深い計算を行えます。これは「多くの中間トークンを使えるほど解ける問題が広がる」という形で効きます。

第二に 出力分布の条件付け。P(答え | 問題) を直接最大化させると、訓練データで頻出するもっともらしいが誤った近道に引っ張られがちです。CoT は P(答え | 問題, 推論) という形に分解し、正しい推論列を経由する経路上で答えを生成させます。これにより、最終解の確率質量が妥当な導出に裏打ちされた領域へ移動します。

誘発法：few-shot・zero-shot・自己整合性

CoT の引き出し方には段階があります。

中でも実利が大きいのが 自己整合性（self-consistency） です。決定的（貪欲）に1本だけ推論させるのではなく、温度を上げて複数の推論経路をサンプリングし、最終解だけを多数決します。鍵は「正解に至る道は複数あるが、誤りは経路ごとにバラバラに散る」という非対称性です。

self-consistency:
  for k in 1..K:
      経路_k = サンプリング生成(問題, 温度>0)   # 多様な推論をK本
      解_k   = 経路_k の最終解
  最終解 = argmax_v  count(解_k == v)            # 解そのもので多数決
                                                 # ※推論文ではなく解で集約

経路ごとの推論文は読まず、抽出した解の値で投票する点が要です。これにより、表現は違うが同じ正解にたどり着いた経路が票を束ね、誤答の票が割れて沈みます。

ToT と探索：木構造への一般化

CoT は推論を一本の鎖として直線的に生成します。これを木（tree）に拡張したのが Tree-of-Thoughts（ToT） です。各ステップで複数の「思考」候補を分岐させ、各分岐の有望さをモデル自身に評価（自己採点）させ、見込みの低い枝を捨て、必要ならバックトラックします。

CoT (chain):  s0 → s1 → s2 → ans            一本道、引き返せない
ToT  (tree):  s0 ┬ s1a → …  (評価して枝刈り)
                 ├ s1b → s2 → … (有望な枝を深掘り)
                 └ s1c        (低評価で打ち切り)
                 探索戦略 = BFS / DFS + 自己評価ヒューリスティック

ToT が効くのは、探索や先読みが必要な問題（パズル、計画、制約充足）です。一本道の CoT は一度誤った枝に入ると戻れませんが、ToT は評価とバックトラックで間違いから回復できます。代償は計算量で、分岐数 × 深さに比例してモデル呼び出しが膨らみます。

推論時計算スケーリング：考える量を増やすと賢くなる

CoT・自己整合性・ToT は、いずれも 推論時計算スケーリング（test-time / inference-time compute scaling） という一つの原理の現れです。学習後にパラメータを増やす代わりに、推論のときに使う計算（生成トークン数・サンプル数・探索幅）を増やすほど精度が上がる、という関係です。

この見方の含意は重い。学習を据え置いたまま、推論予算を積むだけで性能を伸ばせる——これがいわゆる「推論モデル（reasoning model）」の核です。長い CoT を生成し、必要なら自己検証し直す挙動を強化学習で後天的に強化することで、難問の正答率を底上げします。この後天的強化の枠組みは RLHF と DPO の延長線上にあります。

まとめ：計算の出しどころを学習から推論へ

CoT は「中間ステップを出させると賢くなる小技」ではなく、1トークンあたり固定深さという制約を、生成トークン方向に計算を展開して回避するという原理に根ざした手法です。要点を一枚にまとめます。

結論として、CoT 系の技法は 計算の出しどころを学習時から推論時へ移す設計判断です。同じモデルでも、推論経路をどう生成・サンプリング・探索・検証するかで到達できる正答率は大きく変わります。前提となる確率的生成は デコード戦略 を、入力側の組み立ては プロンプトエンジニアリング を併読すると、推論を引き出す全体像が線でつながります。