プロセス報酬モデルと推論時スケーリング

学習を増やすか、考える時間を増やすか

スケーリング則 が示したのは「パラメータ数・データ・学習計算量を増やせば性能が上がる」という学習時の法則でした。しかし推論時にも別の軸があります。同じモデルでも、1回で答えを出すか、何通りも考えて選び抜くか、長く吟味してから答えるかで精度は大きく変わる。推論時スケーリング（test-time scaling） は、学習済みモデルを固定したまま「推論にかける計算量」を増やして性能を引き上げるアプローチの総称です。

その鍵になるのが、生成した推論を採点する検証器（verifier） と、複数候補から良い解を探索する仕組みです。まずは採点の粒度から見ます。

ORM と PRM：結果を採点するか、過程を採点するか

数学やコード生成のように多段の推論を要するタスクでは、報酬を「どこに」与えるかが本質的に効きます。

ORM（Outcome Reward Model） は最終解だけを見て正否を返します。実装は簡単ですが、致命的な弱点があります。過程が誤っていても偶然最終解が合えば高評価になる（false positive）。長い推論ほど「途中で間違えたが運良く答えが合う」経路が増え、ORM はそれを区別できません。

PRM（Process Reward Model） は推論を区切り、各ステップが正しいかを採点します。p(ステップt が正しい | これまでの推論) を出力する分類器だと考えると分かりやすい。報酬がステップごとに密に与えられるので、どのステップで推論が破綻したかを特定でき、探索の枝刈りにも使えます。

PRM のもう一つの効用は、解全体への集約方法を選べる点です。各ステップのスコアをどう束ねて「解候補1本の品質」にするか——最小値を取る（一番怪しいステップが解全体を引きずる）、平均を取る、最後のステップを使う、などの集約があり、最小値ベースが堅牢とされます。これは「鎖は最も弱い環で切れる」という多段推論の性質に合致しています。

best-of-N とビームサーチ：検証器で解を探索する

検証器が手に入ると、生成を1回で終えず、複数候補を出して選別する戦略が取れます。これが推論時に計算を投入する最も直接的な方法です。

最も単純なのが best-of-N（Nサンプリング） です。同じ問題に対し方策から N 本の解を独立にサンプリングし、検証器のスコアが最も高い1本を採用します。

best-of-N の手順:
  1. 問題 x に対し、方策 π から解候補 y_1 ... y_N をサンプリング
  2. 各候補を検証器でスコアリング:  s_i = Verifier(x, y_i)
  3. argmax_i s_i の候補を最終解として返す

検証器に PRM を使う場合、s_i は各ステップスコアの集約値です。ORM を使う場合は最終解の正否確率になります。N を増やすほど良い候補に当たる確率が上がるため、N が推論時計算量のつまみになります。

best-of-N は解を「最後まで生成してから」採点しますが、PRM のステップ単位スコアを使えば生成の途中で枝刈りできます。これが ビームサーチ（過程探索版） です。デコーディング戦略 のビームサーチがトークン単位で確率の高い系列を保持するのに対し、ここでは推論ステップ単位で PRM スコアの高い部分解だけを残します。

PRM ビームサーチ（幅 B, 各ステップで K 個に分岐）:
  ビーム = [空の推論]
  各ステップで:
    現在の各部分解から K 個の次ステップ候補を生成
    生成した全候補を PRM で採点
    スコア上位 B 個だけを次のビームとして残す（残りは枝刈り）
  最終ステップまで到達したビームから最良を返す

best-of-N が「最後まで走らせて選ぶ」全幅的な探索なのに対し、ビームサーチは途中で見込みのない枝を捨てるぶん同じ計算量でも探索効率が高くなりやすい。さらに一般化すると、PRM を状態価値とみなしてモンテカルロ木探索（MCTS）で展開・選択・バックアップを回す方向にも拡張されます。

計算予算の最適配分：N を増やすかモデルを大きくするか

推論時スケーリングの実務的な問いは「固定の計算予算を、どこに割り振ると最も得か」です。同じ FLOPs を、より大きなモデルの1回推論に使うべきか、小さなモデルで N 本探索するのに使うべきか。

研究が示したのは問題の難易度で最適配分が変わることです。易しい問題では小モデル＋多めの探索が、難しい問題では大モデルが有利になりやすい。つまり推論時計算は学習時計算と部分的に交換可能で、用途次第で「小さいモデルに長く考えさせる」方が「大きいモデルに一回で答えさせる」より安く同じ精度に届くことがあります。これは スケーリング則 を推論側へ拡張した見方です。

o1 系：思考連鎖そのものを強化学習で鍛える

ここまでは「外部の検証器で探索する」枠組みでした。o1 系の手法はやや別軸で、長い思考連鎖（CoT）を生成しながら自己検証・後戻り・別解の試行を行う方策そのものを、強化学習で内部化します。推論時に外部探索を回す代わりに、モデルが自前で長く考える能力を学習で獲得する発想です。

学習の骨子は、最終解の正否（検証可能なタスクなら自動採点できる）を報酬に、長い思考過程を生成する方策を 方策勾配法・PPO 系の強化学習で最適化することです。報酬は最終解ベース（ORM 的）でも、過程を評価する PRM を併用してもよい。結果として、モデルは「いったん解いて、検算し、間違いに気づいたら戻ってやり直す」といったメタ的な推論の型を思考連鎖の中で自発的に展開するようになります。

まとめ

推論時スケーリングの系譜は、「学習を増やす」一辺倒だった性能向上に「考える時間を増やす」第二の軸を加えたものとして読めます。PRM が報酬を密にして検証器を強くし、best-of-N とビームサーチがその検証器で解空間を探索し、o1 系がその探索を強化学習で方策の中へ畳み込んだ。底流にあるのは 強化学習 の報酬設計と探索の思想であり、現代の「賢く考えるモデル」は学習時と推論時、二つのスケーリング軸の上に立っていると理解できます。