報酬モデルの学習とブラッドリー・テリーモデル

「良い応答」を損失で書けない問題

LLM のアライメントが難しい根本理由は、「親切さ」「無害さ」「指示への忠実さ」に 正解ラベルが存在しない ことにあります。次トークン予測は尤もらしさを最適化するだけで、人間にとっての有用性は保証しません（RLHF と DPO 参照）。ならば「この応答の良さは 8.3 点」と教師信号を与えればよいのでしょうか。これは破綻します。人間は絶対値スコアを安定して付けられず、採点者ごと・その日ごとに基準がぶれるからです。

そこで発想を変えます。絶対評価をやめ、「同じプロンプトに対する応答 A と B、どちらが好ましいか」という相対比較（選好）だけを集める。二択なら人間も安定して答えられます。問題はここから——選好という離散的な「勝ち負け」の集まりから、どうやって連続的なスカラー報酬 r(x,y) を学習するのか。その橋渡しをするのが ブラッドリー・テリーモデル です。

ブラッドリー・テリーモデル：勝ち負けを確率に変える

ブラッドリー・テリーモデルは、もともとスポーツやチェスのレーティング（イロレーティングと同根）で使われてきた ペア比較の確率モデル です。各対象 i に潜在的な強さ s_i を割り当て、「i が j に勝つ確率」を強さの差で表します。

P(i が j に勝つ) = σ(s_i − s_j) = exp(s_i) / (exp(s_i) + exp(s_j))
   σ(z) = 1 / (1 + exp(−z))   ロジスティック（シグモイド）関数

ここが核心です。勝つ確率は強さの差だけで決まり、絶対値には依存しません。s_i と s_j の両方に同じ定数を足しても確率は変わらない。RLHF ではこの「強さ」を報酬モデルの出力スコア r(x,y) に対応させます。同じプロンプト x に対する勝ち応答 y_w と負け応答 y_l について、人間が y_w を選ぶ確率を次のように置きます。

P(y_w ≻ y_l | x) = σ( r(x,y_w) − r(x,y_l) )

つまり報酬モデルは「各応答にスコアを付ける関数」であり、ブラッドリー・テリーは「そのスコア差を、人間の選好確率に翻訳する」リンク関数の役割を担います。構造はロジスティック回帰そのもので、入力特徴の代わりに (報酬スコアの差) をシグモイドに通していると見ると見通しがよくなります（ロジスティック回帰の数理）。

報酬モデルの損失関数

選好確率が決まれば、あとは最尤推定です。学習データの選好を最ももっともらしく説明するスコア関数 r を求める——負の対数尤度を最小化します。報酬モデル一般のパラメータを φ として、損失は次の一本に集約されます。

L(φ) = − E[ log σ( r_φ(x, y_w) − r_φ(x, y_l) ) ]
   (x, y_w, y_l) は選好データセットからのサンプル
   y_w : 人間が選んだ勝ち応答 /  y_l : 負け応答

これを最小化する勾配の向きを読むと、学習の中身が見えます。σ(r_w − r_l) が 1 に近い（既に正しく順位付けできている）ペアには小さな勾配しか流れず、0.5 付近の「際どいペア」に強い学習圧がかかります。結果として 勝ち応答のスコアを押し上げ、負け応答のスコアを押し下げる よう r が調整されます。

実装上は、SFT 済みの LLM の最終層を「次トークン予測ヘッド」から「スカラー1個を出す回帰ヘッド」に差し替えて初期化するのが定番です。言語理解の重みを流用し、最後に1次元へ射影します。

報酬ハッキングと過最適化

学習した報酬モデルは万能の採点者ではありません。あくまで 有限の選好データが覆う分布の内側でだけ 人間の好みを近似した、不完全な代理（プロキシ）です。データが薄い領域では、スコアが人間の真の評価から乖離した「穴」が必ず残ります。

方策（学習中の LLM）の役目は報酬を最大化することなので、最適化を進めると方策はこの穴を執拗に探し当てます。真の品質は上がらないのに報酬スコアだけが釣り上がる ——これが 報酬ハッキング（過最適化） です。典型例として、報酬モデルが「長い回答ほど高評価」という系統的バイアスを学んでいると、方策は中身を伴わずに冗長化していきます。グッドハートの法則——「指標が目標になると、その指標は良い指標でなくなる」——が、ここで露骨に現れます。

KL 制約というブレーキ

過最適化への標準的な歯止めが、参照モデルへの KL ペナルティ です。最適化の目的関数は、素の報酬最大化ではなく次の形を取ります。

目的 = E[ r(x,y) ]  −  β · KL( π_θ(y|x) ‖ π_ref(y|x) )
   π_θ   : 学習中の方策（現在の LLM）
   π_ref : 参照モデル（SFT 直後で固定）
   β     : KL ペナルティの強さ

第2項は「方策が参照モデルから確率分布として離れるほど罰を与える」項です。報酬モデルが信頼できるのは参照モデルが生成しうる応答の近傍だけなので、そこから遠ざかること自体にコストを課す ことで、方策が報酬の穴へ逃げ込むのを抑えます。β が大きいほど参照モデルへの拘束が強く（安全・保守的）、小さいほど報酬に大胆に従います（過最適化のリスク増）。

つまり KL 制約は単なる正則化ではなく、「報酬モデルを信用してよい領域内に方策を留める」ための信頼領域 として機能します。報酬モデルの不完全さと、それを突こうとする最適化圧との綱引きを、β 一つで調停しているわけです。β をどう設定するかは、報酬を伸ばすか暴走を防ぐかの直接のトレードオフになります。

RLHF パイプラインでの位置づけ

報酬モデルは RLHF 全体の中で「人間の選好を機械可読なスカラー信号に固定する」中間表現として働きます。標準的な3段構成での役割は次の通りです。

第3段では、方策が応答を生成するたびに報酬モデルがスコアを返し、それを報酬信号として強化学習で方策を更新します。ここで使う定番が PPO で、生成（ロールアウト）とスコアリングを学習ループ内で回す オンライン な最適化です（仕組みは 方策勾配と PPO、強化学習の枠組みは 強化学習 を参照）。報酬モデルが「採点」、PPO が「採点を最大化する学習」と役割分担しています。

まとめ

報酬モデルは「正解ラベルの無い価値判断を、選好という相対比較を経てスカラー報酬に固定する装置」です。その心臓部にあるブラッドリー・テリーモデルは、勝ち負けをスコア差のロジスティック関数に翻訳するだけのシンプルな確率モデルでありながら、人間の好みを学習可能な損失に変換します。一方でその報酬は本質的に不完全な代理であり、過最適化と KL 制約のせめぎ合いを抜きには使えません。RLHF を「報酬モデルで好みを写し取り、KL 制約付きでそれを最大化する」一連の流れとして捉えると、各部品の役割と限界が一本の線でつながります。