最尤推定とMAP推定・ベイズ推論の関係

三者を貫く一本の式：尤度・事前・事後

機械学習のパラメータ推定は、見た目のバラバラさに反して、ベイズの定理という一つの式の上に整列します。観測データ D とパラメータ θ について、ベイズの定理は次を主張します。

p(θ | D) = p(D | θ)·p(θ) / p(D)
事後分布   尤度       事前分布   周辺尤度（証拠）

• 尤度 p(D | θ)：パラメータ θ を固定したとき、観測 D がどれだけ起こりやすいか。
• 事前分布 p(θ)：データを見る前に持っている θ への信念。
• 事後分布 p(θ | D)：データを見た後に更新された θ への信念。
• 周辺尤度 p(D)：θ を積分消去した正規化定数。θ に依存しないので、θ の最大化では無視できる。

最尤推定（MLE）・MAP推定・ベイズ推論の違いは、この式の どこまでを使うか に尽きます。MLEは尤度だけ、MAPは尤度かける事前（＝事後の分子）、ベイズは事後分布そのものを丸ごと扱う。三者は対立する流派ではなく、事前分布の扱いを段階的に深めていく一本の階段です。

MLE：尤度だけを最大化する

最尤推定は事前分布を一切仮定せず、尤度を最大にする θ を選びます。独立同分布のデータ D = {x_1, …, x_n} に対して尤度は積で書け、対数を取って和に直すのが定石です。

θ_MLE = argmax_θ  Σ_i log p(x_i | θ)

積を対数で和に変えるのは、桁あふれを避け、微分を項ごとに分解するためです。実務では負の対数尤度（NLL）を最小化する形で現れます。分類の交差エントロピー、回帰の二乗誤差はどちらもこのNLLの具体形であり、その導出は 損失関数の数理 で扱った通りです。MLEは「データが語ることだけを信じる」立場で、データが豊富なら強力ですが、サンプルが少ないと過学習しやすいという弱点があります。

MAP：事前分布を掛けて事後を最大化する

MAP（Maximum A Posteriori, 最大事後確率）推定は、尤度に事前分布を掛けた事後分布を最大化します。周辺尤度 p(D) は θ に依存しない定数なので、最大化からは外せます。

θ_MAP = argmax_θ  p(θ | D)
      = argmax_θ  p(D | θ)·p(θ)
      = argmax_θ [ Σ_i log p(x_i | θ) + log p(θ) ]

最後の行が決定的です。MLEの目的関数（第1項）に、事前分布の対数 log p(θ)（第2項）が 加算項として くっつくだけ。この第2項こそが、後で見る通り正則化の正体です。

L2正則化＝ガウス事前のMAP

ここが本稿の山場です。線形回帰や深層学習の重み w に、平均ゼロのガウス事前 p(w) = N(0, τ²·I) を置いてみます。各成分が独立な正規分布なので、その対数は次のように展開できます。

log p(w) = − (1/(2τ²))·Σ_j w_j² + const
        = − (1/(2τ²))·‖w‖₂² + const

これをMAPの目的関数に入れると、最大化を最小化（負号を付ける）に直したとき、データ項に (1/(2τ²))·‖w‖₂² が足されます。これはまさに係数 λ = 1/(2τ²) の L2正則化（重み減衰） そのものです。

min_w [ NLL(w) + λ·‖w‖₂² ],   λ = 1/(2τ²)

正則化係数 λ が事前分布の分散 τ² の逆数に対応する点が美しいところです。事前の分散を小さく（τ² を小さく）すると「重みはゼロ付近にあるはず」という信念が強まり、λ が大きくなって正則化が強くかかる。逆に τ² を無限大にすると λ → 0 となり、事前が平坦になってMLEに戻ります。

L1正則化＝ラプラス事前のMAP

事前分布をガウスからラプラス分布 p(w) ∝ exp(−|w| / b)（各成分独立）に取り替えると、対数事前は絶対値の和になります。

log p(w) = − (1/b)·Σ_j |w_j| + const
        = − (1/b)·‖w‖₁ + const

同じ手順で目的関数に入れると、係数 λ = 1/b の L1正則化 が現れます。

min_w [ NLL(w) + λ·‖w‖₁ ],   λ = 1/b

L1がスパース（ゼロが多い）解を生むのは、ラプラス分布が原点に鋭いピークを持つことの帰結です。原点で対数事前が尖っている（微分が不連続）ため、最適化は多くの成分を厳密にゼロへ押し込みます。一方ガウス事前は原点で滑らかなので、重みを小さくはしてもゼロには張り付けません。L1とL2の幾何学的・確率的な違いは 正則化（過学習対策） でも整理しています。

ベイズ予測分布：1点で代表させず積分する

MLEもMAPも、最終的に θ を 1点 に決めて予測します。これに対し完全なベイズ推論は、θ を1点に固定せず、事後分布で重み付けして積分（周辺化）します。新しい入力 x* に対する予測は次の ベイズ予測分布 になります。

p(x* | D) = ∫ p(x* | θ)·p(θ | D) dθ

この積分は、ありうる全ての θ での予測を、それぞれの事後確率で加重平均する操作です。MAPはこの積分を「事後の最頻値 θ_MAP の1点だけで近似する」極端なケースに相当します（事後をデルタ関数で置き換える近似）。

両者の差はデータ量で決まります。データが多ければ事後分布は θ_MAP の周りに鋭く尖り、積分はほぼ1点の値に等しくなるので、ベイズ予測分布とMAPの予測はほぼ一致します。逆にデータが少ないと事後が広がり、複数の θ がそれなりの確率を持つため、1点では代表できません。このとき積分は予測のばらつき（認識的不確実性）を自然に取り込みます。

まとめ：事前をどこまで信じ、どこまで積分するか

三者は競合する流派ではなく、ベイズの定理という一本の式の上で「事前をどう扱い、事後をどこまで使うか」という連続的な選択です。MLEに事前項を足せばMAPになり、L2正則化＝ガウス事前・L1正則化＝ラプラス事前という対応で、正則化は確率的な信念の表明だと読み替えられます。さらに点推定をやめて事後全体で積分すればベイズ予測分布になり、不確実性が手に入ります。この階段を上り下りできると、損失関数の設計（損失関数の数理）や生成モデルの学習目標（スコアベース生成モデル）が、同じ確率的原理の別表現として一望できるようになります。