ナイーブベイズと生成的分類器の原理

事後確率による分類：ベイズの定理から出発する

分類問題の最適解は、入力 x を観測したときの各クラス y の事後確率 P(y|x) を最大にするクラスを選ぶことです。これを最大事後確率（MAP）規則と呼び、誤分類率を最小化する最適決定であることが知られています。問題は P(y|x) をどう手に入れるかで、ここに生成的アプローチと識別的アプローチの分岐があります。

ナイーブベイズは生成的な立場をとります。すなわち、P(y|x) を直接モデル化するのではなく、ベイズの定理でクラスごとの生成過程 P(x|y) に変換してから組み立てます。

P(y | x) = P(x | y)·P(y) / P(x)
事後確率    尤度        事前    周辺尤度（正規化定数）

分母 P(x) はクラス y に依存しないため、クラス間の大小比較では無視できます。したがって分類規則は次の比例関係に帰着します。

y_hat = argmax_y  P(y | x)
      = argmax_y  P(x | y)·P(y)

この P(y)（クラスの事前確率）と P(x|y)（各クラスでの特徴の生成確率）を訓練データから推定すれば分類器が完成します。ベイズの定理を「事前と尤度から事後を組む」道具として使う点は、最尤推定とMAP推定・ベイズ推論の関係で扱った階段の最初の一段と同じ構図です。

条件付き独立仮定：なぜ「ナイーブ」なのか

ここで壁にぶつかります。x = (x_1, x_2, …, x_d) が d 個の特徴を持つとき、尤度 P(x_1, …, x_d | y) は特徴間のあらゆる相互作用を含む結合分布です。各特徴が K 通りの値を取るなら、1クラスあたり K^d - 1 個のパラメータが必要で、d が大きいと推定不能なほど膨れ上がります。

ナイーブベイズの「ナイーブ（naive, 素朴）」たるゆえんは、ここでクラスを与えたとき各特徴は互いに条件付き独立と仮定して、この結合分布を積に分解する点です。

P(x_1, …, x_d | y) = Π_i P(x_i | y)

この一手でパラメータ数は K^d - 1 から d·(K-1) へと指数的から線形へ激減します。各 P(x_i | y) は1次元の分布なので、特徴ごと・クラスごとに独立に推定でき、訓練は単なる頻度の数え上げ（カウント）になります。

最終的な分類規則は、積のままでは桁あふれ（アンダーフロー）を起こすため、対数を取って和に直すのが実装の定石です。

y_hat = argmax_y [ log P(y) + Σ_i log P(x_i | y) ]

尤度モデルの選択：特徴の型で分布を変える

P(x_i | y) をどんな分布でモデル化するかで、ナイーブベイズには代表的な変種があります。特徴の型に合わせて選びます。

たとえばガウスナイーブベイズでは、特徴 x_i ごとにクラス y での平均 μ_{i,y} と分散 σ²_{i,y} を最尤推定（標本平均・標本分散）し、P(x_i|y) を正規分布の密度で評価します。多項ナイーブベイズでは、クラス y の全文書中で語 i が現れた割合を出現確率の推定値に使います。いずれも各 P(x_i|y) の推定は損失関数の数理でいう負の対数尤度最小化（＝頻度の数え上げ）に対応します。

ラプラススムージング：確率ゼロという破滅を防ぐ

カウントベースの推定には致命的な落とし穴があります。訓練データで一度も観測されなかった特徴値は推定確率が 0 になり、対数では -∞ に飛びます。積 Π_i P(x_i|y) は1つでもゼロがあれば全体がゼロになるため、他の特徴がどれだけそのクラスを支持していても、その語が1つあるだけで事後確率が消えてしまいます。

これを防ぐのがラプラススムージング（Laplace smoothing、加算スムージング／add-one smoothing） です。すべてのカウントに小さな正の定数 α を足してから正規化します。

P(x_i = v | y) = ( count(x_i = v, y) + α ) / ( count(y) + α·V )

ここで V は特徴 x_i が取りうる値の総数（多項モデルなら語彙サイズ）、α は平滑化の強さです。α = 1 が古典的なラプラススムージングで、α が 1 未満（リドストーン平滑化）も使われます。分母に α·V を足すのは、全値の確率の総和を 1 に保つためです。

生成的 vs 識別的：ナイーブベイズとロジスティック回帰

ナイーブベイズの位置づけを正確に理解する鍵は、生成的（generative） と識別的（discriminative） の対比です。

• 生成的モデル（ナイーブベイズ）：同時分布 P(x, y) = P(y)·P(x|y) をモデル化し、ベイズの定理で P(y|x) を導く。「各クラスがどんなデータを生み出すか」を学ぶ。
• 識別的モデル（ロジスティック回帰）：境界 P(y|x) を直接モデル化する。「クラスを分ける境界はどこか」だけを学ぶ。

決定的な事実として、ナイーブベイズとロジスティック回帰は同じ仮想的な分布族に対応する「生成・識別ペア」 です。ガウスナイーブベイズ（クラス共通分散）や多項ナイーブベイズの事後確率を整理すると、P(y|x) はちょうどロジスティック（シグモイド／ソフトマックス）の形になります。両者は同じ仮説クラスを、パラメータの推定方法だけ違えて学習しているのです。

Ng と Jordan（2001）の古典的な解析が要点を突いています。識別的モデルは漸近的（データが十分多い極限）には誤差が低い一方、生成的モデルはその漸近誤差へより速く収束する。具体的には、ナイーブベイズは必要サンプル数が特徴次元 d に対しておよそ log d のオーダーで済むのに対し、ロジスティック回帰は d のオーダーを要します。少データ・高次元ではナイーブベイズが先に良い精度に達し、データが増えるとロジスティック回帰が追い抜く——これが両者の交差点です。

なぜ仮定が崩れても実用的なのか

ナイーブベイズの最大の謎は、条件付き独立というほぼ確実に成り立たない仮定を置きながら、現実のテキスト分類などで頑健に当たることです。理由は分類タスクの性質にあります。

最大の論点は、分類に必要なのは確率の正確な値ではなく、クラス間の大小関係（順位）だけだという点です。条件付き独立が崩れると、相関する特徴を重複してカウントするため、推定された事後確率は 0 か 1 の極端へ過信気味に歪みます。しかし、正しいクラスの確率が他クラスより大きいという順位さえ保たれれば、過信していようと分類は正解になります。確率推定としては劣悪でも、決定境界の側では正しい、という乖離がしばしば起こるのです。

加えて、相関による誤差は両クラス側に同じ方向で効きやすく、大小比較では相殺されやすいこと、相関のある特徴群の偏りが多数の特徴にわたって平均化されることも、実用での頑健さを支えています。高次元・少データで第一選択になりやすいのは、線形パラメータ数による低分散、外れ値への頑健さ、欠損特徴を単に積から外せる扱いやすさという生成モデルの利点が重なるためです。

まとめ

ナイーブベイズは、ベイズの定理で分類を P(y)·P(x|y) の最大化に置き換え、クラス条件付き独立を仮定して尤度を Π_i P(x_i|y) と積に分解する生成的分類器です。この分解が結合分布のパラメータ数を指数的から線形へ落とし、訓練を頻度の数え上げに帰着させます。未観測値によるゼロ確率はラプラススムージング（ディリクレ事前のMAP）で防ぎます。ロジスティック回帰とは同じ仮説族を生成的・識別的の両側から学ぶペアであり、少データ・高次元ではナイーブベイズが速く収束し、データが豊富になると識別的なロジスティック回帰が漸近誤差で優位に立ちます。そして条件付き独立がほぼ確実に破れていても、分類が必要とするのは確率値ではなくクラス間の順位だけなので、確率較正が悪くても実用では強い——これがこの素朴なモデルが今も第一選択であり続ける理由です。確率推定として使うか、決定だけに使うかを意識して使い分けるのが要諦です。