word2vec/負例サンプリングの数理

出発点：文脈から単語ベクトルを学ぶ2つの構図

word2vecは、大量のテキストの「どの単語がどの単語の近くに出るか」だけを教師信号にして、単語の意味を表す密ベクトルを学ぶ手法です。中心となる仮説は分布仮説、すなわち「似た文脈に現れる単語は似た意味をもつ」というものです。これを実装する構図が2つあります。

Skip-gram は中心語 w から、その周辺（ウィンドウ内）の単語 c を予測します。CBOW（Continuous Bag-of-Words） は逆に、周辺語の集合から中心語を予測します。どちらも入力埋め込み行列 W（中心語側）と出力埋め込み行列 C（文脈語側）の2つを学習し、最終的に欲しい単語ベクトルとして W の行を使うのが一般的です。

Skip-gramの素朴な目的関数は、各 (中心語, 文脈語) ペアの条件付き確率の対数尤度の和です。

最大化対象 = Σ_(w,c)∈D  log p(c | w)

p(c | w) = exp(v_c · u_w) / Σ_(c'∈V) exp(v_c' · u_w)

ここで u_w は中心語 w の入力ベクトル、v_c は文脈語 c の出力ベクトル、D はコーパスから取れる全ペアの集合、V は語彙です。CBOWは入力側を周辺語ベクトルの平均にした、ほぼ鏡像の式になります。

なぜ素朴なソフトマックスは回らないのか

問題は分母です。p(c | w) の正規化項は語彙全体 V にわたる和で、語彙は数十万〜数百万になります。1ペアの勾配を計算するたびに全語彙とのドット積と指数和が必要で、計算量はペアあたり O(V)。コーパス全体では絶望的に重くなります。

この O(V) を潰すアプローチは2つあります。1つは語彙を二分木に並べて確率を経路の積に分解する階層的ソフトマックスで、計算量を O(log V) に落とします。もう1つが本稿の主役、負例サンプリング（negative sampling） です。こちらはそもそも確率分布の正規化をやめてしまう、という発想の転換です。

負例サンプリング(SGNS)の導出

負例サンプリング付きSkip-gram（SGNS）は、多クラス予測を二値分類に読み替えます。観測されたペア (w, c) には「これはコーパス由来か？」というラベルを与え、これを正例（ラベル1）とします。対して、同じ中心語 w に対しノイズ分布 P_n から無関係な単語 c' を k 個引き、それらを負例（ラベル0）とします。

「そのペアがコーパス由来である確率」をシグモイドでモデル化します。

P(D=1 | w, c) = σ(v_c · u_w)      ただし σ(x) = 1 / (1 + exp(−x))

1ペアあたりの目的関数（最大化対象）は、正例を1に、k 個の負例を0に押す形になります。

L = log σ(v_c · u_w)  +  Σ_(i=1..k)  E_{c_i ~ P_n}[ log σ(−v_{c_i} · u_w) ]

第1項が正例の対数尤度、第2項が負例の対数尤度です（σ(−x) = 1 − σ(x) を使っているため、負例ではドット積が負＝小さくなる方向に勾配が流れます）。計算量はペアあたり O(k) で、k は典型的に小さなデータで5〜20、大きなデータで2〜5。語彙数 V に一切依存しなくなった点が決定的です。これは無関係な負例を引いて表現を引き離す構図そのものなので、対照学習の原理 のInfoNCEと骨格を共有しています（SGNSはその二値版・先駆と位置づけられます）。

ユニグラム0.75乗分布：負例の引き方が効く

負例 c_i をどの分布 P_n から引くかは、地味に見えて性能を左右します。word2vecが採用したのは、コーパス中の単語頻度（ユニグラム分布）を0.75乗してから正規化した分布です。

P_n(c) = freq(c)^0.75 / Σ_(c'∈V) freq(c')^0.75

なぜ素のユニグラム（指数1.0）でも一様（指数0）でもなく、その中間の0.75なのか。素の頻度分布だと「the」「of」のような超高頻度語ばかりが負例に選ばれ、低頻度の内容語が負例としてほぼ出てきません。一様分布だと逆に、めったに出ない語まで等確率で引かれ、負例として的外れになります。0.75乗は両者の中間で、高頻度語の選ばれ過ぎを抑えつつ、低頻度語の出現確率を底上げする効果をもちます。指数を1未満にすると頻度の高い語ほど相対的に強く割り引かれるためです。

この0.75は理論から導かれた値ではなく、経験的に最良だった値です。あわせて、高頻度語そのものを学習対象から確率的に間引くサブサンプリング（頻度が高い語ほど高確率でスキップ）も併用され、頻出機能語の支配を二重に抑えています。

Levy&Goldberg：SGNSはPMI行列の暗黙的分解である

SGNSの最も美しい理論的帰結が、Levy & Goldberg（2014）による解釈です。彼らは、SGNSの目的関数を埋め込みの自由度が十分（次元が大きい）な理想状況で各 (単語, 文脈) ペアについて最適化したとき、内積 u_w · v_c がどんな値に収束するかを解析しました。

各ペアごとに目的関数を x = u_w · v_c で微分して0と置くと、最適解は次の閉じた形になります。

u_w · v_c = log( #(w,c) · |D| / (#(w) · #(c)) )  − log(k)
          = PMI(w, c) − log(k)

ここで #(w,c) は共起回数、#(w)・#(c) は各単独の出現回数、|D| は全ペア数です。第1項はまさに自己相互情報量（PMI, Pointwise Mutual Information）——「単語 w と文脈 c が独立な場合に比べてどれだけ一緒に出やすいか」を測る、共起の基本量です。相互情報量の単語ペア版にあたり、情報理論の基礎 で扱う I(X;Y) を1つの結果対 (w,c) に落とした量と読めます。

つまりSGNSは、内積が PMI(w,c) − log(k) に等しくなるよう単語・文脈ベクトルを並べています。これを行列で書けば、#V × #V の Shifted PPMI 行列（要素が PMI − log(k)、負値を0でクリップした版がPPMI）を、低ランクの W · C^T で暗黙的に分解していることに他なりません。

この等価性は、word2vecが「謎の深層学習」ではなく、解釈可能な統計量の分解だと教えてくれます。実際、明示的にPPMI行列を作って PCA・SVD のような特異値分解にかけても、SGNSに近い品質の埋め込みが得られることが報告されています。

まとめ：速さと意味づけの両立

word2vecの負例サンプリングは、O(V) のソフトマックスを O(k) の二値分類へ落とすことで大規模コーパス上の学習を可能にし、ユニグラム0.75乗という経験則で負例の質を整えました。そしてその最適解はPMIから log(k) を引いた共起行列の低ランク分解に一致するという、速度と解釈性が両立した稀有な手法です。ここで得た密ベクトルがどう意味空間を作り検索に使われるかは 埋め込み（Embedding） を、自己教師あり表現学習としての発展形は 対照学習の原理 を続けて読むと、現代の表現学習までの系譜がつながります。