Multi-Head Attention と位置エンコーディングの内部

なぜ「ヘッドを分ける」必要があるのか

LLM と Transformer で見たアテンションは、本質的に Attention(Q,K,V)=softmax(QKᵀ/√d_k)·V という1本の重み付き平均でした。ところが実際の Transformer は、これを1本ではなく 複数のヘッド（head）に分割 して並列に計算します。これが Multi-Head Attention（MHA） です。

理由は単純で、1組の Q・K・V では「1種類の関係」しか測れない からです。softmax は重みの総和を1に正規化するため、ある語が「主語との一致」と「直前の修飾語」を同時に強く参照したくても、1本のアテンションでは注意が薄まり、どちらかに引っ張られます。観点が違えば最適な参照先も違う——文法的なつながり、意味的な近さ、共参照（「それ」が何を指すか）は別物です。そこで参照のチャネルを物理的に増やすのが MHA の発想です。

分割と結合：次元はどう動くのか

MHA の計算は「分割 → 各ヘッドでアテンション → 結合 → 線形変換」の4段です。モデル次元を d_model、ヘッド数を h とすると、各ヘッドの次元は d_k = d_model / h になります（例: d_model=512, h=8 なら d_k=64）。総計算量がヘッド数によらずほぼ一定 になるよう、わざと次元を割り算している点が重要です。ヘッドを増やしてもコストは増えません。

入力 X: [seq_len, d_model]

1. 投影:  各ヘッド i ごとに学習重み W_q[i], W_k[i], W_v[i] (各 d_model×d_k)
          Q_i = X·W_q[i],  K_i = X·W_k[i],  V_i = X·W_v[i]   → 各 [seq_len, d_k]

2. 各ヘッド: head_i = softmax(Q_i·K_iᵀ / √d_k)·V_i           → [seq_len, d_k]

3. 結合:    Concat(head_1, ..., head_h)                       → [seq_len, d_model]

4. 出力投影: MultiHead = Concat(...)·W_o   (W_o: d_model×d_model) → [seq_len, d_model]

ポイントは2つあります。第一に、各ヘッドは 別々の W_q/W_k/W_v を持つ ため、同じ入力から異なる Q・K・V 部分空間へ射影されます。これがヘッドごとに「見る観点」が変わる源泉です。第二に、結合しただけでは各ヘッドの出力が並んでいるだけなので、最後の W_o がヘッド間の情報を混ぜて統合 します。W_o を忘れるとヘッドは独立したまま協調しません。

各ヘッドは何を捉えているのか

学習後のヘッドを可視化すると、ヘッドごとに役割分担が生じることが知られています。あくまで創発的（明示的に割り当てたわけではない）ですが、代表的なパターンは次のようなものです。

重要なのは、これらが 設計者の指示ではなく、次トークン予測の誤差を下げる過程で自然に分化する 点です。逆に言えば、すべてのヘッドが有用とは限りません。研究では一部のヘッドを除いても性能がほぼ落ちないことが示されており、ヘッドの冗長性 はモデル圧縮（プルーニング）の手掛かりになります。なお近年は推論メモリ削減のため、K・V を複数ヘッドで共有する GQA（Grouped-Query Attention） や MQA（Multi-Query Attention） が主流化しており、「ヘッドごとに完全独立な K・V」は必須ではなくなっています。

位置エンコーディング：なぜ順序を別途与えるのか

ここで根本的な問題に突き当たります。アテンションは入力を「順序のない集合」として扱う のです。softmax(QKᵀ)·V は内積と重み付き和だけで構成され、入力トークンを並べ替えると出力も同じように並べ替わるだけ——つまり 置換等価（permutation equivariant） です。「猫が犬を追う」と「犬が猫を追う」を、アテンション単体は区別できません。

トークン化 を経て 埋め込み（Embedding） に変換された各トークンは、意味のベクトルは持っていても 「何番目か」の情報を持ちません。RNN は順番に処理するので位置が自然に分かりましたが、Transformer は全トークンを一度に見るため、位置を 明示的に注入 する必要があります。これが 位置エンコーディング（positional encoding） です。

3つの方式：正弦波・学習可能・RoPE

位置をどう表現するかには大きく3系統あります。原理がそれぞれ異なります。

(1) 正弦波（sinusoidal、固定） — 元論文の方式。位置 pos と次元 i から、波長を変えた sin/cos で位置ベクトルを作り、トークン埋め込みに 加算 します。

PE(pos, 2i)   = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

次元ごとに周期が異なる（低次元は短周期、高次元は長周期）ため、2進カウンタのように位置を一意に符号化 できます。学習パラメータが不要で、訓練時より長い系列にもそのまま値を計算できる利点があります。

(2) 学習可能（learned、テーブル） — 位置ごとに専用の埋め込みベクトルを 学習 する方式（BERT/GPT-2 系）。データに最適化される反面、テーブルに無い位置（訓練最大長より先）には対応できず、長文への外挿が効きません。

(3) RoPE（Rotary Position Embedding、回転） — 現行 LLM（LLaMA, Qwen など）の主流。埋め込みに足すのではなく、Q と K のベクトルを位置に応じた角度だけ回転 させます。2次元ずつをペアにして pos·θ だけ回転させると、ヘッド内の内積 Q_m·K_n が 相対位置 (m-n) だけに依存 する形になります。

RoPE が支持される理由は、絶対位置を与えながら、アテンションの内積には相対距離として効く という両取りにあります。さらに回転角を縮める 位置補間（position interpolation） で、訓練時の数倍のコンテキスト長へ後付け拡張しやすく、長文化の流れと噛み合いました。

まとめ

Multi-Head Attention は「1本では潰れる複数の関係を、視点を分けて並行に捉え、W_o で統合する」仕組みでした。次元を d_model/h に割ることで、ヘッドを増やしてもコストを増やさずに表現の幅だけを広げています。一方、アテンションは順序を持たない集合演算なので、位置エンコーディングで「何番目か」を注入 して初めて語順を扱えます。固定の正弦波から学習可能テーブルを経て、相対位置を回転で埋め込む RoPE が長文時代の主流になった——この流れを押さえると、コンテキスト長の拡張や長文性能の議論が一段クリアに見えます。土台が曖昧なら ニューラルネットワーク と LLM と Transformer に戻ると、点が線でつながります。