ディレクトリ方式キャッシュコヒーレンシ ─ 多コアのスケーラビリティ

なぜスヌープは大規模で破綻するのか

複数コアが同じメモリブロックを各自のキャッシュに持つと、片方の書き込みが他方に見えないコヒーレンシ違反が起きます。これを防ぐ古典的な手法がスヌープ方式です。各コアはコヒーレンス操作（読み出し要求・書き込み要求・無効化）を共有バスやリングへブロードキャストし、全コアが流れるアドレスを監視（スヌープ）して、自分が持つコピーの状態を更新・無効化します。MESI などの状態管理はキャッシュメモリの原理で扱った通りです。

スヌープの利点は単純さと低遅延（1往復で全員に届く）ですが、本質的な弱点はトラフィックがコア数に比例して増えることです。あるブロックを書き込むたびに、たとえ実際にコピーを持つコアが1つでも、全コアへ問い合わせが飛びます。コア数を N とすると、コヒーレンス帯域の需要はおよそ N に比例し、共有媒体の帯域は有限なので、ある規模で頭打ちになります。

ディレクトリ方式：共有者を「知っている」場所を持つ

発想の転換は「全員に聞く」のをやめ、各メモリブロックについて誰がコピーを持つかを集中的に記録しておくことです。この記録がディレクトリで、典型的には各ブロックのホームノード（そのアドレスを所有するメモリ/ラスト・レベル・キャッシュ側）に置かれます。書き込み時はディレクトリを引いてコピーを持つコアだけに無効化をユニキャストするため、ブロードキャストが不要になります。

ディレクトリの1エントリは、最低限「状態」と「共有者の集合」を持ちます。

ディレクトリ方式は遅延と引き換えに帯域を節約する設計です。順序付きの共有媒体を必要としないため、メッシュやトーラスのようなスケーラブルなオンチップ網の上で数十〜数百コアまで素直に伸ばせます。CXL のコヒーレント相互接続のようなチップ外コヒーレンスでも、この「集中管理点を介す」考え方が土台になります。

共有者の符号化：ベクタとポインタ

ディレクトリが「誰が持つか」をどう表すかで、ストレージ量とスケーラビリティが決まります。

• フルビットベクタ: コアごとに1ビットを持ち、{コア2, コア5} が共有なら該当ビットを立てます。任意の共有集合を正確に表せますが、1ブロックあたり N ビット必要で、ストレージが O(N) で増えます。
• 限定ポインタ: 共有者を「最大 K 個までのコア番号」で記録します。多くのデータは少数のコアでしか共有されないという経験則を突き、K がコア数 N 未満なら大幅に節約できます。共有者が K を超えたら、ブロードキャストへフォールバックするか1個を無効化して空ける（オーバーフロー処理）必要があります。
• 粗いベクタ（coarse vector）: 1ビットを「コアのグループ」に対応させます。グループ内の誰か1つでも持てばビットを立てるため、無効化は当該グループ全体へ送られ、無駄な無効化が混じる代わりにビット数を圧縮できます。

精度を取ればストレージが膨らみ、ストレージを削れば無駄な無効化が増える、という綱引きが符号化選択の本質です。

無効化メッセージと遷移（transient）状態

ディレクトリ方式の難しさは、1つの操作が複数のメッセージ往復に分解される点にあります。スヌープなら1回のブロードキャストで完結したものが、要求→ホーム照会→共有者への無効化→確認応答（ack）→要求元への許可、と段階を踏みます。この途中で別の要求が同じブロックに届くため、ブロックは「安定状態（M/E/S/I）」だけでなく**遷移状態（transient state）**を持つ必要があります。

典型的な書き込みアップグレード（S から M へ昇格）の流れを擬似的に示します。

1. コアA: ブロックX を S で保持中、書き込みたい → ホームへ Upgrade 要求
2. ホーム: ディレクトリ参照 → 共有者 {A, B, C} を確認
           B, C へ Invalidate を送信、A を transient 状態にする
3. B, C : 自分のコピーを Invalid にし、ホーム（または A）へ Ack 返信
4. ホーム: 全 Ack を集めたら A へ書き込み許可、ディレクトリを「所有者=A, 状態=M」へ更新
5. コアA: M へ遷移し書き込み実行

ステップ2〜4の間、A のブロックは「S でも M でもない、Ack 待ちの中間状態」にあります。MOESI ベースのプロトコル仕様では、こうした SM_AD（S から M へ、データと Ack を待つ）のような遷移状態を明示し、その状態で別要求が来たときの振る舞いまで定義します。

ストレージのオーバーヘッドとスケーラビリティ

ディレクトリ方式の代償はディレクトリ自身が消費するメモリです。フルビットベクタでメモリ全体の各ブロックにエントリを持たせると、オーバーヘッドはおよそ次で見積もれます。

オーバーヘッド比 ≒ (状態ビット + N) / (ブロックサイズ × 8)

ブロック 64 バイト、N=256 コアなら 1ブロックあたり概ね 260 ビット強、データ 512 ビットに対して約 5 割という無視できない比率になります。コア数が増えるほどこの比率は悪化するため、緩和策が要ります。

• スパースディレクトリ: 主記憶の全ブロックではなく、現在キャッシュされているブロックだけにエントリを持つ。キャッシュ総容量はメモリよりはるかに小さいので、エントリ数を大幅に削れます。ただしセットアソシアティブな構造になり、エントリが溢れると、まだ使われているブロックを強制無効化（バックインバリデーション）するペナルティが生じます。
• 限定ポインタ／粗いベクタ: 前述の通り、共有者表現自体を圧縮して N 依存を弱める。
• 階層ディレクトリ: ディレクトリをツリー状に分割し、ローカルなコヒーレンスはノード内で閉じ、ノード間だけ上位ディレクトリで管理する。NUMA や複数チップレットの構成でスケーラビリティを稼ぎます。

まとめ

• スヌープはコヒーレンス操作をブロードキャストするため、トラフィックがコア数に比例し、共有媒体前提の中小規模でしか成立しない。
• ディレクトリ方式はブロックごとに共有者を記録し、書き込み時にコピー保持コアだけへ無効化をユニキャストすることで、スケーラブルな網の上で多コアまで伸ばせる。
• 共有者の符号化はフルビットベクタ（正確だが O(コア数)）・限定ポインタ・粗いベクタの間でストレージと無駄な無効化を天秤にかける。
• 操作が複数往復に分かれるため遷移（transient）状態が正しさの中核で、ディレクトリ自身のストレージはスパース化・包含キャッシュ相乗りで抑える。

コア間をつなぐ物理層の事情はPCI Express の階層構造が、命令側でメモリ待ちを隠す仕組みはアウトオブオーダー実行が掘り下げます。可視順序そのものの規約はメモリオーダリングとバリアを併読してください。