ソケット間インターコネクトの原理 ─ UPI/Infinity Fabric

なぜソケットを「ただつなぐ」では済まないのか

1枚のマザーボードに2つ以上のCPUソケットを載せたとき、各ソケットは自分専用のメモリコントローラとDRAMを持ちます。ソフトウェアからは1つの連続した物理アドレス空間に見せたい。だが各ソケットのキャッシュは独立しており、ソケットAがあるキャッシュラインを書き換えても、ソケットBの古いコピーは放っておけば矛盾します。ソケットをまたいでもキャッシュコヒーレンシを保つことが、マルチソケットの大前提です。

これを担う専用リンクが、IntelのUPI（Ultra Path Interconnect、QPIの後継）、AMDのInfinity Fabricです。汎用I/OのPCIeとは目的が違い、コヒーレンシトラフィック（読み出し要求・所有権要求・無効化・スヌープ応答）を低遅延で運ぶことに特化しています。

レイヤ構造 ─ 物理層からコヒーレンシまで

UPI/IFは、ネットワークのように層構造で設計されます。下から積み上げると役割が分離されます。

物理層はPCIeと同様の差動シリアル方式ですが、転送単位は**フリット（flit）**と呼ぶ固定長の小片です。リンク層がフリットにCRCを付けて誤りを検出し、壊れれば再送します。最上位のプロトコル層が「このラインの所有権がほしい」「あなたのコピーを無効化せよ」といったコヒーレンシ意味論を運びます。層を分けることで、物理層の世代更新（速度向上）とプロトコルの安定を独立に進められます。

ソケット間リンクのスタック（UPI/Infinity Fabric）
  プロトコル層 : Read/RFO/Snoop/Invalidate … 一貫性メッセージ
  リンク層     : フリット化・CRC・リトライ・クレジット制御
  物理層       : 差動レーン束（高速シリアル）

  ソケットA ─[リンク]─ ソケットB を、この3層で結ぶ

スヌープフィルタとディレクトリ ─ 無駄な照会をどう減らすか

ソケットAのコアが、あるラインを書きたい（所有権がほしい）とします。素朴には全ソケットへスヌープをブロードキャストし「このコピーを持っていたら無効化せよ」と問い合わせます。これは確実ですが、ソケット数が増えると問い合わせトラフィックが膨らみます。そこで2つの間引き機構が使われます。

スヌープフィルタは「他ソケットがどのラインをキャッシュし得るか」を要約して保持し、明らかに誰も持たないラインへのスヌープを省きます。ディレクトリはより踏み込み、各ラインのホーム（そのアドレスを所有するメモリ側）に「今どのソケットがコピーを持つか／状態は何か」を記録し、実際に持つ相手にだけ無効化をユニキャストします。この発想はコア間のディレクトリ方式コヒーレンシをソケット粒度へ拡張したものです。

ソケットAが書き込み所有権(RFO)を得る流れ（ディレクトリ有り）
  1. A → ホーム : このラインのRFO（書きたい）
  2. ホーム     : ディレクトリ照会 → 共有者はBだけと判明
  3. ホーム → B : 無効化スヌープ（ブロードキャストしない）
  4. B → ホーム : 無効化完了の応答
  5. ホーム → A : 所有権付与＋最新データ
  → 持たないソケットには一切問い合わせが飛ばない

NUMAのリモート遅延はどこから来るのか

各ソケットが自分のメモリを持つ構成は、本質的に**NUMA（Non-Uniform Memory Access）**です。あるコアから見て、自ソケットのDRAM（ローカル）と他ソケットのDRAM（リモート）で遅延が異なります。リモートアクセスの遅延は、おおむね次の合算です。

• リンク往復：要求とデータが少なくとも1回、ソケット間リンクを越える物理的な飛行時間。
• ホーム/ディレクトリ照会：所有権と共有者を確認する処理。リモートメモリでも、最新コピーが別ソケットのキャッシュにあれば、そこからの転送（キャッシュ間転送）が加わる。
• オンチップ網の通過：両ソケット内のメッシュ/リングを横断する時間。

ここで重要なのは、リモートが遅いのはDRAMが遅いからではなく、リンクとコヒーレンシ確認が間に挟まるからだという点です。だからこそOSはメモリをアクセスするコアと同じソケットに割り当てよう（first-touchポリシー）とし、スレッドとメモリのソケット親和性を保つことが性能を左右します。読み書きが頻繁に共有されるデータは、ソケットをまたぐとフォルスシェアリング同様、無効化往復が一気に増えて崩れます。

ソケット数スケールの限界

なぜ多くのサーバーが2ソケット、せいぜい4〜8ソケットで止まるのか。理由はコヒーレンシの配線とトラフィックの増え方にあります。全ソケットを直接リンクで結ぶ全対全トポロジでは、必要なリンク本数はソケット数Nに対して N×(N-1)/2 本となり、ほぼNの2乗に比例して増えます。2ソケットなら1本、4ソケットなら6本、8ソケットなら28本のリンクが要り、各CPUのリンクポート数（物理的なピンとレーン）が早々に枯渇します。

全対全リンク数の増え方（コヒーレント結合）
  2ソケット :  1本
  4ソケット :  6本
  8ソケット : 28本
  → ポート数・配線・スヌープトラフィックが2乗的に圧迫

直接結べないソケットへは他ソケットを経由（マルチホップ）するため、遠いソケットほど遅延が増え、NUMAの距離が階層化します。スヌープフィルタやディレクトリでトラフィックは間引けても、リンクポート数とマルチホップ遅延という物理制約は残ります。これを越えるには、ソケット間を専用のファブリックスイッチ（外部ノードコントローラ）で束ねる非対称トポロジへ移行し、グルーピングして階層化します。だが階層が増えるほど最遠ノードの遅延が伸び、コヒーレンシ維持のコストも上がるため、ある規模からはコヒーレンシを諦めて疎結合クラスタにする方が割に合います。これがスケールアップ（大きな1台）とスケールアウト（多数の小さな台）の分岐点です。

まとめ

• UPI/Infinity Fabricはソケット間を結ぶコヒーレントリンクで、物理層・リンク層・プロトコル層を重ね、別ソケットのキャッシュ/メモリまで一貫性を1つのアドレス空間として延ばす。
• 全対全のブロードキャストスヌープは重いため、スヌープフィルタで無駄を省き、ディレクトリで持つ相手にだけ無効化をユニキャストして照会を間引く。応答の往復が増えるぶんMESIに過渡状態やForward状態が足される。
• リモートメモリ遅延は「リンク往復＋ディレクトリ/スヌープによる所有権確認」が源で、ローカルの約1.5〜2倍。これがNUMAの距離差の正体であり、ソケット親和な配置が性能を決める。
• コヒーレンシ配線とスヌープはソケット数の2乗で重くなり、リンクポートとマルチホップ遅延が律速になるため2〜8ソケットが実用上限。それ以上はファブリックスイッチや、いっそ疎結合クラスタへ移る。

ソケット内のコア間一貫性はキャッシュメモリの原理とディレクトリ方式コヒーレンシが、書き込み共有が崩れる仕組みはフォルスシェアリングが、観測順序の保証はメモリ一貫性モデルが掘り下げます。