CXLとメモリ拡張・コヒーレント接続の原理

なぜPCIeの上に別物が必要なのか

PCIeはデバイスとホストを高速につなぐ標準ですが、その通信はパケット（TLP）を介したメッセージ型I/Oです。デバイスがホストメモリへアクセスするにはDMA要求を投げ、ホストもデバイスメモリを「I/O空間」として扱います。ここには根本的な制約があります。PCIeデバイスはCPUのキャッシュコヒーレンシ網の外側にいるということです。

アクセラレータ（GPUやAI演算器）がホストメモリ上のデータを処理するとき、PCIe越しではデータを自分のローカルメモリへコピーし、結果を書き戻す必要があります。CPUとデバイスが同じデータを共有しても、互いのキャッシュは整合されません。コピーのたびに帯域とレイテンシを浪費し、プログラムモデルも複雑になります。

CXL（Compute Express Link）は、この壁を取り払うために生まれました。鍵は物理層をPCIeから借りる点です。CXLはPCIeの差動レーン・リンクトレーニング・電気的仕様をそのまま使い、同じスロット・同じケーブルで動きます。その上に、コヒーレンシを前提とした独自のプロトコルを載せます。

3つのプロトコルを1本のリンクに多重化する

CXLは1本のリンク上に、役割の異なる3つのサブプロトコルを動的に多重化します。FlexBusと呼ばれる仕組みが、リンクの各スロット（時間枠）を3者へ振り分けます。

CXL.ioは実質PCIeで、デバイスの列挙やレジスタ設定、割り込みを担います。どのCXLデバイスも最低限これを使うため、CXL.ioは常に存在します。残る2つがCXLの核心です。

1本のCXLリンク（PCIe物理層）
  ├─ CXL.io    : 設定・列挙・DMA（PCIe TLPとして流れる）
  ├─ CXL.cache : デバイスがホストメモリのコピーをキャッシュ保持
  └─ CXL.mem   : ホストがデバイス上のメモリをロード/ストアで直読み

  FlexBusがリンクスロットを3者へ多重化し、優先度の高い
  .cache/.memを低レイテンシ枠で運ぶ

CXL.cacheとCXL.memがTLPより薄く低レイテンシなのは意図的です。メモリアクセスのレイテンシは性能に直結するため、PCIeのトランザクション層オーバーヘッドを避け、固定長に近い小さなメッセージで往復を短縮します。

非対称コヒーレンシ ─ ホストが所有権を握る

CXLの一貫性が成立する仕組みは、CPUコア間のMESIによる対称コヒーレンシとは設計思想が異なります。CXLは**非対称（ホスト主導）**です。

CPUコア同士は対等にスヌープし合い、誰もが他者へ無効化要求を出せます。CXLではホスト側に置かれたコヒーレンシエンジンが唯一の調停者となり、あるキャッシュラインを今どのエージェントが所有し、どんな状態（M/E/S/I相当）かを一元的に追跡します。デバイスは自分でスヌープを発行せず、ホストへ要求し、ホストが既存コピーを無効化してから許可を返します。

CXL.cache の所有権獲得（デバイスがホストメモリを書きたい）
  1. デバイス → ホスト : このラインのE/M所有権がほしい（要求）
  2. ホスト           : 他コア/他デバイスのコピーを無効化（スヌープ）
  3. ホスト → デバイス : 所有権を付与（データ＋状態を返す）
  4. デバイス         : ローカルにキャッシュして書き込み

  逆向き（ホストがデバイス保持ラインを必要とする）も
  ホストがデバイスへスヌープ（バックインバリデート）して回収

なぜ非対称にするのか。対称コヒーレンシは全エージェントが対等にスヌープを撃ち合うため、エージェント数が増えるとスヌープトラフィックが組み合わせ的に増大します。データセンターでは多数のデバイスが1ホストへ集まるため、調停をホスト1点に集約する方が状態管理が単純でスケールします。デバイス側のハードウェアも軽くなり、参入障壁が下がります。

CXL.memとメモリ階層 ─ DRAMの先に層を足す

CXL.memの本質は、デバイス上のメモリをホストの物理アドレス空間へ編入することです。CPUは普通のload/store命令でそのメモリを読み書きでき、ソフトウェアからは「少し遅いDRAM」に見えます。DMAやI/O APIは要りません。

ただしアクセスはCXLリンクを1往復するため、ローカルDRAMより遅延が乗ります。そこでメモリ階層に新しい層が加わります。

この「ローカルDRAMより遅いが、ストレージよりは桁違いに速い」位置づけが重要です。OSはこれを**メモリ階層化（ティアリング）**として扱い、よく触るページを近いDRAMへ、冷たいページをCXLメモリへ自動的に移動させます。CPUから見れば連続したメモリ空間ですが、内部ではNUMAの遠ノードに似た距離差を持つ層として管理されます。

ページの自動配置（OS/ファームウェアのティアリング）
  ホットページ  → ローカルDRAM（速い・容量小）
  コールドページ → CXLメモリ   （遅い・容量大）

  アクセス頻度を監視し、昇格/降格でページを移動
  → 容量はCXLで稼ぎ、速度は局所性で取り戻す

メモリプーリングとディスアグリゲーション

CXL 2.0以降が開く最大の地平がメモリプーリングです。従来サーバーはメモリをCPUソケットに固定し、足りなければサーバーごと増設するしかありませんでした。実際には多くのサーバーが割り当てたメモリを使い切れず、**ストランディング（取り残し）**として遊休化します。

CXL 2.0はスイッチを導入し、複数ホストと複数メモリデバイスを網目状に接続します。共有メモリプールから、各ホストへ必要量を動的に切り出して割り当てられます。

        Host A   Host B   Host C
           \       |       /
            +--- CXLスイッチ ---+
            /       |       \
       メモリ        メモリ        メモリ
       デバイス      デバイス      デバイス
        （共有プール：各ホストへ容量を動的割当）

これがメモリ分離（ディスアグリゲーション）です。コア（演算）とメモリ（容量）を別々の資源として独立に増減でき、ワークロードに応じて配分を変えられます。メモリ集約型のジョブには厚く、演算集約型には薄く割り当てれば、ストランディングが減り全体の利用率が上がります。CXL 3.0はさらにマルチレベルスイッチとファブリック化を進め、複数ホストが同一メモリ領域を真に共有（コヒーレントに）する構成まで踏み込みます。

まとめ

• CXLはPCIeの物理層を借り、その上にコヒーレンシ前提の3プロトコル（CXL.io／.cache／.mem）を多重化することで、PCIeでは越えられなかった「デバイスがコヒーレンシ網の外」という壁を取り払う。
• CXL.cacheはデバイスがホストメモリを一貫キャッシュし、CXL.memはホストがデバイスメモリをload/storeで直読みする。整合はホスト主導の非対称コヒーレンシでホストが全所有権を一元管理して保つ。
• CXL.memはデバイスメモリをホストのアドレス空間へ編入し、ローカルDRAMの先の遅いが大容量な階層を作る。OSはティアリングで局所性を取り戻す。
• スイッチによるメモリプーリングでコアとメモリを切り離し、利用率を上げるディスアグリゲーションを実現する。これがデータセンターのメモリ設計の新潮流。

土台となる物理層はPCIeの原理が、整合の比較対象となるコア間一貫性はキャッシュメモリの原理が、そして演算側がメモリ待ちをどう隠すかはアウトオブオーダー実行が掘り下げます。