ストレージスタックとI/Oパス ─ ブロック層・キュー深度・NVMe多重キュー

アプリの1回のreadは何層を下るか

アプリケーションが read() を1回呼ぶと、その要求はカーネル内のいくつもの層を順に下り、最終的にストレージデバイスへ届きます。各層には固有の役割があり、ここを把握しないとボトルネックの所在を見誤ります。

アプリ (read/write, またはio_uring/AIO)
  │  システムコール
VFS (Virtual File System)      ... ファイル抽象を統一、ファイルシステムへ振り分け
  │
ページキャッシュ                ... ヒットすればここで完了（デバイスへ行かない）
  │  ミス時
ファイルシステム (ext4/XFS等)   ... ファイル内オフセット -> ブロック番号へ変換
  │  bio（ブロックI/O要求）を発行
ブロック層 (blk-mq)            ... requestへまとめ、マージ・スケジュール
  │
デバイスドライバ (NVMe/SCSI)   ... ハードウェアのキューへ投入
  │
ストレージデバイス

ここで決定的に重要なのは、多くのreadはデバイスまで到達しないという点です。ページキャッシュにヒットすれば、物理I/Oを一切起こさずメモリコピーだけで返ります。デバイスまで下りるのはキャッシュミス、ダイレクトI/O（O_DIRECT）、あるいは書き戻し（writeback）のときです。

ブロック層が果たす仕事 ─ bioからrequestへ

ファイルシステムはファイル内オフセットをデバイス上のセクタ範囲へ変換し、bio（ブロックI/O記述子。転送先メモリページ・対象セクタ・方向を持つ）を発行します。ブロック層はこのbioを受け取り、requestへとまとめてデバイスドライバへ橋渡しします。途中で行われる主な処理が2つあります。

• マージ: 隣接セクタへの複数bioを1つのrequestへ結合する。発行回数とオーバーヘッドが減り、特にHDDではシーク削減に直結する。
• スケジューリング（並べ替え）: requestの順序を入れ替えて効率や公平性を上げる。HDD時代はシーク最小化（エレベータ法）が主目的だったが、SSD/NVMeではシークが無いため、目的は公平性やレイテンシ制御へ移っている。

複数のbio（連続セクタ）
  bio: sector 100-107
  bio: sector 108-115   --マージ-->  request: sector 100-123
  bio: sector 116-123

なぜblk-mqが必要だったか ─ 単一キューの限界

かつてのブロック層は、デバイスごとに1本の要求キューを1つのスピンロックで守っていました。シングルキューでは、I/Oを発行する全コアがこのロックを奪い合います。コア数が増え、デバイスが毎秒数十万〜百万IOPSを捌けるNVMe世代になると、このロック競合とキャッシュライン共有がそのままスループットの天井になりました。

そこで導入されたのが blk-mq（Multi-Queue Block Layer） です。キューを2段に分けて競合を排します。

blk-mqの2段キュー構造
  コア0  コア1  コア2  コア3      ... 各コアにソフトウェアキュー（per-CPU）
   │      │      │      │
   └──────┴───┬──┴──────┘
              ▼ マッピング
   HWキュー0        HWキュー1      ... デバイスのハードウェアキューに対応
   （NUMA/コア群ごと）
              ▼
          NVMeデバイス

• ソフトウェアキュー（per-CPU）: コアごとに専用。同じコアからの発行はロックを取り合わず、ローカルに積める。
• ハードウェアキュー: デバイスが持つ実際のキュー数に対応。ソフトウェアキューはこれへ多対一または一対一で写像される。

要点は、ロックをコア単位に分割してグローバルな1点競合を消したこと、そしてデバイスが複数キューを持つならコアからデバイスまで並列パスを通せることです。これによりNVMeの並列性をソフトウェア側が初めて活かせるようになりました。

NVMeの多重キュー ─ コア毎のSQ/CQ対

旧来のAHCI/SATAはキューが事実上1本（NCQで深度32）で、コア間で共有せざるを得ませんでした。NVMe はこの前提を覆し、最大で数万本のキューを定義できる仕様として設計されています。中核はSQ（Submission Queue）とCQ（Completion Queue）の対です。

NVMeのキュー対（コアごとに割り当て）
  コアN ─┬─ SQ（投入キュー）   : ホストがコマンドを書き込む
         └─ CQ（完了キュー）   : デバイスが完了通知を書き込む

  動作:
   1. ホストがSQへコマンドを書く
   2. ホストがSQの Tail Doorbell レジスタを更新（「N件積んだ」）
   3. デバイスがSQからコマンドをフェッチし実行
   4. デバイスがCQへ完了エントリを書き、MSI-X割り込みを上げる
   5. ホストが処理し CQ Head Doorbell を更新

決定的な設計が、SQ/CQ対をコアごとに持てることです。コアNは自分専用のSQ/CQだけを触るため、キューを巡るロックもキャッシュライン共有も発生しません。blk-mqのハードウェアキューはこのNVMeのSQ/CQ対へ自然に対応します。さらにSQは深いキューを許し、ホストはドアベルを叩く前に複数コマンドをまとめて積んでから一度に通知できるため、コマンド発行あたりのオーバーヘッド（MMIO書き込み回数）が下がります。完了側も割り込み合体で複数完了を1割り込みに束ねられます。この「コア毎キュー＋多重発行＋合体」が、NVMeが百万IOPS級を捌ける構造的な理由です。

キュー深度・IOPS・レイテンシ ─ リトルの法則

ここまでの「キューを深くできる」という話が、性能にどう効くのかを原理で押さえます。鍵は待ち行列理論のリトルの法則です。定常状態で、システム内に滞留する平均要求数（=実効キュー深度 QD）は、到着率（=達成IOPS）と平均応答時間（=レイテンシ L）の積に等しくなります。

リトルの法則:  QD = IOPS × L
  これを変形すると
                IOPS = QD / L

この一本の式が、ストレージ性能の挙動をほぼ説明します。

• 深度1（QD=1）: 1要求の完了を待ってから次を出す同期I/O。IOPS は 1 / L で頭打ち。レイテンシ100マイクロ秒なら最大1万IOPSにしかならず、デバイスの帯域は全く使い切れない。
• 深度を上げる: 複数要求をデバイスへ同時に滞留させると、デバイス内部の並列性（NVMeの多チャネル・多ダイ並列）が稼働し、IOPS が深度に比例して伸びる。
• 飽和点: デバイスの並列度（さばける最大同時数）を超えて深度を増やすと、IOPS はもう伸びず頭打ちになる。このときさらに深くしても、増えた要求はキューで待つだけなのでレイテンシ L だけが線形に増える。

キュー深度を上げたときの典型的な挙動
  IOPS  ┤          ____________  飽和（帯域上限）
        │        /
        │      /
        │    /                ← 線形に伸びる領域（並列度に余裕）
        │  /
        └/───────────────────► キュー深度
  L     ┤              /        飽和後はレイテンシだけ増える
        │            /
        │__________/
        └───────────────────► キュー深度

実効キュー深度を高く保つには、アプリが非同期に多数のI/Oを出し続ける必要があります。同期 read() を1スレッドで回すとQDは常に1ですが、io_uring や非同期I/O、あるいは多数のスレッドで発行すれば、デバイスへの滞留数を増やして並列性を引き出せます。NVMeとblk-mqが用意した並列パスは、こうして発行側が深さを供給して初めて活きます。

まとめ

• アプリのI/OはVFS・ページキャッシュ・ファイルシステム・ブロック層・ドライバを順に下り、ページキャッシュにヒットすればデバイスへ達しない。ブロック層はbioをrequestへマージし並べ替える。
• 単一キュー＋単一ロックの旧ブロック層はNVMe世代の並列性に追従できず、blk-mqがper-CPUソフトウェアキューとハードウェアキューでロック競合を解消した。
• NVMeはコア毎にSQ/CQ対を割り当て、ロックもキャッシュライン共有もなく多数のコマンドを並行発行する。ドアベルのバッチ化と割り込み合体が発行・完了のオーバーヘッドを抑える。
• 達成性能はリトルの法則 IOPS = キュー深度 ÷ レイテンシに従う。深度を上げるとIOPSは飽和まで伸び、飽和後はレイテンシだけが延びる。深さはスループットとレイテンシを秤にかけるツマミである。

並列化が頭打ちになる構造はアムダール／グスタフソンの法則とも通じ、デバイスへの最終段は割り込みと例外処理が完了を運びます。I/Oが「どの層で止まり、どこで並列化され、何が往復のコストになるか」を押さえると、ストレージ性能の数字が腑に落ちます。