量子化と蒸留：モデル圧縮の原理

モデル圧縮は「何を削るか」で三つに割れる

学習を終えた巨大モデルをそのまま動かすと、メモリ帯域・容量・電力のどれかが先に音を上げます。KV キャッシュと LLM 推論の最適化 で見たとおり、推論の多くは演算ではなくデータの読み出しで律速します。だから圧縮の本質は「読み出すバイト数を減らす」ことにあり、削る軸で三つに分かれます。

三者は直交します。量子化はビット軸、蒸留はモデル全体の容量軸、プルーニングは要素数軸。だから「蒸留した小モデルを INT4 量子化し、さらにプルーニングする」といった重ね掛けが成立します。以下、それぞれの内部動作を数理で押さえます。

量子化：丸め写像と校正

量子化の核は、浮動小数点の重み・活性を少ビット整数の格子点に丸めることです。最も基本的なアフィン（非対称）量子化は次の一次変換で定義されます。

量子化:   q = clip( round(x / s) + z,  q_min, q_max )
逆量子化: x̂ = s · (q - z)
  x : 元の実数値（重みや活性）
  s : スケール（ステップ幅）= (x_max - x_min) / (q_max - q_min)
  z : ゼロ点（zero-point）。実数の0が整数のどの格子点に来るか
  q : 量子化後の整数（INT8 なら -128..127、UINT8 なら 0..255）

round で最寄りの格子点に丸め、clip で表現範囲の外を端に張り付かせます。INT8 なら格子点は 256 個しかないので、連続値はその間隔 s の幅に押し込められます。復元値 x̂ と元 x の差が量子化誤差で、丸めだけなら -s/2 〜 +s/2 の範囲に収まり、おおむね一様分布の量子化ノイズとして振る舞います。

ここで決定的なのが**スケール s の決め方＝校正（calibration）**です。s は値域 [x_min, x_max] をどう取るかで決まります。

対称 vs 非対称：z=0 に固定するのが対称量子化で、x̂ = s·q と単純化でき乗算器に優しい。重みは0を中心に分布しがちなので対称が好相性です。一方 ReLU 後の活性は非負に偏るため、z を使う非対称が値域を無駄なく使えます。粒度も効きます——テンソル全体で1つの s（per-tensor）は軽いが粗く、行・チャネル単位（per-channel）は分解能が高い。

INT8 は多くのモデルでほぼ無劣化、INT4 は工夫しないと崩れる、という温度差は、格子点が 256→16 へ激減して s が広がり量子化ノイズが増えるという、この一次変換から素直に説明できます。LoRA と QLoRA の QLoRA が NF4 という専用4bit型を使うのも、正規分布する重みに格子点を最適配置して同じビット数で誤差を抑えるためです。

知識蒸留：温度付きソフトターゲット

蒸留は量子化と発想が違います。大きな教師モデルの振る舞いを、小さな生徒モデルに教え込んでパラメータ数そのものを減らす。鍵は、教師の出力をハードラベル（正解クラスだけ1）でなく、**確率分布（ソフトターゲット）**として使う点です。

なぜソフトターゲットが効くのか。「犬」の画像で教師が 犬=0.9, 狼=0.08, 猫=0.001 と出したとき、ハードラベルは「犬」しか伝えませんが、ソフトターゲットは**「狼に似ていて猫には似ていない」というクラス間の暗黙知（dark knowledge）**まで伝えます。この余分な情報が、少ないパラメータの生徒の学習を強く導きます。

ただし学習済み教師の softmax は正解クラスがほぼ1に飽和し、他クラスがゼロ近くに潰れて差が見えません。そこで温度 T を導入し、ロジット z を T で割ってから softmax します。

ソフトマックス（温度付き）:
  p_i(T) = exp(z_i / T) / Σ_j exp(z_j / T)

  T = 1  : 通常の softmax（飽和して鋭い）
  T > 1  : 分布が「なめらか」になり、小さな確率の差が浮き上がる
  T → ∞  : 一様分布に近づく

T を上げるとロジットの差が圧縮され、潰れていたクラス間の相対関係が表に出ます。蒸留の損失は、この温度を上げた生徒と教師のソフト分布を一致させる項と、通常の正解ハードラベルとの項を重み付き和にします。

L = α · T² · KL( 教師_soft(T) ‖ 生徒_soft(T) )   ← ソフトターゲット項
  + (1 - α) · CE( 正解ラベル,  生徒_soft(T=1) )   ← 通常の分類項

プルーニング：要素を削る、ただし「速くなるか」は別問題

プルーニングは、重要度の低い重みをゼロにして取り除く圧縮です。最も単純な基準は重みの絶対値——小さい重みは出力への寄与が薄いとみなして刈る（magnitude pruning）。より原理的には、重みを動かしたときの損失の増加量で重要度を測ります。

重要度の近似（テイラー展開）:
  ΔL ≈ (∂L/∂w) · Δw + (1/2) · Δw² · (∂²L/∂w²)
  → 重みを w から 0 にする（Δw = -w）ときの損失増加で重要度を評価

学習が収束していれば一次の勾配項は小さく、二次（ヘシアン）項が効きます。これを使うのが OBD/OBS 系の古典手法で、現代の LLM 向け手法（SparseGPT 等）も二次情報の近似を用いて、刈った分を残りの重みで補正します。

決定的なのは、「ゼロを増やす＝速くなる」ではないことです。粒度で性質が割れます。

刈った直後は精度が落ちるため、再学習（fine-tune）で回復させるのが通例です。一度に大きく刈らず、刈る→微調整を繰り返す反復的プルーニングのほうが、同じ最終疎度でも精度を保ちやすい。これは ニューラルネットワーク の重み分布が、急な摂動より緩やかな変化に強いことの現れです。

三手法をどう組み合わせるか

削る軸が直交するので、圧縮は単一手法でなくパイプラインで考えます。

実務の順序は、まず蒸留でアーキテクチャ規模を落とし、プルーニングで残りの冗長を削り、最後に量子化でビットを詰める、という流れが噛み合います。蒸留と量子化を一体化したのが、4bit に凍結した土台へ高精度アダプタを乗せる QLoRA の発想で、LoRA と QLoRA に詳説があります。

まとめ：圧縮は「どのバイトを諦めるか」の設計

モデル圧縮は魔法ではなく、情報をどこで捨てるかの選択です。量子化は値の分解能を、蒸留はモデルの容量を、プルーニングは重みの個数を諦め、その代わりにメモリと速度を得ます。

この三軸を持つと、「INT8 にしたら急に精度が落ちた」「蒸留した生徒が伸びない」「刈ったのに速くならない」といった現象を、校正・温度・粒度の言葉で切り分けられます。土台となる重み更新の感覚は ニューラルネットワーク と、巨大モデルを実際に動かす推論側の制約は KV キャッシュと LLM 推論の最適化 や LLM と Transformer と合わせて読むと、「何を削れば何が軽くなるか」が一枚の地図につながります。