パラメータ効率ファインチューニング：LoRA と QLoRA

なぜ「全部の重みを動かす」のが現実的でないのか

ファインチューニングと RAG で触れたとおり、土台モデルを手元のタスクに寄せる王道がファインチューニングです。しかし全パラメータを更新する（フルファインチューニング）のは、数十億パラメータ級の LLM では極めて重い。理由はパラメータ数そのものより学習時のメモリ内訳にあります。

70 億（7B）パラメータのモデルを 16bit（2バイト）で持つだけで重みは約 14GB。これに加えて、勾配降下（勾配降下法）に必要な付帯データが乗ります。

注目すべきは、重み本体より「オプティマイザの状態」がはるかに大きい点です。Adam はパラメータごとに1次・2次モーメントを fp32 で保持するため、更新するパラメータが多いほどここが膨らみます。つまり「学習対象のパラメータ数を減らせば、勾配もオプティマイザ状態も比例して減る」——これが PEFT（Parameter-Efficient Fine-Tuning）の動機です。

LoRA の核心：更新量 ΔW を低ランク近似する

フルファインチューニングは、各重み行列 W（形状 d×k）を W + ΔW に更新します。LoRA の出発点は1つの観察です——ファインチューニングで生じる更新 ΔW は、実は「本質的な次元（intrinsic rank）」が低い。膨大な要素を持つ ΔW も、情報としては少数の方向に集中している、という仮説です。

そこで LoRA は ΔW を2つの細長い行列の積で表します。

W' = W + ΔW = W + B·A
  W : d×k （元の重み。凍結＝勾配を流さない）
  B : d×r （学習対象）
  A : r×k （学習対象）
  r : ランク。r ≪ min(d,k)（例 r=8, 16）

d=k=4096、r=8 なら、フルなら 4096×4096 ≈ 1678万 個のパラメータを学習するところ、LoRA は B(4096×8) + A(8×4096) = 6.5万 個で済みます。約 256 分の1です。順伝播は次のように書けます。

h = W·x + (B·A)·x = W·x + B·(A·x)

W·x は凍結した元の経路、B·(A·x) が学習で足される補正経路です。A·x でいったん r 次元に絞ってから B で元の次元へ戻すので、r がボトルネックとして更新の表現力を制限します。

なぜメモリが劇的に減るのか

LoRA の効きどころは、凍結した W には勾配もオプティマイザ状態も不要になることです。学習対象は B と A だけなので、先述の「勾配」「Adam の状態」がそのパラメータ数に比例して縮みます。

実務上のもう1つの利点がデプロイです。W は共通のまま、タスクごとに小さなアダプタ（B,A）を切り替えればよい。1つの土台モデルに翻訳用・要約用・社内用などのアダプタをホットスワップでき、ストレージも転送も軽量です。さらに推論前に W ← W + BA とマージしてしまえば、行列の形は元と同じなので推論レイテンシは一切増えません（Adapter 系が層を挿入して遅くなるのと対照的）。

QLoRA：4bit 量子化と LoRA を組み合わせる

LoRA は学習対象を減らしましたが、凍結した W（fp16 で 14GB）は依然メモリに常駐します。これを削るのが QLoRA です。アイデアは単純で強力——土台 W を 4bit に量子化して凍結し、その上に通常の（16bit の）LoRA アダプタを乗せて学習する。

量子化とは、重みを少ないビット数で近似表現してメモリを圧縮する技術です。fp16 の 16bit を 4bit にすれば、原理上モデルの常駐サイズは約 1/4 になります。QLoRA は精度を保つために3つの工夫を組み合わせます。

肝は**「量子化するのは凍結した土台だけ」**である点です。勾配は 4bit の W を一度 16bit に逆量子化してから、16bit の LoRA アダプタ B,A にだけ流れます。W 自体は更新されないので、量子化による誤差が学習で増幅されることはありません。これにより、フルファインチューニングなら数百GBを要する 65B クラスのモデルを、48GB の単一GPU 1枚で微調整できるようになりました。

まとめ：2つの直交する圧縮

LoRA と QLoRA は、削っている対象が異なります。整理すると見通しが良くなります。

要点は、LoRA が「学習量」を、量子化が「保持量」を、それぞれ別の軸で圧縮していること。QLoRA はこの2つを掛け合わせ、「巨大モデルを丸ごと触れるのは大手だけ」という前提を崩しました。土台となるニューラルネットの重み更新の感覚は ニューラルネットワーク と 勾配降下法、微調整全体の位置づけは ファインチューニングと RAG を合わせて読むと、PEFT が「どこを削って何を保ったのか」が立体的に理解できます。