スケーリング則（Chinchilla 則）とモデル設計

スケーリング則とは：損失が規模のべき乗で下がる

大規模言語モデルの学習で経験的に成り立つ最も強力な法則が スケーリング則（scaling laws） です。Kaplan ら（OpenAI, 2020）が示したのは、テスト損失（次トークン予測の交差エントロピー）が、モデルのパラメータ数 N・学習データ量 D・投入計算量 C のそれぞれに対し、きれいなべき則（power law）で下がり続けるという事実でした。

他の2要因がボトルネックにならない範囲では、損失 L は次の形で近似できます。

L(N) ≈ L∞ + (Nc / N)^αN      # パラメータを増やしたとき
L(D) ≈ L∞ + (Dc / D)^αD      # データを増やしたとき
L(C) ≈ L∞ + (Cc / C)^αC      # 計算量を増やしたとき

L∞ は到達しうる下限（データ本来のエントロピー＋取り切れない誤差）、Nc, Dc, Cc はスケール定数、指数 αN, αD, αC は おおむね 0.05〜0.1 程度の小さな値です。両対数（log-log）でプロットすると、損失と規模がほぼ直線に乗る——これがべき則の正体です。

計算量・パラメータ・データの関係：C ≒ 6ND

スケール則を設計に使うには、3者の結びつきを押さえる必要があります。Transformer の学習計算量 C（FLOPs）は、経験則として次で近似されます。

C ≈ 6 × N × D
  N = パラメータ数, D = 学習トークン数
  係数6 = 順伝播(約2) + 逆伝播(約4) の1パラメータ・1トークンあたり演算

この C ≒ 6ND が鍵です。計算予算 C を固定すると、N と D は反比例の関係（N × D = C / 6 が一定）になり、「パラメータを増やせばデータを減らさざるを得ない」というトレードオフが生まれます。ここで初めて「与えられた予算で、N と D をどう配分すれば損失が最小か」という最適化問題が立ちます。これがスケール則をモデル設計の指針に変える分岐点です。

Chinchilla 則：計算予算に対する最適配分

Kaplan らの初期研究は「パラメータを優先的に大きくせよ」と読める結論を出し、GPT-3（175B パラメータ）をはじめ巨大化を後押ししました。これに修正を迫ったのが Hoffmann ら（DeepMind, 2022）の Chinchilla 論文です。

彼らは固定計算量のもとで N と D を系統的に振り、損失を次の形でモデル化しました。

L(N, D) ≈ E + A / N^α + B / D^β
  E = データ固有の到達下限（既約損失）
  A/N^α = パラメータ不足による損失
  B/D^β = データ不足による損失
  実測の指数: α ≈ 0.34, β ≈ 0.28 （ほぼ同程度）

ポイントは α と β がほぼ等しいこと。C ≒ 6ND の制約下でこの L(N, D) を最小化すると、N と D を同じ割合で同時に伸ばすのが最適という結論になります。具体的には、計算予算 C に対して最適な値は次のスケールに従います。

N_opt ∝ C^a,  D_opt ∝ C^b   （a ≈ b ≈ 0.5）
→ 計算予算を10倍にしたら、パラメータもデータも約√10 ≈ 3.2倍ずつ

初期 Kaplan 則との差は、学習率スケジュール（コサイン減衰の合わせ方）や小規模実験の外挿の扱いに起因するとされます。Chinchilla はそこを補正し、**「パラメータ偏重は誤り。データも同率で増やせ」**を実証しました。

GPT-3 と Chinchilla：同じ計算で配分を変える

理論を最も雄弁に語るのが、両モデルの実測比較です。Chinchilla は GPT-3 等と同等の計算予算でありながら、パラメータを大幅に減らしデータを大幅に増やすことで、広範なベンチマークで上回りました。

含意は2つあります。第一に、GPT-3 はパラメータが大きすぎ・データが足りていなかった——同じ計算をデータに回す方が得でした。第二に、Chinchilla は小型なので学習後の推論コスト（メモリ・速度・料金）も安い。つまり Chinchilla 流の配分は、学習効率と運用効率を同時に改善します。これが「20 トークン/パラメータ」という実務上の目安が広まった背景です。

モデル設計への落とし込み

スケーリング則は、抽象論ではなく事前に当たりを付ける道具として使えます。実務での使い方を整理します。

特に強力なのが 外挿による事前見積りです。小〜中規模で損失曲線を取りべき則を当てはめれば、本番の巨大学習を回す前に到達損失を予測でき、無駄な大規模実験を避けられます。GPT-4 級の開発でこの「予測可能なスケーリング」が重視されたのはこのためです。なお、損失（交差エントロピー）の改善が必ずしも下流タスク性能に線形対応しない点には注意が必要で、最終判断は モデル評価 の指標と併せて行います。

まとめ：配分を制す者がコストを制す

スケーリング則は「大きくすれば賢くなる」を超えた、定量的な設計原理です。要点を一枚に整理します。

結論はシンプルです。同じ計算予算でも、パラメータとデータの配り方ひとつで損失は大きく変わり、配分を誤れば GPT-3 のように容量を浪費する。Chinchilla 則は「N と D をほぼ同率で、約20トークン/パラメータを目安に」という具体的な針路を与え、さらに運用フェーズでは推論コストを軸に最適点を意図的にずらす——この見立てを持つと、闇雲な巨大化から、目的に対して最小コストの設計へと判断が変わります。前提となる仕組みは LLM と Transformer・ディープラーニング を、損失最適化の基礎は 勾配降下法 を合わせて読むと、点が線でつながります。