バッチ正規化の理論：内部共変量シフト論争

BatchNormは何をしているか

Batch Normalization（2015, Ioffe & Szegedy）は、層の活性を ミニバッチ単位で標準化 してから学習可能なスケール・シフトを掛ける操作です。形状 (N, C)（N＝バッチ、C＝特徴/チャネル）の活性 x に対し、チャネル c ごとに次を計算します。

ミニバッチ統計（チャネル c ごと）:
  μ_c  = (1/N) Σ_n x[n, c]
  σ²_c = (1/N) Σ_n (x[n, c] - μ_c)²

標準化と復元:
  x̂[n, c] = (x[n, c] - μ_c) / √(σ²_c + ε)
  y[n, c]  = γ_c · x̂[n, c] + β_c      # γ, β は学習対象、ε は0割り防止（例 1e-5）

肝は 統計 μ/σ² がバッチ全体に依存 する点です。あるサンプルの出力が同じバッチの他サンプルに左右される——この結合が長所（正則化効果）と短所（小バッチ破綻）の両方を生みます。各軸の取り方の全体像は 正規化層の内部 を参照してください。

当初の主張：内部共変量シフトの抑制

元論文の動機は 内部共変量シフト（internal covariate shift, ICS） の抑制でした。深いネットワークでは、前段の重みが更新されるたびに後段の入力分布（平均・分散）が動きます。各層が「動く標的」へ適応し続けねばならず、活性が飽和域に押し込まれて勾配が消えたり、層ごとに最適な学習率が食い違ったりして収束が遅れる、という説明です。BatchNormは各層入力を平均0・分散1へ揃え直すことでこの分布変動を抑え、学習を安定・加速させる——というのが当初のストーリーでした。

反証：内部共変量シフトは主因ではない

2018年の "How Does Batch Normalization Help Optimization?"（Santurkar ら, MIT）はこの因果関係に正面から反論しました。実験は明快です。

• ノイズ注入実験：BatchNormの 後ろに、時間とともに分布が動く非ゼロ平均・非単位分散のノイズを意図的に加える。これで各層入力の分布は激しく揺れ、ICSは元のネットワークより 悪化 する。にもかかわらず、学習速度はBatchNorm付きとほぼ同等のまま速い。ICSが主因なら説明できない結果です。
• ICSの直接測定：勾配を「前段更新の前後でどれだけ変わるか」で定量化すると、BatchNormはICSをほとんど減らしておらず、むしろ増やす場合すらあった。

結論は「BatchNormの効能はICS抑制では説明できない」。では何が効いているのか——著者らは 最適化地形（loss landscape）の平滑化 を主因として挙げます。

本当の機構：損失地形の平滑化とリプシッツ性

平滑化を厳密に述べると、BatchNormは 損失関数のリプシッツ性 と 勾配のリプシッツ性（β平滑性） を改善します。用語を整理します。

• リプシッツ連続（L-リプシッツ）：任意の2点で |f(a) - f(b)| ≤ L · |a - b|。出力の変化が入力の変化で上から抑えられ、損失が急峻に跳ねない。
• β平滑（勾配がβ-リプシッツ）：勾配自体が |∇f(a) - ∇f(b)| ≤ β · |a - b| を満たす。勾配が場所によって暴れず、予測可能 になる。

BatchNormを入れるとこれらの定数が小さくなる（地形がなだらかになる）ことを論文は理論・実験の両面で示しました。直感的な効果は次の通りです。

平滑化がもたらすもの:
  1. 現在地の勾配方向が「少し先」でも有効なまま      → 大きな学習率で踏み込める
  2. 勾配の大きさ・向きの急変が減る                  → 学習率に鈍感（安定）
  3. 損失曲面の谷が広く滑らかになる                  → 初期値・経路に頑健

要するに「同じ勾配ステップでも、その勾配が遠くまで信頼できる」状態を作ります。だから より大きく、より安定した学習率 を使え、収束が速くなる。最適化アルゴリズム側の挙動と合わせて理解すると効きます（最適化アルゴリズムの系統、勾配降下法）。

推論時：移動統計を固定して使う

推論ではバッチがそもそも存在しない（あるいは1サンプル）ため、バッチ統計を計算できません。BatchNormは学習中に各更新で 移動平均（実行統計, running statistics） を蓄えておき、推論時はそれを 固定定数 として使います。

学習中（指数移動平均, モメンタム m, 例 m=0.1）:
  running_μ  ← (1 - m) · running_μ  + m · μ_batch
  running_σ² ← (1 - m) · running_σ² + m · σ²_batch

推論時（統計は固定。バッチに依存しない線形変換に退化）:
  y = γ · (x - running_μ) / √(running_σ² + ε) + β

ここがBatchNorm最大の運用上の罠です。学習と推論で計算式が違う。学習時の分布と推論時の入力分布がずれる、バッチ統計と移動統計が乖離する、train()/eval() モードの切り替えを忘れる——いずれも推論精度を静かに壊します。実装は標準化の二重集計を避けるため、E[x²] - E[x]² で分散を一括計算するのが定石です。

小バッチでの破綻と代替

統計をバッチ方向に取る以上、N が小さいと μ/σ² の推定が ノイジー になり、標準化が暴れて学習が不安定化します。検出・セグメンテーション（高解像度で N を増やせない）、系列モデル、メモリ制約下の学習で顕在化します。対策は 統計をバッチに依存させない 設計への乗り換えです。

LayerNorm は軸を90度回し、1サンプル内で特徴次元 C をまたいで統計を取ります。バッチに一切依存しないため、バッチ1でも可変長系列でも 学習と推論が完全に同一 の計算になります。これがTransformerでBatchNormが使われない理由です。

GroupNorm（2018, Wu & He）は中間解です。チャネルを G 個の群に分け、各群内＋空間方向で統計を取ります。G=1 ならLayerNorm相当、G=C（1チャネル1群）ならInstanceNorm相当という連続体で、バッチ非依存ゆえ バッチサイズに精度がほぼ依らない。小バッチの物体検出や生成モデルでBatchNormの置き換えとして広く使われます。

まとめ：動機と機構を切り離す

BatchNormは「内部共変量シフトを抑えるから速い」と説明されて広まりましたが、実証研究はこの因果を否定しました。実効的な機構は 損失地形の平滑化（リプシッツ性・β平滑性の改善） であり、それが大きく安定した学習率を許して収束を速めます。一方でバッチ依存という設計は、推論時の移動統計依存と小バッチ破綻という代償を伴い、そこが バッチ非依存のLayerNorm・GroupNormへ乗り換える原理的な分岐点 になります。正規化の選択は汎化挙動とも絡むため、バイアス・バリアンスと二重降下 と合わせて学習安定化の全体像として押さえると、設計判断で迷いません。