ドロップアウトの理論：アンサンブルとベイズ近似

ドロップアウトを「アンサンブル」として読み直す

ドロップアウトは、学習ステップごとに各ユニットを確率 p で独立に無効化（出力を0に）する手法です。実装は数行ですが、これを単なる「ランダムなノイズ注入」と捉えると本質を取り逃がします。正しくは 1つの重み集合を共有しながら、指数的に多数の部分ネットワークを同時に訓練し、推論時にそれらを平均する暗黙のアンサンブル です。ここでは(1)なぜアンサンブルになるか、(2)推論時の重みスケーリング、(3)MC Dropout によるベイズ的解釈、を順に正確に詰めます（→ 正則化（過学習対策））。

2^n 個の部分網という見方

n 個のドロップアウト対象ユニットがあるとき、各ユニットは「残す／落とす」の2状態を取ります。1回の前向き計算で適用されるマスク（どれを落とすか）は、この組み合わせのうちの1つです。組み合わせは全部で 2^n 通りあり、それぞれが 元の網から枝を間引いた異なる部分ネットワーク に対応します。

マスク m を各ユニットに掛ける（学習時）
  h_i ~ Bernoulli(1-p)        各ユニットを確率 1-p で残す
  出力 = (h ⊙ a)·W            ⊙ は要素ごとの積、a は活性

  → マスクの取り方は 2^n 通り = 2^n 個の部分網

重要なのは、これらの部分網が 重みを共有 している点です。独立に 2^n 個のモデルを持つのではなく、1つの大きな網の重みを使い回す。各ステップでマスクを引き直すことは「2^n 個の部分網からランダムに1つを選んで、その1ステップ分だけ学習する」ことに等しく、学習全体は 重み共有つきのアンサンブル学習 になります。共有があるからこそ、指数個のモデルを現実的なメモリで訓練できます。

推論時の重みスケーリング：なぜ (1-p) を掛けるのか

学習時は毎回違う部分網を使いますが、推論で 2^n 個すべてを実際に走らせて平均するのは非現実的です。そこで使うのが 重みスケーリング近似（weight scaling inference rule）：推論では全ユニットを有効にした「丸ごとの網」を1回走らせ、各ユニットの出力に 学習時にそのユニットが残った確率 1-p を掛けます。

なぜこの係数か。学習時、あるユニットの出力 a は確率 1-p でそのまま下流に流れ、確率 p で0になります。下流が受け取る入力の 期待値 は (1-p)·a です。推論で全ユニットを常時オンにすると、下流は a をそのまま受け取り、期待値が学習時の 1/(1-p) 倍に膨らんでスケールがずれます。そこで推論時に 1-p を掛け、下流が受ける期待入力を学習時と一致させます。

学習時、下流が受け取る期待入力 = (1-p)·a
推論時に全オンだと            = a        ← (1-p) 倍ずれる

→ 推論時に出力へ (1-p) を掛けて期待値を一致させる

これは線形（や区分線形）な範囲では、2^n 個の部分網の出力の 幾何平均 を効率的に近似することが知られており、単なる経験則ではありません。

inverted dropout：補正を学習側へ前倒しする

素朴な実装では推論時に 1-p を掛けますが、現代のフレームワークが採る標準は inverted dropout（逆ドロップアウト） です。発想は「期待値の補正を、推論ではなく学習時に済ませてしまう」こと。学習時にマスクを掛けた直後、残ったユニットを 1/(1-p) 倍に増幅 します。

inverted dropout（学習時）
  mask = Bernoulli(1-p) のサンプル
  out  = (a ⊙ mask) / (1-p)     # 残った側を 1/(1-p) 倍

推論時（変更なし）
  out  = a                       # スケーリング不要、全オンで素通し

こうすると学習時点で期待入力が (1-p)·a·1/(1-p) = a に揃うため、推論コードはドロップアウトを一切意識せず素のまま で済みます。p（ドロップ率）を学習中に変えても推論側を触らなくてよく、推論経路に余計な乗算が入らない利点もあります。「inverted」は補正の係数 1/(1-p) が素朴版の 1-p の逆数であることに由来します。

MC Dropout：推論時もドロップを残してベイズ近似する

通常、ドロップアウトは学習時だけ有効にし推論時は切ります。これを覆すのが MC Dropout（Monte Carlo Dropout） です。推論時にもドロップアウトをオンのまま、同じ入力を T 回通してマスクを毎回引き直し、T 個の予測を得ます。各回は異なる部分網による予測なので、出力はばらつきます。

MC Dropout（推論時、ドロップアウト ON のまま）
  for t in 1..T:
      y_t = f(x; マスクを毎回サンプリング)
  平均      μ = (1/T) Σ y_t      → 点予測
  分散      s = (1/T) Σ (y_t-μ)^2 → 予測の不確実性

これが理論的に意味を持つのは、Gal と Ghahramani（2016）が、ドロップアウト付き網の学習が ガウス過程の変分近似 に対応すること、すなわち MC Dropout のサンプリングが 重みの事後分布からの近似サンプリング（近似ベイズ推論） とみなせることを示したためです。T 回のサンプルは、点推定ではなく 予測分布 を与えます。

3つの見方を1枚に整理する

まとめ

ドロップアウトは、1組の重みを共有したまま 2^n 個の部分網を確率的に訓練し、推論でそれらを平均する 暗黙のアンサンブル です。学習時にユニットを確率 1-p で残すため、推論で全オンにすると期待入力がずれます。これを補正するのが重みスケーリングで、現代標準の inverted dropout は補正係数 1/(1-p) を学習時に前倒しして推論コードを素のままに保ちます。さらに推論時もドロップアウトを残して T 回サンプリングする MC Dropout は、近似ベイズ推論として予測分布を与え、平均で点予測・分散で不確実性を見積もれます。「ランダムに枝を切る雑な技」ではなく、アンサンブル・効率的平均化・近似ベイズという3層の原理が同居した手法だと捉えると、設定（ドロップ率や適用層）を選ぶ判断もぶれません。