ニューラルタンジェントカーネル（NTK）と無限幅理論

なぜNTKを考えるのか：非凸の壁

ニューラルネットの損失曲面は激しく非凸です。にもかかわらず、単純な 勾配降下法 が大域的にうまく機能する——この理論的な謎に答える有力な枠組みが ニューラルタンジェントカーネル（Neural Tangent Kernel, NTK） です。Jacot ら（2018）が示したのは、ネットの幅を無限に広げる極限で学習ダイナミクスが劇的に単純化し、固定されたカーネルによる線形回帰に収束するという事実でした。非凸問題が、解析可能な凸問題へと化けるのです。

鍵は「幅を広げると、各パラメータが出力に与える影響が相対的に小さくなる」点にあります。パラメータ数が膨大なので、関数を望む形に動かすのに各重みはごくわずかしか動かなくてよい。結果として、ネットは初期重みの近傍だけで振る舞い、非線形性が学習中に顔を出さなくなります。

ネットワークの線形化：1次テイラー展開

出力を f(x; θ)（入力 x、パラメータ θ）とします。学習中に θ が初期値 θ0 からほとんど動かないなら、θ0 まわりの1次テイラー展開で十分です。

f(x; θ) ≈ f(x; θ0) + ∇θ f(x; θ0)ᵀ (θ − θ0)
                     ~~~~~~~~~~~~~~~~~~~~~~~
                     パラメータについて線形

ここで重要なのは、f は入力 x については依然として非線形でも、パラメータ θ については線形になっている点です。∇θ f(x; θ0)（出力のパラメータ勾配）を固定された特徴ベクトルとみなせば、これは特徴写像 φ(x) = ∇θ f(x; θ0) を持つ線形モデルにほかなりません。線形モデルの損失（二乗誤差）は θ について凸——ここで非凸の壁が消えます。

この特徴写像から定まる核が NTK です。

Θ(x, x') = ∇θ f(x; θ0)ᵀ ∇θ f(x'; θ0)
         = 2つの入力に対する「出力勾配」の内積

Θ(x, x') は2入力の応答がどれだけ連動して動くかを測ります。これは SVM とカーネルトリック と同じ「特徴空間の内積＝カーネル」の構図ですが、特徴を人手で選ぶのではなくネットの構造（層・活性化・初期化）が自動的に定める点が違います。

学習ダイナミクスがカーネル回帰に化ける

線形化したモデルに勾配流（連続時間の勾配降下）を適用すると、関数空間での訓練誤差の進化が閉じた線形微分方程式で書けます。訓練点での残差ベクトルを r(t) = f(t) − y とすると、

dr/dt = −Θ_train · r(t)
  Θ_train = 訓練点どうしで作る NTK 行列（グラム行列, n×n）
→ r(t) = exp(−Θ_train t) · r(0)

残差は NTK 行列の固有モードごとに指数的に減衰します。固有値が大きい方向（典型的には滑らかな成分）ほど速く学習され、小さい方向は遅い——これが「ネットは低周波・滑らかな関数を先に当てる」という観察の理論的説明になります。十分に学習すれば、未知点 x* の予測はカーネル回帰の閉形式に一致します。

f(x*) = Θ(x*, X) · Θ_train⁻¹ · y
  X = 訓練入力, y = 訓練ラベル

つまり無限幅ネットを勾配降下で学習する＝固定カーネル Θ によるカーネル回帰を解くことと等価になります（上式は正則化項を持たないリッジレス＝補間解で、勾配流を収束させた極限に対応します。早期停止や明示的な正則化を加えればリッジ回帰になります）。学習結果が初期化と最適化のダイナミクスだけで解析的に決まり、収束も汎化も既存のカーネル理論で議論できる——これが NTK の威力です。

遅延学習（lazy training）と特徴学習

NTK 極限の本質は 遅延学習（lazy training） にあります。訓練を通じて重みが初期値からほとんど動かず、各層の内部表現（特徴）も初期化されたままほぼ凍結される領域です。学習しているのは「凍った特徴の線形結合」だけで、特徴そのものは学習されません。

これが有限幅の実ネットとの決定的な違いです。実際のディープラーニングの強さは、層を重ねてデータに適応した表現を獲得すること——すなわち特徴学習（feature learning） にあります。NTK 極限はその能力を捨てた領域なのです。両者を対比します。

どちらの領域に入るかは初期化のスケールで制御できます。出力スケールを大きく取る（または学習率を絞る）と相対的な重み移動が小さくなり遅延学習に、逆に標準的なスケールで幅が有限だと特徴学習に近づきます。Chizat と Bach（2019）は、この「遅延 vs 豊か（rich）」のレジームを初期化スケールの連続的パラメータで橋渡しできることを示しました。

NTK の限界：実ネットの強さは極限の外にある

NTK は強力ですが、実ネットの説明としては不完全です。原理から限界を押さえます。

第一に、特徴学習を捨てている。前述の通り NTK 極限は表現が凍る領域で、転移学習・事前学習・段階的な抽象化といった実ネットの中核能力を構造的に説明できません。実際、NTK が示す純粋なカーネル回帰は、同規模の有限幅ネットに性能でしばしば及びません。

第二に、近似が破れる場面が多い。NTK は「重みがほとんど動かない」前提に立ちますが、現実の学習では重みは大きく動き、NTK 自体が訓練中に変化します。学習率が大きい、訓練が長い、初期化スケールが小さい——こうした実務的な設定はいずれも遅延学習から遠ざかり、NTK の予測精度を下げます。

第三に、幅の有限性が効く。NTK は厳密には無限幅の理想で、有限幅では核がランダムに揺らぎ、訓練中に進化します。皮肉にも、この「揺らぎ・進化」こそが特徴学習の源泉であり、有限幅ネットが NTK を超える余地そのものです。なお、過剰パラメータ化と汎化の関係については バイアス・バリアンスと二重降下 も併せて見ると、NTK が捉える側面と捉えない側面が立体的に見えてきます。

まとめ：解ける極限と、解きたい現実

NTK 理論は、ニューラルネットを解析可能な極限へ写し取ることで、非凸最適化がなぜ機能するのかに明快な答えを与えました。要点を整理します。

結論として、NTK は「幅を無限に広げると、ネットは初期重みまわりで線形化され、固定カーネル Θ によるカーネル回帰に収束する」という美しい等価性を確立し、収束と汎化に厳密な土台を与えました。一方でその極限は特徴を学習しない遅延学習の世界であり、転移や表現獲得といった現代ディープラーニングの本質はそこから外れた領域にあります。NTK は「解ける極限」、現実の実ネットは「解きたいが解けていない特徴学習レジーム」——両者の落差こそが、いま学習理論が埋めようとしている最前線です。背景にある凸性と最適化保証は 凸最適化の収束 を、ネット側の基礎は ニューラルネットワーク を合わせて読むと、NTK の立ち位置がより鮮明になります。