正則化（過学習対策）

過学習は、モデルが訓練データを「覚えすぎて」未知データで外す現象です。正則化は、これを防ぐためにモデルが必要以上に複雑になることへ意図的に罰を与える手立ての総称を指します。

なぜ「複雑さに罰則」を与えるのか

機械学習の学習とは、本来「予測の誤差を小さくする」ことを目指す作業です。ところが表現力の高いモデルは、誤差を限界まで小さくしようとして、データのノイズや偶然の偏りまで律儀に拾い上げてしまいます。これが過学習です。

正則化では、学習の目標に「モデルを複雑にしすぎない」という第二の目標を足します。つまり、

• 誤差を小さくしたい（本来の目標）
• でも複雑になりすぎたら罰を受ける（追加の目標）

この2つを天秤にかけることで、モデルは「データに合わせつつ、なるべくシンプルに保つ」方向へ誘導されます。複雑さを抑えると、訓練データの細部に振り回されにくくなり、結果として未知データでも崩れにくいモデルになります。

L1 正則化と L2 正則化

最も基本的な正則化が、パラメータ（重み）が大きくなりすぎたら罰則を加えるやり方です。重みが大きいほど、その特徴に強く反応する＝モデルが複雑にとがる、と考えられるため、重みを抑えると挙動がなめらかになります。

学習で最小化する量のイメージ

  L2:  予測の誤差  +  λ × (重みを二乗して合計)
  L1:  予測の誤差  +  λ × (重みの絶対値を合計)

  λ（ラムダ）：罰則の強さを決めるつまみ。大きいほど強く効く。

L1 と L2 は罰則の与え方が異なり、もたらす効果も変わります。

観点	L1 正則化	L2 正則化（重み減衰）
罰則の中身	重みの絶対値の合計	重みの二乗の合計
重みへの作用	不要な重みをゼロにする	全体を小さく丸める
特徴選択	効く（重要な特徴だけ残る）	起きにくい
向く場面	不要な特徴をそぎ落としたい	なめらかさを重視したい

要点は、L2 は重みを全体的に小さくしてモデルをなめらかに保ち、L1 は不要な重みをゼロに寄せるため、実質的に「重要な特徴だけを選ぶ」働きをすることです。

ニューラルネット向けの正則化

ニューラルネットワークでは、重みへの罰則以外にも独自の正則化がよく使われます。

• ドロップアウト：学習のたびに、一部のニューロンをランダムに無効化します。特定の経路に頼り切るのを防ぎ、頑健な特徴を学ばせる狙いです。「いつもの仲間が休んでも回るチーム」を作るイメージです。
• 早期終了 (early stopping)：学習を進めるほど訓練の精度は上がり続けますが、検証データの精度はどこかで悪化に転じます。その乖離が開き始める直前で学習を打ち切るのが早期終了です。暗記モードに入る前に止める、手軽で強力な方法です。
• データ拡張：直接の罰則ではありませんが、データ拡張で訓練データの多様性を増やすことも、丸暗記を困難にする点で正則化と同じ役割を果たします。

どれを使えばよいか

正則化は複数を組み合わせて使うのが普通で、どれも狙いは「モデルを必要以上に複雑にさせない／一部に頼らせない」ことで共通しています。

• まず早期終了：ほぼタダで効き、学習の回しすぎという最頻出の原因にそのまま効きます。
• L2（重み減衰）を併用：多くのモデルで標準的に添えられる、素直な一手です。
• ニューラルネットならドロップアウト：層が深いモデルで特に効果的です。
• 不要な特徴を削りたいなら L1：特徴選択を兼ねたいときに選びます。

凝った正則化を積む前に、まずはデータ拡張で多様性を増やし、早期終了で回しすぎを止める——この素直な順番が遠回りしないコツです。

まとめ

• 正則化は、複雑さに罰則を与えて過学習を抑える手法の総称です。
• L2 は重みを全体的に小さく、L1 は不要な重みをゼロにして特徴を選びます。
• ドロップアウトは一部のニューロンを無効化し、頼り切りを防ぎます。
• 早期終了は、検証精度が悪化に転じる直前で学習を打ち切ります。
• 狙いはどれも汎化性能の改善で、複数を組み合わせて使うのが普通です。