過学習と汎化

機械学習の目的は、過去のデータを暗記することではありません。まだ見ていないデータに対してうまく予測することです。訓練データでの成績がどれだけ良くても、本番（未知データ）で外れたら意味がない——この当たり前を、技術的にどう担保するかが今回のテーマです。

なぜ「訓練データの正解率」を信じてはいけないか

モデルは、与えられたデータに合うようパラメータを調整します。表現力（=複雑さ）が高いモデルなら、訓練データをほぼ完璧に説明することすら可能です。ところがそのとき、モデルはデータの「本質的な規則」だけでなく、たまたま紛れ込んだノイズや偶然の偏りまで覚え込んでしまいます。

例：テストの点数を「勉強時間」から予測したい

本当の関係（ざっくり）：  点数 ≒ 勉強時間 × 8 + 30
手元のデータ：           実際は測定ゆれ（その日の体調・運）でブレている

× 過学習したモデル：データ点を1つ残らず通る、ぐにゃぐにゃの曲線
   → 手元のデータには完璧。でも新しい人の点数は当たらない
○ ちょうど良いモデル：おおまかな右肩上がりの傾向だけを捉える
   → 個々はズレても、新しい人にもそこそこ当たる

訓練データを通り過ぎる曲線がぐにゃぐにゃなほど、その曲線は「この生徒たちの偶然」に引きずられています。暗記の精度が上がるほど、応用が利かなくなるわけです。

過学習と未学習（アンダーフィッティング）

過学習の反対が未学習（アンダーフィッティング）です。モデルが単純すぎて、訓練データの傾向すら捉えきれていない状態を指します。ちょうど良い地点は、そのあいだにあります。

見るべきは「訓練の誤差と、未知データの誤差のギャップ」です。両方とも悪ければ未学習、訓練だけ良くて未知データが悪ければ過学習、というのが切り分けの基本になります。

汎化を測るための「データ分割」

未知データでの性能を学習中に推し量るため、手元のデータを役割ごとに分けます。これが訓練 / 検証 / テストの3分割です。

ポイントは、テストデータは最後の評価まで絶対に触らないこと。チューニングの過程でテストを覗くと、知らぬ間にテストに合わせ込んでしまい（=リークし）、「本番の難易度」を正しく測れなくなります。

バイアスとバリアンス：過学習を読み解く2つの軸

過学習・未学習は、バイアスとバリアンスという2つの誤差で説明できます。射的の的に例えると直感的です。

• バイアス（偏り）：的の中心から系統的にズレる量。高いと未学習——モデルが単純すぎて的を外す。
• バリアンス（ばらつき）：データが少し変わると予測が大きく暴れる度合い。高いと過学習——データのノイズに過敏に反応する。

射的の的でイメージ

高バイアス・低バリアンス  … 端っこに固まる   → 未学習（一貫して外す）
低バイアス・高バリアンス  … 中心まわりに散らばる → 過学習（運次第で当たり外れ）
低バイアス・低バリアンス  … 中心に集まる     → 理想

両者は基本的にトレードオフの関係にあります。モデルを複雑にするとバイアスは下がりますが、バリアンスは上がる。この綱引きのちょうど良い点を探すのが、過学習対策の本質です。

過学習を抑える定番の手立て

打ち手は色々ありますが、狙いはほぼ共通で「モデルを必要以上に複雑にさせない／一部に頼り切らせない」ことです。代表的なものを並べます。

正則化を少しだけ言葉で補うと、「予測の誤差を小さくする」目標に「パラメータを大きくしすぎない」という second の目標を足すイメージです。L2 正則化（重み減衰）は重みを全体的に小さく丸め、L1 正則化は不要な重みをゼロに寄せて実質的に特徴を選別します。

よくある誤解

もう一つ。過学習は「ディープラーニング特有の問題」ではありません。あらゆる機械学習モデルに共通する、汎化をめぐる普遍的なテーマです（→ 機械学習、深掘りは ディープラーニング や ニューラルネットワーク を参照）。大規模言語モデルでも、特定のデータに合わせ込む ファインチューニング の場面で同じ配慮が要ります。

まとめ

• 目的は訓練データの暗記ではなく、未知データで当てる＝汎化。
• 訓練だけ良く未知データで悪いのが過学習、両方悪いのが未学習。ギャップを見る。
• だから 訓練 / 検証 / テストに分け、テストは最後まで触らない。
• 過学習＝高バリアンス、未学習＝高バイアス。両者のちょうど良い点を探す。
• 対策は 正則化・ドロップアウト・データ拡張・早期終了など。まずはデータを増やす・回しすぎないから。