転移学習

ゼロから絵の描き方を学ぶ人より、すでに別のジャンルを描ける人のほうが、新しいジャンルを早く習得できます。転移学習は、この「すでに身につけた力を流用する」発想を機械学習に持ち込んだものです。

なぜ「一から学ばない」のか

ディープラーニングで高い精度を出すには、本来とても多くのデータと計算資源が要ります。しかし現実には、自分の手元に数百枚しか画像がない、といった状況がほとんどです。

そこで、まず巨大なデータセットで汎用的なモデルを学習しておき（事前学習）、それを土台に手元の課題へ作り替えます。土台のモデルは「線・形・質感とは何か」といった汎用的な特徴の見方をすでに獲得しているため、手元のデータが少なくても応用が利きます。

• 少データで戦える：手元のデータが小規模でも、土台の知識が穴を埋めてくれます。
• 学習が速く安い：すべてを学び直さないため、計算コストと時間を大きく節約できます。
• 精度が出やすい：良い初期状態から始まるので、過学習も起こしにくくなります。

どの層を「再利用」するのか

ニューラルネットワークは層を重ねた構造で、**入力に近い層ほど汎用的（線や角の検出）、出力に近い層ほどタスク固有（犬か猫かの判定）**な特徴を担う傾向があります。

転移学習では、汎用的な前半の層はそのまま借り、タスク固有の後半（出力側）だけを差し替えて学習し直すのが基本です。

# 学習済みモデルを土台に、出力側だけ付け替えるイメージ（擬似コード）
base = load_pretrained_model()      # 巨大データで事前学習済み
base.freeze_layers()                # 前半の層は重みを固定（凍結）
model = base + new_output_layer()   # 出力層を自分のタスク用に交換
model.train(my_small_dataset)       # 手元の少データで学習

凍結した層は「すでに身についた一般教養」、付け替えた層は「これから覚える専門知識」にあたります。

ファインチューニングとの関係

転移学習とファインチューニングは混同されがちですが、転移学習という大きな枠の中の、具体的な手段の一つがファインチューニングだと捉えると整理できます。

観点	特徴抽出 (feature extraction)	ファインチューニング (fine-tuning)
既存層の扱い	凍結したまま使う	一部または全部を再学習する
主に学習する箇所	付け替えた出力層のみ	出力層＋既存層の重み
必要なデータ量	ごく少量でも可	やや多めが望ましい
計算コスト	軽い	重め
向く場面	元タスクと課題が近い	元タスクとややズレる

まず出力層だけ学習する「特徴抽出」で当たりをつけ、精度が頭打ちなら既存層も少し動かす「ファインチューニング」へ進む、という順番が手堅い進め方です。なお大規模言語モデルの文脈での使い分けは ファインチューニングと RAG も参照してください。

どこに使われているか

転移学習は今やディープラーニング実務の標準的な前提になっています。

• 画像認識：汎用画像で事前学習したモデルを、医療画像や製品の欠陥検出へ転用します。
• 自然言語処理：大量テキストで事前学習したTransformerを、分類・要約・固有表現抽出などへ適応させます。
• 音声：汎用音声モデルを、特定の話者や業界用語向けに調整します。

実のところ、現在の大規模言語モデルを「自分の用途に合わせる」営みそのものが、巨大な事前学習モデルを土台にした転移学習の一形態です。

まとめ

• 転移学習は、学習済みモデルの知識を別タスクへ流用する手法です。
• 入力に近い汎用層は再利用し、出力に近い層を付け替えて学習し直します。
• 少データ・短時間でも精度を出しやすく、過学習も抑えやすいのが利点です。
• 具体的手段として特徴抽出とファインチューニングがあり、軽い方から試すのが定石です。
• 元タスクと課題が近いほど効果的で、かけ離れると負の転移に注意が必要です。