学習ロードマップ

AI/MLエンジニアの学習ロードマップ

数学の土台 → 機械学習の基礎 → 深層学習 → Transformer/LLM → 学習と最適化 → 推論と運用 の順で、モデルの中身から実運用までを辿ります。

1. 1

   数学と情報の土台

   確率・情報量・最適化の基礎
   情報量とエントロピー確率分布のマップ最尤推定・MAP・ベイズ勾配降下法
2. 2

   機械学習の基礎

   まず古典的な学習と評価から
   機械学習とは教師あり/教師なし過学習バイアスとバリアンス分類の評価指標(ROC)
3. 3

   深層学習

   ニューラルネットと学習の仕組み
   ニューラルネットワーク誤差逆伝播の数学活性化関数CNNとRNN勾配消失と残差接続
4. 4

   TransformerとLLM

   現代の大規模言語モデルの中核
   注意機構の数学Transformerアーキテクチャトークン化埋め込みRoPE位置符号化
5. 5

   学習と最適化

   スケールさせ、人の好みに合わせる
   最適化(SGD/Adam)スケーリング則LLM学習パイプラインRLHFとDPOLoRA/PEFT
6. 6

   推論と運用

   速く安く動かし、実サービスへ
   KVキャッシュ量子化と蒸留RAGの内部推論時スケーリングMLOps🔤 トークナイザ可視化