模倣学習と実演からの学習

なぜ実演から学ぶのか

ロボットに「引き出しを開ける」「コップを注ぐ」といった動作をさせたいとき、方法は大きく2つあります。1つは報酬関数を人手で設計し強化学習で試行錯誤させる方法、もう1つは人間が実際にやって見せた実演（demonstration）からその動作を学ぶ方法です。後者を模倣学習（imitation learning）あるいは実演からの学習（Learning from Demonstration, LfD）と呼びます。

実演から学ぶ動機は、報酬設計の難しさにあります。「上手に注ぐ」を数式の報酬に落とし込むのは難しく、設計を誤ると意図しない挙動（報酬ハッキング）に陥ります。一方、人間が数回やって見せるのは容易です。実演データは典型的に、状態と行動の系列 {(s_0,a_0),(s_1,a_1),...} として、テレオペレーション（遠隔操作）やキネステティック教示（人がアームを直接持って動かす）で収集されます。この実演から方策 π(a|s)（状態sで行動aを選ぶ規則）を獲得するのが目標です。アプローチは大きく、行動を直接まねる行動クローニング、報酬を推定する逆強化学習、軌道を力学系として符号化する動作プリミティブの3系統に整理できます。

行動クローニング：状態から行動への写像を直接学ぶ

行動クローニング（Behavioral Cloning, BC）は最も単純な模倣学習です。実演データを入力=状態s、出力=行動aの教師データとみなし、ニューラルネットなどで写像 π(s)≈a を回帰・分類として学習します。手法としては純粋な教師あり学習であり、実装が容易で、時系列としての強化学習の枠組みを一切必要としないのが利点です。

横にスクロール

行動クローニングの学習:

  入力  : 実演の状態 s        （関節角・物体位置・画像など）
  出力  : 実演の行動 a        （関節速度・トルク・エンドエフェクタ変位など）
  損失  : Σ loss( π(s_i), a_i )   （回帰なら二乗誤差、離散行動なら交差エントロピー）
  → 通常の教師あり学習として π を最適化

行動クローニングの本質的な弱点は共変量シフト（covariate shift）、俗に言う分布シフト問題です。教師あり学習は「訓練データと同じ分布から入力が来る」ことを前提にしますが、方策を実機で走らせると話が変わります。学習した方策はわずかな予測誤差を持ち、その誤差で状態が実演の軌道からずれます。次の時刻ではそのずれた状態を入力に行動を選ぶため、さらにずれが増幅します。実演には登場しなかった状態（訓練分布の外）に入り込むと、そこでの行動は未学習なので予測が信頼できず、誤差が雪だるま式に累積します。

この分布シフトへの代表的対策がDAgger（Dataset Aggregation）です。学習した方策を実際に走らせ、そこで訪れた（分布外を含む）状態に対して専門家に正しい行動をラベル付けさせ、そのデータを訓練集合に追加して再学習する、という反復を行います。方策が実際に陥る状態を教師データに取り込むことで、リカバリを含む分布を学習させ、共変量シフトを縮小します。代償として、学習ループの中で専門家に繰り返し問い合わせる（オンラインのラベル付け）コストが必要になります。

逆強化学習：報酬関数を推定する

行動クローニングが「行動そのもの」をまねるのに対し、逆強化学習（Inverse Reinforcement Learning, IRL）は「その行動を生む報酬関数」を推定します。前提は、実演者は何らかの報酬 R(s,a) を（近似的に）最大化するように振る舞っている、という仮定です。IRLはまず実演から R を逆算し、次にその R の下で強化学習を回して方策を得ます。

報酬を経由する利点は汎化です。行動クローニングは軌道そのものを暗記するため、初期条件や障害物配置が実演と変わると破綻しがちですが、報酬関数はより抽象的で環境が変わっても意味を保ちやすく、新しい状況では推定報酬を最大化し直すことで妥当な行動を再生成できます。「何をすれば良いか（行動）」ではなく「何が良いか（目的）」を学ぶ、と言い換えられます。

IRLの本質的な難しさは不良設定（ill-posed）であることです。同じ実演を説明できる報酬関数は無数に存在し、極端には「全状態で報酬0」でもどんな行動も等しく最適になってしまいます。この曖昧さを解消するため追加の原理を課します。

特に最大エントロピーIRL（MaxEnt IRL）は、「実演を説明する制約の下でエントロピーが最大の分布を選ぶ」という原理で報酬の非一意性を解消し、実演が最適でなく多少ばらついていても破綻しにくいため、実運用で広く使われます。さらにGAIL（Generative Adversarial Imitation Learning）は、報酬関数を陽に取り出すことを諦め、生成方策と識別器を敵対的に学習して方策の状態行動分布を実演の分布へ直接一致させる手法で、IRL+強化学習の二段構えを1つの学習に畳み込んだものと理解できます。

動作プリミティブ（DMP）：軌道を力学系として符号化する

動的動作プリミティブ（Dynamic Movement Primitives, DMP）は、上の2系統とは目的が異なり、1回の実演で得た軌道を再利用可能な力学系として符号化する表現手法です。学習で方策全体を獲得するというより、「1つのなめらかな運動」を、目標や速度を変えても形を保って再生できる部品（プリミティブ）に変換します。

DMPの中核は、安定なバネ・ダンパ系（点アトラクタ）に、実演の形状を再現する強制項（forcing term）を足した微分方程式です。強制項がゼロなら系は目標 g へ滑らかに収束するだけですが、実演から学習した強制項を加えることで、実演の軌道形状をなぞりながら最終的に目標へ収束します。

DMP の構造（1次元・概念式）:

  加速度 = alpha * ( beta * (g - x) - v ) + f(phase)

    x, v      : 位置・速度
    g         : 目標（ゴール位置）
    alpha,beta: バネ・ダンパ係数（臨界減衰にして安定収束を保証）
    f(phase)  : 強制項。実演の形状を基底関数の重み和で近似
    phase     : 位相変数。時間に依存せず単調に減衰し、
                収束点近傍で f を自然に0へ消す（＝必ず g に収束）

DMPが実務で重宝される理由は3つの性質にあります。第一に安定性の保証で、強制項が位相変数の減衰とともに消えるため、どんな形状を学習しても最終的に必ず目標 g へ収束します。第二に目標・時間スケールの汎化で、ゴール g を差し替えても軌道の相対的な形は保たれ、時定数を変えるだけで動作を速くも遅くもでき、実演を1本取れば異なる目標位置へ形を保って一般化できます。第三に位相変数による時間非依存化で、外乱で動作が一時停止しても位相を止めれば軌道全体が破綻せず追従を再開できます。学習部分は強制項の基底関数の重みを実演から回帰するだけと軽量で、この符号化した軌道は軌道計画（スプライン・多項式補間）で得た経路と同様に、下位のコントローラへの参照として渡します。

分布シフト問題を軸に全体を捉える

3系統を貫く最重要の論点が、冒頭から繰り返す分布シフトです。模倣学習は「実演が覆う状態分布」でしか教師信号を持たないため、方策が実行時にその分布の外へ出た瞬間に品質保証が失われます。各アプローチはこの問題への向き合い方が異なります。

行動クローニングは分布外からの復帰を教師データに持たないため最も脆く、DAggerのように実行時分布のラベルを取り込んで対処します。逆強化学習は報酬という抽象度の高い対象を学ぶため新しい状況で再最適化でき、分布シフトへの耐性が相対的に高い一方、内部に強化学習を抱える重さがあります。DMPは学習した1つの運動を安定に再生する範囲では外乱に頑健ですが、そもそも実演にない種類のタスクは表現の対象外です。これは動作計画（RRT・PRM）のようにモデルと探索で経路を「計画」する立場と対照的で、模倣学習はあくまでデータが覆う範囲を「再現」する立場だと理解すると、限界と適材適所が見通せます。

まとめ

模倣学習は、報酬設計の難しさを回避して人間の実演から動作を獲得する枠組みであり、行動クローニング・逆強化学習・動作プリミティブの3系統に整理できます。行動クローニングは状態から行動への写像を教師あり学習で直接まねる最も単純な方法ですが、予測誤差が状態のずれを生み訓練分布の外へ逸脱する共変量シフトに構造的に弱く、DAggerのように実行時分布のラベルを取り込む対策が要ります。逆強化学習は実演の背後の報酬関数を推定して再最適化するため汎化に強い反面、報酬の非一意性と内部の強化学習ループという重さを抱えます。DMPは1回の実演を安定な力学系として符号化し、目標や時間スケールを変えても形を保って再生できる再利用可能な部品を与えますが、あくまで1運動の再生であり上位の意思決定は別に用意する必要があります。3系統に共通する根本制約は、実演が覆う状態分布の外では品質が保証されないという分布シフトの問題であり、この限界を軸に据えることが手法選択と実機適用の勘所になります。