Sim-to-Real転移

シミュレータで学習した方策はなぜ実機で崩れるのか

強化学習や模倣学習でロボットの制御方策を訓練する際、実機で何百万ステップも試行錯誤させるのは時間・コスト・安全性の面で現実的ではありません。そこで物理シミュレータ上で方策を学習し、学習済みの重みをそのまま実機のコントローラへ移植する、という手順が広く使われます。これがSim-to-Real転移です。

ところが、シミュレータ内では成功率がほぼ100%に達していた方策を実機に載せた途端、歩行ロボットが数歩で転倒する、マニピュレータが目標物体を掴み損ねる、といった性能劣化が頻発します。この劣化の根本原因を指して**リアリティギャップ（reality gap）**と呼びます。リアリティギャップは単一の現象ではなく、力学モデルの誤差・アクチュエータとセンサの非理想性・観測の不確かさという、性質の異なる複数の誤差源が重なったものです。原理を理解せずに「とりあえずランダム化する」だけでは対策が空振りに終わるため、まず誤差源を分解して捉える必要があります。

リアリティギャップを構成する3つの誤差源

力学モデル誤差はさらに、パラメータ誤差（質量や摩擦係数の推定値のずれ）と構造誤差（接触モデルや空気抵抗など、シミュレータがそもそもモデル化していない現象）に分けられます。パラメータ誤差は後述のシステム同定で縮小できますが、構造誤差はシミュレータの物理エンジン自体の限界であり、パラメータをどれだけ追い込んでも解消しません。特に接触・摩擦のモデリングはロボット工学のsim-to-realで最も厄介な要因です。剛体接触は数値的に不連続（衝突の瞬間に速度が跳ぶ）であり、シミュレータごとに異なる正則化やソルバの近似を使うため、同じCADモデルでも物理エンジンを変えるだけで方策の転移性が大きく変わることが知られています。

ドメインランダム化: シミュレータ側をばらつかせる

**ドメインランダム化（domain randomization）**は、力学パラメータ・視覚的外観・センサノイズなどをシミュレータ内で試行ごとにランダムに変化させながら方策を訓練する手法です。摩擦係数を毎エピソード 0.4〜1.2 の範囲でランダムに引き直す、リンク質量を公称値の 80%〜120% でばらつかせる、観測に正規分布ノイズを加える、といった操作を訓練全体で繰り返します。

狙いは、実機の未知の物理パラメータを言い当てることではなく、実機がランダム化した訓練分布の内側に収まるように分布を広げることです。方策がランダム化された多様な力学条件すべてで機能するよう最適化されれば、その方策は特定の1点のパラメータに過剰適合せず、実機という「見たことのない1点」に対しても汎化しやすくなります。この意味でドメインランダム化は、教師あり学習におけるデータ拡張の強化学習版と理解できます。

ドメインランダム化の設計変数（例）:

  力学パラメータ   : 質量・慣性・摩擦係数・関節減衰・接触反発係数
  アクチュエータ   : トルク遅れの時定数、電流リミット、ギア効率
  観測             : センサノイズの分散、遅延（レイテンシ）、量子化
  視覚（画像入力時）: テクスチャ・照明・カメラ位置・背景（ドメインランダム化の視覚版）

システム同定: シミュレータを実機に寄せる

ドメインランダム化が「シミュレータを広げて実機を内包する」方向のアプローチだとすれば、**システム同定（system identification）**はその逆で、「実機を計測してシミュレータのパラメータを実物に近づける」方向のアプローチです。実機に既知の入力（トルク指令や既知軌道）を与えて応答（関節角度・角速度・接触力など）を計測し、その計測データとシミュレータの出力の誤差を最小化するようにシミュレータのパラメータ（質量・慣性・摩擦係数・アクチュエータの伝達関数など）を最適化します。

システム同定の基本ループ:

  1. 実機に既知の入力信号を与える        → 例: 正弦波状のトルク指令
  2. 実機の応答を計測                    → 関節角度・角速度・力/トルク
  3. 同じ入力をシミュレータに与える      → シミュレータ応答を得る
  4. 実機とシミュレータの応答誤差を計算   → 目的関数（例: 二乗誤差）
  5. 誤差を最小化するようパラメータ更新   → 勾配法・ベイズ最適化等
  6. 収束するまで1-5を繰り返す

システム同定によってシミュレータの忠実度（フィデリティ）が上がれば、そのシミュレータ上で学習した方策は最初からリアリティギャップが小さい状態でスタートできます。近年は、ランダム化幅そのものをシステム同定の対象にする手法（実機ロールアウトの結果を使ってランダム化パラメータの事後分布を更新する）も使われており、これはドメインランダム化とシステム同定を融合したアプローチと言えます。すなわち両者は競合する二択ではなく、「どれだけ実機データを使えるか」「安全に実機で試行できる回数」に応じて配合を変える設計変数です。実機データが豊富に取れるなら同定を重視して忠実度を上げ、実機試行が高コスト・危険なら同定は最小限にとどめてランダム化で頑健性を確保する、という使い分けになります。

転移を妨げるその他の要因

パラメータの不一致以外にも、転移を難しくする要因があります。第一に観測と行動の遅延です。シミュレータでは状態取得から行動出力までが理想的に瞬時ですが、実機ではセンサ読み取り・通信・演算・アクチュエータ応答の各段階で遅延が積み重なり、方策が学習した「即座のフィードバック」という前提が崩れます。第二にアクチュエータの飽和と非線形性で、シミュレータの単純なトルクリミットは実機のモータ特性（電流・熱・電圧降下による実効トルクの低下）を粗くしか近似できません。第三に初期状態分布の違いで、シミュレータは学習を効率化するために都合の良い初期状態（すでにバランスが取れた姿勢など)から開始しがちですが、実機の起動状態はより多様で、方策が経験していない領域に最初から置かれることがあります。

まとめ

Sim-to-Real転移の核心は、シミュレータと実機の間の分布の差（リアリティギャップ）を、力学モデル誤差・アクチュエータ非理想性・観測ノイズという性質の異なる誤差源に分解して扱うことにあります。ドメインランダム化はシミュレータ側のパラメータを意図的に広くばらつかせて実機を訓練分布に内包させる頑健化のアプローチ、システム同定は逆に実機の計測データを使ってシミュレータを実物へ精密化する忠実度向上のアプローチであり、両者はどちらか一方を選ぶものではなく、実機試行のコストと入手可能なデータ量に応じて組み合わせる設計変数です。加えて、接触モデリングのような構造誤差や、観測・行動の遅延、アクチュエータの飽和特性、初期状態分布の違いは、パラメータの追い込みだけでは解消しない転移阻害要因であり、これらを個別に見極めることが実機で機能する方策を設計する上での実務的な勘所になります。