LiDAR・カメラのセンサ融合

なぜ点群と画像は単純に重ねられないか

LiDARは対象までの距離を光の飛行時間（ToF）で測り、3次元の点群として世界を表現します。カメラは光の強度・色を2次元の画素配列として捉えます。両者は物理量も次元も表現形式もまったく異なるため、「LiDARの点」と「画像の画素」を対応づけるには、両者を同じ座標系に載せる幾何変換が不可欠です。この変換を怠ってセンサ出力をそのまま並べても、意味のある融合にはなりません。

対応づけに必要なのは大きく2種類のパラメータです。

外部パラメータ（Extrinsic）:
  LiDAR座標系 → カメラ座標系への剛体変換
  回転行列 R（3x3）と並進ベクトル t（3x1）
  p_cam = R * p_lidar + t

内部パラメータ（Intrinsic, カメラ側）:
  カメラ座標系の3次元点 → 画像平面の2次元画素への透視投影
  焦点距離 fx, fy、光学中心 cx, cy、レンズ歪み係数

  u = fx * (X_cam / Z_cam) + cx
  v = fy * (Y_cam / Z_cam) + cy

外部パラメータはLiDARとカメラの取り付け位置・姿勢の違いを表す剛体変換で、車体やロボットに固定した2つのセンサ間の「ずれ」そのものです。内部パラメータはカメラ固有の光学特性で、3次元点を2次元画素へ落とし込む透視投影とレンズ歪みの補正を担います。この2段階を経て初めて、LiDARの1点が画像上のどの画素に対応するかが定まります。

早期融合と後期融合という設計軸

LiDARとカメラをどの処理段階で統合するかは、認識パイプラインの根本設計を左右します。代表的な立場を整理します。

早期融合は、たとえばLiDAR点群を画像へ投影して各画素に距離情報を付与し（深度補完）、その拡張画像を1つの認識モデルに入力するような設計です。センサ同士が持つ生の情報量を最大限使えるため理論上の認識精度は高くなりえますが、外部・内部パラメータの較正誤差や後述の時刻同期のずれがそのまま入力の歪みとして統合処理に流れ込み、誤差が蓄積しやすいという弱点があります。

後期融合は、LiDAR側で物体検出・追跡を独立に行い、カメラ側でも物体検出を独立に行い、それぞれが出した「ここに車がいる」という結果同士を、位置の近さや信頼度で突き合わせて統合します。各センサの認識器が独立に完結しているため、片方が苦手な状況（LiDARなら小さく薄い物体、カメラなら夜間や逆光）でも他方の結果だけで代替判断がしやすく、システムとしての頑健性が高い設計です。ただし、各センサが個別に誤検出・見逃しをした場合、統合段階では失われた生データを参照して補正することができません。

時刻同期のずれが引き起こす歪み

センサ融合のもう一つの落とし穴が時刻同期です。LiDARは機械回転式なら1周（例えば10Hz）かけて周囲をスキャンし、カメラはシャッターのタイミングで瞬間的に画像を取得します。両者のサンプリング周期・タイミングが一致していないと、同じ「時刻」とラベル付けされたデータが実際には異なる瞬間の世界を表すことになります。

時刻同期ずれによる位置誤差の見積もり:
  誤差 ≈ 相対速度 × 時刻ずれ Δt

  例: 対向車の相対速度 20 m/s、Δt = 50ms のずれ
    → 位置誤差 ≈ 20 * 0.05 = 1.0 m

  自車が停止し対象も静止していれば Δt があっても誤差は出ないが、
  ロボット工学の実環境では自己運動・対象の運動の両方が常に存在する

この式が示すとおり、時刻同期のずれによる誤差は対象や自己の相対速度に比例します。低速で移動するロボットのアーム周辺監視ではさほど問題にならなくても、高速で移動する自動運転車や脚ロボットの走行では、数十ミリ秒のずれが数十センチ〜1メートル級の位置誤差に直結します。しかもLiDARは1周スキャンする間にも自己運動が生じるため、点群内部でも走査開始点と終了点で自己位置が異なるモーション歪みが生じ、これも同期の一種の問題として補正（走査中の自己運動をIMUやオドメトリで推定して点群を歪み補正）する必要があります。

冗長性による頑健性：足し算ではなく保険

センサ融合の価値を「LiDARの精度＋カメラの精度」という単純な足し算で捉えるのは誤りです。本質は、それぞれのセンサが原理的に異なる弱点を持つことを利用した冗長性の設計にあります。

この表が示すのは、冗長性が「同じことを2回測って平均を取り精度を上げる」保険ではなく、互いの弱点を補う担当分担であるという点です。LiDARは能動的に光を発するため照明条件に依存しない距離測定を担い、カメラは受動的に反射光を捉えるため色・テクスチャなど質感の識別を担う。両者は測定原理が独立しているため、片方が苦手とする環境要因（照明・天候）がもう片方に同じようには影響しません。さらに、どちらか一方のセンサが物理的に故障・遮蔽された場合でも、残る系統でシステムを完全停止させず機能を縮退させて継続動作させられる点も、ロボット工学における安全設計上の重要な効能です。

まとめ

LiDARとカメラのセンサ融合は、原理も座標系も異なる2つのセンサを、外部・内部パラメータによる幾何変換で初めて対応づけられる仕組みの上に成り立ちます。設計上の要点は、(1) 点群と画素は外部キャリブレーションと透視投影を経なければ対応づかず、較正誤差が融合精度の下限を決めること、(2) 早期融合は情報量が多いが同期・較正誤差に敏感で、後期融合は頑健だが生データの補完ができず、実務では特徴レベル融合が折衷点として選ばれること、(3) 時刻同期のずれは相対速度に比例した位置誤差を生み、LiDARの走査中の自己運動によるモーション歪みも合わせて補正が必要なこと、(4) センサ融合の冗長性は精度の足し算ではなく、照明・天候・材質という原理的に異なる弱点を持つセンサ同士が互いの担当を分け合うことで頑健性を得る設計であること。この幾何・時刻・冗長性という3つの軸を押さえることが、自動運転やロボットの認識パイプラインを設計・評価する土台になります。