ロボットの物体検出と把持計画

「見つける」と「掴める」は別の問題

物体検出（object detection）は画像中の物体クラスと2Dバウンディングボックスを返しますが、ロボットアームがその物体を掴むには、それだけでは情報が足りません。グリッパーを物体に対してどの位置・どの向きで閉じれば力学的に安定して持ち上がるかを決めるには、物体の3次元的な位置と姿勢、さらに周囲の遮蔽状況まで踏まえた幾何計算が必要です。この「知覚結果を把持動作に変換する」工程こそがロボット工学に固有の難所であり、単なる画像認識の精度向上だけでは解決しません。

パイプライン全体は次の4段階に整理できます。

視覚から把持動作への変換パイプライン:

  1. 検出・セグメンテーション   → 画像/点群から対象物体を切り出す
  2. 6D pose 推定             → 物体の位置(x,y,z)と姿勢(roll,pitch,yaw)を復元
  3. 把持可能点の探索・評価     → 候補グリップ姿勢を生成しスコアリング
  4. 実行（軌道生成・力制御）   → 逆運動学で経路を作り接触後は力制御へ切替

以降、2と3の原理を中心に扱います。4の軌道生成や力制御そのものは別分野（逆運動学・インピーダンス制御）の話題であり、ここでは把持計画が出力する「目標グリップ姿勢」までを扱います。

6D pose estimation: 位置と姿勢を復元する

6D poseとは、物体固有の座標系からカメラ（またはロボット）座標系への変換を表す並進3自由度＋回転3自由度、合計6自由度の剛体変換です。物体クラスだけ分かっても、同じ「マグカップ」でも取っ手が右を向いているか奥を向いているかでグリッパーの進入方向はまったく異なるため、姿勢の復元は把持計画の起点になります。

代表的なアプローチは大きく3系統です。

PnP法の骨子は、物体の3Dモデル上で既知の対応点集合（キーポイント）{P_1, ..., P_n} と、それらが画像上に投影された2D座標{p_1, ..., p_n}が与えられたとき、カメラの内部パラメータ（焦点距離・光学中心）は既知として、この対応関係を満たす回転Rと並進tを求める問題です。対応点が4組以上あれば理論上解けますが、実際には観測ノイズがあるため、再投影誤差を最小化する最小二乗問題として解きます。

PnPの目的関数（再投影誤差の最小化）:

  min_{R,t}  Σ_i  ‖ p_i  -  π( R P_i + t ) ‖²

  π(・) : カメラ内部パラメータによる透視投影（3D→2D）
  R, t  : 求めたい回転・並進（6自由度）

DenseFusionやPVNetに代表される学習ベース手法は、RGB画像の特徴とDepth（深度）画像の点群特徴を融合し、画素・点ごとに姿勢の投票やオフセットを予測してから集約します。深度情報を使うことで、テクスチャが乏しい物体でもPnP単体より頑健に姿勢を求められる点が実務上の強みです。

把持可能点の探索: force-closureから学習ベースまで

姿勢が分かった後、実際にどこをどう掴むかを決めるのが把持可能点（grasp point）の探索です。古典的な幾何解析では、グリッパーの接触点群が物体をforce-closure（力閉じ込め）状態にできるかを判定します。force-closureとは、接触点における摩擦円錐の組み合わせだけで、任意方向の外力・外モーメントに抵抗できる状態を指します。

2指グリップの簡易な力学条件（平面近似）:

  1. 2つの接触点を結ぶ直線が、各点の摩擦円錐の内側に入っている
     → 滑らずに挟み込める（antipodal grasp、対蹠把持）
  2. 物体重心が2接触点を結ぶ線分の近くにある
     → 持ち上げ時のモーメントが小さく回転しにくい

摩擦円錐は接触点で法線方向を軸とし、半頂角を摩擦角（arctan(摩擦係数)）とする円錐で、接触力がこの円錐内にあれば物体表面を滑りません。古典的な把持計画はこの幾何条件を物体の3Dモデル全体で探索し、force-closureを満たす接触点の組を列挙してからランキングします。しかし物体の完全な3Dモデルと正確な摩擦係数が前提になるため、未知物体や実観測点群だけでは適用が難しいという制約があります。

この制約を緩和するのが学習ベースの把持検出（Grasp Pose Detection、GPD）です。GG-CNNやGPDは、RGB-Dカメラで得た点群を入力に、グリップ位置・接近方向・開き幅・回転角と、それに対応する把持成功確率（品質スコア）を画素単位もしくは点群サンプルごとに直接回帰します。力学モデルを陽に解くのではなく、大量のシミュレーションや実把持試行データから「この局所形状ならこの姿勢で掴める」という関係を学習する発想です。

遮蔽（オクルージョン）への対処

実環境では対象物体の一部が他の物体や自分自身の裏側で隠れ、カメラからは点群の一部しか観測できません。この欠損部分に対して把持点を選んでしまうと、実際には存在しない形状を前提にした不安定な把持になります。対処は大きく3方向です。

第一に、観測できた部分点群から物体全体の形状を予測する形状補完（shape completion）です。物体クラスごとの形状事前分布を学習したネットワークが、部分点群から完全な点群やメッシュを推定し、補完後の形状に対して把持候補を探索します。第二に、把持候補自体に信頼度（confidence）を付与してランキングする方法です。観測点群の密度が高く多方向から確認できた領域の把持候補は信頼度を高く、遮蔽境界に近い候補は低く評価し、実行前に信頼度でフィルタします。第三に、単一視点で判断せず、次にどこから観測すれば不確実性が最も減るかを計画するnext-best-viewによって、把持実行前にアームやカメラを動かし遮蔽を能動的に解消する方法です。

パイプラインとしての統合

ここまでの要素は独立した技術ですが、実機では検出→姿勢推定→把持計画→実行が一体のフィードバックループとして動きます。姿勢推定の不確かさが大きいと判断すれば把持計画は保守的な把持点を選ぶか再観測を要求し、把持計画が出した候補の実行可能性（アームが到達できるか、他物体と干渉しないか）は逆運動学と衝突チェックで検証されて初めて実行に回されます。これはSLAMが知覚の不確かさを地図全体で扱うのと構造的に似ていますが、対象が静的な環境地図ではなく単一物体の姿勢と接触力学である点が、把持計画に固有の設計問題を作り出しています。

まとめ

ロボットの把持計画は、物体検出だけでは完結しない多段パイプラインです。要点は、(1) 把持には位置と回転を合わせた6D poseの復元が必須で、PnPや学習ベースのキーポイント予測・姿勢回帰がその手段であること、(2) 把持可能点はforce-closureのような力学的幾何条件で厳密に評価できる一方、点群から直接品質スコアを回帰する学習ベース手法が未知物体への汎化で優位なこと、(3) 実環境では遮蔽により観測点群が不完全になるため、形状補完・信頼度ランキング・next-best-viewといった対策を組み込む必要があること、(4) 検出・姿勢推定・把持計画・実行は独立に動くのではなく、不確実性を後段に伝播させるフィードバックループとして設計すべきことです。この知覚から動作への変換原理は、産業用ピッキングから家庭用ロボットの物体操作まで、視覚を使うあらゆる把持システムの土台になります。