自律モジュラーロボット組立のための、頑健な6自由度知覚
RGB-D知覚、ニューラルセグメンテーション、モデルベースの6自由度姿勢推定、時系列トラッキング、ロボットマニピュレーションを組み合わせた、精密モジュラー組立のためのエンドツーエンドのフィジカルAIパイプライン。ラボおよびJAXAの月面フィールド試験場で検証。
- 合成画像
- 約30,000枚
- 姿勢
- 6自由度＋トラッキング
- 検証
- ラボ＋JAXAフィールド
- 課題
- 精密組立 ── 把持、位置合わせ、コネクタ挿入 ── は6自由度の姿勢に依存し、フレームごとの姿勢推定はオクルージョン、高速な動き、一時的な視界喪失のもとで不安定になる。
- アプローチ
- RGB-Dセンシング → SAM2セグメンテーション → FoundationPoseによる6自由度推定 → 持続と再初期化を伴う時系列トラッキング → 変換フレームの位置合わせ → ステートマシンによる組立シーケンス。正常系の実行だけでなく、失敗からの復帰を前提に設計。
- 成果
- オクルージョンと動きを通してモジュラー組立を完遂する、単一の知覚から操作までのワークフロー。ラボとJAXAの月面フィールドで物理的に検証。
技術構成
- FoundationPose
- SAM2
- RGB-D
- NVIDIA NVISII
- Unreal Engine（ドメインランダム化）
- NeRFリファレンス
- ROS / TF
- ロボットマニピュレーション
Naxar創業者の修士研究として、東北大学 宇宙ロボット研究室で実施。JAXAの月面フィールド試験場で物理検証（2026年）。
エンジニアリング上の課題
精密組立には、物体検出以上のものが必要です。把持、位置合わせ、コネクタの挿入は、対象がどこにあるかと、どの向きかの両方に依存します。したがってシステムは並進と回転の両方を推定し、接触前に把持の可否とコネクタの角度を判断できなければなりません。
難しいのは、これが実際のマニピュレーション中に成り立たなければならない点です。
- オクルージョン ── 対象を扱っている最中、グリッパーとロボットのリンクが対象を部分的に遮る。
- 動き ── 対象の急な動きが、フレームごとの姿勢推定を不安定にする。
- 視界 ── 対象が一時的にカメラの視野から外れ、パイプラインはリセットではなく「復帰」しなければならない。
知覚スタック
約30,000枚の合成画像をNVIDIA NVISIIで生成し、照明とセンサードメインのsim-to-realギャップを埋めるためにUnreal Engineでドメインランダム化を行いました。合成生成により、多様な視点、背景、シーン条件にスタックをさらしつつ、残るギャップを計測可能にしました。
- 3Dリファレンスアセット ── ベースメッシュとNeRFで強化したテクスチャ付きリファレンスを、正準的な物体フレームに位置合わせし、姿勢推定の幾何・外観の事前情報として利用。
- セグメンテーションから姿勢へ ── SAM2のマスクがRGBストリームからモジュラー部品を切り出し、FoundationPoseによる対応点ベースの6自由度推定を制約。
ロボット統合
姿勢推定は、ステートマシンによる組立シーケンスに供給されます。
- 検出 ── コネクタとダミーモジュールの6自由度位置特定。
- 把持 ── 対象に対する把持推定。
- 位置合わせ ── 相対的な変換フレームの位置合わせと、必要なオフセット補正。
- 接続 ── 物理的な接続の確立。
失敗を前提としたトラッキング。 姿勢の持続と再初期化により、オクルージョン、高速な動き、一時的な視界喪失を通してシーケンスを継続します。システムは正常系の実行だけでなく、復帰のために設計されています。
エンドツーエンド
最終的なワークフローは、合成データ生成、3D物体アセット、NeRF再構成、SAMベースのセグメンテーション、物体検出、変換フレームの定義、位置合わせとオフセット補正、接続の確立、そしてJAXAの月面フィールドでの試験を連結します。
要点
単一の知覚から操作までのワークフローが、困難な条件下での頑健なモジュラーロボット組立を可能にします ── そして同じ失敗復帰の規律は、対象が遮られ、動き、一時的に視野から外れる産業導入にそのまま活きます。