ヒューマノイドロボットに複雑な操作スキルを教えるには、人間の動作データが極めて貴重な学習資源となります。しかし従来の方法では、人間が物体を操作する際に手で物体が隠れてしまう問題、動作の単純化、あるいは特殊なキャプチャ機器の必要性といった課題に直面していました。このような制限を乗り越えるため、新たな混合現実合成パイプラインである「AgenticFocus」が提案されました。 AgenticFocusは、スマートフォンやウェアラブルカメラで撮影した通常の一人称視点動画を、ロボットが学習できるデモンストレーションに変換するシステムです。具体的には、手で隠れた物体の幾何学的形状を復元し、手指の完全な動きを再構成し、カメラ相対位置の配置とレイヤード合成を通じてヒューマノイドロボット体へと適応させます。このプロセスにより、焦点を絞った視覚情報とロボットの行動・状態が同期したデータセットが生成されます。 評価結果によると、AgenticFocusは従来のクロスエンボディメント手法と比較して、軌跡誤差で優れた成績を示し、手首の動きもより滑らかです。SPARC指標で-5.18というスコアを達成し、ベースライン手法の-5.56や-6.05を上回りました。この技術革新により、特殊な機器や複雑な前処理なしに、日常的に撮影された映像からロボットが器用な操作タスクを学習できる可能性が広がります。