arXiv (Robotics)AI
TITLE_JA: EgoSteer:一人称視点動画からの器用な操作制御を実現する統合システム
EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ロボット技術における大きな課題の一つが、複雑な手指操作を言語指令に従って実行できる汎用的なロボット政策の開発です。特に多指ロボットハンドの分野では、大規模で言語対応した高精度な学習データが不足していることが、ステアラビリティ(操作可能性)の実現を妨げてきました。こうした課題に対して、新しい研究チームが「EgoSteer」という統合的なシステムを提案しました。
このシステムの特徴は、人間の一人称視点動画から学習するビジョン・ランゲージ・アクション(VLA)モデルの事前学習を大規模化し、実際のロボットでの効率的な追加学習を可能にしたことです。システムの中核を成すEgoSmithというデータパイプラインは、ウェブ上の一人称視点動画を厳選し、9.6時間分の高品質な事前学習データセットを構築します。このデータセットは従来の最先端手法と比べて9倍高いスループットと優れた精度を実現しています。同時に、テレオペレーション(遠隔操作)と人間による修正ループを統合したロボットスタックを備えており、言語指令に基づいた柔軟な操作を学習できます。
EgoSteerの事前学習済みモデルは、言語ガイド付きの操作プリオーを獲得し、実ロボットでの追加学習やDAggerという改善手法を通じて、より正確に接地されます。実験結果として、EgoSteerは40以上の多様なタスクに対して自由形式の指令を堅牢に実行でき、失敗からの回復、器用さ、そして汎化能力を示しています。さらに注目すべきは、複雑な長期的タスク(箱折りたたみなど)に対して、わずかな学習サンプルで75%以上の成功率を達成していることです。研究チームはシステム全体、データセット、そして事前学習済みモデルをオープンソースで公開しており、今後の研究やロボット応用の発展に貢献しています。