arXiv (Robotics)AI
TITLE_JA: ロボット操作のための4D幾何学的事前知識を学習する推論効率的な世界アクションモデル
Learning 4D Geometric Priors for Inference-Efficient World Action Models
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ロボットの操作タスクにおいて、視覚的な将来予測と実行可能なアクション列を同時にモデル化するWorld Action Models(WAMs)が注目されています。しかし既存のビデオ-アクション共訓練手法は、見た目を中心とした最適化に焦点を当てており、精密な操作に必要な時間的に変化する幾何学的情報を十分に捉えられていないという課題がありました。
本研究で提案されるMECo-WAMは、マルチエキスパート協調訓練型の世界アクションモデルであり、元の軽量な推論グラフを保持しながら、アクション関連の4D幾何学的事前知識をビデオ-アクション表現に組み込みます。訓練時には、ビデオエキスパートとアクションエキスパートを組み合わせ、凍結されたVGGTエンコーダからの関係的目標によって監督される軽量な4Dエキスパートを使用します。非対称なエキスパート可視性により、補助的な幾何情報からアクション生成への因果関係のないショートカットを防止します。
幾何学的知識を実運用されるビデオ-アクション経路に転送するため、減衰4D読み込みマスク注意メカニズムを導入しています。これは訓練初期に現フレームの幾何学的ガイダンスを限定的に提供し、訓練が進むにつれて徐々にこの依存性を除去していきます。さらにアクション認識型の時間的幾何学的蒸留を提案しており、フレーム内の幾何学的関係とその時間的進化を整列させながら、ロボットアクションに最も関連する視覚領域を強調します。実運用時にはすべての補助的4Dコンポーネントが削除されます。
LIBERO(98.2%)、RoboTwin 2.0(92.6%)、そして実世界の困難な操作タスクにおける実験により、MECo-WAMは推論コストを増加させることなく操作性能を向上させることが実証されました。