arXiv (Robotics)AI
FlowDAgger:生成型ロボット政策の人間ループを用いた潜在空間での適応
FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マイクロソフトが開発した「FlowDAgger」は、事前学習済みの生成型ロボット政策を人間の介入を通じて効率的に適応させる新しい手法である。フロー・マッチングと拡散モデルに基づいた生成型ロボット政策は、操作タスク全般で優れた成果を上げているが、事前学習の分布外にある実世界の失敗ケースへの対応が課題となっていた。従来は大規模なデータ収集か物理ハードウェア上でのオンライン強化学習が必要であり、迅速で安全な適応には実用的ではなかった。
FlowDAggerの革新的な点は「アクション反転」というアプローチにある。人間の専門家が行った各アクションを、固定された基本政策の下で逆時間統合と局所的な改善を用いてノイズに変換する。このノイズがデータとなり、軽量な潜在空間政策の学習に用いられる。展開時には、この潜在空間政策が基本モデルを操作することで、行動の先験性を保ちながら迅速なスキル習得が実現される。
シミュレーションと実世界の両腕・単腕ロボット操作で評価されたFlowDAggerは、わずかな介入から複数のアクションヘッドVLAとワールド・アクション・モデルを適応させることに成功した。教師あり微調整や潜在空間強化学習のベースラインを上回るパフォーマンスを発揮しながら、学習済みスキルを未見のタスクで保持する能力も確認された。このアプローチは、ロボット基盤モデルの実世界での適応に向けた実用的な道筋を提供するものである。