汎用ロボットの開発において、認識、世界知識、計画、成功検出、失敗からの回復、低レベルの制御といった複数の能力を統合することは大きな課題となっています。従来のアプローチでは、これらの機能すべてを大規模な事前学習を通じて学習済みポリシーに組み込もうとしていました。しかし、新たな研究では、これらの機能は言語条件付きのポリシー・制御エージェントと高レベルのマネージャー・オーケストレーターに分解できることが示されています。 本研究では、事前学習による推論に頼るのではなく、クローズドループの物理的エージェントオーケストレーター「Pigey」を構築しました。このシステムは高レベルの計画を実行し、目標を達成可能なサブゴールに分解し、低レベルのモーターコマンドを発行し、低レベルの観測から結果を追跡・検証し、失敗から回復することができます。Pigeyは既存のビジョン言語アクション(VLA)ポリシーとパラメータ化されたスキルを制御して、追加のデータ収集やポスト学習なしで、現実世界の複雑な推論タスクを解決できます。 シミュレーションベンチマークと実際のロボット操作タスクにおいて広範な評価を行った結果、既存の汎用ポリシーを大幅に上回るパフォーマンス向上が実証されました。LIBERO-PROベンチマークでは、タスク固有の微調整なしで最先端の成果を4倍以上向上させ、12.8%から53.3%に改善しました。実ロボットでは、Pigeyは推論が限定されたタスクにおいて、固定されたポリシーのパフォーマンスをほぼゼロから90%以上に引き上げることに成功しています。研究では、凍結されたモータースキルが単独で達成できる成果とエージェンティックループ内で達成できる成果の差を「調整ギャップ」と命名しており、この概念がロボット制御の新たな視点を提供しています。