ロボット操作タスクにおいて、訓練データの分布を超えた一般化能力を持つビジュオモータ制御ポリシーの学習は、ロボティクス分野における重要な課題です。新たに提案されたGHOSTフレームワークは、この課題に対して階層的なアプローチで対処しています。 GHOSTの特徴は、制御を2つのレベルに分解することにあります。上位レベルの政策は、複数視点のRGB-D観測からロボットのエンドエフェクタの3次元姿勢分布として次のサブゴールを予測し、下位レベルの目標条件付きコントローラーがロボット固有のアクションを実行します。画像ベースの政策を3次元目標に適応させるため、研究者らは予測された目標を画像平面に投影し、エンドエフェクタヒートマップとして表現する空間インターフェースを導入しました。複数の操作タスクを通じた評価では、この階層的な分解戦略が従来のフラット構造のDiffusion Policyと比較して、一貫して性能と堅牢性を向上させることが示されています。 さらに注目すべきは、このフレームワークが人間のデモンストレーションを自然に組み込むことを容易にする点です。サブゴールはロボットの具体的な形態にはほぼ依存しないため、高位の政策を人間のビデオで訓練して習得スキルの応用方法と組み合わせ方を学ばせ、一方で低位の政策はロボットのみのデータで訓練することが可能です。この階層構造により、少数の人間デモンストレーションを用いて新規物体やタスク変動への適応が実現され、ロボット操作の汎用性が大きく向上しています。