ロボティクスや仮想エージェントの訓練において、人間が関節付きの物体（ドアやロボットアームなど）と現実的に相互作用する動作を生成することは、具現化されたAIとコンピュータグラフィックスの分野における重要な課題です。既存のモデルには大きな制限があります。単純な活動と静的な物体のみを扱うものもあれば、手による操作にのみ焦点を当てるものもあり、移動から物体操作までの一連の流れを含む調整された全身動作を生成する能力が不足していました。 このような課題を解決する際の中心的な難しさは、移動と細かな接触、そして物体の関節運動を同時に推論することにあります。モデルは物体の形状が異なる場合でも転移可能な繊細な手と物体の対応関係を捉えながら、ナビゲーションから操作への滑らかな遷移を生成する必要があります。加えて、大規模なペアになった動作とシーンデータの不足により、多様な物体の位置や形状への汎化が困難になっていました。 研究者らは、テキスト条件付き拡散モデル「GIRAF」を提案しました。このモデルは3つの核となるアイデアを通じてこれらの課題に対処します。まず、手と物体の接触を物体の表面と統一するオブジェクト中心の表現を採用します。次に、移動と相互作用のバランスを取る混合領域訓練戦略を実装し、最後に接触ベースの拡張スキームにより訓練データの多様性を拡大させます。実験を通じて、GIRAFは未知の物体構成への強い汎化性能を示し、既存の最先端手法を上回る成果を達成しました。