arXiv (CV)AI
MIME:マルチモーダル インタラクティブ モーション エンコーダ
MIME: Multimodal Interactive Motion Encoder
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
テキストとモーション(動作)の表現学習は急速に進化しており、特にアニメーション、AR/VR、具現化されたAI(embodied AI)における複数人のインタラクション(相互作用)への関心が高まっています。これらの応用分野では、言語を個々のアクターの動きと、複数のアクター間の関係性の両方に整合させる表現が必要とされています。
研究チームが新たに開発した「マルチモーダル インタラクティブ モーション エンコーダ(MIME)」は、2人のインタラクティブなモーション処理に特化した専用のマルチモーダルエンコーダとしては初めてのものです。MIMEはストリーム型のコアテンション機構を用いて個々の構造と共有構造を捉え、明示的なインタラクション特徴量とカリキュラム型の対比的学習を組み合わせています。
Inter-Xテキスト-モーション検索タスクでは、MIMEは様々なギャラリーサイズにおいて早期融合・後期融合のベースラインを一貫して上回り、2,000サンプルのギャラリーにおいてテキスト-モーション検索(R@1)で12.8%の相対的改善を達成しました。さらに、MIMEを凍結された補助的事前学習モデルとしてTIMotionおよびInterMaskに組み込み、未見のInterHumanデータセット上で評価したところ、セマンティックアライメント指標を改善しながらTIMotionと同等のFIDを維持しました。これらの結果は、インタラクション認識型のマルチモーダルエンコーディングが複数人モーション検索を向上させ、データセット間の転移学習を通じて下流のモーション生成タスクを支援することを示しています。