複数の参照画像と テキスト指示に基づいて、一貫性のある音声映像コンテンツを生成する「マルチリファレンス・ツー・オーディオ・ビデオ（MR2AV）生成」は、生成型AIの新しいフロンティアとなっています。既存のベンチマークは主にテキスト駆動型生成、単一参照の主体保存、または孤立した音声映像アライメントに焦点を当ててきました。一方、MR2AV生成はより複雑な課題を抱えており、複数の参照画像を同時に推論しながら、同期した視覚および音声コンテンツを生成する必要があります。単に各参照を忠実に保存するだけでなく、複数の参照されたエンティティ（被写体）を正しく結合・合成し、一貫性のある音声映像イベントとして統合することが求められるのです。 こうした課題に対応するため、研究チームはMultiRef-Compassという統一的なMR2AV生成ベンチマークを開発しました。このベンチマークは、スケーラブルで制御可能なアセット合成パイプラインを通じて厳密に選別された350のサンプルで構成されており、マルチビュー被写体保存、マルチエンティティ結合、人物・物体・シーン合成をカバーしています。 評価プロトコルは、基本品質、参照一貫性、音声映像一貫性、指示追従の4つの次元と14のサブメトリクスで構成されており、解釈可能な評価を実現しています。MultiRef-Compassは自動メトリクスと再判定強化型MLLM（マルチモーダル大規模言語モデル）を用いた判定フレームワークを統合し、知覚忠実度と参照条件付き合成の両方をスケーラブルで監査可能な方法で評価できます。 8つの代表的なMR2AV生成システムに対する広範な実験結果から、複数の評価次元における大幅な改善の余地が明らかになっており、包括的なベンチマークの必要性が浮き彫りになりました。MultiRef-Compassは今後のMR2AV研究の基盤として機能する可能性を持っています。