動画生成技術が急速に発展する中で、クリエイターが参照画像のシーケンスを指定して生成を誘導する「キーフレームベースのワークフロー」が主流となっています。最近のAIモデルは複数のキーフレーム条件付けに対応していますが、これらのモデルが指定されたキーフレームを忠実に再現しながら、全体的な動画品質を維持できるかどうかはまだ明確ではありません。 このような課題に取り組むため、研究者たちは「KeyFrame-Compass」という、キーフレーム条件付きビデオ生成を評価するための初の包括的ベンチマークを発表しました。このベンチマークには、3つのアプリケーションドメイン、2つのビデオ構造、2つのプロンプト粒度、2つの条件付け形式、および4つのキーフレーム密度にわたる、慎重に厳選された386のサンプルが含まれています。これにより、多様な生成設定における制御された分析が可能になります。 さらに、キーフレームの実行と全体的な動画品質を同時に測定する自動評価フレームワークが導入されました。キーフレーム実行は、存在、忠実性、時間的順序、位置特定、永続性、および独自性の6つの補完的なメトリックスに分解されています。一方、動画品質全体は、特殊な知覚モデルで増強されたMLLM（マルチモーダル大規模言語モデル）の根拠に基づいた判断を通じて評価されます。 9つの代表的なビデオ生成システムに対する実験結果は、いくつかの根本的な限界を明らかにしました。現在のモデルは、キーフレームの忠実な実行と自然な動画合成の間にはっきりとしたトレードオフが存在することが示されています。さらに、キーフレーム制約がより密になるにつれてパフォーマンスが低下し、ほとんどのオープンソースモデルはストーリーボードグリッド入力を時系列で順序付けされたキーフレームシーケンスとして解釈することに失敗しています。