arXiv (CV)AI
長編動画生成における記憶管理と計算配分の最適化:Surprise Forcingフレームワーク
Surprise Forcing: What to Remember, When to Skip in Long Video Generation
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
動画生成AIの実用化が進む中、特に長時間の動画を生成する際には、計算リソースの効率的な配分が大きな課題となっています。ストリーミング自己回帰拡散モデルを用いた分単位の動画生成は実現可能になりましたが、限定されたコンテキスト窓と固定されたノイズ除去スケジュールでは、非定常的な動画フレーム列全体に対して均一にリソースを配分してしまうという問題があります。
従来のローリングキー・バリュー・キャッシュ方式では、遠い過去のフレーム情報が忘却されてしまい、その情報がまだ重要である場合でも失われてしまいます。また、生成される各フレーム塊が同じ回数のノイズ除去処理を受けるため、実際の難易度に関わらず無駄な計算が発生していました。
本研究で提案されたSurprise Forcingは、これら両方の制限をオンライン資源配分問題として扱う訓練不要なフレームワークです。Surprise-Gated Memory Bankは削除されたフレームをバリュー・トークン記述子で要約し、グローバル偏差と最近傍の新規性シグナルを用いて評価した上で、フィードバック制御されたバジェットを通じて メモリへの受け入れを調整します。同時にSurprise-Aware Denoisingは、最初のノイズ除去パス後の隣接フレーム間のコサイン距離から各フレーム塊の難易度を推定し、ローカルパーセンタイル・スケジューラを使って比較的簡単なフレーム塊の中間ステップをスキップします。
VBench、VBench-Long、VBench-2.0での実験結果によると、提案された配分戦略は長時間にわたる動画の一貫性と視覚的品質を向上させながら、リアルタイムストリーミングのスループットを維持することが確認されました。