arXiv (CV)AI
TITLE_JA: テキスト動画生成モデルにおける推論時コンセプト抑制と動画中心の評価フレームワーク
Inference-Time Concept Suppression and Video-Centric Evaluation for Text-to-Video Models
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
テキスト動画(T2V)生成技術は、リアルで時間的に一貫性のある動画の合成を可能にしていますが、生成モデルから特定の概念を制御可能に削除することは依然として難しい課題です。テキスト画像間のコンセプト削除と異なり、T2V の機械学習解除では、複数フレームに渡って持続する可能性のある対象概念を抑制しながら、非対象の被写体、アクション、シーン、時間構造を保持する必要があります。
この研究では、SIRUS という訓練不要な推論時フレームワークを提案しています。対象概念のテキストエイリアスが与えられたとき、SIRUS はプロンプト内の対象関連証拠をローカライズし、テキストエンコーダやノイズ除去ネットワークを更新することなく、サンプリング中に対象表現を抑制します。同時に、動画レベルの失敗基準、フレームレベルの残差統計、ペアリング保持分析、VBench ベースの品質診断、デプロイメント オーバーヘッド測定を用いて、目標忘却、非目標保持、動画品質、ジェイルブレイク耐性、効率性を個別に測定する動画指向の評価フレームワークを導入しました。
CogVideoX 上で5つの安全性、物体、スタイルコンセプトに対して、SIRUS は平均 70.4% の忘却成功率と 25.7% の平均フレームヒット率を達成しており、VideoEraser の 44.4% / 47.2% と比較して優れています。さらに、平均 VBench 品質低下を -0.043 から -0.016 に削減し、完全に評価されたベースラインの中で最強の忘却品質トレードオフを実現しています。Wan2.2 への転移実験は、SIRUS が最新の T2V バックボーン全体で汎化することを示唆しています。