arXiv (CV)AI
TITLE_JA: DELTAVID:動画間の差分を活用した時空間認識能力の向上
DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ビデオ理解を扱うマルチモーダル大規模言語モデル(Video MLLM)は、オープンエンドの動画解析において著しい進展を遂げています。しかし現在のモデルには、局所的で高精度の時空間認識能力が不足しており、グローバルな意味内容は似ているものの短い時間帯や小さな領域でのみ異なる2つの動画に対してはしばしば変化を見落とし、信頼性の高い根拠を提供できません。
この課題に対して、研究チームはDELTAVIDという新しいフレームワークを提案しました。このアプローチの核となる考え方は、動画間の「違いを見つける」タスクを訓練可能な認識信号に変換することです。モデルは2つの類似した動画を比較することで、局所的な変化を特定し、時間的な境界を判定し、空間的な証拠を組織立てて学習します。このシグナルを実用的な規模で訓練でき、かつ信頼性高く評価できるようにするため、研究チームはDELTAVID-10KおよびDELTAVID-Benchというベンチマークを導入しました。これらは実動画における管理可能な局所差分を、証拠がラベル付けされた訓練・テストサンプルに変換するものです。
実験結果は、DELTAVIDが動画間の差分理解パフォーマンスを大幅に向上させることを示しました。さらに学習した局所証拠能力は、MMVU、MLVU、Video-MME、VideoHolmes、VideoMMMU、LVBench、TempCompass、LongVideoBenchといった一般的な動画理解ベンチマークへも転移します。これらの成果は、動画間の差分が単に細粒度認識の失敗を診断する有効な手段であるだけでなく、Video MLLMを粗粒度の意味理解から細粒度の時空間証拠推論へシフトさせるスケーラブルな代理教師信号であることを示しています。