arXiv (CV)AI
動画理解と質問応答のための動的潜在推論:認知の後に推論を行うアプローチ
Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
動画質問応答(VQA)は、言語による問い合わせを視覚的証拠に基づかせ、必要に応じて時間軸を越えて推論を行う必要があります。従来の手法では、多くの質問が関連するオブジェクト、アクション、またはフレームが特定されるとすぐに答えられるにもかかわらず、長いテキストベースの思考の連鎖(chain-of-thought)を生成していました。
本研究で提案される動的潜在推論(DyLaR)は、まずクエリに関連する視覚的証拠をエンコードする短いブロックの認知潜在状態(perception latents)に質問を接地し、その後、答える前に推論潜在状態(reasoning latents)を追加するかどうかを適応的に決定します。このアプローチにより、モデルは必要な場合のみ推論を行い、不要な処理を削減できます。DyLaRは、認知潜在状態を検証済みの視覚的証拠に接地し、検証済みの根拠を推論潜在状態に蒸留することで学習され、さらに強化学習によって推論を行うべきタイミングが洗練されます。
9つの動画ベンチマークと4つのマルチモーダル言語モデルのバックボーンを用いた評価では、DyLaRはクエリごとに20トークン未満の生成で、同一バックボーンのベースラインを上回る精度を実現しました。例えばQwen3-VL-4Bでは、平均精度が54.0から58.2に向上し、クエリごとの応答長が1,220.7トークンから18.5トークンに削減されました。このように大幅な効率化と精度向上を同時に実現しており、アブレーション研究からは、接地された認知潜在状態、根拠監督による推論潜在状態、および適応的ルーティングの各要素が精度向上に寄与していることが確認されました。