大規模視覚言語モデル（LVLM）は強力な知覚能力を持つ一方で、視覚推論タスクにおいては脆弱性を抱えています。既存のベンチマークは記号的な数学や科学的問題、単純な視覚中心のタスクに焦点を当てるものが大多数で、複雑な視覚推論と論理的一貫性の評価が限定的です。しかし信頼できる推論システムにとって、この論理的一貫性は極めて重要な要素となります。 こうした課題に対応するため、研究チームはConVBenchという複雑な視覚中心の推論ベンチマークを導入しました。このベンチマークでは、各画像に対して論理的に等価な2つの質問が用意されており、行動と状態、複雑な数え上げ、空間推論、因果関係と意図の理解、常識推論、時間知覚という6つのカテゴリーにわたっています。さらに論理的一貫性と堅牢精度という2つの評価指標を定義し、モデルの応答の正確性と一貫性を総合的に評価しています。 これらの取り組みを補完するため、ConVLMというモデルが開発されました。このモデルはGroup Relative Policy Optimization（GRPO）に基づく強化学習と新たな一貫性報酬を組み合わせることで、LVLM推論の改善を実現しています。この手法は自動生成された論理的等価質問応答ペアと、精度と一貫性ベースのシグナルを組み合わせた二重報酬設計を活用し、ペアになった応答間の一致を促進します。また、厳密な回答教示がある場合とない場合の両方で効果的に機能する柔軟性も持ち合わせています。