arXiv (CV)AI
TITLE_JA: 強化学習を用いた推論ガイド型パートレベル視覚グラウンディング
Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マルチモーダル大規模言語モデル(MLLM)は、自由形式の言語クエリから物体全体をグラウンディングすることには優れていますが、クエリが物体ではなくその一部を指す場合には苦戦しています。この課題は、物体と部分が同じ単一ステップで局所化されるため、物体と部分の階層構造が欠落していることに起因しています。
本研究では、Object-Part Hierarchical Reflective Grounding(OP-HRG)という粗から細への推論ガイド型グラウンディング戦略を提案しています。このアプローチは、まず親オブジェクトを局所化し、その後その内部で部分を特定するという二段階の処理を採用しています。その後、自己チェック機構が結果を振り返り、予測されたクロップを再エンコードして、修正対象の領域を検査する拡張機能も備えています。
研究チームは、段階的な報酬を用いてパイプラインを訓練するための部分認識GRPOフレームワークを導入しました。このフレームワークで訓練した4Bモデルは、PascalPart、PartImageNet、InstructPartのベンチマークにおいて、7Bのグラウンディング言語モデルやSAM3を上回る性能を発揮しています。さらに、このモデルは推論セグメンテーションへの転移学習にも対応しており、汎用性の高いアプローチであることが実証されています。