arXiv (CV)AI
マルチモーダルLLMにおける特権モダリティからのプローブ学習
Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マルチモーダル大規模言語モデル(MLLM)は、訓練時に利用可能なすべてのモダリティが推論時にも利用できるという前提の下で設計されることが多い。しかし、実世界の多くのシナリオではこの前提が成立しない。補助的なモダリティが訓練時にのみ利用可能で、推論時には使用できない「特権モダリティ設定」下での運用が必要になることがある。これらの補助モダリティには貴重な情報が含まれているにもかかわらず、既存のMLLMはそれらを効果的に活用できていない。従来のアプローチではモダリティを交換可能な入力として扱い、補足的な監督信号の源として認識していないためだ。
新しく提案されたMixture of Probes(MoP)フレームワークは、このジレンマを解決する。MLLMの内部で、モダリティ固有の信号とモダリティ一般的な信号を分離することで、モデルはモダリティ依存的な構造を保持しながら、複数のモダリティ間で転移可能な表現を学習できるようになる。このフレームワークの核は、共有モダリティエンコーダーの中間表現から情報を抽出・組織化する構造化プローブメカニズムであり、既存のMLLMが採用する最終層アラインメントのみに依存しない設計となっている。
このプローブの分離を支援するため、プローブ崩壊を防ぎクロスモーダル学習を促進するプローブ分離損失に基づくMoP Cross-modal Training(MoP-X)という訓練戦略も導入された。評価は8つのタスク、4つのモダリティを対象とした包括的なプロトコルで実施された。各モダリティが推論時の唯一の入力として独立に扱われる特権モダリティ設定下において、MoPは強力なMLLMベースラインを一貫して上回り、最大65%の相対的改善を達成した。この結果は、推論時に利用不可能な補助モダリティであっても、訓練時に効果的に活用すれば、大幅な性能向上をもたらしうることを実証している。