arXiv (ML)AI
TITLE_JA: マルチモーダル大言語モデルにおけるモダリティ特異的ニューロンの分離と編集
Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マルチモーダル大言語モデル(MLLM)の知識を効率的に更新するための技術である知識編集が注目を集める中、研究者らが重要な課題を指摘しました。現在の知識編集手法には「編集の分離失敗」という問題があり、テキストと画像のペアで構成されるマルチモーダル入力によってモデルが起動された場合、エンティティ関連の知識は正しく更新されます。しかし、同じ入力がテキストのみあるいは画像のみのユニモーダル入力に分割されると、更新前の古い情報に戻ってしまうという現象が発生しているのです。
この問題の根本原因は、MLLMにおけるエンティティ知識の保存方法にあります。統一された単一の表現として保存されているのではなく、テキスト処理用とビジョン処理用といった異なるモダリティに特化した独立した経路を通じて分散的に保存されているということが判明しました。その結果、マルチモーダル入力に偏った知識更新がユニモーダル回路に効果的に伝播しないという問題が生じています。
この課題に対処するため、研究者らは「DECODE」という新たなアプローチを提案しました。DECODEは、モダリティ特異的なニューロン集団を明示的に分離・特定し、標的を絞った知識編集を実現するものです。広範な実験の結果、DECODEは異なるモダリティのトリガーの下でも一貫して効果的な知識更新を達成でき、編集の分離失敗を軽減することが実証されました。この研究は、より堅牢で信頼性の高いMLLMの知識管理へと一歩前進させるものとなっています。