arXiv (ML)AI
マルチモーダル継続学習における様式寄与度ドリフトの正則化
Regularizing modality contribution drift in multimodal continual learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マルチモーダル継続学習(MMCL)は、画像とテキストなど複数の情報源から同時に新しい知識を学びながら、過去に習得した知識を保持することを目指す機械学習の重要な課題です。現在のMMCL手法の多くは、異なる様式間の表現の整合性や意味的類似性に焦点を当てていますが、重要な問題を見落としていました。それは、各様式が学習に貢献する度合いと、様式間の相互作用が、新しいタスクを学ぶにつれて安定に保たれているかという点です。
本研究では、この問題を「様式寄与度ドリフト(MCD)」と呼び、MCDスコアという指標で定量化しています。このスコアは、様式の部分集合に対する制御された介入を通じて、寄与度の強さと相対的な依存性の変化を組み合わせて測定されます。理論的および経験的分析により、既存のMMCL手法がこのドリフトを確実に緩和できない理由が明らかにされました。
これに対応するため、研究者たちは「継続様式寄与度ドリフト正則化(CMCDR)」を提案しました。この手法は、以前学習したタスクにおける様式寄与度の構造を保持します。MMCLの設定によって過去のデータが利用可能かどうかが異なるため、CMCDRはリプレイベースとリプレイフリーの2つのバージョンを備えています。リプレイベース版では、保存された過去のサンプルに対して様式部分集合の介入を診断プローブとして使用し、現在のモデルと凍結された過去のモデル間で寄与度プロファイルを比較します。リプレイフリー版では、現在のタスクサンプルをプローブとして使用し、凍結モデルの過去タスク寄与度応答を蒸留することで、サンプルなしで観察された寄与度プロファイルを正則化します。マルチモーダルクラス増分学習と継続的視覚質問応答の実験により、CMCDRの汎用性と有効性が検証されました。