マルチモーダルなミームは常に進化しており、その解釈には最新の背景知識が不可欠です。従来の手法では、事前学習済みモデルに組み込まれた固定的な知識に依存していたため、不完全であったり、時代遅れであったり、あるいは新しく出現したミームに対応できないという問題がありました。このような課題に対処するため、研究チームは「Query Retrieve Conclude」という新しいゼロショット学習フレームワークを開発しました。 このフレームワークの特徴は、欠落している知識を自動的に識別し、ウェブから関連する証拠を検索し、その証拠を基にしてミーム理解と検出に必要な背景知識を合成する能力にあります。単に既存の知識ベースに頼るのではなく、リアルタイムで外部情報を活用することで、最新のミームにも対応できるようになっているのです。 研究では、2024年から2026年の最新ミームから構成された厳選されたベンチマークデータセットを新たに構築しました。このデータセットには外部の背景知識アノテーションが付与されています。三つのミーム理解データセットと五つのミーム検出タスクを用いた実験により、提案フレームワークがゼロショットベースラインと比較して、知識回復、ミーム理解、およびその後の検出精度を大幅に改善することが示されました。