arXiv (NLP)AI
ネパール語ミームの憎悪表現・感情分析のための二段階ビジョン言語適応システム
ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
本論文は、CHiPSAL 2026共有タスクにおけるネパール語ミームのマルチモーダル憎悪表現および感情検出に関するシステムを提案しています。このタスクは、ミーム画像における憎悪表現の二値分類と、三値の感情分析という2つのサブタスクで構成されています。提案システムは、ネイティブなデヴァナガリ文字対応を備えた最先端のビジョン言語モデルであるQwen3-VL-8B-Instructを用いて、Robust Adaptation of Hateful Meme Detection(RA-HMD)フレームワークを適応させています。
二段階のトレーニングパイプラインが採用されました。第一段階ではLoRAファインチューニングとMLPプロジェクションヘッドを用いた生成的分類を実施し、第二段階では教師あり情報最大化対照損失(InfoNCE loss)によるコントラスティブバックボーン微調整を行っています。クラス不均衡の問題に対しては、少数派クラスのオーバーサンプリング、画像拡張、およびフォーカル損失を採用することで対処しました。
推論時には、検証セットで調整された重みを用いて第一段階のトークン確率と第二段階のクラシファイア スコアをアンサンブル統合しています。本手法の特筆すべき特徴は、モデルのネイティブなデヴァナガリ理解を活用することで、別個のOCRと翻訳パイプラインを排除し、エラー伝播を防止している点です。その結果、憎悪表現検出でF1スコア0.797を達成して2位、感情分析でF1スコア0.518を達成して4位の成績を収めました。本研究は、低リソース南アジア言語への大規模ビジョン言語モデルの適応に関する詳細なアブレーション研究とエラー分析を提供しています。