arXiv (CV)AI
ビジョントランスフォーマーの敵対的ファインチューニングに関する機械的分析
A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
画像分類モデルは医療診断、自動運転、セキュリティシステムなど高リスク環境での活用が広がっており、ぼかしやシャープ化といった入力画像の微細な摂動に対する堅牢性が重要な課題となっています。特にビジョントランスフォーマー(ViT)はVision-Language-Models(VLM)やVision-Language-Action(VLA)といった最新のマルチモーダルモデルの中核を担っていますが、堅牢性の観点からはこれまで十分に研究されてきませんでした。
本研究では、画像摂動に対するモデルの堅牢性を向上させる一般的な手法である敵対的ファインチューニングがViTの性能に及ぼす影響を、機械的な視点から分析しています。研究チームはViTに低周波および高周波の画像破損を使用した敵対的訓練を行い、モデルの注意機構、内部表現、層全体での知識進化の検査を通じて、下流タスクの性能変化を説明しようとしました。
その結果、一般的な破損を含む入力データでのファインチューニングは、新しい破損データに対するモデルの性能と確実性を向上させることが分かった一方で、訓練で未経験の他の種類の破損にはこの改善が転移しないことが明らかになりました。また、層全体で視覚的注意と知識進化における変化が観察されたにもかかわらず、敵対的訓練がViTが学習する疎な表現に根本的な変化をもたらさなかったことが判明しました。