arXiv (ML)AI
TITLE_JA: CARPRT:ブラックボックス型ビジョン言語モデルのためのクラス認識ゼロショットプロンプト重み付け
CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
事前学習されたビジョン言語モデル(VLM)は、画像とテキスト記述の類似度スコアを計算することで、ゼロショット画像分類を実現します。通常、プロンプト(例:「a photo of a」)にクラスラベル(例:「cat」)を挿入する形でテキスト記述が形成されます。しかし同じ画像とクラスの組み合わせであっても、使用するプロンプトの選択に大きく依存するため、既存の研究では複数のプロンプトをアンサンブルし、重み付けベクトルを用いてスコアを集約する手法が採用されてきました。
従来の手法では、各プロンプトに割り当てられた重み付けベクトルがすべてのクラスで共有されており、プロンプトがクラスに条件付き独立であると暗黙的に仮定していました。しかし実際には、「an aerial view of」というプロンプトは「airport」には適切ですが「apple」には不適切であるように、プロンプトとクラスの間に依存関係が存在します。
本研究が提案するCARPRT(Class-Aware Zero-Shot Prompt Reweighting)は、この問題に対処する新たな採点方式です。各クラスラベルに対して重み付けベクトルを調整し、トレーニングを不要とした方法で、異なるプロンプトのクラス固有の関連性を捉えます。各クラスラベルと利用可能な各プロンプトに対して、与えられたプロンプトの下でそのクラスと予測された画像群における画像テキスト関連性スコアの平均を取ることで、クラス固有の関連性を定量化します。これらの推定値は正規化され、クラス固有の重みが導出されます。標準的な画像分類ベンチマークでの評価により、CARPRTは従来のクラス非依存の重み付け手法を上回る性能を示し、効果的なゼロショット予測およびプロンプトアンサンブルに依存するより広いVLMベースのアプリケーションにおいて、プロンプトとクラスの依存関係をモデル化することが重要であることが確認されました。