arXiv (CV)AI
JEPA予測器:隠蔽された特徴補完のための転移可能なオペレータ
The JEPA Predictor: A Transferable Operator for Occluded Feature Completion
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
Joint-Embedding Predictive Architectures(JEPA)は、エンコーダーと予測器を共同で訓練する機械学習フレームワークですが、従来は下流のタスクでエンコーダーから特徴を読み込むだけで、訓練済みの予測器は破棄されていました。しかし新しい研究では、この予測器が実は非常に価値のあるオペレータであることが示されています。予測器は元々、可視領域の特徴からマスク済み位置の特徴への変換を学習しているため、隠蔽されたパッチを補完する必要がある部分画像分類タスクに最適な構造を持っているのです。
研究チームは、この予測器が異なるエンコーダーファミリー間で転移可能であることを実証しました。I-JEPAとV-JEPA 2の冷凍予測器をCLIP、DINOv3、DINOv2、MAEといった4つの非JEPAベースのエンコーダーに接続し、わずか500枚のImageNet-1k画像で線形射影を最小二乗法で学習するだけで機能することを確認しました。ImageNet-9とStanford Dogsデータセットの3つの異なるマスク比率にわたる実験で、マスク比率が高まるにつれて、すべてのホスト・ドナーペアで性能向上が単調に増加しました。
特に印象的な結果として、CLIPに接続されたI-JEPA予測器は、ImageNet-9での高度な隠蔽状況でマスキングによって失われた精度のほとんどを回復し、細粒度分類のStanford Dogsでは15.9%から52.1%への大幅な性能向上(36ポイント)を実現しました。メカニズムの分析から、線形射影は可視パッチに固定コストを支払い、予測器がマスク済みパッチに対して成長する利益をもたらすことが判明しており、高度な隠蔽状況ではこの利益が支配的になります。この冷凍JEPA予測器は、モデルの再訓練が不要で、マスク比率ごとの線形プローブの適合だけで、複数のエンコーダーファミリーに対応する隠蔽特徴補完のための転移可能なオペレータとして機能します。