arXiv (CV)AI
TITLE_JA: 自己教師あり学習における表現学習:事前学習・ファインチューニング方式と同時学習方式の比較
Self-Supervised Visual Representation Learning: Pretrain-Finetuning or Joint Training?
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
自己教師あり学習(SSL)は、ラベルなしのデータから視覚的な表現を効率的に学習する強力な技術として注目されています。従来の手法の多くは、ラベルなしデータでの事前学習段階と、ラベル付きデータでのファインチューニング段階という二段階のアプローチを採用してきました。このパイプラインは高い効果を示していますが、自己教師あり学習の目的関数と教師あり学習の目的関数がどのように相互作用するかについては、まだ十分に理解されていません。
本研究では、自己教師あり学習と教師あり学習の両方の目的を訓練中に同時に最適化することが、より優れた代替案となるかどうかを体系的に調査しています。具体的には、従来の事前学習とファインチューニング(PFT)と、自己教師あり損失と教師あり損失を同じネットワーク内で同時に最適化する同時学習(JT)という二つの訓練パラダイムを比較しました。
八つの代表的なSSL手法を用いて、自然画像、医療画像、危機管理、リモートセンシングなど多様なコンピュータビジョンタスクにおいて、様々なラベル付きデータの割合で性能を評価しました。結果として、PFTとJTの相対的な有効性は、特定のタスク、ラベル付きデータの利用可能性、ドメインの複雑さに大きく依存することが明らかになりました。同時学習は、低ラベル環境での堅牢性を保ちながらデータと訓練効率を一貫して改善する一方で、事前学習・ファインチューニング方式はより専門的なドメインにおいてより信頼性が高いことがわかりました。本研究はさらに表現の品質、堅牢性、ドメイン間の汎化能力を分析し、最適化中に両者の目的がどのように相互作用するかについて新しい知見を提供しています。