arXiv (CV)AI
TITLE_JA: 基盤モデルのパッチトークンを用いた腎臓単位でのマルチラベル腫瘍・嚢胞検出(DINOv3-MIL)
DINOv3-MIL: Per-Kidney Multi-Label Tumour and Cyst Detection from Foundation-Model Patch Tokens on KiTS23
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
医療画像解析において、自然画像で事前学習された基盤ビジョンモデルの活用が注目されています。本研究は、このような基盤モデルが医療タスクにどの程度転移学習できるかを検証したものです。特に、3次元医療画像から腎臓の腫瘍と嚢胞を検出する際の課題に焦点を当てています。
研究では、凍結されたDINOv3 ViT-H/16+モデルの特徴量を使用し、腎臓画像データセットKiTS23(966個の腎臓、テストセット97個)において、3つの異なる集約手法を比較しました。3次元データセットの場合、1件の研究対象につき数万個のパッチトークンを集約する必要があり、この集約手法が最終的なモデルの解釈可能性に影響を与えることが課題です。
比較された3つの手法は、CLS-トークン線形プローブ、ゲート付きアテンション多重インスタンス学習(MIL)による55,296個のパッチトークン処理、およびProtoViTに基づくプロトタイプヘッドです。結果として、アテンション多重インスタンス学習が最高性能を示し、腫瘍検出でAUROC 0.74(95%信頼区間0.64-0.83)、嚢胞検出でAUROC 0.80(0.70-0.88)を達成しました。さらに興味深いことに、アテンション機構は注釈付き病変内で偶然の7.5〜9.8倍の濃縮度を示しました。
一方、プロトタイプヘッドはパッチトークンの規模では嚢胞検出に転移しませんでした(AUROC 0.51)。この結果は、このトークン規模での解釈可能性と性能の間に重要なトレードオフが存在することを明らかにしており、医療画像解析での基盤モデル活用に関わる根本的な課題を示唆しています。