arXiv (CV)AI
TITLE_JA: ペアなし異モダリティ医療画像分類のための共有セマンティックコードブック蒸留法
Shared Semantic Codebook Distillation for Unpaired Cross-Modal Medical Classification
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
医療画像解析の分野において、複数の異なるモダリティ(撮影方式)から得られるデータを活用することは診断精度の向上に有効です。しかし現実には、異なる患者集団から収集されたデータは構造的に対応していないペアなしデータとなることが多く、これが知識蒸留の障害となってきました。従来の知識蒸留手法は、教師モデルと学生モデル間で対応するサンプルペアを必要とし、直接的な特徴マッチングに依存していました。しかし医療画像では、例えば光干渉断層撮影(OCT)と眼底写真、またはCTと胸部X線といった異なるモダリティは幾何学的に互換性のない特徴空間を占めるため、こうしたアプローチが機能しません。
これらの課題を解決するため、研究チームは共有セマンティックコードブック蒸留(SSCD)という新しい手法を提案しました。この手法の核となる考え方は、教師と学生の表現をモダリティに依存しない共通の離散コードブックを通じて比較することです。各医療画像は共通の語彙上の分布として表現され、知識転移はこの分布をグローバルおよびクラス条件付きで整列させることで実現されます。ペアなしサンプルや直接比較可能な生の特徴を必要としません。
コードブックはオンラインで指数移動平均により進化し、エントロピー正則化とデッドコード再起動を通じて多様性が保たれます。推論時には教師側とコードブックモジュールは完全に破棄され、学生エンコーダと分類器のみが残ります。この設計により、実運用でのコスト削減と配置の簡便化が実現されます。
実験結果は有望で、眼底疾患分類ではマクロF1スコアが64.5から70.2に、肺炎分類では73.8から76.3に改善され、評価された全ての蒸留ベースラインを上回りました。この成果は、ペアなしの異モダリティ医療画像解析における実用的で強力なアプローチを提供しています。