arXiv (NLP)AI
大規模言語モデルを統一的なマルチモーダル学習器として臨床予測に活用
Large Language Models as Unified Multimodal Learners for Clinical Prediction
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
電子カルテシステムは、患者の自由記述的な臨床叙述と、バイタルサイン、検査値、既往歴といった構造化データを含んでいます。しかし従来の臨床予測システムの多くは、各データ形式に専用のエンコーダを配置し、タスクごとに異なる融合メカニズムを構築する必要があるタスク特化型の融合アーキテクチャに依存してきました。本研究は、より単純で汎用的なアプローチを提案しています。患者データをその形式に関わらず単一の自然言語シーケンスに変換し、事前学習された言語モデルをエンドツーエンドでファインチューニングするというものです。この際、融合のための特別なアーキテクチャ修正は一切必要ありません。
研究チームは3つの臨床的に異なる予測タスクで本手法を評価しました。MIMIC-IIIデータセットを用いた院内死亡率予測、ドイツの移植センターからの継時的データを用いた移植片拒絶反応予測、そして救急車記録からの緊急度トリアージ分類です。ModernBERTなどのエンコーダベース、およびLlama 3.1、Gemma、DeepSeek-R1-Qwen、Qwen3などのデコーダベースのモデルでファインチューニングを行い、既存のマルチモーダルベースラインおよび、移植片拒絶反応予測では臨床実践で実際に用いられているグラデーションブースティングモデルと比較しました。
全てのタスクを通じて、統一的なテキスト化によるシリアライゼーションはタスク特化型マルチモーダルベースラインと同等か、それを上回る性能を示しました。特に移植片拒絶反応予測では、臨床現場で既に導入されているグラデーションブースティングシステムを性能面で凌駕しています。これらの結果は、カスタマイズされた融合アーキテクチャなしに、単一のシリアライゼーションベースのパラダイムで十分にマルチモーダル臨床予測が実現可能であり、システムの複雑性を大幅に削減しながら専門設計と同等以上の性能を達成できることを示唆しています。