がん診断と特性評価には、放射線科学、病理学、ゲノミクス、臨床メタデータから得られる補完的な証拠を統合する必要があります。しかし、現在の医療分野向け大規模言語モデル（LLM）やビジョン言語モデル（VLM）のベンチマークのほとんどは、単一モダリティ（データ形式）や限定的な画像テキストタスクに焦点を当てており、複数の証拠を横断した患者レベルの腫瘍学的評価はほとんどテストされていません。 今回、患者レベルの放射線科学・病理学・ゲノミクス統合ベンチマーク「OncoTriad-QA」が紹介されました。このベンチマークは32種類のがんコホートから9,281人のTCGA患者ケースにおいて86.1k個のセマンティック質問を含んでおり、CT/MRI放射線画像、全スライド病理組織像、体細胞変異、コピー数変異、DNA メチル化、バルクRNA配列、臨床メタデータを連携させています。ケース固有のアノテーションは、キュレーションされたラベル、診断報告書、分子プロファイル、モダリティ由来の証拠を主要な真実ソースとしてLLMアシストパイプラインを通じて構築され、自動化された一貫性チェックと臨床医によるレビューが行われています。 さらに、参照マルチモーダルモデル「OncoVLM」も導入されました。このモデルは、放射線科学、病理学、DNAメチル化、RNA配列の証拠を学習した射影器を通じてLLMインターフェースにマッピングします。実験結果から、既存の汎用LLMおよび医療LLMは包括的な汎がん質問応答に限界があることが明らかになり、特に画像検査結果、腫瘍形態学、分子証拠の統合が必要な質問では顕著です。OncoTriad-QAでファインチューニングを行うと、OncoVLMはMedGemma-4Bを複数選択肢精度とBERTScore-F1で平均10.7ポイント上回り、放射線のみ、病理学のみ、全モダリティ利用可能な複数の設定で一貫した改善を示しています。