arXiv (NLP)AI
忠実性を重視した設計:複数のステークホルダー向けLLM生成臨床試験要約の評価と改善
Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は医療提供者、患者、支払者向けに臨床試験結果の要約を生成するために急速に活用されていますが、これらモデルの幻覚現象(ハルシネーション)は医療という高リスク分野で重大な危険をもたらします。本研究は、LLM生成臨床試験要約の忠実性を測定するためのベンチマーク評価フレームワークを開発し、3つのステークホルダーグループを対象に検証しました。
フレームワークはClinicalTrials.govデータベースから抽出した200件の臨床試験で構成され、ステークホルダー別のプロンプトテンプレートと6次元の忠実性注釈スキーマを使用して評価されています。GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashの3つのモデルに対して1,800件の生成要約を、クロスエンコーダ自然言語推論(NLI)モデルを使用してスコア化しました。その結果、全3モデルで「根拠のない主張」が主要な失敗パターンとして識別され、平均注釈スコアは3点満点中1.55点という低い値を示しました。
研究チームは知識グラフを活用した検索システムを開発し、ベースラインと比較して統計的に有意な改善を達成しました。NLIベースの忠実性スコアで含意度は+0.0125、忠実性は+0.0130の向上が見られ、p値は0.0001未満と高い有意性を示しています。改善経路はモデル依存的であり、GPT-4oは主に矛盾の削減を通じて改善されたのに対し、Claude Sonnet 4.6とGemini 2.5 Flashは含意の増加を通じて改善されました。