arXiv (NLP)AI
より信頼性の高い大規模言語モデル:公衆衛生向け質問応答のための検索拡張生成
Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は医療分野の質問応答ベンチマークで有望な結果を示していますが、公衆衛生での応用には幻覚現象と公式ガイダンスの急速な進化による制限があります。検索拡張生成(RAG)は、明示的に管理されたコーパスに基づいて応答を根拠づけることでこれらのリスクを軽減しますが、実際の性能は検索設定と複数選択形式を超えた評価に大きく依存しています。
本研究は、英国政府の公衆衛生ガイダンスから派生した7,929件の質問からなるQAベンチマーク「PubHealthBench」を検索拡張設定へ拡張し、検索と生成の選択肢を体系的に評価しました。複数の埋め込みモデルとコーパス変数にわたって、密集検索、疎検索、ハイブリッド検索を比較した結果、ハイブリッド検索が一貫してリコールとランキング品質を向上させることが判明しました。チャンク長とトピックはランキング性能に相互作用を与えます。
検索されたコンテキストを提供することで、様々なLLM全体で複数選択精度が大幅に向上し、より小さなオープンウェイトモデルが検索なしで使用されるより大きなモデルと同等またはそれ以上の性能を達成できるようになりました。その効果は主に検索品質と慎重なコンテキスト選択によって駆動されています。現実的な自由回答形式を評価するため、著者らは忠実性、完全性、明確性、事実一貫性をカバーするルーベリックベースのLLM判定官を導入し、二重人間注釈に対して検証しました。評価では忠実性と完全性について人間との合意が最も強い一方、事実一貫性と明確性はより信頼性が低いことが判明し、大規模適用時の解釈に注意を促しています。全体的に、本研究は公衆衛生QAにおける信頼性向上の主要な手段として検索の重要性を強調し、公式ガイダンスに根拠づけたRAGシステムの構築と評価に対する実践的指針を提供します。