大規模言語モデル（LLM）の実用化が進む中、医療診断や金融アドバイザリーといった専門分野での導入には、単なる一般知識を超えた能力評価が不可欠となっています。従来の質問応答ベンチマークは、これらの分野が要求する微妙な文脈理解、ユーザーニーズへの対応、深い領域知識といった要素を十分に評価できていません。 こうした課題に対応するため、研究チームは新たなベンチマークデータセット「CANDI-QA（Contextual Alignment for Niche Domains Question Answering）」を開発しました。このデータセットは、専門的な環境において正確で文脈に適応した、ユーザー志向の回答を提供できるLLMの能力を評価するものです。CANDI-QAは専門家によって厳選された質問応答ペアで構成されており、二つのカテゴリに分類されています。一つ目は「情報支援質問」で、正確な情報抽出を必要とする直接的で事実的なクエリです。二つ目は「応用推論質問」で、状況に応じた推論を通じて実行可能な洞察を生成する複数ステップの推論タスクとなっています。 研究では10以上の多様な言語モデルが評価されており、コンパクトなオープンソース版から最先端の商用システムまで幅広くカバーされています。ベースラインモデルとして、神経ネットワークベースの検索とルールベースの推論を組み合わせた軽量なニューロシンボリックフレームワーク「MTSS-Net」も提案されています。研究成果は、専門分野における文脈的一貫性の達成が現在のLLMにとって極めて困難であることを明らかにしており、文脈またはシンボリック統合の強化なしには限界があることを指摘しています。CANDI-QAは、文脈認識型言語モデルの研究を推進し、医療や金融といった重大な影響を持つ分野での堅牢で信頼性の高いAI開発を促進する重要なベンチマークとなることが期待されています。