AI技術が科学的証拠の収集と分析を行い、医療などの重要な意思決定に用いられるようになってきました。しかし、こうしたハイステークスな領域でAIエージェントが本当に信頼できる結論を導き出せるのかは、まだ明確ではありません。この疑問に答えるべく、研究チームはSciConBenchという大規模ベンチマークを開発しました。このベンチマークは、システマティックレビューから抽出された9,110個の科学的質問と専門家による結論で構成されており、AIが科学的結論をいかに正確に統合できるかを評価する仕組みとなっています。 評価の信頼性を確保するため、研究チームはSciConHarnessという「クリーンルーム」評価システムも導入しました。このシステムは、AIエージェントに制御されたウェブアクセスを提供することで、データリークを防ぎ、実際の能力を正確に測定できるようにしています。従来の評価方法では、学習データに含まれる情報が評価結果を歪める可能性があるためです。 8つの最先端モデルと研究向けAIエージェントを評価した結果は、課題を浮き彫りにしました。クリーンルーム環境での最良のエージェントでも、ファクチュアルF1スコアはわずか0.337に留まり、科学的結論の品質が依然として低いことが判明したのです。さらに、GoogleのAI OverviewやOpenEvidenceといった一般向けAIツールの監査を実施したところ、正しい答えが存在する場合でも、不完全で矛盾した結論が頻繁に生成されることが確認されました。 これらの結果から、科学的結論の信頼できる統合はAI分野における未解決の課題であり、オープンドメインのAIエージェント評価にはクリーンルーム環境での厳密な検証が本質的に重要であることが明らかになりました。