臨床データサイエンスの分野において、AIエージェントが複雑で異質な患者記録を正確に分析する能力はきわめて重要です。しかし現在のベンチマークの多くは、医学的質問応答、構造化テーブル推論、または一般的な科学リポジトリのいずれかに限定されており、実際の臨床実践における包括的な課題への対応が不足していました。このギャップを埋めるため、研究者たちはCLINLENSと呼ぶ新しいベンチマークを開発しました。 CLINLENSは、MIMICという医療データセットの5つのリンク済みリソースを活用し、200個の実行可能なタスクで構成されています。データには電子健康記録（EHR）の構造化データ、臨床ノート、心電図、胸部レントゲン写真、心エコー図といった多様なモダリティが含まれます。タスクの分類には4×5の分類法が採用され、4つの患者時間スコープと5つの分析能力の組み合わせが網羅されています。各タスクでは「プログラムファースト逆合成」という手法が用いられ、半未処理のデータパッケージと評価者のみが知る参照ワークフローが対応付けられています。 実験結果は、AIモデルとスキャフォルディング設定の24の標準化された組み合わせを評価したところ、最も性能の高い構成でも固定された126タスク群において56.3%のスコープマクロSTRICTPASSを達成するにとどまりました。興味深いことに、すべてのタスクで実行に成功（100% EXECSUCCESS）しているにもかかわらず、分析の正確性という点では大きな落ち込みがみられています。参考として、別途構成されたコーディングエージェントが126タスク中83タスクを解くことに成功し、GPT-4o-miniに適応させた5つのバイオメディカルシステムは最大でも2.9%のスコープマクロSTRICTPASSしか達成できませんでした。これらの結果は、実行可能な送信と正確な臨床分析との間に実質的なギャップが存在することを明らかにしています。