科学研究の効率化において、AIエージェントは大きな可能性を秘めています。特に、ドメイン専門家が数日から数ヶ月を要するソフトウェア開発段階を自動化する点で期待されています。本研究は、ショウジョウバエの光遺伝学実験データから発見までのパイプラインを題材に、汎用的なコーディングエージェントの実用性を包括的に評価するケーススタディです。既存のベンチマークよりも実質的に大規模なタスク、桁違いに大きなデータセット、そしてドメイン専門家の基準に基づいた評価基準を用いて検証しました。 その結果、エージェントはパイプラインの個別段階については解決可能であることが示されました。これはステージレベルの自動化が現実的であることを示唆しています。しかし詳細な分析を進めると、重大な限界が明らかになりました。エージェントは明確な反復基準がない場合、科学的判断に基づいて現在の解法を評価する必要がある段階で最も苦戦することが判明したのです。この点は現在の最大の課題として位置付けられます。 興味深いことに、エージェントは科学的実践を模倣して中間出力の視覚的検査を試みることもありますが、その大部分は見たものを適切に解釈したり対応したりすることに失敗しています。パイプライン全体を正確に実行するには、すべての段階での成功を連鎖させる必要がありますが、これは現在のエージェント能力を超えています。さらに、計算リソース管理や大規模で未知データへの汎化など、既存ベンチマークには含まれていない課題も特定されました。本研究を通じて、科学的タスクの構築方法と、未定義問題に対する厳密な評価基準の策定原則が体系化されています。