自律的に研究を遂行できるAI Scientist（AI科学者）システムは、科学的発見を大幅に加速させる可能性を秘めている。しかし、AI生成論文の質を評価・比較することは依然として大きな課題として残されていた。この研究では、最先端の大規模言語モデル（LLM）を活用した自動ピアレビューシステムを構築し、科学論文を独創性、科学的厳密性、明確性、重要性の4つの主要な観点から評価する厳密なベンチマーク手法を提案・実装している。 研究チームは4つの主要なAI Scientistフレームワーク、すなわちSakana AI（v1およびv2）、CycleResearcher、Data-to-Paperを評価の対象とした。商用自律AI科学者企業（FARS）が公開した15件の研究提案に対して各フレームワークを実行し、計60本の論文を生成。これらを15本のFARSベンチマーク論文と並行して評価した。評価にはGPT-5.4、Gemini、Claudeという3つの独立したLLMレビュアーを使用している。 結果として、FARSベンチマーク論文は全ての競合フレームワークを大きく上回り、1～5スケールで平均スコア2.14～2.47を達成した。一方、他のシステムは1.00～1.87という評価にとどまった。特筆すべきは、GeminiおよびClaudeの評価ではFARSのスコアが次点のシステムの2倍以上という圧倒的な差を示したことである。GeminiとClaudeの間には強い一致性が見られ（相関係数ρ=0.907、p<0.001）、両者は総合スコアとも極めて強く相関している（ρ=0.961、p<0.001）。これにより自動評価の信頼性が検証された。ただしGPT-5.4は相対的に弱い一致性を示し（ρ≈0.32）、異なる基準で論文を評価していることが示唆された。本研究はAI Scientistシステムの初の定量的ベンチマークを確立し、マルチモデルLLM評価が自律研究の質を評価するためのスケーラブルで一貫性のある枠組みとなることを実証している。