科学論文の投稿量が急速に増加する中、大規模言語モデル（LLM）をピアレビュー支援に活用する研究が注目を集めています。既存の自動化された新規性評価アプローチは、通常、論文の主張される貢献度を既存文献と比較していますが、その際に暗黙的に、これらの貢献が論文内で正確に実現されていると仮定しています。しかし実際の人間レビュアーは、類似のアイデアがすでに存在するからではなく、論文で提示された方法論的証拠が主張を十分に支持していないため、新規性の主張に異議を唱えることが頻繁にあります。 このような、主張された貢献と方法論的実現の間の内部的な不一致は、現在のLLMベースのレビューシステムではほとんど検討されていません。この課題に対処するため、研究チームは「論文内主張検証」というフレームワークを導入しました。このフレームワークは、論文の導入部で述べられた新規性の主張が、それらを実現するために使用された方法によって実際に支持されているかどうかを評価します。 フレームワークはLLMを用いて導入部から新規性の主張を抽出し、主張に関連する方法論的証拠を検索し、その方法が述べられた貢献を支持しているかを評価します。評価はICLR 2025の論文182本から収集した人間のピアレビューから帰納的に導き出された、レビュアーに着想を得た評価基準によって導かれます。これらの基準は、新規性、方法論、明確性などに関連したレビュアーの懸念を捉え、主張の実質性に関する構造化されたレビュアースタイルの評価を生成するために使用されます。 フレームワークの評価は、採択論文と却下論文のバランスの取れた部分集合で、LLM生成のレビューコメントと人間レビュアーの懸念を比較することで行われました。人間による評価は、特に新規性に関する問題について、フレームワークが生成した評価と人間レビュアーの懸念の間に有意な一致があることを示しました。さらにBERTScoreは、対応する人間とLLMのレビュアーペアを不一致の対照から区別し、フレームワークが人間レビュアーの観察と一致する懸念を捉えていることを示しています。