自然言語で記述された数学的証明の採点は、数学推論システムを評価する際に繰り返し発生するコストとなっています。最先端の大規模言語モデル（LLM）を用いた採点には高額な費用がかかるため、研究者たちは廉価なオープンウェイトモデルが信頼性のある採点者として機能するかどうかを検証しました。 この研究では、候補となる証明、正解となる証明、そして人間による採点ルーブリックが与えられた場合、安価なモデルが実用的かどうかを調査しています。IMO-GradingBenchという200件のインスタンスからなる検証サンプルを用いて、GPT-OSS 120B、DeepSeek-V4 Flash、Gemma-4 31Bといった3つの廉価な採点者を評価したところ、これらのモデルは最先端のClaude Opus 4.7やGemini 3.1 Proと統計的に区別のつかないレベルで人間の合否判定と一致していることが明らかになりました。驚くべきことに、このような性能を最大100倍低いコストで実現しているのです。 研究チームは当初、3つのモデルによる多数決が最適な予算オプションになると予想していましたが、実際には最先端モデルと同等の性能を示しただけで、最強のメンバーを上回ることはできませんでした。ベンチマーク全体の1000インスタンスに拡張し、様々な合意ルールを検討した結果、全モデルが合意する場合（all-three-pass）のルールが最も高い合格一致率と適合率を達成し、4回の反復実行でも最も安定した結果を示しました。この研究の主要な発見は、廉価な採点者が最先端の1～2桁低いコストで競争力を持つということであり、実運用のデフォルトとしてall-three-passルールを推奨しています。