大規模言語モデル（LLM）の性能評価において、モデルの自信度（confidence）が実際の精度とどの程度一致しているかを測定することは「キャリブレーション」と呼ばれ、重要な評価指標となっています。従来の研究では、Expected Calibration ErrorやBrier Scoreといったグローバルキャリブレーション指標を用いて異なるLLM間のキャリブレーション性能を比較してきました。しかし、本研究はこうした比較手法に根本的な問題があることを指摘しています。 本論文の主な発見は、モデル間のキャリブレーション比較が、モデルの精度の違いによって大きく影響されるという点です。つまり、従来の指標を用いた比較では、単に精度の高さがキャリブレーション性能の優位性を生み出しているだけで、真のキャリブレーション能力の差を見落としている可能性があるということです。この問題に対処するため、研究者たちはACE（Accuracy-Controlled Evaluation）という新しい評価フレームワークを提案しました。このフレームワークは、Instance-Aligned（インスタンス整列）、Distribution-Aligned（分布整列）、Candidate-Aligned（候補整列）という3つの相補的な観点からキャリブレーション性能を評価します。 複数のベンチマーク、モデルファミリー、信頼度抽出方法を用いた評価の結果、興味深い現象が明らかになりました。従来の指標で優位性があると報告されていた多くのキャリブレーション上の利点が、精度制御を加えると大幅に減少するということです。さらに注目すべきは、「ランキング逆転」が頻繁に発生することです。つまり、従来の指標で優れていると評価されたモデルが、精度を制御した評価では優位性を失うケースが数多く存在するのです。本研究は、公平で信頼性の高いLLM間比較には、単なるグローバル指標ではなく、精度を考慮した正確な評価が不可欠であることを示唆しています。