大規模言語モデル（LLM）の性能評価は、多くの場合複数のベンチマークテストの結果に基づいて行われています。しかし、本研究が明らかにしたのは、現在利用されているベンチマークスイートには深刻な「盲点」が存在するということです。この研究は、立体測定学の理論を応用して、LLMの能力プロファイル評価における覆域の限界を数学的に分析しています。 研究チームは、OpenLLM v2、12ベンチマークの拡張スイート、LiveBenchという3つの独立したリーダーボードを調査しました。その結果、これらすべてのベンチマークスイートにおいて、有効次元性（d_eff）は2.86から4.80の範囲に収まることを発見しました。驚くべきことに、この構造的盲点は、実際に観測されるランナーアップのスコア差を2桁上回り、統計ノイズよりも52～127倍大きいという結果が得られています。つまり、現在のベンチマークでは、モデル間の真の性能差を正確に捉えられていない可能性があるのです。 さらに興味深いのは、モデルのランキングの不安定性です。カイ二乗射影モデルを用いたシミュレーション結果によると、異なる隠れた能力事前分布と環境次元を組み合わせても、上位2つのモデルの順位が入れ替わる確率は38～49％に達します。500回の乱数分割実験では、92％の試行で上位1位のランキングが変動し、平均して上位5つのモデルのうち2.83個の順位が変わっています。 研究チームは部分モジュラー貪欲アルゴリズムを用いて、より安定した評価を実現するベンチマークコア（4ベンチマーク）を特定しました。その結果、全12ベンチマークのうち7つで90％のカバレッジを達成でき、この部分集合は時間的に93～97％の保持率で転移することが確認されています。これは、より効率的で堅牢な評価体制を構築する上で重要な知見となるでしょう。