大規模言語モデル（LLM）の教育応用が急速に進む中、単なる知識の正確性だけでなく、実際に学生をどう指導できるかを測定することが重要になっています。既存のベンチマークは領域汎用の正確性を重視し、手動設計されたルーブリックは多様な教育シナリオに対応しきれないという課題がありました。 こうした背景から、研究チームはElmes*という革新的なフレームワークを開発しました。このシステムは、教師と学生と評価者の相互作用を行う宣言型マルチエージェントエンジンと、評価基準とテストデータを共進化させるSceneGenというモジュールを組み合わせています。専門家が定義した教育的次元から、シナリオ固有の細粒度評価基準を自動的に構築・改善・適用することができます。 このフレームワークを用いて、研究チームは11科目、3学年帯、10タスク種別にわたる330シナリオをカバーするEdu-330というベンチマークを構築しました。1000以上の二次指標を含むこのデータセットでの実験により、教育能力は多次元的であることが判明しました。最先端のLLMでも創造性と価値統合で差が出、知識が豊富なモデルはソクラティック・スキャフォルディング（段階的質問による指導法）で失敗することもあります。教育専門のInnoSparkが人間による評価で最高得点を獲得しました。 さらに、LLM審査官は人間と比較可能なランキングを保ちながらスコアリングの分散を大幅に低減させる一方で、自己選好といった審査官固有のバイアスを示すことも明らかになりました。アブレーション実験により、専門家による少数ショット・アンカリングが人間とLLMの一致性を改善し、推論強化と貪欲復号化はモデル依存的であることが示されました。Elmes*は教育学的に根拠付けられたLLM評価のためのスケーラブルな診断基盤を提供します。