マスク拡散言語モデル（MDLM）は急速に進化していますが、その進歩を信頼性をもって評価するための標準化された評価手法が追いついていません。MDLMが自己回帰型言語モデルと競争力を持つようになった一方で、最近のリマスキング論文7本は互いに異なる設定で評価されており、ステップ数、メトリクス、サンプリング温度がばらばらに設定されているため、戦略のランキングはほぼ比較不可能な状態になっています。報告されている性能向上が実際のアルゴリズム改善を反映しているのか、それとも評価方法の違いによる見かけの改善なのか区別できないという問題が生じていました。 研究チームは、このような課題に対応するため、CaRE（Compute-aware Remasking Evaluation Protocol）という計算量を意識した評価フレームワークを提案しました。CaREは関数評価の実際の回数（NFE）を標準化し、複数のメトリクス報告を強制し、確率性を明示的に制御することで、MDLMのリマスキング戦略を系統的に監査します。LLaDA-8B-BaseおよびDream-7B-Baseの7つのリマスキング戦略を対象に、4段階の確率性レベルと3つのステップ予算条件で、OpenWebTextおよびLM1Bデータセット上で評価を実施しました。 その結果、複数の重要な発見が明らかになりました。第一に、温度パラメータがMAUVEスコアの分散の大部分を説明していることが判明しました。第二に、計算量を統一して比較すると、いくつかの発表済みの戦略ランキングが逆転することが示されました。第三に、インフォームドリマスキングと確率的アンマスキングの間には緊張関係が存在し、高エントロピーのリマスキングが256ステップにおいてMAUVEを0.296低下させることが確認されました。さらに、150Mから8Bパラメータの12の公開重み付きMDLMを網羅したCaREリーダーボードにより、この相互作用パターンが様々なアーキテクチャとスケールに渡って成立することが示されています。この研究は、現在のMDLM評価がアルゴリズム改善を隠れた計算量および確率性の選択と体系的に混同していることを実証しており、評価プロトコル、実装、およびリーダーボードを公開することで、将来のリマスキング関連の主張の再現性と比較可能性を確保する重要なステップとなります。