欧州翻訳総局（DGT）とヨーロッパ翻訳修士課程（EMT）の協力による新しいプロジェクトが、大規模言語モデル（LLM）の評価方法に変化をもたらそうとしている。このプロジェクトでは、標準的なLLM評価ベンチマークである「MMLU」（Massive Multitask Language Understanding）を11のヨーロッパ言語に地域化する取り組みが進められている。従来、LLMの評価は主に英語で行われてきたが、この地域化プロジェクトはより多くの言語圏でのLLM性能を公平に評価できるベンチマークの構築を目指している。 プロジェクトの意義は単なるデータセットの多言語化に留まらない。欧州翻訳総局と協力する修士課程の学生たちは、翻訳と校正、プロジェクト管理、多言語調整といった実務的なスキルを、実際のプロジェクトを通じて習得できるという教育的価値がある。このアプローチにより、学生は理論的な知識だけでなく、国際的な規模での翻訳プロジェクトの現場経験を得ることができる。 同時に、本プロジェクトはMMLUの地域化過程で直面する方法論的、行政的、ワークフロー上の様々な課題を明らかにしている。複数の言語にわたる統一的な評価基準の設定、各言語固有の文化的・言語的ニュアンスの処理、そして異なる言語間での品質管理など、克服すべき多くの課題が存在する。これらの知見は、今後の多言語LLM評価基盤の構築に向けた重要な基礎となるだろう。