自然言語処理における重大な課題の一つが、慣用句の処理です。慣用句は非合成的（単語の組み合わせからは意味を推測できない）な性質を持ち、文脈に依存し、言語間での対応付けが困難であるため、既存のNLPモデルにとって大きな障壁となっています。これまでのリソースはスケール、文脈の多様性、多言語対応いずれかの面で限定的でした。 こうした問題を解決するために、研究チームは大規模多言語ベンチマーク「IdiomX」を開発しました。このベンチマークは、辞書リソースの抽出、大規模な正規化、大規模言語モデル（LLM）による段階的な拡張、そして構造化された検証を組み合わせた再現可能なパイプラインで構築されています。完成したデータセットには、12,000以上の慣用句にまたがる19万件以上の文脈付き例が含まれており、英語、アラビア語、フランス語の意味表現が整列されています。さらに、慣用的用法と字義的用法のラベル、豊かな言語メタデータも備えています。 このリソースに基づき、研究チームは4つの統一されたタスクからなるベンチマークを定義しました。慣用句検出、文脈から慣用句への検索、アラビア語から英語への慣用句検索、そして慣用句解釈です。これらは比喩的認識から意味的基礎付けと解釈可能な意味検索へと評価を拡張するものです。実験結果から、文脈を考慮した変圧器モデルが慣用句検出を大幅に改善し、ハイブリッド検索再ランキングアーキテクチャが単一言語および言語間の慣用句検索の性能を大きく向上させることが明らかになりました。IdiomXは、検出から検索、そして意味解釈への段階的進展として比喩的言語を研究するための拡張可能なベンチマークを提供します。