自然言語で指定された地理空間的概念を固定ラベルセットに依存せず特定するオープンボキャブラリー地球観測（EO）は、リモートセンシング分野における次世代の課題として注目されています。しかし既存のベンチマークは、カバーしているカテゴリ語彙が限定的であったり、クエリ形式の多様性が不足していたりするという問題を抱えていました。 こうした課題に対応するため、研究チームは新たなベンチマーク「OVEarth-Bench」を開発しました。このベンチマークの特徴は、カテゴリの幅広さと質問の多様性という二つの側面を大幅に拡張している点です。カテゴリ幅については、階層的な分類体系を導入し、肯定表現と否定表現の両方を含む広範なカバレッジを実現しています。一方、質問の多様性については、語彙ベースの質問、参照表現、推論が必要なクエリなど、複数の形式を統合しています。 ベンチマークはマスク型とボックス型の位置特定に対応し、統一されたゼロショットプロトコルのもとで評価が可能です。一般的なモデルと地球観測専用モデルを含む幅広いアプローチが評価された結果、いくつかの重要な知見が得られました。現在のメソッドのパフォーマンスは依然として限定的である一方、より広範なカテゴリカバレッジがモデルランキングの安定性を向上させることが判明しました。さらに、マルチモーダル大規模言語モデル（MLLM）ベースの手法が最強の総合性能を示し、一方で地球観測専用メソッドは一般的なモデルの性能に及ばないことも示されました。研究チームはこれらの結果をもとに、今後のオープンボキャブラリーEOメソッド開発に向けた指針を提供し、より現実的で多様性に富み、高品質で大規模なベンチマークの開発の重要性を強調しています。