最適化問題の定式化は最終的な解の質に大きな影響を与えますが、良い定式化には通常、相当な専門知識が必要とされています。近年の研究では、自然言語による記述から最適化問題を自動的に導出する方法が検討されていますが、既存のベンチマークでは目的関数と制約条件を明示的な数式として表現できる設定に焦点が当てられていました。 一方、実務上重要な多くの問題はブラックボックス最適化（BBO）として自然に扱われます。BBOでは目的関数の値のみが観測可能であり、関数形が不明であるという特徴があります。このような環境では、問題定式化の一部である探索空間の設計と最適化アルゴリズムの選択が問題解決にとって極めて重要です。大規模言語モデル（LLM）でこれらのプロセスを自動化することは重大な課題です。 本研究は、Black-Box Optimization Word Problems（BBOWP）という新しい問題設定を導入しました。これは、自然言語によるブラックボックス最適化タスクの記述から、システムが探索空間と最適化アルゴリズムの両方を推論する必要があるものです。この研究領域をサポートするため、研究チームはBBOWP Benchmark Suite（BBOWP-Bench）という、データセットと評価フレームワークを確立しました。各インスタンスは自然言語の問題記述、実行可能な評価環境、人間が設計したベースライン定式化を組み合わせており、探索空間設計とアルゴリズム選択の両方を評価することが可能です。 このベンチマークを用いた評価により、LLMが与えられた評価予算に基づいて適切なアルゴリズムを選択できる能力があることが初めて示されました。しかし、特に問題記述が情報不足の場合や探索空間が高度に問題特異的である場合、探索空間の設計には課題があることも明らかになりました。重要な変数の特定と範囲のバランス調整において、LLMはしばしば困難に直面しています。