強化学習（RL）の研究において、ベンチマークシミュレータをどのように扱うかは、研究の方向性を大きく左右する重要な問題です。本論文は、シミュレータの使用方法を2つの異なる目的に明確に区別することの必要性を主張しています。一つは「シミュレータを解く」こと、もう一つは「実環境での学習の代理手段としてシミュレータを使用する」ことです。 強化学習の理想的な目標は、ベンチマークシミュレータを通じて、実運用環境での汎用的な逐次意思決定能力を理解することにあります。しかし実際の研究では、シミュレータ内での高いパフォーマンス達成という短期的な目標が、本来の目的を見失わせることがあります。研究者がシミュレータで高スコアを得るために、実環境での展開を想定していない特殊な手法を採用してしまうと、結果として得られた知見は実用性に乏しくなる可能性があります。 この2つの使用方法は、エージェントがシミュレータを利用する際の制約条件、適切なアルゴリズム、評価指標の選択など、多くの点で根本的に異なります。本論文では、この区別を明確にしないことで生じる問題点と誤った結論の例を提示し、簡単な実験を通じて検証しています。最終的に著者らは、RL研究コミュニティに対して、自らの研究におけるシミュレータの使用方法を明確に定義し、各設定に最適な実証的実践方法について さらなる議論を進めることを呼びかけています。