核融合エネルギーの実現に向けて、プラズマの精密な制御は極めて重要な課題である。従来、実際のトカマク装置を用いた試行錯誤的なアプローチは、膨大なコストと安全上のリスクを伴うため、新たな制御手法の開発が求められていた。オフライン強化学習（RL）は、過去の運転データから効率的にプラズマコントローラーを開発できる有望な手法として注目されている。しかし、現実的で複雑なマルチアクチュエータ、長時間地平線のプラズマ制御問題に対応した標準化されたベンチマークが不足していることから、進捗の測定が困難な状況が続いていた。 この課題に対応するため、研究チームはRL4F（核融合プラズマ制御用オフライン強化学習ベンチマーク）を開発し、公開した。RL4Fは、クローズドループ評価環境と、回転、密度、温度、圧力の4つの全プロファイルトラッキングタスクに対するベースライン比較を提供する。評価環境の基礎となる動力学関数は、実機のトカマク装置であるDIII-Dの過去の放電データから構築されており、高い現実性を備えている。 研究では、模倣学習とオフライン強化学習の広範なベースラインが統一されたプロトコルの下で評価された。その結果、オフラインモデルベース強化学習手法がほとんどの目的において最高の平均性能を達成する一方で、単一の手法がすべてのタスクで優位に立つわけではないことが判明した。この知見は、複雑で長時間地平線のプラズマ制御タスクにおいて、動力学モデリングの重要性を強調している。 さらに、研究チームはコードベース、データセット、評価フレームワークをオープンソース化し、核融合コミュニティだけでなく、オフライン強化学習アルゴリズム開発全般にとって有用なベンチマークとして提供している。この成果により、核融合エネルギー研究の加速と、強化学習技術の汎用的な進歩の両者に貢献することが期待される。