大規模言語モデル（LLM）エージェントの訓練には、グループ内の軌跡やステップを比較することでスパースな報酬信号から学習するグループベースのポリシー最適化手法が広く用いられています。しかし、困難な長期タスクでは、サンプリングの不均衡という問題が生じます。繰り返し動作や効果の低い行動がポリシーの高確率領域を支配する一方で、状態を変化させる有用な行動はアンダーサンプリングされてしまうのです。 この不均衡により、結果報酬が失敗グループ内では有意な情報を提供できなくなります。その結果、失敗支配的なサンプリングが補正信号の喪失につながり、繰り返し低効果の行動が持続するという悪循環に陥ります。研究チームはこのループを断つため、進捗条件付きグループポリシー最適化（ProGPO）を提案しました。ProGPOは、グループ内のすべてのサンプルが零の結果報酬を受け取る場合にのみ、初訪問観測カバレッジを使用します。こうした失敗グループ内では、より多くの新しい状態を訪問した軌跡やステップにより高い相対的優位性を割り当てます。新しい状態の到達がタスク成功の前提条件であるためです。 ALFWorldとWebShopの2つの挑戦的なベンチマークでQwen2.5-1.5/7B-Instructを用いた実験により、ProGPOはグループベースの従来手法を一貫して上回ることが示されました。特に困難なタスクでは顕著な性能向上が確認されています。