ロボット学習は、広大な行動空間を持つ動的環境で実行される。従来の学習方法では、タスク完了時にのみ成功信号が与えられるため、現在の行動が実際に進捗しているのか、変わっていないのか、あるいは以前の進捗を台無しにしているのかを判断できない。この問題を解決するため、タスク実行中にフィードバックを提供する進捗報酬に関する研究が急速に増加している。 しかし、現在の文献には統一的なフレームワークが存在しない。既存の手法は、異なる観測方法、目標仕様、出力信号、監督源、評価プロトコルを使用しており、これらを比較して結果の妥当性を理解することが困難である。本サーベイは、ロボット学習における進捗報酬モデリングの統一的な見方を提供する。 研究は3つの相互接続されたステップで整理されている。まず進捗モデルのインターフェースを研究し、モデルが受け取る情報と生成する進捗信号の形式を定義する。次に、この信号を構築するために使用される手法を検討し、進捗推定と報酬生成の背後にある異なる仮定とメカニズムを明らかにする。最後に、これらの手法を支持するデータとベンチマークを検証し、進捗の監督がどのように得られ、異なる評価が何を測定しているかを示す。これら3つの観点により、進捗モデルが何であるか、どのように構築されるか、その品質がどのように検証されるかが統合的に理解される。さらに、現在のアプローチの主な限界をまとめ、将来の研究方向性について議論する。