意思決定事前学習済みトランスフォーマー、アルゴリズム蒸留、長文脈メタ強化学習、検索拡張エージェントの発展により、文脈内強化学習（ICRL）への関心が高まっています。ICRLは、事前学習またはファインチューニングされた意思決定モデルが、テスト時のパラメータ更新なしに、相互作用コンテキストから潜在的なタスク規則を推論し、将来の行動を改善できる能力を指しています。この研究分野は、試行錯誤の証拠、報酬、遷移、デモンストレーション、フィードバック、または検索された経験が、コンテキストウィンドウ内で学習のような計算を実現するタイミングを問い直しています。 従来のICRLサーベイは、事前学習目的、アーキテクチャ、コンテキスト形式、評価プロトコル、理論的メカニズムを中心に構成されてきましたが、非定常設定は比較的未検討のままです。環境が変化する状況では、蓄積されたコンテキストは単なる固定タスクに関する追加の証拠ではなく、報酬仕様、遷移カーネル、観測チャネル、行動インターフェース、制約モデル、またはデモンストレーションとメモリ分布が現在のレジームと乖離する可能性があります。かつて有用だったコンテキストは陳腐化したり、誤解を招いたり、古いレジームが戻ってきたときに再び有用になったりする可能性があります。 本サーベイでは、非定常ICRLを「配置されたポリシーパラメータが固定されたまま文脈を通じて適応する問題」として定義します。ポリシーは現在の意思決定規則と、蓄積された証拠のどの部分がその規則をサポートしているかの両方を推論する必要があります。非定常ICRLをメタ強化学習、意思決定シーケンスモデリング、検索拡張強化学習、価値認識・モデル認識ICRL、報酬フィードバックエージェントと関連付け、「何が変わるのか」「変化がどのように展開するのか」「変化がエージェントにどの程度観測可能なのか」という3つの問いに沿って文献を整理しています。