大規模言語モデル（LLM）の推論能力を拡張することで、インコンテキスト検索と呼ばれる新たなアプローチが実現可能になった。このプロセスでは、モデルが繰り返し解答案を生成し、それを批判し、修正するという一連の操作を行うことで、より高い精度での問題解決を目指す。今回の研究は、このインコンテキスト検索がどのような条件下で効果的であるかを、理論的な観点から詳細に分析している。 研究者らはインコンテキスト検索を推論トレースに対する近似推論としてモデル化し、基本モデルが事前分布を定義し、自己反省がフィードバックとして事後更新を促すという構造を採用した。重要な分析対象は、高い成功確率を達成するために必要な順序的試行回数、つまり推論時間サンプリング複雑性である。結果として、自己反省が早期段階の誤りを確実に特定できる場合、インコンテキスト検索は基本モデルに対して指数関数的な改善をもたらす可能性が示唆された。具体的には、ゼロショット時点ではほぼ不可能な問題（成功率が指数関数的に小さい）でも、多項式個の順序的試行により高い成功率で解くことができるようになる。 一方、自己反省の効果が十分でない場合には、過去の試行条件付けは並列サンプリングに対して漸近的な利益をもたらさないことが明らかになった。さらに研究者らは、これらの改善が堅牢であり学習可能であることを実証した。近似的な事後更新で十分であり、探索ロールアウトへのクロスエントロピー訓練により、必要な動作が多項式的サンプル複雑性で復元可能である。最後に、検証可能な報酬を伴う強化学習の段階的抽象化の下では、最適ポリシー拡張が同一の事後再重み付けルールを実装することが示され、この理論の重要な定性的予測が実際の推論能力を持つ大規模モデルで検証された。