arXiv (AI)AI
TITLE_JA: 潜在的CoT推論を動力学系として解釈する
Interpreting Latent CoT Reasoning as Dynamical Systems
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
近年の潜在的推論手法であるCODIやCOCONUTは、根本的な解釈可能性の問題に直面しています。これらの手法は、各ステップで隠れ空間内に複数の重ねられた候補トレースを維持していますが、これは単一の透明な推論トレースをたどる明示的CoTとは異なります。既存の機械的解釈手法は圧縮やショートカット、重ね合わせを示していますが、推論が潜在ステップ全体でどのように進化するかについては説明していません。
この課題に対応するため、研究者たちは潜在的トークン列を表現空間内の軌跡としてモデル化し、動力学系分析を適用して推論の進化を特性化しました。ステップ間の変化、方向の一貫性、ライアプノフ感度などの定量的尺度、およびUMAPやDMD/PHATEなどの定性的投影を使用することで、潜在的CoTが構造化された非ランダムな動力学を示す2つの異なる安定性クラスを持つことが明らかになりました。CODIは安定なアトラクタとして機能する一方、COCONUTは不安定な拡張システムとして機能し、SIM-CoT監督によってこれらの両方の振る舞いが引き締められます。
本研究のフレームワークは、潜在的CoT推論動力学の解釈可能性を大幅に向上させ、潜在的推論性能を改善するための実行可能な洞察を提供します。研究チームはコードとプロジェクトページをオンラインで公開しており、他の研究者による検証と応用が可能になっています。