大規模言語モデル（LLM）がコード生成時にトークンレベルでどのような決定を行っているのかを理解することは、研究者と実務家の両方にとって大きな課題となっています。現在利用可能なツールの多くはモデルの内部動作や生成結果に関する洞察を提供していますが、デコード時の信号、細粒度の不確実性測定、代替生成経路を探索するためのインタラクティブなメカニズムが不足しているという問題があります。 このような課題に対応するため、研究チームはTokenScopeという新しい解釈可能性分析ツールを開発しました。このツールはデコーダベースのLLMを対象に、生成プロセス中のトークンレベルのメトリクス、アテンション（注意）パターン、構造情報を可視化します。TokenScopeの特徴は、単なる可視化に留まらず、ユーザーが対話的にトークンを置き換えたり、反事実的な分岐を試したり、抽象構文木を通じたコード認識型の集約を行ったりすることができる点にあります。 TokenScopeはデコード時の信号とプログラムの構造解析を統合することで、コード生成中のLLMの動作を体系的に調査することを可能にします。このツールにより、開発者や研究者はモデルがなぜ特定のトークンを選択したのか、どの部分が不確実性を持っているのか、そして生成結果をどのように改善できるのかについて、より深い理解を得られるようになります。