ニューラルネットワークの内部動作を理解するための新しい研究が発表されました。従来のパラメータ分解（PD）手法は、ニューラルネットワークを解釈可能な計算コンポーネントに分解し、元のネットワークの動作を忠実に反映することができます。しかし、大規模モデルへの適用には膨大な計算リソースが必要となり、コストと実装のリスクが課題となっていました。 そこで研究チームは、選別的パラメータ分解（tPD）という新手法を提案しました。この手法は、単一のプロンプトから大規模なサブタスクまで、特定の入力を処理するコンポーネントのみを抽出することが特徴です。実現の鍵となるのは「高ランク補足コンポーネント」の導入で、これが対象外のすべてのデータを処理し、解析対象となるコンポーネントを効率的に分離します。 研究では、まずおもちゃのモデルで検証した後、大規模テキストデータセット「The Pile」で学習したトランスフォーマー言語モデルに適用しました。その結果、機械的に忠実な回路の抽出に成功しました。具体的には、4ブロックのトランスフォーマーからCSS専用サブモデルを抽出する際に、従来の分解手法のわずか7%のFLOPS（浮動小数点演算回数）で実現。さらに12ブロックのトランスフォーマーでは、記憶済みの数列を選別的に削除・再配線し、他の入力への副作用をほぼ完全に排除することができました。この成果は、大規模モデルの解釈可能性向上に向けた重要な一歩となるでしょう。