大規模言語モデル（LLM）における知識蒸留（KD）は大きな成功を収めていますが、その有効性の根本的なメカニズムはこれまで明確になっていませんでした。新しい研究では、相互作用の分解を通じて様々なKD手法の共通メカニズムを探索する統一的アプローチが提案されています。 研究チームは、LLMの出力スコアを多数の相互作用の合計に分解するという手法を採用しました。ここでいう相互作用とは、単語などの入力変数の集合に関わる非線形関係を表しています。この分解された相互作用に基づいて、様々なKD手法の背後にある共通メカニズムが「相互作用の疎性化」であることを発見しました。つまり、学生モデルは推論時により少ない相互作用のみを保持し、他の相互作用をゼロに抑制するということです。 さらに、異なるKD手法間でのパフォーマンスのばらつきは、複雑な相互作用を扱う能力の差から生じていることが判明しました。一般的に、学生モデルが複雑な相互作用の高い疎性化を達成できるKD手法ほど、より優れたパフォーマンスを発揮します。これらの知見に基づいて、研究チームは蒸留プロセス中に複雑な相互作用の疎性化を明示的に強制するプラグアンドプレイ損失関数「Complex Interaction Penalty（CIP）」を提案しました。広範な実験により、CIPを統合することで、ドメイン内およびドメイン外ベンチマーク両方で様々なKD手法のパフォーマンスが一貫して向上することが実証されています。