推論言語モデルは長い思考の連鎖（CoT）を生成する際、デコーディングフェーズで膨大なKVキャッシュを蓄積し、デコーディング遅延の増加と処理スループットの低下という課題を抱えています。新たに発表された研究論文「Kara」は、このKVキャッシュの圧縮を通じて推論効率を大幅に改善する手法を提案しています。 既存のKVキャッシュ圧縮手法には重大な限界がありました。閾値ベースの圧縮ポリシーはスループットの改善が限定的であるか、むしろ低下させる可能性があります。また、シーケンスの特定のブロックからKVペアを完全に除去する傾向があり、重要な情報の喪失につながります。さらに、これらの手法は孤立したKVペアまたは固定サイズのチャンクのみを保持し、任意のトークン位置における重要な可変サイズのセマンティック情報を保存できないという問題がありました。 Karaは、スライディングウィンドウ方式で最近生成されたコンテキストのみに対して操作を行うことで、これらの制限を克服します。双方向アテンションを活用してウィンドウ内の有用なKVペアをスコアリング・選択し、Token2Chunkモジュールを通じて選択されたKVペアの部分集合を可変サイズのチャンクに拡張することで、重要なセマンティック情報の柔軟な保持を実現しています。 さらに研究チームはKaraをPagedAttentionに適応させ、vLLMをベースとした推論フレームワーク「KvLLM」を開発しました。このフレームワークはKVキャッシュのメモリ使用量を削減しながら、出力スループットを効果的に向上させるものとなっており、広範な実験によりKaraとKvLLMの一貫した性能改善が実証されています。