大規模言語モデル（LLM）の推論サービスは、長文のコンテキストを処理する際にKV-キャッシュのメモリ消費が爆発的に増加することによって制限されている。KV-キャッシュは、トランスフォーマーモデルが注意機構を計算する際に必要な過去のキーとバリュー情報を保持するメモリ領域だが、コンテキスト長が長くなるほどこのオーバーヘッドは深刻化する。これまで様々なKV-キャッシュ圧縮技術が提案されてきたものの、異なるモデルや評価基準で検証されているため、実際の比較が困難だった。 本研究は、この問題を解決するため、複数のKV-キャッシュ最適化手法を統一的なベンチマークで評価している。対象となる最適化技術は量子化、剪定（プルーニング）、マージングなど複数のアプローチを網羅しており、具体的にはKIVI、TurboQuant、SnapKV、CaMなどが含まれる。評価にはLlama-3.1-8B-InstructとMistral-7B-Instruct-v0.3という2つのモデルを用いて、複数文書質問応答、単一文書質問応答、少数ショット学習、要約といった多様なタスクで検証した。 ベンチマーク結果から重要な知見が得られた。圧縮率だけではエンドツーエンドの性能予測に不十分であり、各手法がタスクによって異なる特性を示すことが判明した。具体的には、KIVI4は複数のモデルにおいて最も安定した品質を維持し、SnapKVは長文コンテキストでの処理スループットが最強であり、CaMは特定のQAタスクで大幅な改善を実現しているものの、タスク依存性が高いことがわかった。 これらの成果は、LLM推理システムのデプロイメント戦略に重要な示唆を与える。KV-キャッシュ最適化は「万能な圧縮方式」ではなく、具体的なワークロード特性に応じて適切な手法を選択すべきというワークロード認識型のアプローチが重要であることが強調されている。