会話型AIエージェントにおいて、長期メモリの管理は依然として重大な課題です。有限なコンテキストウィンドウでは数千ターンに及ぶ対話を通じて一貫性のある情報を保持することが困難なため、研究者たちはこの問題に取り組んでいます。今回発表された「AgentMemBench」は、5つの異なるメモリ管理戦略を統一的かつ再現可能な方法で評価するための包括的なベンチマークです。評価対象となる戦略は、インコンテキストウィンドウ（ICW）、外部キーバリューストア（EKV）、グラフベースのエピソード記憶（GEM）、圧縮型要約（CBS）、ウェブ増強メモリ（WAM）の5つです。 これらの戦略は、長期マルチセッション対話（LoCoMo）、タスク指向のドキュメントグラウンディング（MultiDoc2Dial）、ペルソナベースのマルチセッションチャット（MSC）という3つのパブリックデータセットを用いて、491個の注釈付き質問ターンにわたって評価されます。評価指標には、Recall@k、MRR、nDCG@k、Answer F1、LLMジャッジによる忠実性スコア、メモリフットプリント、レイテンシが含まれます。生成と判定の両方にはQwen2.5-7B-Instructが使用されています。 研究結果は重要な知見をもたらします。EKVが全ての品質指標で優位に立ち、マクロRecall@5で0.792、MRRで0.677、F1で0.156、忠実性で0.354という高い数値を達成しています。特に注目すべきは長距離想起能力で、金の標準ターンが複数セッション前に遡るLoCoMoデータセットでは、ICW、WAM、GEM、CBSがほぼ検索に失敗する一方（Recall@5 ≤ 0.005）、EKVのみが0.573に達しています。これは、近時性ウィンドウ、要約、エンティティグラフが長期的には機能せず、密集検索のみが拡張可能であることを示唆しています。 一方、EKVの優れた想起性能にはメモリフットプリントの増加というコストが伴い、ICW/WAMの約300トークンに対して約5,100トークンを消費します。これは精度と効率のトレードオフを明示的に示しています。研究チームはさらに公開されているMemGPT/LetaとHippoRAGの2つのメモリシステムも同じ評価框組みで検証し、完全な再現性を確保するため、全てのコード、環境、結果アーティファクトを公開しています。