プライベートな対人会話をオンデバイスで処理する個人向けメモリアシスタントの開発が進む中、既存のベンチマークではこうしたシステムの性能を十分に評価できていないという課題がある。新たに発表された「MemArena」は、この問題に対応する包括的な会話型ベンチマークである。このベンチマークは、MASim（マルチエージェントシミュレータ）を用いて構築されており、50体のエージェントが15日間にわたるインタラクションを行うという大規模なシミュレーション環境を提供する。合計1030万トークンのダイアログテキストと、エージェント1体あたり1日24.1千トークンのエゴセントリック（自己中心的）な観察データを生成することで、単一の統一された仮想世界での評判、推論能力、信頼性といった6つの評価軸を網羅している。 研究チームは、Qwen3-0.6Bなど5つのオープンウェイトモデルを対象に、Vanilla（基本的な文脈）、BM25-RAG、Oracle検索、Memobase、MemSearchといった異なるメモリバックエンド技術で評価を実施した。その結果、メモリバックエンドの選択がコンテンツの正確性に大きく影響することが判明し、特にMemobaseからMemSearchへの移行で精度が32.5ポイントと19.2ポイント向上した。一方、パーミッション管理機能の実装は全てのバックエンドで課題を抱えており、Oracle検索では過度に情報を漏らし、他のバックエンドは逆に保守的になりすぎるという問題が確認された。 レイテンシーの面では、非常に小さなリーダーサイズのみで問題が顕在化し、Spark GB10エッジノード上では、BM25-RAG、Memobase、MemSearchそれぞれで87、7、48ミリ秒の固定レイテンシーが発生するものの、ほとんどのリーダー・バックエンド組み合わせにおいて全体の応答時間に占める割合は限定的であることが示された。本研究で開発されたコード、MASImシミュレータ、MemArena-Lベンチマークは、論文採択時にリリースされる予定である。