ユーザーのスマートフォンやデバイスに保存された膨大な写真から、会話形式で情報を引き出すAIアシスタントの開発が進んでいます。本研究では、カメラロール内の画像を活用した視覚質問応答（VQA）タスクに取り組んでいます。このシステムの対応範囲は幅広く、「昨日食べた食べ物の名前は？」といった単純な事実質問から、「まだ食べたことのない料理を推薦してほしい」のような開放的な質問まで対応する必要があります。 個人のカメラロールには数年分の膨大な画像が蓄積されており、数百から数千枚にのぼることも珍しくありません。このため、AIアシスタントが正確で関連性の高い情報を見つけ出すには、長期間にわたる個人化された視覚コンテンツストリームを深く理解する能力が不可欠となります。研究チームは実際の使用状況を模した質問を収集し、手作業で注釈付けすることで、50ユーザー分の31,476枚の画像と2,500のQAペアからなる「camroll」データセットを構築しました。 このデータセットを基に、階層的メモリ構造と効率的なナビゲーション機能を備えた「camroll-agent」という会話型AIエージェントが開発されました。実験結果によると、camroll-agentは長文脈理解を必要とする従来のベースラインやその他の手法を上回る性能を発揮しています。 本研究の重要な知見は、AIエージェントの長文脈推論能力にはギャップが存在することです。特に個人化された視覚記憶は、一般的なテキストベースの長文脈メモリとは異なるアプローチが必要であり、一貫性の維持、視覚的詳細の正確性、ユーザー特有の文脈理解が重要になります。