継続的に世界を観察し、見たものを記憶し、蓄積された経験に基づいて推論できるアシスタントの構築は、AI研究における長年の目標です。近年、動画ストリームに対する長期記憶を備えたマルチモーダルエージェントが注目を集めていますが、既存システムにはいくつかの課題があります。多くのシステムはメモリをモデルのコンテキストウィンドウ内に保持するか、フラットな特徴ストアに格納しており、フレーム単位で情報を整理しているため、無制限の動画に対応できず、人物や物体が時間とともに再度出現する際の追跡能力が限定されていました。 本研究で提案されるReflectWorld-MMは、このような課題を解決するエンティティ指向のマルチメディアメモリシステムです。このシステムは3つの主要コンポーネントで構成されています。第1は知覚フロントエンドで、ストリーミング動画をエンティティ解決済みの観測に変換し、制限された短期メモリ内で処理します。第2は階層的長期メモリで、人間の記憶理論に基づいており、マルチスケール的エピソード記憶、進化するエンティティ中心のセマンティック記憶、および手続き的記憶を統合しています。第3は実世界での運用に向けて構築された完全な実装で、任意のストリームを取り込み、既製のアシスタントと統合可能です。 評価では、6つの長動画および生涯学習メモリベンチマークすべてにおいて、ReflectWorld-MMが最高精度を達成し、強力なメモリエージェントおよび最先端モデルを上回る性能を示しました。このアプローチにより、動画ストリーム内の永続的なエンティティの追跡と推論が大幅に改善され、より実用的でロバストなビデオ理解システムの実現が期待されます。