arXiv (Robotics)AI
MEMORA:一人称動画から得られた具体的行動記憶によるロボット推論と計画立案
MEMORA: Embodied Action Memory from Egocentric Videos for Reasoning and Planning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ロボットが長期的な目標を達成するためには、次の行動の予測だけでなく、過去の経験に基づいた判断が不可欠である。人間が計画を立てる際に現在の場面だけを参考にするのではなく、記憶した場所や物体の状態変化、過去の手順、繰り返される行動パターンなどを活用するのと同じように、ロボットにも具体的な経験を記憶として保持し、それを将来の意思決定に活かす能力が必要である。
このような背景のもと、研究チームが新たに提案したMEMORAは、具現化された行動記憶(Embodied Action Memory:EAM)を実現するシステムである。MEMORAは形成・統合・検索というライフサイクルと、環境メモリ、エンティティメモリ、活動メモリ、推論知識という4つの型付きメモリストアから構成されている。オンライン編集により新しい観察が到着するたびに物体の同一性と状態履歴を維持し、オフライン統合により繰り返される経験から再利用可能な手順と個人特有の規則性を抽出する。
評価のためにMEMORA-Benchが構築され、EPIC-KITCHENS-100拡張ビデオの45時間分を18人の参加者で検証した。未見のゴールを含むメモリ基盤計画と補完的なメモリ評価タスクを通じて、4つのオープンウェイト言語モデルで測定された結果、フルMEMORA(編集、型付きストア、統合を組み合わせたもの)が最強の集約結果を達成した。メモリ評価精度は最強の統制ベースラインを最大20.5ポイント上回り、分布外のロボット基盤計画スコアでは最大16.6%の相対改善を達成している。また、2つのタスクにおけるロボット配置実験により、メモリ基盤言語計画がどのように下流制御と連携するかが実証された。