arXiv (Robotics)AI
TITLE_JA: NativeMEM:ロボット操作の長期タスク実行に向けたネイティブメモリ圧縮技術
NativeMEM: Native Memory Compression for Long-Horizon Robotic Manipulation
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
事前学習済みの視覚言語行動モデル(VLA)を用いたロボット操作において、長期間の視覚情報履歴を高周波数で更新しながら効率性を保つことは大きな課題である。既存のアプローチは外部メモリ管理に依存しており、メモリの保持期間と方針の応答性のいずれかを制限せざるを得ない状況にあった。この問題に対処するため、研究チームが提案したのがNativeMemであり、長期的でリアルタイム更新可能なメモリを備えたVLA方針である。
その核となるのが「Native Memory Compression」と呼ばれる効率的なメモリエンコーディングスキームである。このスキームはVLA自体のビジョンエンコーダを再利用して、各カメラビューからの履歴フレームを単一トークンに圧縮する。これらのメモリトークンを入力シーケンスに追加することで、事前学習済みのVLAは外部プランナーや新規初期化されたメモリモジュールを必要とせずに、無視できるレベルの遅延で長期履歴に注意を向けることが可能になる。
メモリトークンと事前学習済み方針の整合性を取るため、研究チームは凍結されたVLAの監督下でメモリ要求の多いデータに対する汎用メモリトークナイザを開発し、その後タスク固有の微調整のためにVLAの凍結を解除している。実験結果により、NativeMemはシミュレーション環境での成功率を32.4%から84.0%に向上させ、実ロボットでは最大98.7%に達するなど、先行手法を一貫して上回る性能を示した。推論レイテンシとGPUメモリ使用量を低く抑えながら、学習データの20%のみで先行手法と競争力のある結果を達成する高いデータ効率も実証している。