人間の操作行動を映した一人称視点のビデオは、身体知能を持つAIシステムの学習に貴重な教師信号を提供します。しかし既存のデータセットは、低コストの連続撮影、詳細な操作レベルの構造化アノテーション、ロボット学習への再利用性の高いツールを組み合わせたものがほとんど存在していません。このギャップを埋めるため、研究チームはOpen-AoEというプロジェクトを発表しました。これはスマートフォンでの撮影からモデル訓練までの全パイプラインをカバーする、コミュニティ指向のオープンな一人称視点操作データセットです。 Open-AoEの初回リリースには、世界中の500人以上の貢献者が400台以上のスマートフォンを用いて自然環境で収集した、約2,000時間の操作ビデオが含まれています。このデータセットはテキストアノテーション、MANO（ハンド推定モデル）に基づいた手のポーズ情報、カメラ軌跡、および時間的に局所化された原子的アクション（細かい単位の動作）を提供しています。 データ処理パイプラインは生の録画映像を構造化されたサンプルへ変換し、時間的アクション分割、セマンティックアノテーション、手の再構成、カメラ軌跡の復元を実行します。さらにOpen-AoEは可視化、異なるロボット形態への動作変換、モデル固有のデータ変換、VLAポリシーやWAM、ワールドモデルの訓練レシピをサポートする独立した下流ツールチェーンを備えています。 スケーラブルな撮影、構造化された処理、下流への適応を統合することで、Open-AoEはデータ貢献と再利用の両面での障壁を低減し、身体知能モデルの訓練、人間からロボットへの知識移転、ワールドモデリングのための実用的なオープンインフラを提供します。