ロボティクスと具体化AI（embodied AI）の分野において、複数のモダリティを統合的に処理できる基盤モデルの開発が急速に進んでいます。iFLYTEK-Embodied-Omniはこの領域における新たなアプローチを提示する統合型マルチモーダル基盤モデルです。従来の研究では視覚言語推論、ビデオベースの世界モデリング、行動生成といった各タスクに特化したモデルが個別に開発されてきました。しかし、このような分割型パイプラインでは、将来の観測状況を先に生成してから行動を推論するため、インターフェース上のボトルネックが発生し、予測誤差が複合化するという課題がありました。 iFLYTEK-Embodied-Omniは、ビデオ・画像などの視覚情報、言語指示、そして行動制御を単一の統合フレームワーク内で共同モデリングすることで、この問題を解決しています。モダリティ固有のコンポーネント（視覚言語モデル、ビデオ生成モデル、行動生成モデル）が共有マルチモーダル自己注意メカニズムを通じて相互通信する設計になっています。この構造は脳と小脳の協調という生物学的原理を実装しており、高次レベルの脳として機能する視覚言語モデルとビデオ生成モデルが指示理解、タスク計画、進捗追跡、将来状態予測を担当する一方、低次レベルの小脳として機能する行動生成モデルが計画された部分目標とマルチモーダルコンテキストから直接実行可能な行動チャンクへの変換を行います。 このような高度な能力を開発するため、研究チームは人間のデモンストレーションとロボット相互作用から得られた行動注釈付きおよび行動なしの具体化ビデオを、具体化推論、具体化知覚、汎用画像テキストデータと組み合わせて包括的なデータセットを構築しました。さらに、視覚言語モデル、ビデオ生成モデル、行動生成モデルを段階的に訓練してから、完全なモデルを共同ファインチューニングする4段階の戦略を採用しています。このアプローチにより、自然言語の指示を理解し、環境の進化を予測し、長期的時間軸にわたって正確な制御動作を生成できる汎用具体化エージェントの実現に向けた重要な進展がもたらされました。