近年のヒューマノイドロボティクスと強化学習の進展により、高い表現力を備えた全身動作ポリシーの獲得が可能になってきました。しかし、従来のロボットによるパフォーマンスはほとんどが事前に組まれたシーケンスか外部からのトリガーに基づくものであり、動的環境への自律性と応答性が制限されていました。本研究は、セマンティック音声駆動型ヒューマノイドロボット制御を実現する新しいマルチモーダルオーケストレーションフレームワークを提案し、ロボットがリアルタイムで適切な動作スキルを自律的に選択・実行できるようにしています。 このシステムは連続的な音声ストリームを処理し、音楽または音声の2つのブランチにルーティングします。音楽入力に対しては、オーディオフィンガープリンティングとセマンティック埋め込みを通じてトラックの識別と時間的整列を行い、音楽セグメントと動作ポリシー間の動的マッピングを実現します。一方、音声入力は模倣学習により習得された個別のスキルライブラリに基づき処理され、直接的な人間−ロボット相互作用を可能にしています。 両モダリティは統一されたインターフェースを共有し、強化学習制御パイプラインの上でスキル実行をスケジュール管理します。研究チームはシミュレーション環境と実機のUnitree G1ヒューマノイドロボットを用いて評価を実施し、ロボット性能に関する課題の軽減と音声条件付きポリシー選択の一貫性を実証しました。この成果は、ロボットの自律性と環境応答性を大幅に向上させ、より自然で柔軟なロボット制御の実現に貢献するものとなっています。