arXiv (Robotics)AI
TITLE_JA: CLAP:言語-行動グラウンディングによる視覚言語モデルから視覚言語行動モデルへの直接適応
CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
視覚言語モデル(VLM)の能力をロボット制御タスクに活かす試みが進んでいますが、従来のアプローチでは大規模なロボットデータでの学習と建築的な修正が施されるため、元のVLMがどの程度制御性能に寄与しているのかが不明瞭になるという課題がありました。新たに発表された「CLAP(Causal Language-Action Prediction)」は、視覚言語行動モデル(VLA)への変換をより透明性高く実現する方法論です。
CLAPの核心的な工夫は、出力分布のミスマッチ問題に対処した点にあります。従来のVLA開発では、行動を数値トークン列として直接予測する必要があり、これがVLMの事前学習時の言語分布から大きく乖離してしまい、本来保持したい能力が損なわれていました。CLAPでは、数値の行動シーケンスの前に自然言語による行動説明を挿入することで、骨格アーキテクチャに修正を加えることなく、言語-行動計画を通じて精密な行動トークン予測を因果関係的に条件付けています。
単一エポックのファインチューニングだけで、2BパラメータのCLAPはLIBEROベンチマークで90.8%の性能を達成し、VLA-0比で14.9ポイント向上しました。さらにLIBERO-PROにおいては、言語、物体、空間的な摂動下でのロバスト性も改善されています。今後、0.8B、2B、4Bのマルチスケール版がオープンウェイト形式で公開予定であり、単一のVLM系統から派生した統一的なVLAファミリーとしてVLMからVLAへの能力転移を制御的に分析することが可能になります。