arXiv (CV)AI
TITLE_JA: 訓練不要なオープン語彙3Dポイントクラウドセグメンテーション:汎用少数ショット学習ベンチマークでの実現
Training-Free Open-Vocabulary 3D Point-Cloud Segmentation on the Generalized Few-Shot Benchmark
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
3次元点群のセグメンテーションは、コンピュータビジョンにおいて重要な課題です。特に、訓練時に見たクラス(ベースクラス)と見たことのないクラス(ノベルクラス)の両方を認識する必要がある汎用少数ショット学習(GFS-PCS)は、極めて困難な問題とされてきました。従来の最先端手法は、3次元のビジョン言語事前学習モデルと少数ショットサポートの情報を組み合わせることでノベルクラスの認識を実現していましたが、そのためには大量の3次元ラベル、エピソード毎の訓練、サポートアノテーションなどが必要でした。
本研究は、これらの条件をすべて排除したアプローチを提案しています。凍結された3次元ビジョン言語モデル(RegionPLC)と凍結可能なセグメンターSAM3を組み合わせ、ノベルクラス名のみをプロンプトとして使用し、複数のRGB画像ビューから得られた情報を活用します。重要なのは、複数のビューが同じ点を同じクラスとして認識する場合にのみ、その点をノベルクラスと判定する「クロスビュー一貫性」という手法を採用している点です。訓練が全く不要という特徴を持ちながらも、このパイプラインはScanNet200ベンチマークにおいてノベルクラスのmIoUを2.6ポイント向上させると同時に、ベースクラスの精度低下を0.5に抑えています。
さらに興味深いことに、少数ショットサポート情報をパイプラインに統合しようとしても、クロスビュー一貫性の性能を上回ることはできず、むしろ分類器を通すとパフォーマンスが低下するという結果が得られました。これはサポート情報が全く不要であることを示唆しています。より難易度の高いScanNet++ベンチマークでは、密度の濃い事前学習モデルがノベルクラスで弱い環境でも、同じパイプラインはノベルmIoUをほぼ倍増させる15.7ポイントの改善(16.2から31.9へ)を実現し、調和平均を21.5から31.1に引き上げています。