arXiv (CV)AI
StereoSplat+: 拡散モデル支援による段階的推論を用いたフィードフォワード型ステレオガウシアンスプラッティング
StereoSplat+: Feed-Forward Stereo Gaussian Splatting with Diffusion-Assisted Progressive Inference
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
3D Gaussian Splatting(3DGS)は近年、高品質な3Dシーン表現と新規視点合成を実現する革新的な技術として注目を集めています。しかし既存のほとんどの3DGSパイプラインは、十分なカバレッジを達成するために複数視点の観測やフレーム列への非因果的アクセスに依存しており、ロボティクスやAR応用など単一のステレオカメラに限定される環境では実現が困難でした。単一のステレオペアから高品質な3DGSシーン復元を実現することは、オクルージョン、限定された視野角、および欠落ジオメトリなどの課題により極めてチャレンジングな問題となっていました。
本研究で提案するStereoSplat+は、拡散モデルを活用したフィードフォワード型フレームワークで、単一のステレオペアからの因果的復元を実現します。このアプローチは二つの主要なコンポーネントで構成されています。第一に、StereoSplatと呼ばれるフィードフォワード型3Dガウシアン推定器は、可変数のポーズ付きステレオペアを入力として受け取り、高品質な3Dガウシアンを予測します。本手法はコスト体積ブランチとトリプレーンベースの3D体積ブランチを通じて補完的なジオメトリ手がかりを融合し、連続ポーズエンコーディングにより異なる視点数とカメラ構成にも一般化します。
第二に、推論時には複数のステレオペアが通常利用できないため、StereoSplat+と呼ばれる拡散強化された単一ショット段階的推論スキームを導入しています。このスキームでは、単一のステレオペアから開始して、予測された3DGSから新規ステレオ視点をレンダリングし、ワンステップ拡散エンハンサーで洗練してから、追加入力として3DGSの更新に再度フィードバックします。KITTI-360データセットでの実験により、StereoSplat+は特にオクルージョン領域と強い視点外挿の下で新規視点レンダリング品質とジオメトリ精度を向上させ、最近のフィードフォワード型3DGSベースライン手法を上回るパフォーマンスを実現することが確認されました。