arXiv (CV)AI
疎視点ニューラル再構成のための信頼度認識型単眼深度監督
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
自動運転シーンなどの屋外環境における3D再構成は、カメラが限定的な前向き軌跡に沿って移動し、複数視点間の重複が少ない「疎視点」条件下では極めて困難です。本研究は、このような制約のある環境でニューラル再構成を改善するため、単眼深度推定器からの情報をいかに効果的に活用するかを検討しています。
研究チームは、最新の単眼深度推定モデルであるDepth Anything V2を密度の高い幾何学的先験情報として利用しました。このモデルの予測値をスケール・シフト方式で実メートル単位に合わせた後、RGB専用ベースラインモデルから生成された測光マスクを通じて選別的に深度監督を適用するアプローチを採用しました。この戦略は、ニューラルラジアンス場を表現するMip-NeRF-360と、ガウシアンスプラッティング手法のSplatfactoという2つの代表的なシーン表現法で評価されています。
KITTISeq02データセット上で2フレーム間隔の疎視点設定下での実験では、マスク付き単眼深度監督はMip-NeRF-360に対して限定的な効果しかもたらしませんでしたが、Splatfactoは顕著な改善を示しました。PSNR(ピークシグナル対ノイズ比)が14.903から15.932に向上し、RMSE(二乗平均平方根誤差)は0.542から0.100に低下しています。追加的なKITTISeq05実験とマスク関連のアブレーション研究から、Splatfactoの改善は単に監督対象ピクセル数を削減するのではなく、信頼度の高い低誤差領域を選別することに起因することが明らかになりました。
本研究の結論として、単眼深度先験情報は制約の強い疎視点再構成において有用ですが、選別的かつ適度な重み付けで適用すべきであることが示唆されました。特に既に複数視点カバレッジが充分な場合には、深度監督が幾何学的品質を改善する一方でRGB画像品質を損なう可能性もあります。