arXiv (CV)AI
FogDrive:段階的な霧の中での知覚のための多モーダル合成運転データセット
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
自動運転の信頼性向上には悪天候下での知覚性能の改善が不可欠であるにもかかわらず、既存のベンチマークではロバストなセンサフュージョンを評価するための体系的な多モーダルアライメントが不足しているという課題があります。実世界の気象データセットは制御されていない収集条件と単一レベルの較正されていない条件に悩まされており、一方合成代替案はカメラのみの復元を対象とするか、「除霧後検出」パイプラインのベンチマークに必要なペアリングされたクリーンと霧状の構造を欠いています。
今回発表されたFogDriveは、CARLA シミュレータで構築された厳密に較正された多モーダル自動運転データセットです。660シーン(約133,000フレーム、昼夜50対50)を含み、4つの同期カメラ(RGB、深度、セマンティックセグメンテーション)、LiDARとセマンティックLiDARペア、フロントレーダーで構成されています。物理的に一貫した霧はカメラチャネル(Koschmiederモデル)とLiDARチャネル(Beer-Lambert則)に独立してモデル化され、3つの較正された可視距離密度(160m、100m、50m)で設定されています。すべてのシーンは4つのマッチングされたバリエーション(クリーン状態と3段階の霧レベル)で提供され、相互較正された2Dおよび3D境界ボックスを備えています。
8,000画像にわたるセマンティックセグメンテーションベースの品質監査により、40m以内の車両に対して95.1%の精度と99%以上の再現率での注釈検証を実現しています。TransFusion、BEVFusion、YOLOv8-mなどの最先端アーキテクチャを用いて、3D多モーダルフュージョンと2D画像復元の2つのパラダイムにわたってベースラインベンチマークを確立しました。これらの結果は重要なデータセントリックな知見をもたらします。訓練中に複数密度の霧を混合することで、データスケーリングコストなしで3D境界ボックスの幾何学を改善できる一方、2Dパイプラインではスーパー解像度指標(PSNR、SSIM)が下流の検出性能の貧弱な予測因子であることが明らかになりました。FogDriveはデータ生成フレームワークとともに完全にオープンソース化される予定であり、ロバストで多モーダルな研究の加速を図ります。