arXiv (CV)AI
LoRetta: グローバル規模のリモートセンシング画像マッチング用基盤モデルと大規模データセット
LoRetta: A Foundation Model and Extensive Dataset for Global-Scale Remote Sensing Dense Image Matching
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
衛星画像やドローン画像を用いた地球規模の観測において、異なる時期や季節、視点から撮影された画像同士の正確な対応付けは、地理情報システムや都市計画、環境モニタリングなど多くの応用分野で重要な役割を果たしています。しかし、撮影条件の大きな違いにより生じる幾何学的なずれ、部分的な重なり、そもそも対応付け不可能な領域の存在など、グローバル規模のリモートセンシングデータでは密集した画像マッチングが非常に困難でした。
こうした課題に対処するため、研究チームはLoRettaという新しい基盤モデルを開発しました。このモデルは、マッチング可能な領域を最初に特定し、その後アフィン幾何を推定してから、細かい対応関係を精密に調整するという2段階のアプローチを採用しています。同時に、6大陸、5年間にわたる103万以上の画像ペア(解像度0.5~1024メートル)を含むLEVIR-GMという大規模ベンチマークデータセットを構築し、マッチング可能性の情報を含むラベル付けを行いました。
LoRettaは開発されたモデルの中で最高の性能を発揮し、曲線下面積(AUC)で83.3%を達成し、従来の最強ベースラインであるRoMa v2を1.6ポイント上回りました。特に1ピクセルおよび2ピクセルのエラー範囲での正確なキーポイント検出率では、それぞれ6.5ポイントと8.2ポイント上回りながら、推論時間を47.8%削減することに成功しています。宇宙飛行士撮影画像から衛星画像への位置特定実験やドローンから衛星画像への地理的位置参照実験も実施され、このモデルが再利用可能な幾何学的アライナーとして高い転用性を持つことが実証されました。