arXiv (CV)AI
マルチモーダルLLMと複数視点の地理位置特定を用いた災害地名の曖昧性解消フレームワーク「DisasterTD」
DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
社会メディアに投稿される画像(SMI)は、災害時の状況把握と緊急対応に極めて貴重なリアルタイムの情報源となります。衛星画像や航空写真とは異なり、SNSの投稿画像は災害の影響と地上レベルの状況を迅速に捉えることができるという利点を持っています。しかし、こうした画像に付随する地理的な参照情報はしばしば曖昧であったり不正確であったりするため、正確な地理位置特定は大きな課題となっていました。
この課題に対応するため、研究チームは「DisasterTD」と呼ばれる災害地名曖昧性解消フレームワークを提案しました。このフレームワークは、マルチモーダル大規模言語モデル(MLLM)に基づく意味推論と複数視点からの地理位置特定を統合しています。まず、MLLMがノイズの多いテキスト入力から地名を抽出し、候補となる地理的位置を生成します。その後、社会メディア画像とリモートセンシング画像(RSI)、および可能であれば街路図画像(SVI)の間でクロスビュー照合を行い、これらの候補結果を検証・洗練させるという二段階のアプローチを採用しています。
ハリケーン・ハービーのデータセットを用いた評価では、DisasterTDは従来のMLLM単独やクロスビュー単独の手法を一貫して上回る性能を発揮しました。地理位置特定の精度は1000m以内で71.62%、500m以内で62.36%、250m以内で57.99%、100m以内で52.09%、50m以内で47.01%に達し、平均誤差を11.33km、中央値誤差を0.68kmまで削減しました。特に曖昧な地名に対して最大の改善が見られ、意味推論とクロスビュー証拠の組み合わせが候補の分散と誤差を大幅に減らしたことが示されています。これらの成果は、MLLM基盤の候補生成とクロスビュー検証の統合が、細粒度の災害地理位置特定において効果的であることを立証しています。