arXiv (Robotics)AI
TITLE_JA: 24時間農業ロボティクスの実現:夜間視覚ナビゲーション向けの教師なし昼夜間クロスモーダル画像変換
Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
農業用自律ロボットの視覚ナビゲーションシステムは、これまで主に日中の動作を想定して開発されてきました。しかし、ロボットを夜間に運用することで、24時間体制での作物・土壌監視、果実の収穫、夜行性害虫の検出など、農業経営に大きな利便性がもたらされます。問題は、既存のビジョンシステムが大規模で高品質なアノテーション画像データセットに依存している点であり、夜間運用シナリオにおいてはそうしたデータを確保することが極めて困難だという課題がありました。
本研究では、この課題を解決するため、教師なし画像変換フレームワークを提案しています。このフレームワークは、昼間に撮影された植物列のRGB画像を、ピクセルレベルの対応付けなしに、夜間の近赤外線(NIR)画像へ自動変換します。これにより、昼間で学習した意味情報ラベルをそのまま夜間の知覚モデル訓練に流用できるようになります。特筆すべき点として、事前学習済みのCLIP(Contrastive Language-Image Pre-training)モデルを組み込むことで、昼夜間の画像変換過程で意味的一貫性を保つ工夫がなされています。さらに、赤外線照明の有効範囲の限界を考慮したマスク処理も導入されています。
研究チームは、既存の最先端画像変換手法との比較評価を実施し、本提案手法の優位性を検証しました。特に、夜間視覚ナビゲーション用の意味領域分割タスクにおいて、生成画像の品質が向上することが実証されています。評価には、夜視機能付きロボットで農地において収集した昼間428枚、夜間549枚の画像から構成される新規ベンチマークデータセット「AgriNight」を活用しており、これは夜間農業視覚ナビゲーション研究における初の公開ベンチマークとなります。実際の物理ロボットを用いた夜間自律ナビゲーション実験も実施され、実用性が確認されています。