arXiv (CV)AI
VLMを用いた映像フレーム比較による異常検出:熟練技能者の行動と判断シーンの自動抽出
Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
鉄道や発電所などの重要インフラの保守管理は、運用の安全性と信頼性を確保するために不可欠です。しかし熟練した保守作業員の数が減少する中で、専門知識を経験の浅い作業員に継承することが急務となっています。これまでの研究では、手作業による作業動画と熟練技能者の動画を比較することで専門知識の候補を抽出する試みが行われてきましたが、主に目に見える動作の違いに焦点が当てられていました。
本研究が着目するのは、熟練技能者の知見は単なる動作差だけでなく、作業実行中の文脈的な判断にも組み込まれているという点です。論文で提案された手法は、2つの作業動画間の異常フレームを検出することで、専門技能者に特有の動作シーンと文脈的な判断場面を自動的に抽出します。具体的には、ビジョン言語モデル(VLM)を用いて各フレームの視覚的説明文を生成し、2つの動画間の説明文比較から得られるフレーム類似度に基づいて専門技能者固有の行動を抽出します。一方、動画内の自己相似性を利用したセグメント類似度により、文脈的判断が行われている場面を特定します。
配電盤保守の27シナリオを対象とした実験結果は、提案手法が行動候補で65%、判断シーン候補で61%の抽出率を達成したことを示しています。これは従来手法の59%と33%をそれぞれ上回る成果です。この研究成果は、VLMを活用することで、数値化しにくい熟練者の暗黙知を効率的に発見・継承できる可能性を示唆しており、産業現場での技能伝承の課題解決に向けた重要な一歩となります。