arXiv (CV)AI
不確実性を考慮したマルチビュー構造学習によるディープフェイク検出
Uncertainty-Aware Deepfake Detection via Multi-View Structural Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
セキュリティが重要とされるバイオメトリクスと法医学的応用において、正確な予測と信頼度の高い信頼区間推定は不可欠です。特にディープフェイク検出の領域では、基礎モデルベースの検出器が分布外の操作に対して過度に自信を持った予測を行う傾向があり、実運用への適用を制限しています。
本研究で提案される不確実性を考慮したディープフェイク検出フレームワークは、複数の補完的証拠源における矛盾を通じて操作を識別します。このフレームワークは3つのストリームで構成されています。まず、適応されたCLIPエンコーダに基づく視覚ストリーム、微分可能な制約を通じて顔属性間の一貫性をモデル化するセマンティックストリーム、そしてセマンティクスと法医学的特徴間の類依存的依存パターンをキャプチャする構造ストリームです。
これらの信号を効果的に組み合わせるため、Inter-Branch Disagreement Calibration(IBDC)と呼ばれる、不一致を認識した不確実性モデリングメカニズムが導入されました。このIBDCは、予測の不確実性を証拠ストリーム間の矛盾に関連付けます。FaceForensics++を訓練源として使用した広範なクロスデータセット実験の結果、提案フレームワークは複数の分布外ベンチマーク全体で最先端の汎化性能を実現し、一貫して較正と選別予測性能を改善することが示されました。これらの結果は、補完的証拠と不一致認識型不確実性の組み合わせが、分布シフト下での信頼できるかつ適切に較正されたディープフェイク検出の堅牢な基盤を提供することを示唆しています。