arXiv (CV)AI
3D FaceShell:3D顔アバターの属性転送によるビジョン言語モデルへの防御メカニズム
3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
フォトリアリスティックな3D顔アバターは、テレプレゼンス、アニメーション、パーソナライズメディアなど、様々なアプリケーションで再利用可能なデジタル資産として急速に普及しています。一方、ビジョン言語モデル(VLM)は、ファインチューニングなしにレンダリング画像から高度なセマンティック推論により機密性の高い顔属性を推測することが可能です。この状況は新たなプライバシー課題を生み出しています。3D顔アバターが共有されると、そのレンダリング画像はいかなる場合でも分析され、高レベルの顔属性を抽出されるリスクが生じるのです。
既存の防御手段は主に2D画像空間で機能し、3D顔表現のアイデンティティ保持型セマンティック操作に対応していません。研究チームが提案する「3D FaceShell」は、3Dモデルからレンダリングされた顔のVLM解釈を操作しながら、幾何学的忠実度と顔アイデンティティを保持するフレームワークです。
3D FaceShellは、元の3D表現を学習可能なガウシアンシェルで拡張し、マルチビュー埋め込みアライメントを通じて最適化された微細で空間的に分散した摂動を生成します。これらの摂動は視覚的には気づきにくいながらも、VLMベースの属性推論をビュー一貫性のある方法でリダイレクトするのに十分な強度を持つように設計されています。
有名人の顔アバターと複数のブラックボックスVLMを用いた広範な実験により、3D FaceShellは属性注入およびミスマッチ率を大幅に増加させながら、高い知覚的類似性とアイデンティティ一貫性を維持することが実証されました。この研究成果は、人間が認識可能な外観を損なうことなく、3D顔のVLMレベルのセマンティック解釈を操作することが可能であることを示しています。