arXiv (CV)AI
HairPort:画像における3D対応型ヘアスタイル転送の in-context 実装と応用
HairPort: In-context 3D-aware Hair Import and Transfer for Images
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
コンピュータグラフィックスと画像処理の分野において、異なる画像間でのヘアスタイル転送技術は、バーチャル試着システムや拡張現実、エンターテイメント分野での応用が期待される重要な研究課題です。ユーザーが実際に髪を変えることなく新しいヘアスタイルを試験できるこの技術は、ビジュアルエフェクト業界でも高い需要があります。しかし既存の手法の多くは、ポーズの小さな変化には対応できても、大きな視点角度や スケール差がある場合には対応が困難でした。
HairPortは、このような課題に対処するための3D対応型ヘアスタイル転送フレームワークとして提案されました。本手法の革新的な点は、ヘアスタイルの転送プロセスを「髪の除去」と「転送」に明確に分離し、合成前に幾何学的整合性を強制することにあります。Bald Converterと呼ばれるコンポーネントは、FLUX.1 Kontextに対するLoRA(Low-Rank Adaptation)ベースの in-context 適応を活用し、リアルな坊主頭の顔画像を生成します。
この手法の学習には「Baldy」という新規データセットが導入されており、多様なアイデンティティと条件にわたる6,000枚のペア化された坊主頭画像と元画像が含まれています。さらに3D対応型転送パイプラインにより、参照画像のヘアスタイルをターゲット視点から再構成・再レンダリングした上で、元画像に合成します。この3D対応性により、ソース画像とターゲット画像の間に大きなポーズやスケール差があった場合でも対応可能です。最後に、条件付きフロー・マッチングジェネレータが、坊主頭のソース画像と幾何学的に整合された参照ガイダンスから転送結果を合成します。この統合的なアプローチにより、正確でポーズ一貫性があり、アイデンティティを保持したヘアスタイル転送が実現され、既存手法を定性的・定量的に上回る性能を達成しています。