arXiv (CV)AI
WaiT:周波数を考慮した単純なフロー・マッチング手法による高品質画像生成
WaiT for the Signal: Simple Frequency-Aware Flow-Matching
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
画像生成モデルの高解像度化に伴い、グローバルな一貫性、局所的な詳細、テクスチャの忠実性が生成品質の重要な要素となっています。しかし従来のフロー・マッチング手法では、すべての空間周波数を均一に扱うため、高周波帯がノイズと区別できなくなるタイミングと粗い構造が形成されるタイミングの自然な階層性を無視していました。
この問題に対応するため、新たに提案されたWaiT(Wavelet-aware image Transformer)は、可逆ウェーブレット変換を用いて画像生成を粗い帯域と細かい帯域に分解します。WaiTという名称の通り、高周波帯は「信号を待つ」という独特な仕組みを採用しており、粗い構造が十分に形成されるまでは純粋なノイズのままの状態を保ち、その後に他の帯域と共同で精密化するというプロセスを実現しています。
評価の側面でも革新的で、従来のFID(Frechet Inception Distance)指標は積極的なダウンサンプリングにより細部を失うため、WaiTの開発チームは元の解像度で品質を評価する厳密な3軸評価プロトコルを新たに導入しました。ImageNet 512×512解像度での評価において、WaiTはピクセル空間FID 1.43を達成し、全3軸でパレート最適性を確保しつつ、サンプリング計算を最大50%削減しています。
最大規模の20億パラメータモデルでは、ImageNet 512解像度においてピクセル空間モデルの新たな最先端FID 1.3を実現し、テクスチャ忠実性ではレイテント空間モデルをも上回る性能を発揮しています。さらにこの手法は高解像度画像やビデオ生成への応用も容易で、Kinetics-600データセットではアルゴリズムの修正なしに最先端のFVD 0.84を達成しており、その汎用性と拡張性の高さを実証しています。