アニメキャラクターやバーチャルアバターの制作において、Live2Dという2Dアニメーション形式が広く用いられています。Live2Dは複数のRGBAレイヤーをメッシュ変形によって駆動させることで、キャラクターに動きを与える仕組みです。バーチャルストリーミングやモバイルゲーム、インタラクティブキャラクターなど様々な場面で活用されていますが、従来はレイヤー分離、オクルージョン補完、メッシュ配置、キーフレーム設定などの作業に数週間を要していました。 今回発表された「Bunraku」は、単一のイラストからLive2Dランタイムが必要とするすべての構造化情報を自動生成する初めてのシステムです。処理は2段階に分かれています。第1段階では、レイヤード拡散プロセスを用いてイラストをLive2D対応の臓器レベルの分類体系に基づいて分解し、隠れた領域を補完した順序付きRGBAスタックを生成します。第2段階では各レイヤーのアルファチャンネルから三角メッシュを構築し、全レイヤーの共同予測によってキーポーズの変位フィールドを予測します。 この手法の重要な特徴は、各レイヤーを独立して予測するのではなく、セルフアテンションをレイヤー境界を超えて機能させることで、バラバラなパーツではなく一貫性のあるキャラクターを生成する点です。50個の保留テストキャラクターにおいて、教師強制なしの真の生成条件下で、頂点方向のコサイン類似度が0.768（中央値0.828）を達成しています。さらに、衣服レイヤーは自然言語指示によってテクスチャを変更可能であり、メッシュと予測されたアニメーションは再利用できます。研究チームはこのタスク用の標準ベンチマーク「Live2D-Bench」と、レイヤーとアニメーション監督情報を含む8,884個のLive2Dモデルコーパスも公開しました。