室内シーンの照明処理は、写真のようなリアルさ、正確な空間制御、そして複数視点間での一貫性を同時に実現する必要がある難しい課題です。既存の拡散モデルベースの画像編集手法はテキストプロンプトを使った意味的な照明操作を可能にしていますが、3D空間での正確な光の配置を指定すると、モデルの生成能力が損なわれる傾向にありました。 このような課題に対処するため、研究チームは「Lume-Palette」という新しいフレームワークを提案しました。このアプローチは照明処理を2つのステージに分離することで問題を解決しています。第一段階の「照明蒸留」では、事前学習された拡散モデルから標準的な照明パレットを抽出し、材質と光の相互作用をリアルに保ちます。第二段階の「照明投射」では、粗い3D幾何学的情報から定義されたターゲット照明条件を明示的にマッピングします。 大量のマルチビュー・マルチモーダル入力を効率的に処理するため、本手法は非対称型マルチビュー条件付けを導入しており、本質的な空間情報のみを選別的に注入することで計算効率を高めています。合成シーンと実世界のシーンの両方での実験を通じて、Lume-Paletteは写真的にリアルで、空間的に制御可能であり、かつマルチビュー間で一貫性のある再照明結果を生成することが実証されました。