arXiv (CV)AI
CanvasAgent:ビジュアルツールの統合的な操作を通じた複雑な画像生成と編集の実現
CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
画像の生成と編集タスクは、単一のモデルだけでは対応できない複雑さを伴うことが多い。ユーザーのリクエストには、画像の合成、物体検出、領域のセグメンテーション、コンテンツ編集、中間資産の合成、テキスト認識、最終的な画像の品質向上など、多くの工程が含まれることがある。このような場合、マルチモーダルエージェントは従来の「認識を補強した推論」から「操作を中心とした視覚的な創造」へシフトする必要がある。既存のマルチモーダルツール使用エージェントは知覚、検索、ドメイン特化型の編集に最適化されているものの、実行可能な画像創造軌跡に関する大規模な教師データに欠けている。
本研究では、複雑な画像生成と編集のための大規模マルチモーダルツール使用データセット「CanvasCraft」と、異なる視覚ツールを多段階のインタラクションを通じて統合的に操作することを学ぶツール拡張マルチモーダルエージェント「CanvasAgent」を提案している。CanvasCraftは140,000個の完全注釈付き実行可能軌跡と10,000個のRL環境仕様を含む大規模データセットである。
CanvasAgentは、まず教師あり微調整(SFT)により実行可能な推論・行動軌跡を学習し、その後、結果レベルとプロセスレベルの信号を組み合わせたハイブリッド報酬を使用してGRPOで最適化される。推論時には、中間結果の検査、視覚資産の追跡、進化する視覚状態への適応を通じてツール決定を調整する。実験評価では最終画像の品質と軌跡の振る舞いの両面から検証され、複雑なマルチツール画像創造ワークフローにおけるCanvasAgentとデータセットの有効性が実証されている。