arXiv (AI)AI
モンテカルロ木探索を用いた表形式データからのマルチモーダルレポート生成
Monte Carlo Tree Search for Table-to-Multimodal Report Generation
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
構造化された表形式データから、テキスト分析と視覚的チャートの両方を含む専門的なマルチモーダルレポートを自動生成することは、データインテリジェンスの分野における重要な課題です。既存の手法は固定的な線形パイプラインと孤立したサブタスク処理に依存しており、事実精度、視覚品質、物語の一貫性を同時に最適化することが困難でした。
これらの課題に対処するため、本研究ではMCTS-Reportと呼ばれるモンテカルロ木探索(MCTS)駆動型フレームワークを提案しています。このアプローチは、マルチモーダルテーブルからレポートへの生成を、構造化された探索空間上での段階的な構築プロセスとして定式化しています。コアアイデアは、章計画、可視化タスク識別、チャート生成、洞察整理、物語精緻化といった原子的アクションにレポート生成を分解し、各ステップをLLMが現在のレポート状態に基づいた動的推論により実行するものです。LLMはMCTS中にステップバイステップの推論とアクションを生成し、各ノードに推論軌跡を保存することで、コンテキストを考慮した首尾一貫したレポート構築を実現しています。
探索を導くため、数値的事実の一貫性(SQLを介して検証)、チャート品質、チャートテキスト間の整合性、構造的完全性を共同で評価する多次元的報酬関数を設計しました。繰り返されたチャートを抑制する多様性ペナルティと無効なアクションを除外する前提条件チェックも組み込まれています。さらに、6つのドメインにわたる実世界のテーブルと専門家によって精緻化された参照レポート構造を含む包括的ベンチマークMMRBenchを構築しました。
MMRBench上の実験では、MCTS-Reportが構造的完全性、数値精度、チャートテキスト整合性、洞察の新規性の全てにおいて強力なベースライン手法を大幅に上回り、全体スコア77.9を達成しました。