Retrieval-augmented generation（RAG）技術は、外部の知識ベースから関連情報を取得して生成AIの精度を向上させる手法として注目されていますが、複数のPDF文書を扱う際には多くの課題があります。特に、テキストと画像が混在するマルチモーダル・コンテンツ、専門用語の多様性、および複数の文書にまたがる推論が必要となる「マルチホップ推論」の実現が困難でした。 今回発表された「Multimodal CoLRAG-TF」は、この課題に対する包括的なソリューションです。このシステムは、密度の高いテキスト埋め込み、BM25キーワードマッチング、知識グラフのトリプルフィルタリング、および画像類似度検索という4つの軸を統合した融合アーキテクチャを採用しています。研究チームは43冊の日本の災害教訓PDFから2,403個のブロックを抽出してマルチモーダルインデックスを構築し、ハイブリッドOCRパイプラインとLLMベースのキャプション生成によって処理を実現しました。 推論能力を強化するため、システムは11,414個のOpenIEトリプル（主語‐述語‐目的語の形式）を抽出してFAISSで索引化し、サブ秒単位での高速検索と関連性信号の階層的伝播を可能にしました。HippoRAG2に着想を得た粗から細への検索機構（巻‐章‐ブロック）が検索空間を段階的に絞り込みます。ベイズ最適化による融合重みの調整により、トリプル軸が0.44の重みで支配的になる必要があることが判明し、これにより語彙的偏りを打ち消してマルチホップ検索の品質を維持できます。 457ペアのベンチマークでの評価結果は、Retrieval Recallが0.9909という高い値を達成し、シングルホップクエリと比べてマルチホップ答え類似度で71.6％の改善を実現しました。さらに、ビジョンLLMを用いた画像からレッスンへのパイプラインも開発され、視覚的入力への適用可能性が実証されました。これらの成果は、ノイズが多い異質なPDF文書に対する構造化推論には、トリプルフィルタリングされたマルチモーダル融合が本質的に重要であることを示唆しており、災害領域を超えた一般的な応用枠組みとしての潜在性を持っています。