文書解析は、スキャン画像を非構造化データから構造化された表現に変換し、テキスト、ビジュアル、レイアウト情報を抽出することで、視覚的質問応答やキー情報抽出といった文書理解タスクの基盤となる重要なステップです。近年、多くの光学文字認識（OCR）エンジンと最先端のマルチモーダル大規模言語モデル（MLLM）が開発されていますが、特定の文書コレクションに最適な文書解析ソリューションを選択することは、特にラベル不足の環境では依然として課題となっています。 本研究では、複数のOCRエンジンと最新のMLLMを対象に、異なるドメインと言語を対象とした複数のスキャン文書ベンチマーク上でテキスト認識性能を体系的に評価しました。多くのOCRエンジンの文脈推論能力が限定的であること、および手動アノテーションのコストが高いことに着目して、DocOCR-Evalという正解データなしで自動的にOCRを評価・選択するフレームワークを提案しました。 DocOCR-Evalは、3段階の補正とランキング戦略を採用し、正解ラベルなしでアノテーションベースのツール順序付けを近似しています。複数のMLLMを横断して集約することで、アノテーションベースのランキングとの一致性が段階的に向上することを示しています。広範な実験を通じて、ラベルが限定的な現実的な状況下でも信頼性の高いOCRツール選択が実現可能であることが実証され、多様な実世界の文書コレクションにおける文書解析システムの運用に対する実践的なガイダンスが提供されています。