arXiv (AI)AI
規則が学習する:法律事件検索のための自己進化型エージェント
When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
法律事件検索は、法律用語の複雑性とクエリと関連事件間の正確な語彙の対応付けの必要性により、依然として大きな課題となっています。密集検索モデルが顕著な進歩を遂げている一方で、実証研究ではBM25が今なお当該領域における強力なベースラインとして機能していることが示されています。この状況を受けて、研究チームはパラメータ訓練を伴わずにBM25を強化する規則駆動型クエリ書き直しフレームワークを提案しました。
このフレームワークはLLMベースのエージェントに自動評価環境を装備しており、エージェントが反復的にクエリ書き直し規則を生成し、規則の組み合わせに対する検証実験を計画し、過去のフィードバックに基づいて効果のない規則を削除することを可能にします。中国の法律事件検索ベンチマークであるLeCaRD-v2で評価したところ、提案フレームワークは人間が設計した規則や貪欲な規則選択を含む非進化型ベースラインを上回る性能を発揮しました。特に高性能なコアLLMを搭載した場合にその優位性が顕著です。
詳細な分析を通じて、研究チームは自己進化の背後にあるメカニズムを調査しました。その結果、LLMが過去の実験結果を活用する能力と規則削除に関する本質的な知識が、自己進化を通じた規則セットの洗練において重要な役割を果たしていることが明らかになりました。本研究は、LLMエージェントが自律的に最適な検索規則を学習・進化させる可能性を示す興味深い成果といえます。