arXiv (NLP)AI
RouteRec:推薦エージェントの選択と集約に関する厳密な評価
RouteRec: Strict Evaluation of Recommender-Agent Selection and Aggregation
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
推薦システムが複数の異なるエージェントから最適な選択肢を見つけることは、ますます重要な課題になっています。協調フィルタリング、シーケンシャルモデル、コンテンツベースのレトリーバー、そしてLLMベースのリランカーなど、様々なアプローチが存在する中で、単一のエージェントが常に最良とは限りません。本研究は、この選択問題をタスク認識型のエージェントランキングとして捉え、コスト制約下での最適化を目指す「RouteRec」というフレームワークを提案しています。
RouteRecは、4つの従来型推薦エージェントと1つのLLMベースのリランカーエージェントに対して、リクエストレベルでのハード選択とアイテムレベルでの学習型集約を比較検討します。MovieLens-1Mデータセットを用いた実験では、理想的なオラクル(完全な最適解)はHR@10 = 0.584という大きな改善余地を示しており、異なるエージェント間での有用な信号が存在することが確認されました。
しかし漏洩を防ぐ5分割交差検証プロトコル下では、ハード選択はBM25(0.223対0.254)を下回り、選択的なLLM昇格も改善をもたらしませんでした。一方、学習型集約では異なる結果が得られました。低コスト専用の変種はBM25と同等のHRを達成しつつ、より高いNDCGスコア(0.123対0.114)を記録し、ゲート付き全エージェント集約ではHR@10 = 0.295に達し、LLMコール率は70.2%でした。これらの結果から、リクエストレベルでの単一エージェントリスト選択は、スパースな固定候補設定には粗すぎることが明らかになり、アイテムレベルでの集約がより有望なアクションスペースであることが示唆されています。