金融分野におけるAIエージェントの性能評価は、実際の専門家の仕事基準と一致した評価基準が必要とされています。従来のルーブリック手法はタスク指示またはモデル出力から評価基準を導き出していましたが、実務家の成果物にのみ見られる暗黙の基準を見落としていました。このような課題に対応するため、研究者らはFinProBenchという金融専門タスク用ベンチマークと、Role-Grounded Rubric Construction（RGRC）というパイプラインを提案しています。 RGRCは4つの段階で構成されています。まず実務家による成果物を収集し、次に必要な能力を抽出し、その後ルーブリックを合成して最終的に検証するという流れです。研究では57職種の成果物をジャンル別に分類し、30の慣例的なロールと27の専門性の高い役割特化型ロールに分けています。評価結果からは興味深い分化が見られました。慣例的なロールではプロンプトのみの手法がRGRCにほぼ匹敵する性能を示す一方（89.2%対90.7%）、役割特化型ロールではRGRCが大幅に優れており（99.1%対78.0%）、プロンプトエンジニアリングは慣例が十分にモデルの事前知識に表現されている場合には有効ですが、その範囲外の専門基準には専門的なグラウンディングが不可欠であることを示しています。 FinProBenchは1,723件の厳選された成果物から構成され、57職種、8つの金融サブ業界、161の成果物タイプにわたっています。初期評価セットとして20の完全なタスク、20のロール、7つのサブ業界がカバーされており、異なるLLM判定者と役割レベルのルーブリックを用いた評価では、人間による成果物が平均的に最高位にランクされています（100点満点中73.7対70.3、70.2、69.6）。全4つのシステムは信頼区間が重なり、それぞれ補完的な強みを持っています。役割レベルでルーブリックを再利用することにより、タスクごとにゼロから作成する場合と比べて、推定される1タスクあたりの構築労力を6.7倍削減できるという実用的な利点も示されています。