arXiv (Neural Computing)AI
LLM生成の効率的ガイド:自動ヒューリスティック設計のための双対サロゲート誘導探索
How to Guide LLM Generation: Dual-Surrogate Guided Search for Automated Heuristic Design
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は、タスク記述と評価者からのフィードバックから実行可能なヒューリスティックコードを生成することで、自動ヒューリスティック設計(AHD)をより実用的にしました。しかし限定されたクエリ予算と評価予算の下では、探索効率は生成前の意思決定に大きく依存しています。LLMクエリごと、そしてブラックボックス評価の前に、システムは親として再利用するアーカイブ済みのヒューリスティックと、それらを変換する生成オペレータを選択する必要があります。
従来の手法では、こうした行動選択に事前定義されたルールを使用していたため、具体的なオペレータと親の組み合わせが持つ期待される結果が間接的にしかモデル化されていませんでした。本研究ではデュアル・サロゲート・ガイデッド・サーチ(DSGS)という、LLMベースのAHDにおけるオペレータ・親選択用のサロゲート誘導型アクション選択モジュールを提案しています。DSSGsは2つの補完的なサロゲートを使用して生成前のアクションをスコア化することで、LLMコード生成プロセスをガイドします。
具体的には、オペレータと親の行動によって誘発される子表現の潜在分布を予測するトランジション・サロゲートと、サンプリングされた子の潜在的なパフォーマンスを推定するインスタンス条件付きユーティリティ・サロゲートが提案されています。さらに、予測ユーティリティ、ユーティリティ不確実性、およびトランジション不確実性を組み合わせた不確実性認識取得ルールが、次のLLM生成アクション選択に使用されます。
多様なヒューリスティック設計スイート全体で、DSSGsは強力なLLM-AHDベースラインと競争力を持ち、アブレーション研究とアクション選択分析により、その動作がアーカイブランキングや固定オペレータ選好をはるかに超えていることが示されています。