arXiv (Neural Computing)AI
LLM駆動型プログラム進化における収束動力学:変異なき突然変異
Mutation Without Variation: Convergence Dynamics in LLM-Driven Program Evolution
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)がプログラムを繰り返し変異させるとき、本当に新しい形態を探索しているのか、それとも同じパターンに戻り続けているのか。この疑問に答えるため、研究者たちはドメイン固有言語内でLLM駆動型の変異チェーンを分析しました。選択圧力がない環境で、プロンプト設計、モデルファミリー、確率的複製などの要因を変えながら調査を実施しています。
研究の結果、LLMベースの変異は一貫してプログラム空間内の限定された吸引領域に収束することが判明しました。この現象は特に構造レベルで顕著です。分析対象となったチェーンの87%において、93%以上の変異が以前に見たことのある構造形式へと戻り、ほとんどのバリエーションは繰り返し表れるテンプレート内の末端置換に限定されていました。サイクル分析からは、短いサイクルと自己ループが遷移構造を支配していることが明らかになりました。
収束速度はプロンプトの表現やモデル選択によって変わりますが、この現象はあらゆる条件下で堅牢です。古典的な遺伝的プログラミング(GP)の部分木変異演算子では同等の収束が見られず、この効果がLLM変異パイプラインに本質的に組み込まれていることを示唆しています。
これらの知見は、LLM駆動型プログラム進化の中心にある緊張関係を明らかにしています。意味論的なプログラム変換を可能にする同じ能力が、構造的同質性への系統的なバイアスをもたらしており、こうしたシステムがオープンエンドな探索を維持するためにはこの点を考慮する必要があります。