arXiv (NLP)AI
SkillCorpus:実世界のLLMエージェント向けオープンスキルエコシステムの統合と評価
SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
LLMエージェントの機能拡張に向けて、「SKILL.md」と呼ばれるスキルファイルが注目を集めています。これらは再利用可能な手続き知識をパッケージ化したもので、公開リポジトリに膨大な数が蓄積されています。しかし現状では、これらのスキルは断片化し、冗長性があり、品質にばらつきがあるため、実際の価値が不明確です。そこで重要な課題として、このオープンソースのスキルエコシステムをいかに統合し、実世界のエージェントタスクにどの程度の利益をもたらすのかという点が残されていました。
新しく提案されたSkillCorpusは、オープンスキルエコシステムを大規模に集約、キュレーション、マッチング、評価するフレームワークです。約821,000個のスキルをクロールして多段階のパイプラインで処理し、96,401個のスキルに絞り込みました。これらは16クラスの分類体系と、ユーティリティ、堅牢性、安全性の3つの品質観点で整理されています。タスク関連スキルを効果的にマッチングするため、ファインチューニングされた検索・選択スタックが組み込まれています。
評価実験はSkillsBench、GDPVal、QwenClawBenchの3つのベンチマークに対して実施され、複数のハーネスと2つのオープンバックボーンを用いて検証されました。SkillCorpusを統合した結果、全3ベンチマーク中最大でSkillsBenchで7.5ポイント(pp)の向上が確認されました。詳細な運用分析により、これらの改善がカバレッジ境界とハーネス境界に起因することが明らかになっています。本研究は、キュレーションされたコミュニティコーパスが実エージェントタスクを改善する場合と改善しない場合を、初めて包括的に記述したものです。