arXiv (ML)AI
Semalith v1.4:184M パラメータの安全分類器、Llama-Guard-3-8B比で44倍少ないパラメータでプロンプト・インジェクション検出において最先端の性能を達成
Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
金融サービスやエージェント型の応用環境で大規模言語モデルを安全に展開するには、プロンプト・インジェクション、規制遵守、一般的な害の三つの要素を同時に処理できる安全分類器が必要とされています。既存のオープンソース型ガードレールの中で、これら三つの要素すべてを単一の推論パスで扱えるものは存在しないとされていた中、新たに開発されたSemalith v1.4は、この課題に対する革新的なソリューションとして登場しました。
Semalith v1.4は、DeBERTa-v3-baseベースの184Mパラメータ分類器で、プロンプト・インジェクション、一般的な害、金融サービス規制遵守の三軸安全分類を単一の順伝播で同時に実行します。その設計は22クラスの出力ヘッド(良性判定、9種類のプロンプト・インジェクション細分類、一般的な害、11種類のBFSI金融サービス規制ラベル)と、4クラスの補助的なスーパーカテゴリーヘッドを備え、49個の公開ソースから採掘された76,204行のコーパスを用いて訓練されています。データセットはSHA-1重複排除により各評価セットとの汚染を排除し、22ベンチマーク中21が完全無汚染(最大0.22%)を達成しています。
Llama-Guard-3-8Bとの比較において、Semalith v1.4は44倍少ないパラメータながら顕著な成果を上げています。プロンプト・インジェクション評価では7個すべてで勝優し、18個の全体ベンチマーク中11個で優位に立っています。特に注目すべき点は、208個の良性エージェント・プロンプトに対する偽陽性率(FPR)がゼロである一方で、Llama-Guard-3-8Bは0.063を記録しており、エージェント環境の安全性において大きな利点があることです。ただし、WildGuardMix、HEx-PHI、HarmBenchなどの一般的な害ベンチマークではLlama-Guard-3の方が優れており、用途に応じた使い分けが推奨されています。