arXiv (NLP)AI
TITLE_JA: 通信業界カスタマーサポート向け小規模言語モデルの効率的ファインチューニング:LoRA設定の比較研究とエネルギー消費分析
PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は自然言語の理解と生成で優れた性能を示していますが、通信業界のカスタマーサポートという特定分野への適応や評価は限定的です。さらにデータ主権やコンプライアンス要件、顧客情報やネットワーク情報などの機密情報の取り扱いの複雑さから、外部ホストのファウンデーションモデルの利用は困難です。本研究は、パラメータ効率的ファインチューニング(PEFT)手法の一つであるLoRA(Low-Rank Adaptation)を、小規模言語モデルQwen2.5-3Bに適用し、通信業界向けの会話型アシスタント構築の実現可能性を体系的に検証しています。
研究チームは業界固有の用語52語を含む語彙集をベースに、合成データの組み合わせ生成手法を導入しました。Gemini 2.0 Flashを活用したジェネレーティブパイプラインにより、1,560の異なる問題シナリオ全体で約30,000の訓練例を生成しています。
16種類のLoRA設定を評価する過程で、ハイパーパラメータとターゲットモジュールを変動させながら、検証損失だけでなくエネルギー消費分析と、LLM-as-a-judge フレームワーク(GPT-5.2とClaude 4.5 Sonnetを使用)による定性的評価も組み込みました。
興味深い結果として、定量的評価と定性的評価の間に明らかな相違が見られました。最低検証損失(0.5024)を達成したモデルが必ずしも人間の価値観に最も適合していない一方で、最悪の損失値(0.6807)を示したモデルが両方の判定者から最高評価を得ています。この発見は、会話型AI向けのファインチューニング設定選択では検証損失だけでは不十分であること、そして持続可能なLLMデプロイメントにはエネルギー効率の考慮が必須であることを示唆しています。