arXiv (NLP)AI
TITLE_JA: データ効率的なコードスイッチング音声認識のための強化学習
Reinforcement Learning for Data-Efficient Code-Switched ASR
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
音声言語モデルはコードスイッチング音声(複数の言語が混在する音声)に対応できますが、その復号化プロセスはコードスイッチングに最適化されていないため、言語境界で失敗することが多くあります。本研究では、グループ相対ポリシー最適化を用いた強化学習と検証可能な報酬メカニズムを組み合わせた、Qwen2-Audioなどの音声言語モデルをコードスイッチングASR(自動音声認識)に効率的に適応させるための実用的なアプローチを提案しています。
提案手法では、エラー率報酬と文字体系忠実度報酬の2つの報酬を組み合わせています。エラー率報酬は認識精度を向上させ、文字体系忠実度報酬は間違った文字体系の使用を抑制します。さらに、ドラフト・リファインメント(草案作成と洗練)の2段階処理により、より堅牢な出力を実現しています。
実験ではQwen2-Audioを10言語対で検証し、TTS(テキスト音声合成)で生成したコードスイッチング音声でのみ訓練しています。その結果、提案手法RLVR(強化学習と検証可能な報酬)がデータの10%しか使用しない場合でも、LoRAを用いた教師ありファインチューニングが全データで訓練した場合と同等の性能を達成しました。特に言語体系が大きく異なる言語対でその効果は顕著です。エラー率報酬が翻訳エラーを排除し、文字体silon忠実度報酬が性能の低下なく文字体系の混入を削減するという、独立した有効性も確認されました。これらの改善は人間が録音したコードスイッチング音声コーパスにもゼロショット転移することが示されています。