arXiv (NLP)AI
TITLE_JA: ルクセンブルク語の音声質問応答システム「LuxSQA」:TTS合成音声によるデータ拡張アプローチ
LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
音声質問応答(SQA)システムは現在、主に高リソース言語と丁寧に録音された音声に焦点が当てられており、低リソース言語での音声LLM手法の活用が限定されています。本研究は、テキスト音声合成(TTS)が大規模な人間による音声QAコーパスを必要とせずに、ルクセンブルク語のSQAタスク用訓練データを提供できるかどうかを検討しています。既存のテキストベースQAリソースから出発し、質問をルクセンブルク語に翻訳し、複数のTTSシステムで音声質問を合成し、テキスト形式の回答と組み合わせています。
研究チームは、凍結されたWhisperエンコーダを凍結された多言語LLMバックエンドに接続し、学習可能なプロジェクタとLoRAアダプタを介して接続するパラメータ効率的なSLAMスタイルアーキテクチャを構築しました。MMS-TTS、Qwen3-TTS、OmniVoiceなどの複数のTTSバリエーションを比較検討し、約48,000個の質問からなる単一ソースコーパスと、4つのTTSを組み合わせた約230,000個の質問を含むマルチソースミックスで評価されました。
2つの実ルクセンブルク語話者条件でLLAMA-LB-Testを使用した評価では、マルチソースおよび音声設計ベースの合成訓練構成が最も強いSQA性能を示しました。特に注目すべき結果として、参照なしのTTS品質スコアが下流のQA性能を単調には予測しないことが明らかになりました。これは合成音声が自然な音響としてだけでなく、タスク特有の訓練データとして評価される必要があることを示唆しており、低リソース言語のSQAシステム構築における合成音声の有効性と評価方法に関する重要な知見をもたらしています。