arXiv (NLP)AI
TITLE_JA: 勾配ベースの音声テキスト整列:あらゆるASRモデルに対応、CTCから音声LLMまで
Gradient-Based Speech-to-Text Alignment for Any ASR Model: From CTC to Speech LLMs
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
音声認識システムにおいて、音声ファイル内の各単語がどの時間帯に現れるのかを正確に特定することは、字幕生成や話者区間検出など多くの応用で重要な課題です。しかし、異なるアーキテクチャのモデルごとに、この時間的境界を取得する方法が異なることが問題となっていました。Connectionist Temporal Classification(CTC)とトランスデューサーモデルは構造上、整列情報を直接提供しますが、注意機構ベースのエンコーダ・デコーダ(AED)および音声Large Language Models(LLMs)はそうではなく、通常は注意重みから単語のタイミングを推定しています。さらに、これらの信号はエンコーダのフレームグリッド上に存在するため、時間的精度が限定されるという制約がありました。
今回発表された研究では、微分可能なすべてのASRモデルに適用できる汎用的な勾配ベースの整列手法を提案しています。この手法は、教師強制された各トークンの対数確率の勾配を入力に対して計算し、フレームごとの顕著性に縮約した後、動的計画法を用いて単語の境界を解読するものです。重要な利点として、追加の学習が不要で、モデルの改変もアライメントヘッドも必要としません。
評価実験では、4つのモデルファミリーから16個のモデルを対象に、読み上げ音声(TIMIT)と自然発話音声(Buckeye)の両方でテストされました。結果として、勾配ベースの手法はすべてのモデルで使用可能な整列を生成し、特にストリーミングモデルなど従来の整列手法が弱い場面で優れた性能を示しました。ただし、トークンごとに1回の逆伝播が必要であることが主な欠点として指摘されています。