テキスト音声合成（TTS）技術は近年、高い明瞭性と自然性を実現していますが、固有名詞や外来語、技術用語などの稀な単語の発音に課題を抱えていました。テキストの本質的な曖昧性により、このような特殊な単語を正確に発音することが困難だったのです。GRAFTはこの問題を解決するために開発された新しい手法で、ニューラルコーデック言語モデルを用いたテキスト音声合成において、単語ごとに発音を制御できるメカニズムを提供します。 GRAFTの革新的な点は、短い音声サンプルから目的の単語の発音を直接制御できることです。ユーザーが発音したい単語の音声例を提供すると、その音声がモデル自身の音声トークナイザーで符号化され、プロンプト内の単語の位置に結合されます。重要なのは、学習データの構築時に音声変換技術を用いることで、参照音声の話者と目標出力の話者を分離している点です。これにより、参照音声がどのような話者による音声であっても、最終出力は目標の話者の声で統一されます。 英語による盲検聴取テストでは、GRAFTは判定者から明らかな差をつけて最高位にランク付けされました。困難な単語の発音が参照録音に最も近いと評価されたのです。さらに、5言語での客観的ベンチマークテストでは、テキストのみを条件とした同じバックボーンと比較して、目標単語の音素エラー率を22～39%削減しました。同時に、音素条件付きおよびテキスト条件付きの競争力のあるオープンソースのゼロショットシステムを上回る性能を示しながら、話者の類似性と自然性を保持しています。