音声から感情を自動的に認識することは、声の抑揚の分析と発話内容の解釈の両方を必要とする難しい課題です。近年、この問題を解決するために音声基盤モデルに依存する手法が提案されていますが、こうしたモデルがすべての側面を考慮できるかどうかは明確ではありませんでした。 この研究では、自動音声認識（ASR）ツールで自動生成されたテキスト文字起こしと音声情報を交差モーダル変換器を通じて統合するマルチモーダルアプローチが提案されています。さらに機械翻訳ツールを用いて文字起こしを複数言語に自動翻訳することで、複数のテキストモダリティを作成しています。音声と多言語テキストの特徴量は、モダリティを順次統合する交差モーダル変換器ブロックで構成されたカスケード・アーキテクチャを通じて組み合わされます。 研究チームはさらに、マルチモーダルモデル（教師）から知識を単一モーダル（音声のみ）モデル（学生）に蒸留する知識蒸留の手法を導入しました。大規模データセットでの実験結果は、自動生成されたテキスト情報が感情極性分類のパフォーマンスを大幅に向上させることを実証しています。アブレーション研究により、自動文字起こしと自動翻訳の両方が有効であることが確認されました。推論時の計算コストなしでパフォーマンスを向上させることができる音声のみモデルへの蒸留効果についても、その有効性が示されています。