ASRU2023 | 基于图神经网络与多层次韵律建模的高表现力长语音合成

文章来源于音频语音与语言处理研究组，作者郭大可、朱新发

论文题目：HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS

作者列表：郭大可，朱新发，薛浏蒙，李涛，吕元骏，姜月鹏，谢磊

图1 发表论文截图

现有的 TTS 模型在自然度和表现力方面取得了显著进展，但在长文本语音合成上，特别是在类似有声书（audiobook）等场景下，传统方法在表现力方面与人类语音仍存在明显的差距。传统TTS通常仅对单个语句进行韵律建模，而长篇语音包含多个语义相关的语句，每个语句的韵律模式受其上下文语境影响。因此，需要一种能够在单词、单句和跨句层面进行层次韵律建模的方法。

图3 HiGNN-TTS 模型结构

基于句法信息的图构建

图4 句法图示例

句法图可以使用有向图表示，定义为。每个节点用表示，代表相应句子中的一个词。每条边用表示，代表从节点到节点的依赖关系。本文引入的虚拟全局节点，表示为，与所有节点连接，这些连接可以定义为。全局节点通过提供更大的感受野改善模型的感知能力，使其能够考虑到远距离的依赖关系，从而有效捕捉句子中存在的韵律模式。

我们使用从预训练的中文 BERT 中提取的 BERT embedding来初始化图节点特征。对于每个词节点，我们首先提取该词的 BERT embedding，然后进行平均池化以获取该词节点的特征。此外，全局节点使用 BERT CLS embedding进行初始化。

基于图的层次化韵律建模

我们通过层次图编码器（Hierarchical Graph Encoder）进行层次化韵律建模，如图5所示。层次图编码器接受先前、当前和下一句的句法图作为输入，捕捉当前句子内的单词级、句级以及跨句上下文级的韵律特征。我们采用门控图变换器（Gated Graph Transformer）[2] 将编码为，门控图变换器基于Transformer模型，使用自注意机制对节点特征进行加权聚合。第个节点特征的更新可以通过以下公式表示：

其中，表示原始节点特征，表示更新后的节点特征。表示节点的邻居节点集合，对应节点与其邻居节点之间的边，表示节点与其邻居节点之间的可学习注意权重。、和是用于线性变换的可学习权重矩阵。

在对编码成后，我们通过拼接将和融合成最终的图。由于图编码器是与声学模型联合训练的，并受到预训练 Mel 编码器输出的约束。因此，最终融合图中的节点特征不仅包含文本中的语义信息，还包括语音中的声学韵律。与 GST [3] 类似，我们对融合图中的每个节点使用 tanh 激活，以进一步增强每个节点特征的韵律多样性。

为了捕捉跨句子的上下文韵律模式，我们首先将前一句、当前句和下一句的句级表示拼接在一起，称为“Context Aggregation Features （CAF）”。接着，通过上下文注意机制学习跨句韵律表征，其中CAF被用作键和值，而当前句子级表示充当查询。上下文注意机制实际上可以被视为一种图神经网络，其中将每个句子表示视为一个节点，整个连接表示为全连接图。通过使用注意机制，计算每个句子与其他句子之间的注意权重，有效地聚合上下文信息，类似于图神经网络中的消息传递过程。

为了便于将从层次图编码器学到的层次韵律表示合并到声学模型中，我们将每个单词级表征与其相应单词的音素序列长度对齐，并将句子级和跨句子级的韵律表征重复，使其长度与当前句子的音素序列长度相同。

层次化韵律监督

实验

设置实验数据：标贝提供的有声书数据集，2个说话人，大约8小时。

对比系统

• FS2-BERT [4]: 基于 FastSpeech2 的模型，通过使用跨句子的 BERT 嵌入考虑上下文语境。

• HCE [5]: 基于 FastSpeech2 的模型，利用层次上下文编码器（HCE）从层次上下文信息中预测句子级别的风格嵌入。

• ATCE [6]: 基于 FastSpeech2 的模型，具备声学和文本上下文编码器（ATCE），利用文本和音频上下文来获取上下文韵律表示。

• HiGNN-TTS：本文方案。

客观测试

本文使用50句预留测试集对HiGNN-TTS模型进行客观评测，包括F0的均方根误差（RMSE）、时长的均方误差（MSE）和MCD。实验结果表明，HiGNN-TTS在所有指标上均优于三个对比模型。同时，还观察到HiGNN-TTS的F0 RMSE显著低于对比模型，这可以归功于HiGNN-TTS层次化的韵律建模方法，从而能够捕捉到具有高动态范围的韵律变化。进一步，通过可视化不同模型合成语音的F0曲线（图4），可以发现HiGNN-TTS的F0曲线更贴近实际录音，进一步证明了其在分层韵律变化的捕捉上的有效性。

为了更全面的性能评估，我们组织了两种不同MOS测听，针对短文本（S-MOS）和长文本（L-MOS）的测试。S-MOS包括带有上下文的单个句子，每个句子大约持续5秒。而L-MOS则通过拼接多个短句子构成，每个长句持续时间约40秒。如表2所示，HiGNN-TTS在S-MOS和L-MOS上均取得了最优表现，分别为4.09和3.86。值得注意的是，由于听众在聆听长篇语音时易出现听觉疲劳，L-MOS得分始终低于S-MOS得分。即便如此，我们的层次化韵律建模方法在长篇语音中仍然展现出对所有对比模型的显著优势。更高的S-MOS和L-MOS得分表明我们的模型具备合成更具表现力语音的能力。

消融实验

基于CMOS的消融实验结果如表3所示。我们看到，HiGNN-TTS 中所有设计对生成语音表现力产生了显著正面影响。具体而言，在去除 HiGNN-TTS 中的声学韵律监督策略时，导致了最大的 CMOS 下降。这表明声学韵律监督有助于层次图韵律编码器捕捉更大动态范围的韵律变化。此外，去除上下文注意力也导致了 CMOS 下降，这是由于缺乏跨句子的上下文韵律信息。在去除上下文注意力的基础上，进一步去除语法图中的全局节点，由于缺乏句中整体韵律，也导致了 CMOS 下降。

短篇文本：

长篇文本：