INTERSPEECH2022

MFA-Conformer: 基于多尺度特征聚合Conformer说话人识别模型的创新与应用


本文由清华大学与腾讯科技（北京）有限公司、台湾大学及香港中文大学合作。 提出了一种基于Conformer的多尺度特征融合的说话人识别模型（MFA-Conformer），通过融合各层不同尺度的特征，增强说话人特征的表征能力。 实验表明，与目前主流的声纹识别网络ECAPA-TDNN相比，本文所提出的MFA-Conformer在识别性能和推理速度上都有大幅提升。 该工作在腾讯科技有限公司的合作业务部门落地上线，新模型上线后实现了业务准确率20-40个点的巨大提升，节省线上服务资源30%。 论文投稿半年收到12点谷歌学术引用。 在工业和学术领域均产生了一定的影响力。


扫码阅读论文

https://arxiv.org/abs/2203.15249

论文代码开源链接

https://github.com/zyzisyz/mfa_conformer


01 背景动机

说话人识别（Speaker Recognition），也称声纹识别（Voiceprint Recognition），属于生物特征识别的一种，是一项根据语音信号中反映说话人生理和行为特征的语音参数（“声纹”），自动识别说话人身份的技术。 随着深度学习技术的发展，业内主流的说话人识别大多采用深度神经网络自动提取说话人表征（Speaker Embedding），将不定长的语音映射成为固定维度的向量，然后根据具体实际应用计算向量相似度进行说话人辨认 (Speaker Identification) 和说话人确认（Speaker Verification）。
当前业内主流的说话人模型，如x-vector、r-vector、ECAPA-TDNN等，主要基于卷积神经网络构建。 卷积神经网络可以很好地建模语音信号中局部特征（如pronunciation pattern），但很难有效建模语音的长程时序关系。 与此相反，RNN/LSTM或者Transformer等时序模型可以有效捕捉到上下文信息，但较难学习到丰富的局部信息。 因此，如何更好地实现局部特征和全局上下文信息统一建模，是当前声纹识别领域的研究热点之一。


02 贡献

本文探索了端到端语音识别领域最主流的网络结构Conformer在声纹识别任务中的应用，提出了一种基于Conformer的多尺度特征融合的说话人识别模型（Multi-scale Feature Aggregation Conformer, MFA-Conformer）。
MFA-Conformer的设计受端到端语音识别网络Conformer和说话人识别网络ECAPA-TDNN的启发： 其首先使用一个卷积降采样模块对输入的声学特征进行降采样，从而降低模型运算量； 随后使用多个不同的Conformer块进行局部特征和全局特征的学习； 最后将不同Conformer块的输出进行拼接，并通过一个注意力统计池化层（Attentive Statistics Pooling）提取说话人表征。
所提出的模型在Voxceleb1-O、SITW.Dev、SITW.Eval三个主流的声纹测评集上分别取得0.64%、1.29%、1.63%的等错误率（Equal Error Rate, EER）。 实验揭示，通过对音频信号进行局部建模和全局建模统一，可有效提取更鲁棒的说话人表征； 与主流声纹识别网络ECAPA-TDNN相比，MFA-Conformer在识别性能和推理速度上都有大幅提升。
MFA-Conformer主要具有4点显著优势：
1.  代码迁移成本低。MFA-Conformer主要是在Conformer的基础上进行简单修改，可复用已有成熟的端到端语音识别代码。 只需进行简单适配，就可以实现快速迁移和部署，从而降低企业的研发成本。
2.  识别性能更好。在参数量接近的情况下，MFA-Conformer相比ECAPA-TDNN性能有明显优势，在短时测试场景下性能相对提升22%、在长时测试场景下性能相对提升32%。
3.  推理速度更快。与ECAPA-TDNN相比，MFA-Conformer的实时率（Real Time Factor，RTF）相对提升32.7%。 并且可根据降采样率大小的不同进一步提升推理速度。
4.  后续可拓展性高。基于Conformer结构可以相对容易地快速实现联合语音识别、声纹识别、语种识别、情绪识别的多任务模型，从而可以更好地用于短视频、直播、在线会议等场景下的音频内容理解相关任务。


03 解决方案


MFA-Conformer模型结构如上图所示，主要包括： （1）卷积将采样层 (Convolution Subsampling)： 由2维卷积组成，主要功能是对输入音频进行降采样，加速模型推理速度； （2）Conformer Block： 进行局部特征和全局特征的学习； （3）注意力统计池化层（Attentive Statistics Pooling）： 将不同Conformer块之间的输出进行拼接，并通过通过注意力池化层为不同块的输出提供不同的权重，从而提取说话人表征。


Conformer

音频信号的局部特征和全局上下文信息在提取鲁棒的说话人表征中都起着至关重要的作用。 为了更好地对局部特征和全局上下文信息进行统一建模，从而有效地提取更鲁棒的说话人表征，本文使用Conformer Block来达到该目的。
Conformer是谷歌提出的用于端到端语音识别任务的网络结构，其将卷积网络和Transformer模型进行结合，在Transformer的多头注意力（Multi-headed Self-attention, MHSA）层之后引入卷积模块，通过MHSA层捕捉全局上下文信息，通过卷积模块提取局部特征，从而更好地实现全局和局部特征的统一建模。 相比于经典的Transformer，Conformer主要存在3点不同： （1）Conformer Block引入了卷积模块； （2）Conformer采用相对位置编码，Transformer采用绝对位置编码； （3）Conformer Block采用马卡龙（Macaron）结构，比Transformer多一个FFN（Feed Forward Network）模块。


多尺度特征聚合 & 注意力统计池化层

现有说话人识别网络在做池化（Pooling）提取最终说话人表征时，大多数网络只将最后一层输出的特征（Feature Map）送给池化层。 已有不少研究表明，低层网络输出的特征（Feature Map）对说话人表征的学习也是有帮助的。 比如，目前主流的说话人识别模型ECAPA-TDNN，即利用了这一特点，将每个Res2Block的输出进行拼接后再送到池化层。
借鉴了这一思想，本文将所有Conformer Block输出的特征（Feature Map）进行拼接，随后使用注意力统计池化层（Attentive Statistics Pooling）为不同块的输出提供不同的权重，从而聚合形成最终的说话人表征。


04 实验验证

实验数据

本文使用Voxceleb1&2数据集下的dev集进行模型训练，其包含7,205个说话人录制的约2,000小时的音频数据。 为了充分验证所提出的MFA-Conformer在不同音频时长下的优越性，本文使用Voxceleb1-O和SITW两个测试集进行性能测试。 其中Voxceleb1-O可以看作是一个短时测试场景，每条测试音频的时长主要集中在5-8秒。 SITW测试包含SITW.Dev和SITW.Eval两个子测试集，其可以看作是一个长时测试场景，每条音频的时长主要集中在30-40秒。


基线系统及模型设置细节

为了与MFA-Conformer进行公平比较，本文在同一框架下实现了r-vector和ECAPA-TDNN两种主流声纹识别网络作为基线系统。 所有系统的说话人表征维度均设置为192维，使用AM-Softmax损失函数进行训练。 对于r-vector，使用4个残差连接块，每个残差连接块的通道数分别设置为{64, 128, 256, 512}。 对于ECAPA-TDNN，使用3个SE-Res2Block，其通道数设置为{1024, 1024, 1024}。 对于所提出的MFA-Conformer，默认使用了6个Conformer Block。 所有网络及其他实现细节和训练细节可以参考我们的原论文以及对应的开源代码。


在Voxceleb1-test & SITW上的实验结果

所有模型均在Voxceleb1&2 dev上训练，在VoxCeleb1-O、SITW.Dev和SITW.Eval测试集上进行性能测试： 其中SITW可以看作是长时场景，平均测试语音时长为35秒； VoxCeleb1-O可以看作是短时场景，平均测试语音时长为5秒。 实验结果如下表所示：


表格中MFA-Conformer(1/2)的意思表示输入的声学特征进行1/2的卷积降采样。 从实验结果可以看出，MFA-Conformer(1/2)在实时率（RTF）和识别性能这两个上维度上均大幅好于ECAPA-TDNN，特别是在SITW的长时场景下，性能提升效果更加明显。 在参数量接近a的情况下，MFA-Conformer(1/2)相比ECAPA-TDNN性能有明显优势，在短时测试场景下性能相对提升22%，在长时测试场景下性能相对提升32%，实时率（RTF）相对提升33%。


全局建模对声纹识别性能的影响

在真实业务场景中，输入到声纹识别系统的音频信号往往是不固定时长的。 在该实验中，本文根据测试音频的时长，把SITW测试集切分为 {<5s, <10s, <30s, <50s} 四组进行测试，通过比较3个模型在不同时长测试集下的性能表现，探究全局建模对声纹识别性能的影响。 实验结果如下图所示：


从图中可以看出，随着测试音频时长的提高，所提出的MFA-Conformer的性能提升效果越发明显。 这进一步表明，MFA-Conformer通过使用多头注意力层进行全局建模，可以有效地在长时测试场景下提取更鲁棒的说话人表征。


局部建模对声纹识别性能的影响

Conformer与经典Transformer网络结构相比，通过引入卷积模块以更好地挖掘局部信息。 为了探究局部建模对声纹识别性能的影响，本文继续通过实验对比Conformer Block与Transformer Block以及各Block个数不同所引起的性能差异，实验结果如下图所示：


从实验结果可以看出，Conformer Block在识别性能上相比于Transformer有着碾压性的优势； 当Block数量设置为6的时候，MFA-Transformer和MFA-Conformer的性能都可以达到最好，Block数量过多或过少都可能导致识别性能的降低。


消融实验

为了验证本文所提的MFA-Conformer不同组件所带来的性能提升，本文进行了一系列消融实验，在Voxceleb1-O上的实验结果如下表所示。 可以看出，MFA-Conformer具有出色性能的关键主要在于： （1）Confomer Block中的卷积模块（Conv），该模块的引入使得性能相对提升54.9%； （2）多尺度特征拼接（Multi-scale Feature Aggregation, MFA），该模块的引入使得性能相对提升48.3%。



05 结语

本文提出了MFA-Conformer： 一种基于Conformer的多尺度特征融合的说话人识别模型，通过融合Conformer各层输出不同尺度的特征，增强说话人特征的表征能力。 MFA-Conformer在不同时长的测试场景下都有出色的表现，相比于业内主流的ECAPA-TDNN网络，MFA-Conformer无论是在识别性能还是推理速度上有明显优势。 在企业落地应用方面也有显著优势，可以在现有端到端语音识别引擎基础上实现快速迁移和部署，复用已有的语音识别加速算子和代码，从而降低系统的研发成本。 未来我们将基于MFA-Conformer在预训练和多任务上进行进一步的探索。