回声消除（acoustic echo cancelation, AEC）是一项典型的语音信号处理任务。经典信号处理中的声学回声消除定义为：利用参考信号将麦克风信号中的回声消除。随着基于神经网络（neural network, NN）在AEC的应用越来越多，研究者们开始同时考虑使用一个网络进行噪声抑制和回声消除，用线性滤波级联神经网络后滤波同时对噪声和回声进行抑制，从cancellation变为residual suppression。也有一些文献使用separation的思路，即从麦克风信号中分离出目标近端语音。除此之外，也有研究对降噪和回消这两个任务做解偶的探索。当前的NN-AEC 相关思路只考虑对回声、噪声的抑制，当近端存在多个说话人的时候，无法抑制近端干扰说话人的语音。为此，类似于个性化语音增强，利用声纹作为辅助信息是否会对AEC任务本身带来收益是值得探索的问题。

近期，西工大音频语音与语言处理研究组（ASLP@NPU）针对个性化AEC初探的论文“Personalized Acoustic Echo Cancellation for Full-duplex Communications”被语音研究顶级会议INTERSPEECH 2022接收。该论文探索了一种全双工通话中的个性化回声消除方法。现对该论文进行简要的解读和分享。


论文题目：Personalized Acoustic Echo Cancellation for Full-duplex Communications
作者列表：张是民，王子腾，琚雨恺，付艺辉，纳跃跃，付强，谢磊
论文原文：https://arxiv.org/abs/2205.15195
Demo：https://echocatzh.github.io/GTCNN

图1 发表论文截图

图2 扫码直接看论文

1. 背景动机

实时语音通信（real-time communication, RTC）中，噪声、回声以及干扰说话人声可能同时存在。鲁棒的语音前端处理要能够保证对噪声和回声做最大程度的抑制，同时减少目标语音的失真。神经网络（NN）模型替代经典信号单通道降噪算法已经成为了一种公认的趋势。我们知道，人脑能够处理多人说话，使得注意力集中在目标声源。不过在很多实际RTC场景（比如家居/办公场所）中，当前方案无法保护背景说话人的隐私，即目标说话人和背景（干扰）说话人的语音同时被传输。因此，抑制背景说话人语音也是必不可少的。抑制干扰说话人通常需要一些额外的辅助信息来指导，其中一种方式是利用目标说话人的注册语音作为辅助信息，无需空间信息，通过声纹特征对目标人声做提取，对其他干扰声做抑制。针对目标说话人的个性化增强（personalized speech enhancement, PSE）成为一个研究热点。
我们之前探索了复数网络对于AEC任务的可行性，即同时对相位和幅度进行时频建模[2]，以及探索线性滤波级联NN后滤波做残余抑制的方案，在ICASSP 2022的AEC-Challenge综合表现获得了第三名的优异成绩[3]（见下推文）。近年来NN-AEC模型已有较为成熟的研究方案，但是NN-AEC 模型只考虑了对回声、噪声的抑制，即没有辅助信息帮助，从而会保留所有近端说话人的语音。


基于多任务学习的残余回声抑制及回声感知代价函数

是民，公众号：语音之家声学回声消除：基于多任务学习的残余回声抑制及回声感知代价函数


本文旨在探索在全双工通信中利用说话人声纹信息进行个性化AEC（Personalized AEC，PAEC）的可行性。我们结合门控卷积和TCN，引入使用声纹特征作为辅助信息的GTCNN。首先验证了在无辅助信息前提下，GTCNN性能上优于当前SOTA的NN-AEC 模型。进一步采用说话人嵌入作为辅助信息，以指导 personalized GTCNN 提取目标说话人的语音。PAEC的思想源自PSE，但区别于PSE的一个点是，RTC中同时存在上行数据和下行数据，即我们有可能获得对讲双端的注册语音，但是这两种注册语音在AEC任务上的具体收益需要对比验证。


2. 方案介绍
针对全双工通话中存在的上述复杂声学场景，我们提出的个性化回声消除系统如图3所示，其中除了RTC场景中存在的上行以及下行数据，还存在近端说话人和远端说话人的注册语音，通过注册语音作为辅助信息来指导网络进行目标说话人的增强，抑制回声、干扰人声、噪声。

图3 全双工通话中的个性化回声消除


网络结构和对辅助注册语音的利用如图4所示。Speaker encoder可以是任意一个提取声纹信息的网络，这里我们用到的是fast ResNet。考虑到用户可能没有注册语音，或者只有远端用户注册语音，我们也对比unconditional NN-AEC模型，即没有使用辅助信息的情况。此外还有只使用远端注册作为辅助信息、使用双端注册作为辅助信息的情况。其中，主模块还是基于CRN的变体，Encoder/Decoder由门限卷积组成，主要用于高维特征提取。RNN模块由TCN变体组成，主要用于结合辅助信息，实现个性化的时序建模目标说话人语音。
关于模型的细节以及思路进一步说明如下。除了用复数卷积来增加网络建模能力（2层卷积，4倍运算），也有一些研究使用门限卷积达到类似的作用（2层卷积，2倍运算）。本文的Encoder及Decoder全采用门限卷积，并且对实虚部分别用不同Decoder建模，Encoder则是共享参数。经典的CRN结构除了Encoder-Decoder以外，对Encoder提取的高维特征还需要做序列建模，因为语音本身是一种序列输入。早期有RNN、DP-RNN、TCN。因为要做到个性化，为此需要结合说话人embedding的信息。我们考虑到TCN本身的输入特征以及输出特征操作更为灵活，更适合结合embedding去使用，为此在这里使用了堆叠的S-GTCN。每层S-GTCN通过不同dilation（1，2，4，9）的4层GTCN组成，历史帧可以利用34帧。这种结构能够在参数量小于类RNN结构的前提下，取得更好的效果。

3. 实验与结论
语音数据集使用LibriSpeech，目标说话人、背景说话人和远端说话人采用不同的spk-id，随机模拟0-512ms的延时，噪声使用DNS-Challenge[10]的噪声，最终根据不同的信干比、信回比、信噪比生成D1、D2和D3三种情况。其中，D1没有背景说话人，D3中的SNR均值要比D2高10dB，其余因素保持一致。D1是为了验证辅助信息对于AEC任务本身是否有帮助。D2与D3是验证了对于单一网络，简单的覆盖较复杂的声学场景（低信噪比、低信回比、低信干比）并不能获得好结果。DTLN[11]使用开源的pretrained模型。
GTCNN的Loss使用复数mse，即实虚部同时建模。实验结果如表1所示。

表1 个性化/非个性化AEC的客观指标


主要实验结论总结如下。
  • 在不考虑干扰说话人时，使用对讲双端的注册语音作为辅助信息，可以提高回声消除性能。
  • 近端注册语音的帮助要比远端注册语音更大，所以“知道谁在讲”比“知道讲给谁”更有利。
  • 双端注册语音都用，指标不如只用近端注册语音，但是相比于不用辅助信息，指标有所提升。
  • 相比于利用参考信号抑制回声，目前利用有限维度的说话人embedding抑制干扰人声还不是很有效。
  • 如果考虑比较挑战的声学场景如信干比、信回比、信噪比都覆盖到-5dB，整体效果不会很好。


4. 样例展示

这里给出一条同时存在背景说话声、噪声、回声的样例，其中信干比SIR=15dB，信噪比SNR=10dB，信回比SER=5dB。通过样例可以看到，DTLN无法消除样例最后片段的背景说话人，当然类似的unconditional NN-AEC都无法消除背景说话人，而personalized GTCNN可以较好的抑制背景说话人。


Microphone

mic音频：戳我听音频



DTLN

dtln音频：戳我听音频



pGTCNN
pgtcnn音频：戳我听音频





5. 参考文献
[1] S. Zhang, Z. Wang, Y. Ju, Y. Fu, Y. Na, Q. Fu, L. Xie, Personalized Acoustic Echo Cancellation for Full-duplex Communications, will appear at INTERSPEECH 2022 https://arxiv.org/abs/2205.15195
[2] S. Zhang, Y. Kong, S. Lv, Y. Hu, L. Xie, F-T-LSTM based Complex Network for Joint Acoustic Echo Cancellation and Speech Enhancement, INTERSPEECH 2021 https://arxiv.org/abs/2106.07577
[3] S. Zhang, Z. Wang, J. Sun, Y. Fu, B. Tian, Q. Fu, L. Xie, Multi-Task Deep Residual Echo Suppression with Echo-aware Loss, ICASSP 2022 https://arxiv.org/abs/2202.06850
[4] Z. Wang, Y. Na, Z. Liu, B. Tian, and Q. Fu, “Weighted recursive least square filter and neural network based residual echo suppression for the aec-challenge,” in ICASSP. IEEE, 2021, pp. 141–145.
[5] Z. Wang, Y. Na, B. Tian, and Q. Fu, “NN3A: Neural Network supported Acoustic Echo Cancellation, Noise Suppression and Automatic Gain Control for Real-Time Communications”, ICASSP 2022
[6] H. Zhang and D. Wang, “Deep learning for acoustic echo cancellation in noisy and double-talk scenarios,” INTERSPEECH, pp. 3239–3243, 2018
[7] Y. Fu, J. Wu, Y. Hu, M. Xing, and L. Xie, “DESNet: A multichannel network for simultaneous speech dereverberation, enhancement and separation,” in SLT. IEEE, 2021, pp. 857–86
[8] R. Cutler, A. Saabas, T. Parnamaa, M. Purin, H. Gamper, S. Braun, K. Sorensen, and R. Aichner, “ICASSP 2022 acoustic echo cancellation challenge,” in ICASSP. IEEE, 2022.
[9] M. Elminshawi, W. Mack, S. Chakrabarty, and E. A. Habets, “New insights on target speaker extraction,” arXiv preprint arXiv:2202.00733, 2022
[10] https://github.com/microsoft/DNS-Challenge
[11] https://github.com/breizhn/DTLN-aec

相关链接

ASLPer，公众号：语音之家论文分享丨NPU-ASLP实验室将携14篇论文参加语音旗舰会议INTERSPEECH2022