文章来源于音频语音与语言处理研究组，作者ASLPer

近日，ICASSP 2023会议发布了论文评审结果，西工大音频语音与语言处理研究组（ASLP@NPU）共16篇论文被会议接收（以第一作者为实验室学生计）。论文涉及研究方向包括语音识别、语音合成、语音增强、说话人识别、语音翻译等众多方面。值得一提的是，实验室在此次会议上和合作伙伴一起获得多项竞赛好成绩，包括深度噪声抑制（DNS-Challenge）竞赛第一名和第二名、声学回声消除（AEC-Challenge）竞赛第一名和第二名（并列）、多模态信息处理竞赛（MISP-Challenge）语音识别赛道第二名、说话人日志赛道第三名等。论文工作将科研与产业应用密切结合，合作伙伴包括：腾讯、网易、字节跳动、华为、好未来、爱奇艺、大象声科、中国移动研究院、理想汽车、微软等。下面简要介绍本次录用的各篇论文，并分享论文链接。
01 Multi-Speaker Expressive Speech Synthesis via Multiple Factors Decoupling
作者列表：朱新发，雷怡，宋堃，张雍茂，李涛，谢磊
论文网址：https://arxiv.org/abs/2211.10568
论文摘要：本文的目的是通过从其他说话人的参考语音中传递风格和情感来合成具有期望的说话风格和情感的目标说话人的语音。具体地说，我们通过神经瓶颈层特征(BN)作为桥梁，用一个由文本到风格和情感(Text2SE)模块和风格和情感到波形(SE2Wave)模块组成的两阶段框架，来解决这一具有挑战性的问题。为了进一步解决多因素(说话人音色、说话风格和情感)的解耦问题，我们采用多标签二进制向量(MBV)和互信息(MI)最小化分别对提取的嵌入进行离散化，并将这些高度纠缠的因素在Text2SE和SE2Wave模块中进行解缠。此外，我们引入了一种半监督训练策略来利用来自多个说话人的数据，包括情感标注数据、风格标注数据和无标注数据。为了在非并行迁移中更好地将细粒度的表现力从参考音频转移到目标说话人，我们引入了参考音频候选库，并提出了一种基于注意力机制的参考音频选择方法。大量实验证明了该模型的良好设计。

扫码直通论文
02 DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
作者列表：宋堃，张雍茂，雷怡，从坚，李函昭，谢磊，贺刚，白锦峰

合作单位：好未来

论文网址：https://arxiv.org/abs/2211.01087

论文摘要：基于生成对抗神经网络 (GAN) 的神经声码器的具有诸多优势，如推理速度快、更轻量级的网络等。然而，训练一个基于GAN的通用声码器仍然具有挑战性。通用声码器要求在各种场景中都能合成高保真的语音，包括集外说话人、语种、讲话风格等，这对于鲁棒性有很高要求。本文设计了一种基于 GAN 的通用声码器——DSPGAN，通过应用数字信号处理 (DSP) 的时-频域监督方法来实现高保真语音合成。为了消除由训练阶段的真实频谱和推理阶段的预测频谱间的不匹配问题，利用从 DSP 模块生成的波形中提取梅尔谱作为GAN声码器的时频域监督。同时我们还利用正弦激励信号作为时域监督来改进谐波建模并消除GAN声码器的各种瑕疵。实验结果表明，DSPGAN 明显优于对比方法，并且可以在各种数据训练的 TTS 中的生成高保真语音。

样例见：https://kunsung.github.io/DSPGAN/


扫码直通论文

03 Preserving background sound in noise-robust voice conversion via multi-task learning
作者列表：姚继珣，雷怡，王晴，郭鹏程，宁子谦，谢磊，李海，刘俊晖，谢丹铭

合作单位：爱奇艺

论文网址：https://arxiv.org/abs/2211.03036

论文摘要：背景音可以在语音转换 (VC) 的实际场景中提供更加身临其境的体验。先前的VC研究主要集中在干净语音上，很少关注背景音场景。在 VC 中保留背景音的关键是尽可能避免分离模型导致的失真以及分离模型与 VC 模型之间的累积误差。本文提出了一个基于多任务学习的端到端VC框架，框架顺序级联源分离 (SS) 模块、瓶颈特征 (BN) 提取模块和 VC 模块，并且包含了一个主要任务和两个子任务。分离子任务考虑了关键相位信息并减少了由分离模型而导致的失真。分离子任务、 VC子任务和主要任务共享受联合训练约束的统一重建损失，以减少 SS 和 VC 模块之间的级联误差。实验结果表明，我们提出的框架显着优于基线系统，同时实现了与使用干净数据训练的 VC 模型相当的音质和说话人相似度。


扫码直通论文

04 Distinguishable Speaker Anonymization based on Formant and Fundamental Frequency Scaling

作者列表：姚继珣，王晴，雷怡，郭鹏程，谢磊，王娜敏，刘杰

合作单位：华为云

论文网址：https://arxiv.org/abs/2211.03038

论文摘要：由于社交媒体的出现，互联网上的语音数据呈指数级增长，个人隐私数据的存储和共享存在明显的安全和隐私问题。解决这些问题的一种方案是在共享语音数据之前隐藏说话者身份，也称为说话者匿名化。我们之前提出了一种不需要说话人验证 (ASV) 模型的匿名化框架，能够在保护说话人隐私的同时保留原始语音的可懂度。尽管该框架在 VoicePrivacy 2022 挑战赛中排名第一，但匿名化语音的说话人可区分性变差。为了解决这个问题，本文使用共振峰分布和基频 (F0) 表示说话人身份并对其分布进行建模，通过统一缩放共振峰和 F0 对源语音进行匿名化处理，可以防止由于引入其他说话人信息而导致的匿名语音说话人可区分性下降。实验结果表明，我们提出的框架可以显著提高说话人的可区分性并实现与最先进方法可比的隐私保护效果。此外，我们提出的方法还可以通过使用不同的比例因子来权衡隐私效用。


扫码直通论文
05 Delivering Speaking Style in Low-resource Voice Conversion with Multi-factor Constraints

作者列表：王智超，王新升，谢磊，陈远哲，田乔，王玉平

合作单位：字节跳动

论文网址：https://arxiv.org/abs/2211.08857

论文摘要：在语音转换（VC）中，向目标说话人传递语言内容并保持源语音的说话风格（如语调和情感）是非常重要的。然而，在目标说话人语料十分受限的低资源场景中，现有的VC方法很难满足这一要求并捕捉目标说话人的音色信息。本文提出了一种新的VC模型（称之为MFC-StyleVC）用于低资源VC任务。具体来说，我们采用基于聚类的说话人音色约束去监督模型在不同训练阶段对目标说话人音色的学习。同时，在有限的目标说话人数据上，为了防止过拟合导致的模型性能下降，感知正则化约束显式的用于保持模型不同方面的性能，包括说话风格、语义内容和语音质量。此外，我们在训练中引入了一种仿真模式，以模拟推理过程，缓解训练和推理之间的不匹配。在高表现力的语音上进行的实验表明，所提出的方法在低资源VC任务上具有良好的性能。


扫码直通论文

06 Expressive-VC: Highly Expressive Voice Conversion with Attention Fusion of Bottleneck and Perturbation Features

作者列表：宁子谦，谢启聪，朱鹏程，王智超，薛浏蒙，姚继珣，谢磊，毕梦霄

合作单位：网易伏羲

论文网址：https://arxiv.org/abs/2211.04710

论文摘要：高表现力语音转换是一个具有挑战性的研究方向。目前方法在说话人相似性、可懂度和表现力之间不得不进行权衡。为了解决这一问题，我们提出了一个结合基于瓶颈特征（BNF）方法和基于信息扰动（Information Pertubation）方法优势相结合的端到端语音转换模型Expressive-VC。具体来说，我们使用一个BNF编码器和一个Perturbed-Wav编码器组成一个内容提取器，分别学习语言学和副语言学特征，其中BNF来自一个鲁棒的预训练ASR模型，而输入音频在信息扰动后移除说话人信息。目标说话人嵌入与源音频中的音高和能量经过韵律编码器提取说话人相关的韵律特征，作为查询向量，通过注意力机制融合语言学和副语言学特征。最后，解码器以融合特征和目标说话人相关韵律特征来生成转换后的语音。实验表明，Expressive-VC优于多个对比系统，既能实现从源语音中捕捉到高表现力，又能实现与目标说话人的高相似度，同时还能很好地保持可懂度。


扫码直通论文
07 VE-KWS: Visual Modality Enhanced End-to-End Keyword Spotting

作者列表：张奥，王贺，郭鹏程，付艺辉，谢磊，高莹莹，张世磊，冯俊兰

合作单位：中国移动研究院

论文网址：https://arxiv.org/abs/2302.13523

论文摘要：基于音频模态的关键词检出(KWS)系统在远场和有噪声干扰情况下性能会出现明显的下降。因此，在视频可以同时获取的场景，如果能够利用音频和视觉模态间互补关系进行视听关键词检出，成为新的研究的热点。本文提出一种利用视觉信息提升性能的端到端关键词检出方法(VE-KWS)，该方法从两个方面融合视觉和听觉信息。首先，我们利用视频中的唇动信息去确定说话人的位置来辅助波束形成的训练，通过这个波束形成的前端去抑制噪声提升性能。此外，我们在不同模态之间进行交叉注意力机制计算来来捕捉模态间的关系。在MISP2021挑战赛的数据集上，我们的提出的方法取得了2.79%的误拒绝和2.95%的误唤醒，取得该数据集上当前最佳性能，超过了竞赛时的最好成绩。


扫码直通论文
08 Joint Pre-Training with  Speech and Bilingual Text for Direct Speech to Speech Translation

作者列表：魏坤，周龙， 张自强, 陈丽萍, 刘树杰, 何磊, 李锦宇, 韦福如

合作单位：微软

论文网址：https://arxiv.org/abs/2210.17027

论文摘要：与级联语音到语音翻译任务（S2ST）相比，端到端语音到语音翻译具有诸多优点，是当前的热点研究课题。然而，端到端S2ST存在数据稀缺问题，因为从源语言语音到目标语言语音的语料库非常稀少。为了解决这个问题，本文中提出了一个Speech2S模型，该模型使用未配对语音和双语文本数据进行联合预训练，用于端到端语音到语音翻译任务。通过有效利用双语的翻译文本数据，Speech2S能够建模从源语言到目标语言的跨语言语音的翻译。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech2S模型的性能。实验结果表明，与仅使用编码器预训练的语音到语音翻译模型相比，Speech2S获得了约5个BLEU分数的提升，并实现了与现有最先进模型相比具有竞争力甚至更好的性能。


扫码直通论文
09 Distance-based Weight Transfer for Fine-tuning from Near-field to Far-field Speaker Verification

作者列表：张丽，王晴，王鸿基，李越，饶为，王雁南，谢磊

合作单位：腾讯天籁

论文网址：https://arxiv.org/abs/2303.00264

论文摘要：带标签的远场语音的稀缺是训练高性能远场说话人验证系统的制约性因素，在大规模近场语音预训练的模型上再使用远场语音数据微调 (fine-tuning)的效果远远优于在远场数据上从头开始训练的效果。然而，常规微调方法具有灾难性遗忘和过拟合问题。本文提出了一种权重迁移正则化（WTR）损失来约束大规模近场语音预训练模型与少量远场语音微调模型之间的权重距离。在微调过程WTR正则化损失充分利用大规模近场语音训练模型的判别能力来避免灾难性遗忘。同时，我们使用 PAC-Bayes 泛化理论来分析具有 WTR 损失的微调模型的泛化界。结果表明，WTR 正则化项使微调模型具有更严格的泛化上限，从而使微调模型更具有泛化性。此外，我们探索了三种用于权重迁移的范数距离，即 L1 范数距离、L2 范数距离和最大范数距离。最后，我们评估了 WTR 损失在 VoxCeleb（预训练数据集）和 FFSVC（微调数据集）数据集上的有效性。


扫码直通论文
10 Two-step Band-split Neural Network Approach for Full-band Residual Echo Suppression

作者列表：张子晗，张是民，刘铭帅，冷艳宏，韩哲，陈力，谢磊

合作单位：字节跳动

论文网址：https://arxiv.org/abs/2303.06828

论文摘要：本文介绍了一种用于全频带残余回声消除的两步分频带神经网络（TBNN）。在线性滤波之后，我们将全带信号分成宽带（16KHz）和高频带（16-48KHz）两部分，以较低的复杂度进行建模，同时抑制残余回声与噪声。宽带信号由使用编码器的门控卷积递归网络处理，而高频带信号则用复杂度较低的高频带后滤波网络处理。我们最终提交给ICASSP 2023 AEC挑战赛的方案取得了4.344的总体平均意见得分（MOS）和0.795的词准确率（WAcc），在非个性化赛道中排名第二（并列）。


扫码直通论文
11 Two-stage Neural Network for ICASSP 2023 Speech Signal Improvement Challenge

作者列表：刘铭帅，吕术博，张子晗，韩润铎，郝翔，夏咸军，陈力，林丹峰，谢磊

合作单位：字节跳动

论文网址：https://arxiv.org/abs/2303.07621

论文摘要：在实时通信过程中，语音信号的质量会因各种失真的影响而下降。ICASSP 2023语音信号改善挑战（Speech Signal Improvement Challenge）旨在同时改善多种影响语音质量的因素。在此次挑战中，我们提出了一个两阶段模型，该模型使用阶段性的分治策略改善受到多种影响的语音信号质量。在第一阶段，语音改善网络主要修复频谱缺失的的部分。第二阶段模型旨在抑制噪声、混响以及第一阶段模型可能带来的瑕疵。我们系统的最终评测得分为0.446，P.835得分为0.517，在非实时赛道中排名第4。


扫码直通论文

12 The NPU-Elevoc Personalized Speech Enhancement System for ICASSP2023 DNS Challenge

作者列表：闫晓鹏，杨银弟，郭智豪，彭亮亮，谢磊

合作单位：大象声科

论文网址：https://arxiv.org/abs/2303.06811

论文摘要：本文介绍了西工大-大象声科联合提交的的个性化语音增强系统 (NAPSE)，该系统参加了 ICASSP 2023 第五届深度噪声抑制挑战赛（DNS Challenge）。该方案基于两阶段模型 TEA-PSE 2.0，探索了更好的说话人嵌入融合方式，优化了模型训练策略，并引入了对抗训练和多尺度损失。根据官方结果，该系统在耳机赛道（赛道 1）中排名第一（并列），在扬声麦克风赛道（赛道 2）中排名第二。


扫码直通论文

13 MULTI-TASK SUB-BAND NETWORK FOR DEEP RESIDUAL ECHO SUPPRESSION

作者列表：孙佳耀，罗大为，李朝霞，李劲东，琚雨恺，李洋

合作单位：理想汽车

论文网址：https://arxiv.org/abs/2303.06404

论文摘要：本文介绍了一种多任务辅助训练的子带声学回声消除系统。该系统由自适应滤波器NLMS和后滤波神经网络级联而成，我们采用PQMF划分子带的方式处理全频带语音，其中双路信号语音活动检测 （DSVAD） 和回声估计模块作为辅助任务。此外，我们改进了时频卷积模块 （TFCM），增加了其在频率轴的感受野。我们最终提交给ICASSP 2023 AEC挑战赛的方案取得了4.320的总体平均意见得分（MOS）和0.790的词准确率（WAcc），在非个性化赛道中排名第四。


扫码直通论文

14 TEA-PSE 3.0: TENCENT-ETHEREAL-AUDIO-LAB PERSONALIZED SPEECH ENHANCEMENT SYSTEM FOR ICASSP 2023 DNS-CHALLENGE

作者列表：琚雨恺，陈鋆，张是民，何树林，饶为，朱唯鑫，王燕南，余涛，商世东

合作单位：腾讯天籁

论文网址：https://arxiv.org/abs/2303.07704

论文摘要：本文介绍了 Unbeatable Team 提交的 ICASSP 2023 深度噪声抑制 (DNS Challenge) 挑战赛的系统。我们将之前的工作 TEA-PSE 扩展到其升级版本——TEA-PSE 3.0。具体来说，TEA-PSE 3.0 在每个压缩时间卷积网络 (S-TCN) 之后都加入了一个残差 LSTM，以增强序列建模能力。此外，引入局部-全局说话人表征（LGR）结构来促进说话人信息提取，并使用多 STFT 分辨率损失来有效捕获语音信号的时频特性。此外，采用基于冻结训练策略的再训练方法对系统进行微调。根据官方最终结果，TEA-PSE 3.0在竞赛两个赛道均排名第一。


扫码直通论文

15 The NPU-ASLP System for Audio-Visual Speech Recognition in MISP 2022 Challenge

作者列表：郭鹏程，王贺，穆秉甡，张奥，陈培坤

论文网址：https://arxiv.org/abs/2303.06341

论文摘要：本文介绍了我们在 2022 年多模态信息语音处理挑战赛 (Multi-modal Information based Speech Processing 2022  Challenge, MISP 2022) 中，针对音视频结合的说话人日志和识别任务 (Audio-Visual Diarization and Recognition, AVDR) 所设计的系统。具体来说，我们首先使用 weighted prediction error (WPE) 和 guided source separation (GSS) 技术进行去混响和混杂说话人语音分离，从而为每个单独的说话人生成清晰的语音信号。然后，我们探究了基于 Branchformer 和 E-Branchformer 框架的语音识别系统的有效性。为了更好地利用到视觉模态信息，我们提出了一种基于交叉注意力机制的多模态融合模块，从而能够显式地学习不同模态之间的相关性。实验结果表明，我们的系统系在挑战赛的 Dev 集和 Eval 集上分别实现了 28.13% 和 31.21% 的最小置换字错误率 (minimum-permutation character error rate, cpCER) 结果，最终在 AVDR 任务上取得第二名的成绩。


扫码直通论文
16 TaylorAECNet: A TAYLOR STYLE NEURAL NETWORK FOR FULL-BAND ECHO CANCELLATION

作者列表：许伟铭，郭志豪

合作单位：大象声科

论文网址：https://arxiv.org/abs/2303.06379

论文摘要：本文介绍了一种设计成泰勒展开风格的回声消除神经网络。系统由自适应滤波器与TaylorAECNet级联组成。我们从TaylorSENet语音增强网络中受到启发，将这种由泰勒展开进行复杂任务解耦的思想应用在了AEC任务上，针对AEC任务进行了进一步设计。TaylorAECNet最终评测得分为MOS 4.241， WAcc 0.767， 排名第5。


扫码直通论文