语音增强(Speech Enhancement, SE)旨在改善在噪声、混响、信号削波及带宽限制等不良声学条件下退化语音的感知质量与可懂度,是人机交互、助听设备以及自动语音识别(ASR)前端等应用中的关键技术。近年来,以Mel谱为预测目标的语音增强方法备受关注:Mel谱表示紧凑、感知动机强,增强后的Mel谱可直接输入ASR系统,往往带来更优的识别性能。然而,这类方法通常依赖额外的预训练声码器重建波形,两阶段流程不可避免地引入级联误差,且声码器重建可能丢失细粒度幅度细节与相位信息,导致语音保真度下降。
西北工业大学音频语音与语言处理组(ASLP@NPU)与华为合作的最新研究成果 "DualSpecSE: A Dual-Path Speech Enhancement Network Integrating Mel and Complex Spectrograms" 被语音语言处理领域旗舰会议 ISCSLP 2026 接收。该工作提出一种融合Mel谱与复数谱的双路径语音增强网络:Mel分支学习粗粒度声学表示并直接输出增强Mel谱,供ASR直接使用;复数分支细化精细谱细节,实现高保真波形重建。模型无需预训练声码器,同时输出增强Mel谱与增强复数谱,在语音保真度、感知质量与ASR性能上取得一致提升。

论文题目:DualSpecSE: A Dual-Path Speech Enhancement Network Integrating Mel and Complex Spectrograms
作者列表:李星辰,王子谦,刘子楷,朱毅可,张子晗,肖龙帅,谢磊
合作单位:华为
网页链接:https://arxiv.org/html/2609.13911v1
演示页面:https://stellanli.github.io/DualSpecSE-demo/
背景动机
语音增强旨在改善在噪声、混响、信号削波及带宽限制等不良声学条件下退化语音的感知质量与可懂度。现有深度学习方法大多在时频域或时域学习从带噪语音到干净语音表示的映射,部分方法采用两阶段设计:先在ERB或Mel域估计感知驱动的增益以增强频谱包络,再通过音高滤波或深度滤波细化周期成分。这类设计在低维谱表示上运算,降低了计算复杂度,但ERB/Mel域增益有限的频谱分辨率也限制了性能上限。
近年来,以Mel谱为预测目标的方法[1]展示了独特优势:Mel谱相比幅度谱、复数谱或波形更为紧凑,且保留语音语义内容,在相同参数量预算下更易建模,其增强结果可直接输入ASR系统,往往带来更好的识别性能。然而,此类方法仍存在明显局限:其一,需要额外的预训练声码器重建波形,两阶段流程不可避免地引入级联误差,降低合成语音的自然度;其二,声码器生成的波形可能丢失原始语音的细粒度幅度细节与相位信息,保真度下降;其三,声码器的引入增加了整体模型复杂度与计算开销。
如何在保留Mel表示ASR友好特性的同时,摆脱对外部声码器的依赖、实现高保真波形重建?针对这一挑战,我们提出DualSpecSE——一种同时建模Mel谱与复数谱的双路径语音增强网络。
提出的方案
如图1所示,DualSpecSE由共享编码器、Mel分支与复数分支组成,两条分支通过交互模块与融合模块实现信息交换,同时输出增强Mel谱与增强复数谱。

图1 DualSpecSE的双路结构
总体架构
给定带噪波形,首先通过STFT得到复数谱并进行幂律压缩,将幅度与复数分量拼接后送入编码器。编码器基于CleanMel[1]中的跨频带块与窄带块构建,先经时序卷积产生中间表示,再由跨频带块与窄带块建模频带间与频带内依赖。编码器输出并行送入两条分支:Mel分支通过Mel滤波器组将线性频域特征转换到Mel域,降低频维,再经N组交错堆叠的跨频带与窄带块生成增强Mel表示;复数分支采用相同数量的跨频带与窄带块,在每组交替块之后,交互模块将对应Mel层的特征注入复数分支,引导精细谱建模。输出阶段,Mel分支经线性投影直接产生增强Mel谱,复数分支则在融合模块整合Mel与复数特征后输出最终增强复数谱。
交互模块
Mel特征是紧凑且易于学习的表示,而复数分支需要建模更复杂的复数值谱特性。交互模块的设计意图是让Mel分支有效引导复数分支的学习,降低其建模难度,同时促使复数分支关注Mel表示容易忽略的细粒度细节。具体地,Mel分支隐藏表示先经线性层对齐维度,与复数分支表示相加后,依次通过带残差的时序分组卷积与频域分组卷积,预测交互掩码,最终以门控方式将Mel线索融入复数分支,实现跨尺度特征交互。

图2 交互模块结构
融合模块
Mel分支与复数分支工作在不同谱尺度(Mel频率与线性频率),存在固有的表示鸿沟。融合模块借鉴FreeV[7]的思想,基于Mel滤波器组矩阵的伪逆变换将增强Mel谱转换为近似幅度谱,再用轻量级ConvNeXtV2模块学习残差,得到粗略幅度估计,与带噪相位结合重建复数谱,最后与复数分支输出逐元素相加细化,实现"粗幅度校正+复数域残差细化"的高保真增强。
损失函数
我们从不同谱视角联合监督训练:Mel分支使用log-Mel域L1损失与幅度L2损失;复数分支使用Mel域损失、幅度损失与复数谱损失,总损失为各项的加权和,从多角度约束增强结果的语义完整性与声学保真度。
实 验
实验设置
干净语音来自DNS3 Challenge(DNSMOS高于3.4)、EARS全量及Emilia中DNSMOS高于3.6的中英文语句,共387小时;噪声来自DNS3 Challenge、ESC与FSD,共376小时;房间冲激响应采用SLR26与SLR28。实验采用16kHz采样率,STFT窗长512、跳长128,Mel维数80,隐层维度64,跨频带与窄带块数N=7,模型参数量仅1.85M。我们在Interspeech 2020 DNS Challenge测试集上评估语音质量,并使用ESPnet预训练ASR模型在CHiME-4模拟测试集上评估识别性能。
语音质量对比
表1展示了在DNS Challenge 2020测试集上与FullSubNet[2]、TF-GridNet[3]、StoRM[4]、PGUSE[5]、SpatialNet[6]、CleanMel[1]等主流方法的对比结果。DualSpecSE在参数量(1.85M)与计算量(30.0 G/s)均显著低于对比模型的情况下,在WB-PESQ(3.25)、NB-PESQ(3.68)、ESTOI(0.936)等指标上全面超越所有对比方法,DNSMOS OVRL亦达到最优(3.37),验证了双路径架构在语音保真度与感知质量上的优势。
表1 与主流方法在DNS Challenge 2020测试集上的对比

ASR性能对比
表2展示了CHiME-4测试集上的ASR评估结果。当输出波形时,DualSpecSE的词错误率(WER)为14.76%(simu)/13.21%(real),优于包括CleanMel[1]在内的所有对比模型;当输出Mel谱时,DualSpecSE取得13.92%(simu)/12.19%(real)的WER,与CleanMel[1]相当。结果表明模型既保留了Mel增强的ASR友好特性,又在波形输出下更好地保留了语音保真度,缓解了级联流程中的误差累积。
表2 CHiME-4测试集上的ASR评估结果

消融实验
表3展示了移除Mel分支、交互模块与融合模块后的消融结果。移除Mel分支后各指标一致下降,WER从14.76%升至19.05%,表明Mel分支学习的粗粒度声学特征对保留丰富语音成分至关重要;移除交互模块或融合模块同样带来明显性能下降,验证了二者在双路径协同中的关键作用。
表3 消融实验结果

总 结
DualSpecSE通过双路径架构同时建模Mel谱与复数谱:Mel分支捕获ASR友好的粗粒度特征,复数分支细化高保真重建所需的精细谱细节,交互模块与融合模块实现两条分支的有效协同。模型无需预训练声码器,在语音保真度、感知质量与ASR性能上取得一致提升。论文与音频示例均已公开,欢迎访问演示页面在线试听。
参考文献
[1] N. Shao et al., "CleanMel: Mel-Spectrogram Enhancement for Improving Both Speech Quality and ASR," IEEE/ACM TASLP, 2025.
[2] X. Hao et al., "FullSubNet: A Full-band and Sub-band Fusion Model for Real-time Single-channel Speech Enhancement," ICASSP 2021.
[3] Z.-Q. Wang et al., "TF-GridNet: Making Time-Frequency Domain Models Great Again for Monaural Speaker Separation," ICASSP 2023.
[4] J.-M. Lemercier et al., "StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation," IEEE/ACM TASLP, 2023.
[5] J. Zhang et al., "A Composite Predictive-Generative Approach to Monaural Universal Speech Enhancement," IEEE/ACM TASLP, 2025.
[6] C. Quan and X. Li, "SpatialNet: Extensively Learning Spatial Information for Multichannel Joint Speech Separation, Denoising and Dereverberation," IEEE/ACM TASLP, 2024.
[7] Y. Lv et al., "FreeV: Free Lunch for Vocoders through Pseudo Inversed Mel Filter," Interspeech 2024.
