音频解码器的基本任务,是将给定的音频表征转换为时域波形。它的输入形式有很多:可以是 Mel 频谱、倒谱或音高等声学特征,也可以是离散音频 token 对应的码本嵌入,或由自编码器(AE)、变分自编码器(VAE)学习得到的连续潜表征。这种波形重建能力通常首先通过重构训练获得:从真实音频中提取或编码表征,再训练解码器依据这些表征合成音频。
本文从重构训练出发,首先介绍声码器、离散神经音频编解码器和连续音频自编码器的典型结构,说明波形重建能力如何通过重构训练建立。在此基础上,讨论生成模型如何复用这些表征与解码器,以及基于 DiT 的级联声学生成的设计思路。最后,介绍流式解码和针对预测表征的解码器微调适配。
▎重构训练:建立从表征到波形的重建能力
重构训练以真实音频为依据,学习如何从音频表征中重建波形。对声码器而言,输入条件通常是预先定义的声学特征;对音频自编码器而言,表征由编码器学习得到,波形重建与信息压缩共同优化。重构质量既取决于表征保留了哪些信息,也取决于解码器能否利用这些信息生成自然、清晰的音频。
声码器从声学特征中重建波形
Mel 频谱是现代 TTS 系统中广泛使用的条件,能够提供较直接的时频结构,但它没有保留相位,频带聚合也减少了频率细节。声码器通过频谱重构、对抗训练或概率生成目标,学习从这些声学特征中重建出高保真的波形。
HiFi-GAN 通过转置卷积逐级上采样,并使用多感受野残差模块建模不同尺度的波形结构。多周期与多尺度判别器参与训练,推理时由卷积生成器一次前向计算输出波形。
BigVGAN 在卷积声码器中引入周期激活和抗混叠多周期模块,并扩大生成器规模,以改善跨说话人、语言及音频域的泛化。它延续单次前向的合成方式,将改进重点放在周期信号建模和网络结构上。
Vocos 预测傅里叶谱系数,再通过逆短时傅里叶变换(iSTFT)恢复波形,减少在高采样率时域中进行上采样的开销。这里的频域预测描述输出参数化方式;论文也验证了以离散编解码器重建的嵌入为条件的合成。
DiffWave 以 Mel 为条件,在波形域通过多步扩散采样生成音频。它直接建模条件波形分布,说明最终的声码器也可以采用概率生成模型。
LPCNet 使用 18 维 Bark 尺度倒谱和两个音高参数,将线性预测与循环神经网络结合;NSF 的原论文实验则以 60 维 Mel 广义倒谱系数(MGC)和基频为条件,通过激励生成与神经滤波合成波形。这些方法说明声码器的输入并不限于 Mel 频谱,倒谱、音高等参数也可以作为合成条件,其中 MGC 并非 Mel 频谱。
离散神经音频编解码器同时学习表征与波形重建
编码时,编码器先将音频映射为连续特征,再由量化器将其转换为离散 token;解码时,通过码本查表得到嵌入,再交给波形解码器。对于残差向量量化(RVQ),不同量化层逐级描述残差,重建的嵌入在必要的维度映射后相加。
EnCodec 采用 RVQ,将多层 token 对应的码本嵌入相加,再通过包含卷积、LSTM 和上采样模块的解码器恢复波形。其训练结合时域、频域重构目标与对抗损失,以兼顾压缩与感知质量。
DAC 同样采用卷积编码器—RVQ—解码器结构,将周期激活、改进的码本学习以及多尺度频谱与对抗训练结合,提高通用音频的压缩重构质量。比较这类模型时,需要同时说明码率、码本数量和编码配置,才能判断表征压缩与波形重建各自的影响。
连续音频自编码器保留连续潜表征
AE/VAE 通过编码器压缩音频,解码器从连续潜表征恢复波形。AE 不要求潜表征服从特定分布;常见 VAE 则进一步通过高斯后验和先验正则约束潜空间。
Stable Audio 2 所用的波形 VAE 将 44.1 kHz 双声道音频压缩为约 21.5 Hz、64 维的连续潜表征,再通过卷积解码器重建波形。这类模型通过重构训练建立高压缩率表征及其解码能力,为后续潜空间生成提供基础。

(图 1:典型表征及其波形重建方式。从左至右分别为:以 Mel 为条件的 HiFi-GAN、BigVGAN 和 Vocos;EnCodec、DAC 的多层 token 经码本查表与求和后进入解码器;以 Stable Audio 2 所用卷积 VAE 为代表的连续潜表征重建方式)
编解码器模型的训练条件来自真实音频,不包含生成模型的预测误差,但在特征提取、压缩或量化过程中仍可能丢失信息。重构训练的作用,是在给定表征与压缩约束下建立波形重建能力;当生成模型能够预测相同形式的表征时,这种能力就可以被直接复用。
▎用于音频生成:已有解码器的复用与级联扩展
生成模型可以将重构阶段的表征作为预测目标。
训练时,从真实音频中提取声学特征,或使用已经训练好的编码器得到 token、连续潜表征,再学习它们在文本、参考音频等条件下的分布。推理时,上游生成模型产生这些表征,随后调用配套的波形解码器。这样,已有解码器就可以承担生成系统中的波形合成,而不必为每个上游生成模型重新训练一套。
VALL-E 以 EnCodec 的多层声学 token 为预测目标,生成后复用其解码器恢复波形。Parler-TTS 的官方实现则使用 DAC,将语言模型预测的多码本 token 转换为音频。
F5-TTS 通过流匹配生成 Mel,再使用预训练的 Vocos 合成波形。这里的目标表征来自固定的频谱分析过程,同样可以复用已经训练好的波形解码能力。
Stable Audio 2 在波形 VAE 的连续潜空间中训练 DiT,推理时通过 VAE 解码器将生成潜表征转换为音频。Stable Audio Open 延续了潜空间生成与波形 VAE 相结合的总体设计。
DiTAR 使用 40 Hz、64 维的波形 VAE 潜表征,以自回归模型和局部扩散模块生成潜表征片段,再交给采用 BigVGAN 风格架构的 VAE 解码器。潜空间生成与最终的波形重建由不同模块承担。
表征的重构能力与可预测性需要共同考虑。多层声学 token 保留了较多语义内容、音色和细粒度声学属性,但是较长的序列也会给生成模型的学习带来压力。连续潜表征可以通过时间维度的降采样压缩序列长度,但帧率和特征维度仍需在信息保留、生成难度与计算量之间取舍。
为了便于生成,也可以选择更强调内容或语义结构的表征。 例如,语音识别任务中学习的语音 token 更重视语言内容,而不以保留全部波形细节为训练目标。此时,从给定 token 表征直接重建波形仍存在较大不确定性,可以通过条件声学生成模型 DiT,先生成 Mel 或声学潜表征,再交给已有的配套波形解码器。
CosyVoice 从监督语音识别表征中学习 S³ token,通过条件流匹配生成 Mel,再使用 HiFT-GAN 合成波形。CosyVoice 3 采用多任务监督的语音 tokenizer,并使用 DiT 作为流匹配骨干;官方发布配置配套 Causal HiFT 波形解码器。
IndexTTS2 将语义 token 与 GPT 隐状态等条件共同输入流匹配 DiT,生成 Mel 后由 BigVGAN v2 重建波形。额外的上下文特征用于改善富表现力语音中的发音稳定性。
LeVo 以人声、伴奏双轨 token 为条件,通过 DiT 生成 25 Hz、64 维的波形 VAE 潜表征,再由 VAE 解码器输出 48 kHz 双声道音频。其 token 保留了音乐结构与声学信息,DiT 和 VAE 解码器共同构成 Music Codec 的解码部分,并被歌曲生成模型复用。
ARDiT 展示了连续潜表征的级联解码:它采用具有变分瓶颈的 Mel 自编码器,通过 DiT 流匹配解码器从潜表征生成 Mel,再由 BigVGAN 合成波形。因而,连续表征也可以采用级联结构,具体取决于自编码器建模的是波形还是中间声学特征。

(图 2:波形解码器在生成系统中的复用与级联。上半部分展示解码器权重的直接复用,输入由提取或编码的表征变为模型预测的表征;下半部分以 CosyVoice 3 和 LeVo 为例,展示通过 DiT 生成 Mel 或 VAE 潜表征,再输入波形解码器的过程)
从已有表征直接合成波形,或先生成中间声学表征再合成波形,都是生成模型完成波形合成的不同方式。后者将声学细节的条件生成交给 DiT,使上游预测与音频重建能够分别优化。
▎流式解码:在时延约束下持续输出波形
在实际应用中,音频解码往往需要满足时延要求,因此需要流式解码。流式解码要求模型在获得部分条件后就能输出可播放的音频,并随着后续条件到达持续合成。为此,解码器需要控制对未来信息的依赖:严格因果模型只使用当前与历史条件;有限前视模型允许访问少量未来条件;分块模型按块组织计算,也可以在块内使用双向上下文。
EnCodec 的 24 kHz 单声道版本采用可流式执行的编码—解码结构,通过因果填充控制卷积的时间依赖,并在转置卷积中保留需要由下一帧补全的输出状态。音频表征逐步到达时,解码器即可增量恢复波形,体现了神经编解码器对实时重构的支持。
CosyVoice 3 将流式执行扩展到级联语音合成:token 经支持分块计算的 DiT 流匹配模块生成 Mel,再由 Causal HiFT 增量合成波形。官方实现同时配置了分块注意力、有限前视和声码器右上下文,因此声学生成与波形解码两个阶段都需要满足连续输出的要求。

(图 3:流式解码的上下文与合成方式。上半部分展示严格因果、有限前视与块内双向处理的上下文;分块方式也可以与因果或前视约束结合。下半部分展示 EnCodec 的流式波形恢复,以及 CosyVoice 3 的分块 DiT 与 Causal HiFT 级联合成)
历史状态缓存、上采样边界对齐和适当的重叠处理,有助于减少重复计算并保持块间连续性。对扩散或流匹配模块,还需要控制采样步数和每块计算量。减少采样步数降低的是计算开销,而限制前视和块长减少的是条件等待,二者共同影响实际时延。
流式解码将整段音频的合成转变为持续推进的过程:表征逐步到达,解码器随之输出新的波形片段。因果结构与有限前视用于控制等待,状态缓存和边界处理维持片段之间的连贯性,使高质量音频合成能够用于实时交互。
▎生成预测微调:让解码器适应预测表征
在直接复用之外,一些研究进一步针对生成模型的预测表征微调解码器。这是因为,解码器训练时接收的是真实音频提取或编码的表征,推理时接收的却是模型预测的表征。预测 Mel 的过平滑、连续潜表征的局部偏差或分布不匹配,都可能转化为波形失真。
针对预测表征微调解码器,可以减小这种条件变化带来的质量损失。 训练时,将上游模型的输出交给解码器,并依据波形重构与感知目标更新参数,使其适应实际生成条件。对于能够联合优化的生成器与解码器,也可以通过端到端微调协调两个阶段。
HiFi-GAN 使用 Tacotron 2 在 teacher forcing 模式下预测的 Mel 微调后,V1 的 MOS 从 3.91 提升至 4.18;与此同时,输出波形的 Mel 与输入预测 Mel 的谱差增大。这说明改善听感有时需要解码器偏离预测条件中的失真,而非严格复现它。
MeanTok 针对单步流模型(mean-flow)生成的潜表征进行适配,在 24 维设置中,仅微调 VAE 解码器便将 MOS 从 3.35 提升到 3.70,联合微调生成器与解码器则达到 3.85。两种方式均保持原有推理结构,不增加推理阶段数。

(图 4:针对预测表征的解码器适配及实验结果。上半部分展示以预测表征作为解码条件时,仅微调波形解码器或联合微调生成器与解码器两种方式;下半部分展示 HiFi-GAN 表 4 与 MeanTok 表 2 的适配消融结果,包括 MOS 均值及原论文报告的置信区间)
这类方法将优化目标从真实编码表征上的重构,进一步延伸到生成模型实际提供的有偏预测条件。其效果需要在对应的生成模型预测分布上验证,也可以结合具体潜表征扰动或 token 错误评估鲁棒性。
▎结语
重构训练为音频解码器建立了可复用的波形重建能力。生成模型将声学特征、离散 token 或连续潜表征作为预测目标,便可以利用这些解码器完成音频合成;当表征更侧重语义内容时,还可以通过条件声学生成与波形解码的级联进一步提升重建效果。
从重构到生成,解码器的设计既要关注表征压缩与重构保真度,也要关注生成条件下的表现和流式输出能力。更紧凑的表征、更有效的声学建模、有限上下文下的连续合成,以及面向预测表征的解码器微调,共同决定了最终波形生成的质量与效率。
相关文献参考:
[1] Jungil Kong, Jaehyeon Kim, and Jaekyoung Bae. 2020. HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis. arXiv preprint arXiv:2010.05646.
[2] Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro, and Sungroh Yoon. 2022. BigVGAN: A Universal Neural Vocoder with Large-Scale Training. arXiv preprint arXiv:2206.04658.
[3] Hubert Siuzdak. 2023. Vocos: Closing the gap between time-domain and Fourier-based neural vocoders for high-quality audio synthesis. arXiv preprint arXiv:2306.00814.
[4] Zhifeng Kong, Wei Ping, Jiaji Huang, Kexin Zhao, and Bryan Catanzaro. 2020. DiffWave: A Versatile Diffusion Model for Audio Synthesis. arXiv preprint arXiv:2009.09761.
[5] Jean-Marc Valin and Jan Skoglund. 2018. LPCNet: Improving Neural Speech Synthesis Through Linear Prediction. arXiv preprint arXiv:1810.11846.
[6] Xin Wang, Shinji Takaki, and Junichi Yamagishi. 2018. Neural source-filter-based waveform model for statistical parametric speech synthesis. arXiv preprint arXiv:1810.11946.
[7] Alexandre Défossez, Jade Copet, Gabriel Synnaeve, and Yossi Adi. 2022. High Fidelity Neural Audio Compression. arXiv preprint arXiv:2210.13438.
[8] Rithesh Kumar, Prem Seetharaman, Alejandro Luebs, Ishaan Kumar, and Kundan Kumar. 2023. High-Fidelity Audio Compression with Improved RVQGAN. arXiv preprint arXiv:2306.06546.
[9] Zach Evans, Julian D. Parker, CJ Carr, Zack Zukowski, Josiah Taylor, and Jordi Pons. 2024. Long-form music generation with latent diffusion. arXiv preprint arXiv:2404.10301.
[10] Chengyi Wang, Sanyuan Chen, Yu Wu, Ziqiang Zhang, Long Zhou, Shujie Liu, Zhuo Chen, Yanqing Liu, Huaming Wang, Jinyu Li, Lei He, Sheng Zhao, and Furu Wei. 2023. Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers. arXiv preprint arXiv:2301.02111.
[11] Parler-TTS contributors. n.d. Parler-TTS: Training README. GitHub repository documentation. Accessed 2026-10-28.
[12] Yushen Chen, Zhikang Niu, Ziyang Ma, Keqi Deng, Chunhui Wang, Jian Zhao, Kai Yu, and Xie Chen. 2024. F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching. arXiv preprint arXiv:2410.06885.
[13] Zach Evans, Julian D. Parker, CJ Carr, Zack Zukowski, Josiah Taylor, and Jordi Pons. 2024. Stable Audio Open. arXiv preprint arXiv:2407.14358.
[14] Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, and Yuxuan Wang. 2025. DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation. arXiv preprint arXiv:2502.03930.
[15] Zhihao Du, Qian Chen, Shiliang Zhang, Kai Hu, Heng Lu, Yexin Yang, Hangrui Hu, Siqi Zheng, Yue Gu, Ziyang Ma, Zhifu Gao, and Zhijie Yan. 2024. CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens. arXiv preprint arXiv:2407.05407.
[16] CosyVoice contributors. n.d. CosyVoice: Project Homepage. Official project documentation, Overview of CosyVoice. Accessed 2026-10-29.
[17] Zhihao Du, Changfeng Gao, Yuxuan Wang, Fan Yu, Tianyu Zhao, Hao Wang, Xiang Lv, Hui Wang, Chongjia Ni, Xian Shi, Keyu An, Guanrou Yang, Yabin Li, Yanni Chen, Zhifu Gao, Qian Chen, Yue Gu, Mengzhe Chen, Yafeng Chen, Shiliang Zhang, Wen Wang, and Jieping Ye. 2025. CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training. arXiv preprint arXiv:2505.17589.
[18] CosyVoice contributors. n.d. CosyVoice 3 configuration: cosyvoice3.yaml. GitHub repository, commit 074ca6dc9e80a2f424f1f74b48bdd7d3fea531cc. Accessed 2026-10-28.
[19] Siyi Zhou, Yiquan Zhou, Yi He, Xun Zhou, Jinchao Wang, Wei Deng, and Jingchen Shu. 2025. IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech. arXiv preprint arXiv:2506.21619.
[20] IndexTeam. n.d. IndexTTS-2 model configuration: config.yaml. Hugging Face model repository. Accessed 2026-10-28.
[21] Shun Lei, Yaoxun Xu, Zhiwei Lin, Huaicheng Zhang, Wei Tan, Hangting Chen, Jianwei Yu, Yixuan Zhang, Chenyu Yang, Haina Zhu, Shuai Wang, Zhiyong Wu, and Dong Yu. 2025. LeVo: High-Quality Song Generation with Multi-Preference Alignment. arXiv preprint arXiv:2506.07520.
[22] Zhijun Liu, Shuai Wang, Sho Inoue, Qibing Bai, and Haizhou Li. 2024. Autoregressive Diffusion Transformer for Text-to-Speech Synthesis. arXiv preprint arXiv:2406.05551.
[23] Jonathan Shen, Ruoming Pang, Ron J. Weiss, Mike Schuster, Navdeep Jaitly, Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, RJ Skerry-Ryan, Rif A. Saurous, Yannis Agiomyrgiannakis, and Yonghui Wu. 2017. Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions. arXiv preprint arXiv:1712.05884.
[24] Zheqi Dai, Guangyan Zhang, Zhen Ye, Jingyu Li, Haolin He, Chunyat Wu, Yiwen Guo, and Qiuqiang Kong. 2026. One-Step Token-to-Waveform Generation with MeanFlow in Latent Space. arXiv preprint arXiv:2606.180
