语音小管家自然交流不只有文字。笑声、叹息、哭泣、打哈欠等非语言人声（Nonverbal Vocalizations, NVVs），同样承载着情绪、态度与交互意图。对于语音合成系统而言，真正的挑战不仅是“把字读对”，还包括在指定位置生成恰当的非语言人声，并让这些声音自然地融入整句话，而不破坏内容、音质与表达。
近期，实验室同学张子萸的论文 “Modeling, Scaling, and Decoding: Optimizing Controllable Speech Generation with Nonverbal Vocalizations”被 ISCSLP 2026 NVVSpeech Challenge 录用。论文提出 NVV-aware DiTAR 系统，围绕非语言人声建模、长尾数据增强与推理优化三个方面协同改进。在论文报告的修订版官方评测中，系统取得双语综合分 62.786，在 Track 2 参赛系统中获得中文第一、英文第二、总排名第一。
论文题目：Modeling, Scaling, and Decoding: Optimizing Controllable Speech Generation with Nonverbal Vocalizations
作者列表：张子萸，陈韵，王泰辉，李函昭，谢启聪，陈日林，赵致闲，谢磊
论文链接：https://arxiv.org/abs/2609.14231
背景动机
近年来，零样本语音合成在自然度和说话人相似度方面取得了显著进展，但对非语言人声的控制仍不稳定。传统 TTS 数据往往优先保留清晰、流畅的文字内容，笑声、呼吸和其他非语言事件则可能在清洗时被过滤。因此，模型即使能够流畅朗读，也未必能准确理解并实现文本中的 NVV 标签。
NVVSpeech Challenge Track 2 将这一问题具体化：系统需要根据带有 16 类 NVV 标签的文本合成语音，在实现指定事件的同时，兼顾自然度、音质与表现力。完成这项任务主要面临三类困难：
- 声学形态复杂：同一类笑声或哭声也可能具有不同的时长、强度和音色，需要细粒度的声学生成能力；句中 NVV 引入的停顿或突变，还可能触发错误的提前结束。
- 训练数据长尾明显：挑战赛不提供官方训练集，部分 NVV 类别尤其缺少可用英文样本；仅依赖现有数据，容易出现常见类别学得充分、稀有类别生成不稳定的问题。
- 生成结果具有随机性：同一模型和文本在不同采样下可能出现漏读、NVV 遗漏或音质波动；只优化一个评价指标，也容易牺牲其他维度。
这项工作的核心思路，是把“能表达、学得充分、选得可靠”作为一个整体问题：模型负责建立 NVV 控制接口，数据补齐长尾能力，推理阶段进一步降低单次生成失败的概率。
方法概览
系统以连续表征自回归扩散模型 DiTAR [1] 为基础，先进行双语预训练，再通过定向数据增强与频率感知重采样开展持续监督微调，最后结合解码配置搜索和 Best-of-N 候选选择输出语音。整体架构与训练、推理流程如下。
图1 NVV-aware DiTAR 整体架构及优化流程
NVV 感知建模：让非语言标签进入连续语音生成过程
DiTAR 将连续 VAE latent 划分为声学 patch，由聚合编码器将每个历史 patch 汇总为一个 embedding。自回归语言模型结合文本和历史语音，为局部扩散 Transformer（LocDiT）提供条件，再由 LocDiT 生成下一个连续声学 patch。这样的设计为细粒度 NVV 声学变化保留了建模空间。
论文将全部 16 类 NVV 标签注册为独立 special token。例如，[laugh] 对应唯一的 token ID 和可学习 embedding，不再被切分为多个子词。NVV 标签与普通文本共享 embedding 空间和自注意力参数，通过文本前缀影响后续语音生成，无需额外的 NVV 编码器或显式事件位置输入。
针对句中笑声、停顿等容易被误判为句末的问题，系统还调整了 stop prediction：保留原有的标量量化瓶颈和二分类线性头，仅将最后一个有效 patch 标记为 stop，其余 patch（包括包含 NVV 的片段）均标记为 continue。同时配合固定正类权重、标签平滑，并允许 stop loss 的梯度回传至语言模型隐藏状态，帮助模型区分“句中的非语言事件”和“真正的语句结束”。
长尾感知训练：既补足稀缺类别，也控制合成数据偏差
模型首先在 10 万小时中英双语语音上预训练，其中包含 NVSpeech-170K [2]、NonVerbalSpeech-38K [3] 等公开 NVV 资源，并将标注统一到挑战赛的 16 类标签。随后，针对哭泣、打鼾、打喷嚏、打哈欠、打嗝等薄弱类别，使用表现力较强的商业 TTS 系统合成补充数据。
增强样本覆盖句首、句中和句末等标签位置，并采用多种短语境与多说话人，减少位置、文本和音色偏差。持续 SFT 阶段再根据样本中最稀有标签的频率进行重采样，提高低频、薄弱类别的训练曝光，同时调整中英文比例，并限制单个说话人的贡献和样本重复次数。
这一方案并不是简单地“多生成一些数据”，而是结合类别覆盖、样本质量和训练分布，让有限的增强数据更有针对性地补齐模型短板。
两级推理优化：先选全局配置，再选单条样本
第一步，在固定模型 checkpoint 和参考音频的条件下，比较语言模型引导强度 w 与噪声注入强度 τ 的四组配置。系统综合内容准确性、NVV 实现和音质进行选择，而不是单独追求某项分数最高。
第二步，对每条带标签的文本，在选定配置下生成 5 个候选，再进行多指标 Best-of-N 选择。本地 LALM 先按预设五维权重汇总；随后，各项评分在同一文本的五个候选内进行 min–max 归一化至 [0,1]，再按照以下权重计算候选综合分：
候选得分 = 0.40 × 本地 LALM 综合分 + 0.30 × NVV 检测分 + 0.20 × 内容准确性分 + 0.10 × DNSMOS 音质分 。
其中，内容准确性分由中文 CER 或英文 WER 取负后归一化得到。候选选择只使用本地自动评估，不依赖官方测试反馈对单条候选排序。两级优化无需更新模型参数，但会增加候选生成与评价的推理开销。
实验设置
- 模型与训练数据：基于内部 1.5B 参数 DiTAR，使用 10 万小时双语语音预训练，并在长尾增强与重采样后的语料上持续 SFT。
- 训练配置：32 张 NVIDIA H20 GPU，每卡 batch size 为 4，全局 batch size 为 128；采用 Adam，学习率为 5×10⁻⁵，patch size 为 10。
- 本地客观评估：中文使用 CER、英文使用 WER 衡量内容准确性；固定的 BEATs-based NVV [4] 检测器评估 precision、recall、覆盖率调整 F1（CA-F1）和归一化标签距离（NTD）；DNSMOS [5]用于评估音质。
- 官方评估：修订版规则结合基于 Gemini 的 LALM 评估与主观听测，覆盖 NVV 准确性、NVV 感知效果、自然度、音质和表现力五个维度；中英文分别加权后，再取算术平均得到双语综合分。
- 受控对比：除特别说明外，本地比较使用相同评测子集、参考音频、随机种子与解码配置；解码消融固定模型 checkpoint，候选选择消融比较不同选择策略。
实验结果与分析
整体性能：内容准确性、NVV 实现与音质协同改善
逐步加入 NVV 感知建模、长尾 SFT、解码搜索和 Best-of-N 后，系统整体性能持续提升。与官方 baseline 相比，最终系统的中文 CER 从 6.267% 降至 5.012%，英文 WER 从 3.159% 降至 2.194%；DNSMOS 从 3.026 提升至 3.221，CA-F1 从 0.569 提升至 0.589，表明文字内容、声音质量和 NVV 实现可以在同一系统中获得更均衡的改善。
表1 各阶段系统的本地客观评估结果
这种提升并非所有指标都严格单调。例如，长尾 SFT 获得最高的检测 precision 和 recall；加入解码搜索后的 NTD 为 0.068，而最终 BoN 系统为 0.069。最终方案选择的是多个维度的综合平衡，而非每一项指标都达到最优。
官方结果：双语总排名第一，自动评估与人类听感互为补充
根据论文报告的修订版官方结果，系统的中文、英文与双语综合分分别为 61.775、63.797 和 62.786，相对 baseline 分别提升 2.075、0.634 和 1.355 分，在 Track 2 参赛系统中获得中文第一、英文第二、总排名第一。
表2 官方 Track 2 评测结果
值得注意的是，系统的双语 LALM 分为 72.94，低于 baseline 的 73.96；但主观听测均分由 baseline 的 2.893 提升至 2.997，最终加权分也更高。这一结果说明，自动打分和人类听感提供的是互补信息，不能用单一自动指标代替完整的生成质量判断。
长尾增强：对“缺覆盖”的类别最有效，并非样本越多越好
定向增强对严重缺乏样本的类别收益最明显。英文 cry 原始可用样本仅有 37 条，补充 1,000 条合成样本并进行长尾 SFT 后，类别得分提升 23.30 分；中文 cry 提升 4.63 分，中文 burp 提升 7.30 分。yawn 和 laugh 也在中英文中均有改善。
表3 薄弱 NVV 类别的数据增强规模与得分变化
但收益并非普遍成立：snore 的变化较小，sneeze 在中英文中分别下降 1.15 和 1.98 分。这提示，当瓶颈是覆盖不足时，增加数据更有效；当瓶颈转为自然度、说话人多样性或声学变化不足时，重复增加相似合成样本可能强化来源偏差。
解码消融：更强引导不一定更好，需要兼顾内容与事件位置
在论文比较的四组配置中，w=2.0、τ=0.9 获得最好的 CER（5.098%）、WER（2.597%）和 CA-F1（0.582），同时保持接近最优的 DNSMOS，因此被选为综合配置。
表4 固定 checkpoint 下的解码配置消融
相比之下，w=2.5、τ=0.7 的 NTD 最低，事件位置更准确，但内容准确性和音质较弱；w=2.0、τ=0.7 则获得略高的 DNSMOS。结果表明，“事件放得准”“文字读得对”和“声音听得好”是需要共同权衡的目标，不能简单通过增大引导强度解决。
Best-of-N 消融：关键不是“多生成”，而是“选得对”
仅根据 DNSMOS 选择候选时，音质分达到 3.229，但英文 WER 恶化至 3.480%；仅依据 NVV 检测器选择时，CA-F1 达到 0.591，却将 DNSMOS 拉低至 3.102。随机选择也没有稳定改善内容准确性。
表5 五候选条件下的选择策略消融
多指标选择取得最低的中文 CER（5.012%）和英文 WER（2.194%），同时维持较高的 DNSMOS（3.221）和 CA-F1（0.589）。这说明，在固定五候选的实验中，有效筛选是获得综合收益的关键，仅增加候选而随机选择并不能保证改善生成质量。单指标优化容易偏向“声音好听但内容错误”，或“事件明显但整体音质下降”的候选。
总结
这项工作围绕非语言人声可控生成，形成了一套从模型、数据到推理的完整优化方案：
- 建模层面：通过 16 类独立 NVV token 和适配的停止预测，将非语言事件融入连续语音生成过程。
- 训练层面：结合双语预训练、定向合成增强与频率感知重采样，优先补齐长尾类别，同时警惕低多样性合成数据带来的偏差。
- 推理层面：通过全局解码配置搜索与多指标 Best-of-N，在不更新模型参数的前提下改善生成可靠性，并明确额外推理成本这一代价。
让语音“更像人在说话”，不只是让模型学会更多声音，也需要让它在正确的位置、以合适的方式发出这些声音。 论文的实验进一步表明，NVV 控制应同时关注内容准确性、事件实现和主观感知。后续工作将继续改进英文 NVV 数据与事件级候选评价，提升控制能力与评价的一致性。
参考文献
[1] D. Jia et al., “DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation,” arXiv:2502.03930, 2025.
[2] H. Liao et al., “NVSpeech: An Integrated and Scalable Pipeline for Human-Like Speech Modeling with Paralinguistic Vocalizations,” arXiv:2508.04195, 2025.
[3] R. Ye et al., “A Scalable Pipeline for Enabling Non-Verbal Speech Generation and Understanding,” arXiv:2508.05385, 2025.
[4] S. Chen et al., “BEATs: Audio Pre-Training with Acoustic Tokenizers,” Proc. ICML, 2023.
[5] C. K. A. Reddy, V. Gopal, and R. Cutler, “DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors,” Proc. ICASSP, 2021.
