语音小管家自然交流不只有文字。笑声、叹息、哭泣、打哈欠等非语言人声（Nonverbal Vocalizations, NVVs），同样承载着情绪、态度与交互意图。对于语音合成系统而言，真正的挑战不仅是“把字读对”，还包括在指定位置生成恰当的非语言人声，并让这些声音自然地融入整句话，而不破坏内容、音质与表达。
近期，西工大音频语音与语言处理研究组（ASLP@NPU）和语图智能、媲美科技、南京大学合作的论文 “Preference Optimization with LALM Feedback for Continuous Autoregressive Non-Verbal Vocalization Generation”被 ISCSLP 2026 NVVSpeech Challenge 录用。论文提出了基于大语音语言模型（LALM）反馈的无标注偏好优化框架，通过自动构建偏好数据及“RSFT + Anchored Flow-DPO”两阶段优化策略，实现了连续自回归语音模型对非言语声音（NVV）的高质量可控生成。在 NVVSpeech Challenge Track 2 测试集上，该方法显著提升了 NVV 生成准确率与听感效果，总成绩相比 VoxCPM2 基线提升了 1.84 分，在竞赛官方 leaderboard 排行中取得第一名。
论文题目：Preference Optimization with LALM Feedback for Continuous Autoregressive Non-Verbal Vocalization Generation
作者列表：胡景斌 詹其瑞 曹雨昂 张子萸 陈云翔 刘厚盾 冯溯 吴本谷 谢磊 薛浏蒙
合作单位：语图智能，媲美科技，南京大学
论文预印版：https://arxiv.org/pdf/2609.11260
Demo page: https://hujingbin1.github.io/NVV-TTS-Demo-Page/
Leaderboard: https://nvvspeech-challenge.github.io/NVVSpeech-Challenge-Leaderboard
背景动机
非语言发声（Non-Verbal Vocalization，NVV）包括笑声、叹息、呼吸声、哭泣声等。要让语音模型准确生成指定的 NVV，不仅要求发声类型正确，还需要保证其听觉表现自然、明显，并维持整体语音质量。
传统监督微调（SFT）受限于 NVV 数据的多样性和标注成本，难以充分表达复杂的听感偏好。此外，连续自回归语音模型基于连续声学潜变量和 Flow Matching 生成语音，缺乏传统 DPO 所需的显式序列对数似然，难以直接应用标准 DPO。
因此，论文希望解决两个问题：如何自动构建高质量的 NVV 偏好数据，以及如何将偏好优化适配到连续自回归语音生成模型。
方法概览
论文提出了一种基于大规模音频语言模型（LALM）反馈的 NVV 偏好优化框架，整体分为三个主要环节：自动构建偏好数据、使用 RSFT 进行冷启动，以及使用 Anchored Flow-DPO 进行进一步偏好对齐。 该方法以 VoxCPM2 为基础语音生成模型，利用 LALM 对模型生成的候选语音进行评价，并将评价结果转化为训练信号。
图1 基于LALM的偏好数据构建和两阶段偏好优化框架，该框架结合了RSFT和Anchored Flow-DPO方法。
自动构建偏好数据
该阶段的目标是在不依赖人工逐条偏好标注的情况下，自动构建高质量的 NVV 偏好训练数据，为后续模型优化提供监督信号。
（1）构建双源 NVV Prompt 语料库
论文构建了 5,000 条中英文 Prompt，数据来源分为两部分：
- 真实转录文本注入 NVV 标签： 从 Emilia 数据集中抽取 2,500 条真实语音转录文本，并随机插入一个或多个 NVV 标签，不要求标签与原始文本语义完全一致。这样可以构造文本语义与显式 NVV 控制条件可能发生冲突的场景，暴露模型在复杂条件下的可控生成问题。
- 大语言模型生成语义对齐 Prompt： 使用 Gemini 3.1 生成另外 2,500 条 Prompt，使文本语境与目标 NVV 标签在语义上相匹配，覆盖自然的非语言发声场景。
两种数据来源具有互补性：前者强调对模型控制能力的挑战，后者强调 NVV 与上下文之间的自然匹配。将二者结合，可以同时覆盖困难控制场景和常规自然表达场景。
（2）通过随机 Rollout 生成候选语音
对于每条 Prompt，使用 VoxCPM2 进行随机采样，生成 10 条候选语音。不同候选使用独立采样的高斯初始噪声，但共享相同的文本和 NVV 控制条件。
因此，整个流程共生成 5,000×10=50,000 条候选语音。
这种设计使同一组候选在相同输入条件下进行比较，减少文本内容和 NVV 标签差异对评价结果的影响，将比较重点放在不同候选的声学实现质量上。
（3）利用 LALM 进行多维度评价
论文使用 Qwen3.5-Omni-Plus 作为自动音频评估器，对每条候选语音进行五个维度的评分，每项采用 1–5 分制。
NVV Accuracy评价是否准确生成指定的 NVV、NVV Perceptual Effect评价目标发声是否具有足够的听觉表现力、Overall Naturalness评价整体语音是否自然、Overall Quality评价整体音质和语音质量、Overall Expression评价整体表达效果。五项评分通过加权求和得到候选语音的综合分数，值得注意的是，NVV Accuracy 和 NVV Perceptual Effect 合计占 55% 的权重。这说明评价机制不仅关注语音的一般质量，还特别强调目标非语言发声是否正确，以及其听觉效果是否充分。
（4）构建 Chosen–Rejected 偏好样本对
在每条 Prompt 对应的 10 个候选语音中，论文选择综合得分最高的作为 Chosen（优选样本），得分最低的作为 Rejected（劣选样本），构建同一 Prompt 下的偏好数据对。这种最高分与最低分配对的策略有助于形成较明确的偏好差异，同时尽量控制文本内容、NVV 类型和标签位置的影响。最终，论文获得 5,000 组成对偏好样本，其中的 5,000 条优选语音还将用于下一阶段的 RSFT。因此，该阶段形成了完整的数据构建链路：Prompt 构建 → 候选语音生成 → LALM 多维评分 → 优选与劣选配对，将音频语言模型的判断转化为后续生成模型能够使用的训练数据。
第一阶段：RSFT
完成偏好数据构建后，论文首先使用 RSFT（Rejection Sampling Fine-Tuning，拒绝采样微调）对基础模型进行冷启动。
与直接利用优选和劣选之间的相对关系不同，这一阶段只使用 LALM 筛选出的 Chosen 样本进行监督微调，让模型先学习高评分候选语音中的 NVV 生成模式。
其训练目标为：
其中，c 是输入 Prompt，Xw是 LALM 筛选出的优选语音，LFM是模型原有的 Flow Matching 训练损失。
具体而言，VoxCPM2 采用连续自回归生成方式，由语言模型骨干网络逐步处理声学潜变量块，并通过 Local-DiT 流匹配模块完成声学生成。RSFT 仍然使用模型原本的流匹配训练目标，只是将训练数据替换为经过 LALM 筛选的高质量候选语音。
这一阶段有两个主要作用：
- 学习优选语音的生成模式。 模型通过监督学习，直接拟合 LALM 认为更好的 NVV 声学实现。
- 为后续偏好优化提供更好的初始化。 先让模型适应优选样本，再进行成对偏好学习，可以使后续优化建立在已经具备一定偏好对齐能力的模型基础上。
不过，RSFT 只利用优选样本，没有显式利用劣选样本所包含的对比信息。因此，论文进一步提出 Anchored Flow-DPO，以充分利用 Chosen–Rejected 偏好对。
第二阶段：Anchored Flow-DPO
这一阶段是论文方法的主要技术创新，重点解决两个问题：如何在连续语音生成模型中进行 DPO 式偏好优化，以及如何在优化偏好的同时避免模型偏离高质量生成目标。
（1）以话语级 Flow Matching loss 构建偏好目标
传统 DPO 通常依赖策略模型与参考模型之间的序列对数似然比。然而，VoxCPM2 采用连续声学潜变量和 Flow Matching 机制，不能直接提供传统 DPO 所需的显式序列对数似然。为了解决这一问题，论文将生成整句语音时各潜变量块的 Flow Matching loss 进行平均，构建话语级损失：
其中，M 表示整句语音所包含的潜变量块数量，表示第 m 个潜变量块，表示模型根据文本和此前生成的潜变量得到的条件表示。
在此基础上，论文定义当前模型与冻结参考模型之间的相对损失差异：
其中，为当前可训练模型参数，ref 表示冻结的参考模型。
该差异反映候选语音在当前模型与参考模型下的相对流匹配损失变化。论文据此构造 Flow-DPO 偏好目标：
其中，和 分别是同一 Prompt 下的优选与劣选语音，是 Sigmoid 函数，用于控制偏好优化的强度。
通过最小化这一目标，模型被推动去降低优选语音相对于参考模型的损失，同时使劣选语音不再具有相同程度的相对优势。这样，模型就能够利用优选和劣选样本之间的差异进行偏好对齐，而不需要显式计算传统 DPO 中的序列对数似然。
（2）引入 SFT anchor，保留对优选语音的直接监督
单独使用 Flow-DPO 存在一个潜在问题：模型只需要拉大优选样本和劣选样本之间的相对差异，并不一定需要真正保持对优选语音的良好拟合。理论上，模型可能通过增加劣选样本的相对损失来扩大偏好差距，而不充分改善优选样本本身。
为此，在 Flow-DPO 目标中保留优选样本的 Flow Matching loss，构建最终训练目标：
其中，控制优选样本直接监督项的权重。
两个损失项各司其职：
- Flow-DPO 项：利用 Chosen–Rejected 配对，学习模型应偏好哪一种声学实现。
- SFT anchor 项：持续要求模型拟合优选语音，避免只优化相对差距而忽略优选样本本身的生成质量。
在训练流程中，RSFT 阶段先利用优选样本完成冷启动；进入 Anchored Flow-DPO 阶段后，再同时使用成对偏好损失与优选样本监督损失。冻结的参考模型则用于衡量当前模型相对于偏好感知初始化模型的变化。
因此，Anchored Flow-DPO 的关键不只是引入偏好学习，而是将相对偏好约束与优选样本的直接监督相结合，以兼顾偏好对齐和训练稳定性。
方法整体总结
综合来看，论文的方法形成了由数据构建到模型优化的完整闭环，核心思想是：先通过 LALM 从候选语音中筛选出较好的生成结果，再利用优选样本监督和成对偏好优化逐步改进模型。 其中，LALM 负责提供自动评价信号，RSFT 负责建立良好的初始化，而 Anchored Flow-DPO 则进一步利用优选与劣选之间的相对关系，并通过 SFT 保留对高质量 NVV 生成的直接监督。
实验设置
基座模型：竞赛官方开源的Track2 baseline，模型结构为VoxCPM2。
偏好数据：5,000 条 Prompt、50,000 条候选语音
偏好评估模型：Qwen3.5-Omni-Plus
测试集：NVVSpeech Challenge Track 2，共 1,600 条语音
测试评估模型：Gemini 2.5 Pro
优化策略：RSFT 1 个 epoch，随后 Flow-DPO 3 个 epoch
实验结果
目标 NVV 的准确性有所提升： 中英文 NVV Accuracy 均高于基线，说明模型生成指定非语言发声的能力获得改善。
NVV 的听觉感知效果有所提升： 中英文 NVV Perceptual Effect 均有增长。这一点尤其重要，因为该方法追求的不仅是输出中存在目标发声，还希望该发声在听觉上足够清晰、有效。
整体语音质量基本保持稳定： Overall Quality 的变化较小，没有出现偏好优化后一般语音质量明显下降的现象。这与论文使用优选样本监督锚点来限制模型偏移的设计目标相吻合。
两阶段训练有效：RSFT 提供了更好的初始化，而 Flow-DPO 利用偏好对带来进一步提升；SFT anchor 则改善了最终综合表现，尤其有助于英文结果。
表1 主实验和消融实验结果
最终方法的双语综合成绩从基线的 73.96 提高到 75.80，增加了 1.84 分。中文和英文成绩分别提高 1.77 分和 1.91 分。
表2 主观测听结果
论文还组织了中英文母语听者进行主观评价，并比较基线和提出的方法。主观评价中的 NVV Accuracy、NVV Perceptual Effect、Naturalness、Quality 和 Expression 五个维度，在中英文两组上均呈现提高。
总结
论文的主要贡献可以归纳为三点：
- 构建自动化偏好数据流程：通过 LALM 对同一 Prompt 下的候选语音进行多维度评价，减少对人工偏好标注的依赖。
- 提出适配连续语音生成的偏好优化方法：使用话语级 Flow Matching loss 构建 DPO 式优化目标，解决传统 DPO 难以直接应用于连续自回归语音模型的问题。
- 设计 RSFT 与 Anchored Flow-DPO 两阶段策略：先学习优选语音，再进行成对偏好对齐，并通过 SFT anchor 保留对优选样本的直接监督。
论文将 LALM 的音频评价能力转化为语音生成模型的训练反馈，有效提升了 NVV 的可控生成准确性和听觉表现，同时基本维持整体语音质量。其主要价值在于形成了从自动偏好数据构建到连续语音生成偏好优化的一套完整方案；不过，该方案在其他基础模型、语言和场景中的泛化能力仍需进一步验证。
参考文献
[1] L. Xue, W. Bian, J. Pan, W. Wu, Y. Ren, B. Kang, J. Hu, Z. Ma, S. Wang, X. Qian, H. yi Lee, and Y. Guo, “NVVSuperBench: Beyond words, beyond quality-benchmarking nonverbal vocalizations in speech generation,”arXiv preprint arXiv:2604.16211, 2026.
[2] Y. Zhou, G. Zeng, X. Liu, X. Li, R. Yu, J. Gui, J. Wu, Z. Wang, X. Shen, R. Ye, Z. Zhang, J. Zhou, B. Bai, W. Sun, M. Deng, Q. Shi, Z. Wu, and Z. Liu, “VoxCPM2 technical report,” CoRR, vol. abs/2606.06928, 2026.
[3] H. Li, C. Xu, J. Zhao, Y. Cao, L. Xue, Y. Guo, and E. S. Chng, “Preference optimization for non-verbal vocalization synthesis,” arXiv preprint arXiv:2608.24163, 2026.
[4] J. Liu, G. Liu, J. Liang, Z. Yuan, X. Liu, M. Zheng, X. Wu, Q. Wang, M. Xia, X. Wang, X. Liu, F. Yang, P. Wan, D. Zhang, K. Gai, Y. Yang, and W. Ouyang, “Improving video generation with human feedback,” in NeurIPS, 2025.
[5] Q. Team, “Qwen3.5-Omni technical report,” CoRR, vol. abs/2604.15804, 2026.
[6] G. Team, “Gemini 2.5: Pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities,” CoRR, vol. abs/2507.06261, 2025.
