传统指令跟随语音合成(Instruction-Following TTS)主要依赖用户明确给出的指令,例如指定语气、情绪或说话风格。但在真实对话中,说话者的表达方式往往是由对话历史和当前情境隐含决定的,而不是由用户直接指定。例如,当对话内容体现出紧张、讽刺或安慰等意图时,模型需要结合上下文推断合适的语气,而不能只根据目标文本生成语音。

近期,西工大音频语音与语言处理研究组(ASLP@NPU)和媲美科技、南京大学合作,研究如何让语音合成模型根据对话上下文推断说话者的意图、情绪和表达方式,并生成与语境相符的语音。相关论文 “Bridging Data, Reasoning, and Alignment: A Unified Framework for Context-Aware Instruction-Following TTS”被 ISCSLP 2026录用,将在CoT-TTS Challenge Session上展示。

论文围绕数据质量、上下文推理和偏好对齐,提出了一个包含三个阶段的优化框架,并在 ISCSLP 2026 CoT-TTS Challenge Track 1 上进行了验证,实验结果表明所提出的框架,有效提升了模型的上下文理解能力与指令遵循的音频生成能力。

论文题目:Bridging Data, Reasoning, and Alignment: A Unified Framework for Context-Aware Instruction-Following TTS

作者列表:胡景斌 王璐宇 夏康翔 田文杰 詹其瑞 张皓宇 陈云翔 刘厚盾 谢磊 薛浏蒙

合作单位:媲美科技,南京大学

论文预印版:https://arxiv.org/pdf/2609.14740

Demo page: https://hujingbin1.github.io/CoT-TTS-Demo-Page/


背景动机

传统指令跟随语音合成(Instruction-Following TTS)主要依赖用户明确给出的指令,例如指定语气、情绪或说话风格。但在真实对话中,说话者的表达方式往往是由对话历史和当前情境隐含决定的,而不是由用户直接指定。例如,当对话内容体现出紧张、讽刺或安慰等意图时,模型需要结合上下文推断合适的语气,而不能只根据目标文本生成语音。为此,ISCSLP 2026 CoT-TTS Challenge 引入了先生成思维链(Chain-of-Thought,CoT),再生成语音的任务范式,即:对话历史 → CoT 推理与表达指令 → 目标语音生成。

论文指出,现有系统主要面临三个问题:

  1. 训练数据质量不足: 影视对话数据存在背景噪声、转录错误,以及对话历史与 CoT 不一致等问题。
  2. 上下文推理与语音生成不一致: 仅依赖监督微调难以保证模型既正确理解情境,又准确执行表达指令,还可能出现语音可懂度下降和说话人音色漂移。
  3. 缺乏细粒度评价: 传统语音指标难以区分模型究竟是理解错了上下文,还是没有正确执行生成指令。

因此,论文希望通过数据清洗、合成数据蒸馏和上下文感知偏好优化,提升整个 Context → CoT → Speech 链路的一致性。


方法概览

论文提出了一个三阶段优化框架,依次为:清洗数据后的持续预训练、蒸馏数据监督微调、上下文感知直接偏好优化(Context-Aware DPO)。

图1 模型架构

第一阶段:清洗数据并持续预训练

论文首先对官方挑战赛的影视对话数据进行三级清洗:

  • 音频降噪: 使用 FullSubNet 降低背景噪声。
  • 重新转录: 使用 Qwen3-ASR 重新标注文本。
  • 语义一致性检查: 使用 Qwen3.5-35B-A3B 检查对话历史与 CoT 标注是否存在语义矛盾或推理不连贯的问题,并过滤不合格样本。

清洗后保留约 82% 的原始样本,并用于持续预训练。论文发现,该阶段使用全参数微调的效果优于 LoRA,认为模型需要充分调整声学表征以适应清洗后的数据分布。

第二阶段:基于蒸馏的监督微调

由于具有高质量 CoT 标注的指令跟随语音数据音质差、表现力不足,论文使用教师模型生成合成训练数据,如图2所示。

图2 蒸馏数据管线

具体流程为:

  1. 使用 Qwen3-TTS Voice Design 根据目标文本和表达指令生成具有不同情绪、韵律特征的语音,初始生成约 54.5 万条样本。
  2. 使用 Seed-VC 将合成语音的音色转换为目标说话者的音色,同时尽量保留原始语音的表达特征。
  3. 使用多个模型进行级联过滤,包括 ASR 可懂度检查、说话人相似度验证、UTMOS-v2 音质评价,以及 Qwen3-Omni 一致性检查。

最终保留约 12.7 万条高质量蒸馏样本进行监督微调。与第一阶段不同,该阶段 LoRA 的表现优于全参数微调,论文认为这有助于利用合成数据,同时避免模型过度适应教师模型生成的数据分布。

第三阶段:上下文感知偏好优化 CA-DPO

监督微调能够学习训练样本中的目标输出,但不一定能区分整体语境正确的结果与局部看似合理、实际却与上下文不符的结果。因此,论文进一步引入偏好优化,如图3所示。

图3 上下文感知偏好优化 CA-DPO

首先,对于每条训练输入,通过随机采样生成 10 个候选结果。随后采用三级筛选策略:

  • ASR 预筛选: 使用 Qwen3-ASR 排除可懂度不合格的语音。
  • Gemini 竞赛式排序: 使用 Gemini 3.1 对候选进行逐轮比较,综合判断 CoT 是否正确理解对话历史,以及最终语音是否执行了相应的表达指令。
  • 说话人相似度验证: 排除音色与目标说话人不一致的候选。

最终以每组的获胜候选作为优选样本,将非获胜候选作为劣选样本,构建约 9,000 组高置信度偏好数据。

训练时,论文采用 CA-DPO,让模型更偏好在上下文推理和语音执行方面表现更好的结果。此外,论文保留优选样本的监督微调损失作为 SFT anchor:

其中,DPO 损失负责学习优选与劣选之间的相对差异,SFT anchor 则继续监督模型拟合优选输出,从而减少偏好优化导致的质量退化。


实验设置

  • 基础框架: ISCSLP 2026 CoT-TTS Challenge Track 1 官方基线
  • 训练数据: 官方影视对话数据,经清洗后约保留 82%
  • 蒸馏数据: 初始生成 54.5 万条,过滤后保留 12.7 万条
  • 偏好数据: 约 9,000 组高置信度偏好对
  • 测试集: 中英文共 500 个样本
  • 测试输入: 对话历史(最多 5 轮)、目标句子、参考说话人音频
  • 偏好排序模型: Gemini 3.1-pro-preview
  • 主要消融实验: 比较不同阶段的 LoRA、全参数微调、CA-DPO 以及 SFT anchor

评价分为三个方面:

  • 客观指标: WER(词错误率)、SIM(说话人相似度)、UTMOS(语音自然度与质量)。
  • LLM-as-Judge: C2I,评价从上下文到指令的推理质量;I2T,评价指令到语音的执行效果;Overall,评价整个链路的一致性。
  • 人工主观评价: 包含自然度、说话人相似度、上下文推理一致性和指令执行质量等指标。


实验结果与分析

三阶段优化带来逐步提升

  • 下表列出官方基线、第二阶段最优配置以及最终 CA-DPO + SFT anchor 的主要结果。

表1 实验结果

LLM-as-Judge 评分为 1–5 分;WER 越低越好,其余指标越高越好。

主要发现如下:

  • 数据清洗改善了基础模型表现: 第一阶段全参数微调将 WER 从 3.47 降至 3.31,UTMOS从2.59提升至2.66,说明提升训练数据质量有助于改善语音生成。
  • 蒸馏微调带来进一步改善: 第二阶段 LoRA 将 WER 降至 3.03、UTMOS 提升至 3.00,LLM 评价中的 Overall 从 3.61 提升至 3.79。
  • CA-DPO 与 SFT anchor 进一步提升综合表现: 最终 WER 降至 2.71,UTMOS 提升至 3.05,C2I、I2T 和 Overall 也达到表中最高值。

说话人相似度方面,纯 CA-DPO 的 SIM 为 0.378,略高于加入 SFT anchor 后的 0.373。因此,最终方法并不是所有单项指标都达到最高值,但在综合推理与执行评价、WER 和 UTMOS 等指标上取得了更好的结果。

SFT anchor 的作用

  • 消融结果显示,纯 CA-DPO 的 WER 为 2.98、UTMOS 为 3.01;加入 SFT anchor 后,分别改善至 2.71 和 3.05,Overall 从 3.81 提升至 3.82。
  • 论文指出,纯 DPO 可能出现reward hack,使 WER 和 UTMOS 略有退化;SFT anchor 则通过保留优选输出的直接监督,帮助稳定生成质量,同时继续提升上下文对齐表现。
  • 人工评价的结果整体也支持该优化框架的有效性,但个别指标存在权衡。说明SFT anchor 改善了部分关键生成指标及综合表现,而非保证所有维度都同步上升。


总 结

这篇论文提出了一套面向上下文感知指令跟随语音合成的系统优化框架,主要贡献有三点:

  • 数据处理和蒸馏数据构建: 结合音频降噪、ASR 重新转录和上下文—CoT 一致性检查,提高真实训练数据的质量,利用 Qwen3-TTS、Seed-VC 和多模型级联过滤,构建兼顾表达能力、音色一致性和可懂度的合成训练数据。
  • 上下文感知偏好对齐: 使用 CA-DPO 对完整的“上下文理解—推理—语音生成”链路进行偏好优化,并通过 SFT anchor 降低生成质量退化风险。
  • 评估体系搭建:建立了涵盖多种对话场景的 500 样本中英双语测试集,并设计了基于 Gemini 3.1 的 LLM-as-Judge 自动化评估框架,能够独立评估“上下文到推理”(C2I)与“指令到语音生成”(I2T)两个关键环节及端到端整体一致性。

该研究表明,上下文感知 TTS 的提升不仅依赖更强的生成模型,也依赖高质量数据、合适的训练策略,以及针对推理和语音执行分别设计的评价机制。通过三个阶段逐步优化,论文在客观指标、LLM 自动评价和人工主观评价等方面取得了总体改善。


参考文献

[1] Q. Team, “Qwen3-tts technical report,” CoRR, vol.abs/2601.15621, 2026. [Online]. Available: https://doi.org/10.48550/arXiv.2601.15621

[2] W. Xue, J. Feng, S. Zhang, Y. Wang, R. Yang, B. Liu, L. Xue, S. Cheng, J. Pan, W. Bian, B. Kang, and B. Long,“Iscslp 2026 cot-tts challenge: Chain-of-thought reasoning for context-aware text-to-speech,” 2026. [Online]. Available: https://arxiv.org/abs/2606.21933

[3] J. Xu, Z. Guo, H. Hu, Y. Chu, X. Wang, J. He, Y. Wang, X. Shi, T. He, X. Zhu, Y. Lv, Y. Wang, D. Guo, H. Wang, L. Ma, P. Zhang, X. Zhang, H. Hao, Z. Guo, B. Yang, B. Zhang, Z. Ma, X. Wei, S. Bai, K. Chen, X. Liu, P. Wang, M. Yang, D. Liu, X. Ren, B. Zheng, R. Men, F. Zhou, B. Yu, J. Yang, L. Yu, J. Zhou, and J. Lin, “Qwen3-omni technical report,” 2025. [Online]. Available: https://arxiv.org/abs/2509.17765

[4] X. Shi, X. Wang, Z. Guo, Y. Wang, P. Zhang, X. Zhang, Z. Guo, H. Hao, Y. Xi, B. Yang, J. Xu, J. Zhou, and J. Lin, “Qwen3-asr technical report,” 2026. [Online]. Available: https://arxiv.org/abs/2601.21337

[5] X. Hao, X. Su, R. Horaud, and X. Li, “Fullsubnet: A full-band and sub-band fusion model for real-time single-channel speech enhancement,” in ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021, p. 6633–6637. [Online]. Available: http://dx.doi.org/10.1109/ICASSP39728.2021.9414177