近年来,低资源多语言 TTS 的语言覆盖范围不断扩大,从早期面向少数高资源语言的单语建模,逐步走向覆盖上千种语言的多语言语音生成。然而,语言覆盖广,不等于复杂文本输入下依然可靠。真实场景中的 TTS 输入往往包含数字、日期、命名实体、长句、代码混写和标点结构等复杂表达,这些内容对文本正则化、发音建模、韵律控制和语言一致性提出了更高要求。现有评估大多关注自然度、说话人相似度和常规短句的内容一致性,难以为低资源多语言 TTS 在复杂文本下的失败模式提供系统诊断。
针对这一问题,来自西北工业大学音频语音与语言处理研究组(ASLP@NPU) 与科大讯飞的合作论文提出了一套面向低资源多语言 TTS 的复杂文本鲁棒性诊断框架。该工作从内容一致性、语言一致性、生成稳定性三个维度评估 TTS 鲁棒性,覆盖泰语、越南语、斯瓦希里语和印尼语四种低资源语言,并设计了包含普通句子、数字日期、命名实体、长句、混写文本和标点结构六类输入的鲁棒性测试集。论文进一步引入基于可解释文本特征的轻量级Text Risk Score(TRS),无需人工标注或额外训练,即可在语音生成前估计输入文本的合成风险。实验在 OmniVoice、VoxCPM2 和 MMS-TTS 三个代表性多语言 TTS 系统上展开,揭示了常规短句评估中不明显的系统性失败模式。该工作发表于 NCMMSC 2026。

论文题目:Complex-Text Robustness Evaluation and Failure Diagnosis for Low-Resource Multilingual Text-to-Speech
作者列表:左天伦,张子萸,茆廷志,付中华,谢磊
论文原文:https://arxiv.org/abs/2609.11545
研究背景与动机
近年来,多语言 TTS 的研究重点逐步从单语建模转向更广语言覆盖的语音生成。多语言训练、跨语言迁移和统一生成框架等技术,使系统能够合成比早期单语 TTS 更广泛的语言[1][2]。然而,语言覆盖范围扩大,并不必然保证复杂真实文本输入下的可靠合成。
真实 TTS 输入常包含数字、日期、命名实体、长句和标点结构等书面表达,这些内容对文本正则化、发音建模和韵律控制提出了更高要求[3][4]。在低资源语言中,这些问题更加突出,因为文本前端资源、发音词典、G2P 工具和自动评估系统往往不如高资源语言成熟[5][6]。
此外,复杂文本输入下的失败是多维的:模型可能生成听起来自然的语音,却仍出现内容遗漏、语言不一致、截断、重复或异常时长。近期鲁棒 TTS 研究也表明,基于语言模型的 TTS 系统可能出现韵律不稳定、转写错误率偏高以及困难句错误等问题,说明普通句子评估不足以支撑面向部署的鲁棒性诊断[7][8]。
因此,本文不再只关注“系统能否合成某种语言”,而是进一步追问:在复杂文本条件下,系统会如何失败、在哪里失败。围绕这一问题,论文提出了一套面向低资源多语言 TTS 的复杂文本鲁棒性诊断框架。
方法:复杂文本鲁棒性诊断框架
论文提出的诊断框架如图 1 所示,整体分为四个阶段:
- 多语言复杂文本测试:覆盖泰语、越南语、斯瓦希里语和印尼语,包含六类文本;
- TTS 生成:在相同输入条件下评估 OmniVoice[9]、VoxCPM2[10] 和 MMS-TTS[2];
- 自动诊断指标:用 CER 评估内容一致性,用 LID-Acc 评估语言一致性,用 DAR 评估生成稳定性;
- 失败归因:结合文本类别、自动指标、TRS 和人工抽样分析,识别遗漏、重复、截断、语言混淆和口语化错误等典型失败模式。
给定目标语言 ll、输入文本 tt 和 TTS 模型 MM,生成语音记为:

评估从三个互补维度展开:
- 内容一致性:合成语音是否准确保留输入文本内容;
- 语言一致性:合成语音是否仍处于指定目标语言;
- 生成稳定性:是否产生完整、有效、时长合理的音频,而非遗漏、重复、截断或异常时长。
多语言复杂文本测试集
论文在 OmniVoice[9]、VoxCPM2[10] 和 MMS-TTS[2] 三个代表性多语言 TTS 系统上开展实验。评估使用 Whisper large-v3[11] 作为统一多语言 ASR 后端。普通句子和部分命名实体来自公开多语言语料,包括 FLEURS[12] 和 Common Voice[13]。
论文选择泰语、越南语、斯瓦希里语和印尼语作为实验语言,原因在于它们在书写系统、语言特性和资源条件上具有代表性:
- 泰语:非拉丁文字,自然文本通常没有显式空格分词,增加分词、韵律边界预测和前端处理难度;
- 越南语:扩展拉丁字母,带丰富声调符号,适合考察复杂正字法和音系区分;
- 斯瓦希里语:代表性班图语,拉丁文字,正字法相对规范,但语音语料和发音建模工具仍远不如高资源语言;
- 印尼语:拉丁文字,拼写-发音对应规则性较强,前端复杂度相对较低,但常与地区语言(如爪哇语)混用,适合考察代码混写输入。
每种语言构建 240 条输入文本,六类各 40 条,总计 960 条输入文本。三个系统各合成全部输入,共 2880 次合成任务。
六类文本如下:
表1 复杂文本鲁棒性测试中的文本类别、越南语代表性示例及诊断目标

表1给出了越南语的代表性示例。相同分类体系和构建规则应用于所有语言。
自动诊断指标
论文设计了三类自动诊断指标:
- CER(Character Error Rate):内容一致性。使用 Whisper large-v3[11] 作为统一多语言 ASR 后端,并强制指定目标语言,避免 LID 错误污染 CER。
- LID-Acc(Language Identification Accuracy):语言一致性。Whisper large-v3 不指定语言,自动识别生成音频语言,再与目标语言比较。
- DAR(Duration Abnormal Rate):生成稳定性。统计有效生成音频中时长异常样本的比例。
对于数字和日期样本,论文采用格式鲁棒参考匹配策略:CER 同时对比口语形式参考和原始书面输入,取较低值,以减少 ASR 逆向文本正则化带来的虚假惩罚。该策略仍保留真实错误,如数字读错、日期顺序错误、遗漏、替换和内容偏移。
Text Risk Score(TRS)
论文提出轻量级 Text Risk Score(TRS),用于在语音生成前估计输入文本的合成风险。TRS 不需要人工标注、额外训练或访问生成语音,仅从可解释的文本级特征计算:

其中 KK 为风险特征数量。连续特征在每个语言内部做 min-max 归一化:

TRS 使用等权重:

表2给出了 TRS 使用的风险特征
表2 文本风险评分中所使用的风险特征

论文使用 Spearman 秩相关量化 TRS 与诊断指标的关系:

同样计算 TRS 与 DAR、LID 错误率的相关性。正相关表示高风险文本更可能产生高合成错误。
实验结果
整体鲁棒性
表3给出了三个系统在四种语言上的 CER、LID-Acc 和 DAR。结果显示:
- OmniVoice 在多数语言上 CER 较低,内容保持较强;但在越南语和斯瓦希里语上 DAR 较高,说明低内容错误不一定意味着时长稳定。
- VoxCPM2 在印尼语上 CER 最低,但印尼语 LID-Acc 降至 84.17%,存在语言一致性隐患。
- MMS-TTS 在多数语言上 CER 高于 OmniVoice,尤其在泰语和越南语上更明显,DAR 也随语言变化。
这说明多语言 TTS 鲁棒性不能由单一指标刻画。一个模型可能内容保持较好,却存在语言不一致或时长异常;另一个模型可能生成稳定,但内容准确性较弱。
表3 跨模型与跨语言的整体鲁棒性结果。CER 的计算采用统一的文本规范化处理,并对数字/日期样本使用格式鲁棒性参考匹配;DAR 则基于规范化后的评估集与参考集长度计算得出。

复杂文本类别的影响
表4给出跨模型、跨语言平均后的类别结果。要点如下:
- 数字与日期 CER 最高,达 23.40%,即使采用格式鲁棒匹配,仍是内容一致性最具挑战的类别;
- 混写文本 CER 为 17.77%,说明代码混写和混合文字输入仍然困难;
- 命名实体 CER 为 6.78%,反映实体发音和 OOV 处理难度;
- 长句 CER 最低,为 2.06%,说明句子长度本身不是内容错误的主要来源;如果长句不含数字、日期、外来词或命名实体,仍可能可靠合成。
LID-Acc 和 DAR 提供了额外证据:
- 普通句子 LID-Acc 相对较低,为 94.17%,可能与短语音中语言特定声学线索有限有关;
- 数字与日期 LID-Acc 高,但 DAR 最高,达 17.92%,说明数字表达可能影响生成稳定性,触发重复或异常时长;
- 标点相关表达 DAR 高于命名实体和混写文本,说明标点结构可能影响停顿控制和时长分布。
表4 各文本类别下的平均鲁棒性结果。结果基于所有模型及所有语言取平均值得出。

模型特定失败模式
表5比较了模型在不同文本类别上的 CER 和 DAR:
OmniVoice:普通句子、命名实体、长句、混写文本和标点输入上 CER 较低;但数字日期 CER 为 20.57%,且普通句子和数字日期上 DAR 较高。
VoxCPM2:数字日期 CER 为 21.54%,与 OmniVoice 接近;但混写文本 CER 高达 32.09%,说明其主要脆弱点不仅在数字口语化,还包括代码混写和混合文字输入处理。其 DAR 总体低于另外两个系统,失败更多与内容准确性相关。
MMS-TTS:在数字日期、命名实体和混写文本等多个复杂类别上 CER 最高;数字日期 DAR 达 23.75%,说明该类别也可能触发时长异常。
总体而言,复杂文本鲁棒性应按失败类型考察,而不能只看平均模型性能。模型可能在普通句子上表现良好,却在特定高风险类别上失败。
表5 不同文本类别下模型特有的故障模式。结果基于四种语言取平均值。

语言特定鲁棒性
表6给出各语言平均结果:
- 泰语 CER 最高,为 14.72%,可能与非拉丁书写系统、缺少显式空格分词以及 ASR 评估难度有关;
- 越南语 CER 为 15.10%,LID-Acc 为 100.00%,说明语言一致性不必然保证内容准确性;越南语 DAR 最高,为 9.17%;
- 斯瓦希里语 CER 为 10.33%,LID-Acc 为 97.21%,DAR 为 6.39%;
- 印尼语 CER 最低,为 5.36%,但 LID-Acc 仅 93.33%,可能反映真实语言控制问题,也可能是 LID 分类器难以区分印尼语与声学或词汇上相近的语言。
语言级结论应结合类别级结果和代表性失败案例一起解读。
表6 语言特定鲁棒性结果。结果基于三个 TTS 系统及所有文本类别的平均值得出。

TRS 有效性
表7将输入文本按 TRS 分为低、中、高三组:
- 高风险组 CER 最高,达 16.89%;
- 低风险组和中风险组 CER 分别为 8.80% 和 9.50%。
这说明 TRS 能捕捉部分影响内容保持的输入级复杂度。TRS 与 DAR 的关系较弱且依赖模型,与 LID 错误率没有明显正相关。表 8进一步给出 Spearman 相关:
- TRS-CER 平均相关为 0.38,呈中等正相关;
- TRS-DAR 平均相关为 0.23;
- TRS-LID-Err 平均相关为 -0.08。
因此,TRS 更适合识别文本诱导的内容风险,而不是预测语言识别错误。它应作为粗粒度预合成风险指标,而非 ASR 评估、LID 分析或人工案例检查的替代品。
表7 不同基于 TRS 的风险分组下的平均失效指标。结果对所有模型及语言进行平均计算得出。

表8 TRS与合成失败指标之间的斯皮尔曼相关。每个数值先在每种语言中计算,然后在四种语言中取平均

代表性诊断案例
附录表9 给出了典型失败案例,用于解释类别级 CER 趋势。高 CER 可能来自多种来源:
- 真实 TTS 内容错误;
- 数字/日期口语化失败;
- 口语形式参考与 ASR 逆向文本正则化不匹配;
- 代码混写词混淆;
- 命名实体替换;
- 偶发重复或幻觉转写。
例如:
- OmniVoice / 越南语:输入日期“ngày 12 tháng 1 năm 2026 lúc 09:30”,ASR 转写回数字形式,CER 为 0.00%,属于 ASR 逆向文本正则化;
- VoxCPM2 / 印尼语:电话号码被正确读出,ASR 又转写回数字,CER 为 0.00%;
- MMS-TTS / 越南语:楼层和房间号信息丢失,CER 为 54.17%,属于真实内容丢失;
- VoxCPM2 / 斯瓦希里语:出现重复输出,插入错误主导,CER 未截断达 634.00%;
- MMS-TTS / 越南语:混写词“newsletter”被混淆为“next time”,CER 为 25.71%;
- MMS-TTS / 越南语:命名实体“Elon Musk”和“Starlink”被替换为“Trump”和“Stalin”,CER 为 29.41%;
- MMS-TTS / 印尼语:长句但不含高风险 token,CER 为 0.00%。
这些案例支持一个结论:句子长度本身不是复杂文本鲁棒性的主导因素,数字、代码混写词和命名实体等特定书写模式更具决定性。
表9 用于解读类别级 CER 结果的典型诊断案例。CER 遵循主实验中采用的最终评估协议。对于数字/日期样本,采用格式鲁棒性参考匹配方法,以减少由 ASR 逆文本规范化引起的误判。

结论与局限
论文提出了一套面向低资源多语言 TTS 的复杂文本鲁棒性诊断框架,从内容一致性、语言一致性和生成稳定性三个维度评估系统,并设计了覆盖泰语、越南语、斯瓦希里语和印尼语的六类复杂文本测试。实验表明,复杂文本输入会暴露普通短句评估中不明显的失败模式,错误随文本类别、语言和模型变化。TRS 提供了一种轻量级方式,将输入级文本复杂度与合成失败关联起来,支持预合成风险分析。
局限包括:
- 仅覆盖四种语言,不能完全代表所有低资源语言或书写系统;
- 评估主要依赖自动指标和有限人工检查,细粒度发音准确性和主观自然度尚未充分分析;
- TRS 基于规则文本特征,尚未引入可训练风险预测模型。
未来工作将扩展语言覆盖和文本类别,引入母语者评估和更细粒度发音分析,并探索文本前端纠正、风险感知解码和合成结果过滤,以提升低资源多语言 TTS 在真实应用中的鲁棒性。
参考文献
[1] Zolzaya Byambadorj, Ryota Nishimura, Altangerel Ayush, Kengo Ohta, and Norihide Kitaoka, “Text-to-speech system for low-resource language using cross-lingual transfer learning and data augmentation,” 2021.
[2] Vineel Pratap, Andros Tjandra, Bowen Shi, Paden Tomasello, Arun Babu, Sayani Kundu, Ali Elkahky, Zhaohong Ni, Apoorv Vyas, Maryam Fazel-Zarandi, et al., “Scaling speech technology to 1,000+ languages,” 2024.
[3] Peter Ebden and Richard Sproat, “The Kestrel TTS text normalization system,” 2015.
[4] Courtney Mansfield, Ming Sun, Yuzong Liu, Ankur Gandhe, and Björn Hoffmeister, “Neural text normalization with subword units,” 2019.
[5] Aliya Deri and Kevin Knight, “Grapheme-to-phoneme models for (almost) any language,” 2016.
[6] Georgi Tinchev, Marta Czarnowska, Kamil Deja, Kayoko Yanagisawa, and Marius Cotescu, “Modelling low-resource accents without accent-specific TTS frontend,” 2023.
[7] Bing Han, Long Zhou, Shujie Liu, Sanyuan Chen, Lingwei Meng, Yanming Qian, Yanqing Liu, Sheng Zhao, Jinyu Li, and Furu Wei, “VALL-E R: Robust and efficient zero-shot text-to-speech synthesis via monotonic alignment,” 2024.
[8] Detai Xin, Xu Tan, Kai Shen, Zeqian Ju, Dongchao Yang, Yuancheng Wang, Shinnosuke Takamichi, Hiroshi Saruwatari, Shujie Liu, Jinyu Li, and Sheng Zhao, “RALL-E: Robust codec language modeling with chain-of-thought prompting for text-to-speech synthesis,” 2024.
[9] Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, and Daniel Povey, “OmniVoice: Towards omnilingual zero-shot text-to-speech with diffusion language models,” 2026.
[10] Yixuan Zhou, Guoyang Zeng, Xin Liu, Xiang Li, Renjie Yu, Jiancheng Gui, Jiaheng Wu, Ziyang Wang, Xudong Shen, Runchuan Ye, Zhisheng Zhang, Jiuyang Zhou, Bingsong Bai, Weiyue Sun, Mengyuan Deng, Qundong Shi, Zhiyong Wu, and Zhiyuan Liu, “VoxCPM2 technical report,” 2026.
[11] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever, “Robust speech recognition via large-scale weak supervision,” 2022.
[12] Alexis Conneau, Min Ma, Simran Khanuja, Yu Zhang, Vera Axelrod, Siddharth Dalmia, Jason Riesa, Clara Rivera, and Ankur Bapna, “FLEURS: Few-shot learning evaluation of universal representations of speech,” 2022.
[13] Rosana Ardila, Megan Branson, Kelly Davis, Michael Hemerty, Michael Kohler, Josh Meyer, Reuben Morais, Lindsay Saunders, Francis M. Tyers, and Gregor Weber, “Common Voice: A massively-multilingual speech corpus,” 2020.
