自然对话里的信息,从来不止于文字。笑声、咳嗽、叹息、呼吸…… 这些非语言人声(Nonverbal Vocalizations, NVVs)藏着情绪、态度和话轮信号,是人际交流的重要组成部分。但传统语音识别(ASR)系统往往把它们当作噪音过滤掉,或是笼统归为非语音符号,既丢了关键的副语言信息,也做不到精准识别与定位。

ISCSLP 2026 NVVSpeech Challenge Track 1 正是针对这一问题:要求系统在识别语音内容的同时,精准定位并区分 16 类非语言人声,输出带内嵌标签的完整转录。中英双语场景下,标注质量参差、数据分布不均、自然场景稀缺,都是摆在面前的难题。

近期,西北工业大学 ASLP 团队联合深圳媲美科技、语图智能、南京大学等单位,提出了一套源适配数据构建策略,搭配轻量化改造的 NVV-Aware Whisper 模型,在官方评测中将双语综合得分从 33.32 大幅提升至 53.61,让语音识别真正 “听懂” 笑声与叹息。

论文题目:Source-Adaptive Data Curation for Bilingual NVV-Aware ASR

作者列表:曹雨昂, 詹其瑞, 胡景斌, 张子臾, 陈云翔, 刘厚盾, 冯溯, 吴本谷, 谢磊, 薛浏蒙

作者单位:深圳媲美科技、语图智能、南京大学

论文链接:https://arxiv.org/pdf/2609.09929


背景动机

NVVSpeech Challenge Track 1 要求系统从音频中同时输出词汇转录与内嵌 NVV 标签,需准确识别 16 类 NVV 并将其放置在文本的对应位置。中英双语场景下,任务面临三大核心挑战:

  • 标注异构性强:现有公开 NVV 数据集[2][3]标注规范不统一、质量参差不齐,稀有类别样本稀缺,长尾分布严重;
  • 自然数据难利用:影视等野生素材包含丰富的自发 NVV 与真实交互场景,但缺乏可靠标注,无法直接用于监督训练;
  • 双语权衡难平衡:中英文 NVV 的声学形态、分布规律差异显著,提升 NVV 识别能力容易以牺牲词汇转录精度为代价。

这项工作的核心思路是从 “模型适配” 与 “数据构建” 两端协同发力:通过轻量化改造让 Whisper 支持 NVV 联合解码,再通过源自适应数据策略同时挖掘公开语料的标注价值与野生素材的自然多样性,双路径互补构建高质量双语训练集。

方法概览

系统以 Whisper-medium 为基础骨架,通过检查点兼容的词表重映射实现词汇 token 与 NVV 标签的统一自回归解码;数据层面采用双路径构建策略:对公开语料通过声学增强与多模态 LLM 过滤实现精制,对影视长音频通过预处理、初转录与自动化标注挖掘自发 NVV,最终融合形成高质量双语训练集。

图1 NVV-Aware Whisper 整体架构与源自适应数据构建流水线

NVV 感知建模:词表重映射实现联合自回归解码

论文采用 Whisper-medium(769M 参数)作为骨干模型[1],其编码器 - 解码器结构支持内嵌标签的自回归生成,无需额外新增事件检测模块。

针对原生 Whisper 词表无 NVV 专用标签的问题,论文提出检查点兼容的词表重映射方案:复用 16 个未使用的 BPE 条目,将其重映射为 16 类标准 NVV 标签,并移除对应的合并规则,使每个 NVV 标签成为独立的原子 token。该方案完全保留原词表大小与模型维度,可直接复用预训练检查点,无需扩充模型参数。

词汇 token 与 NVV 标签共享解码器输出空间,在统一的自回归框架中联合生成:

该架构将词汇转录、NVV 类别识别与文本相对位置建模融为一体,训练时使用标准自回归交叉熵损失端到端优化全部参数。推理时禁用时间戳预测,仅输出文本相对位置的 NVV 标签,符合 Track 1 任务要求。

源自适应数据构建:双路径互补的语料生产流水线

针对公开语料标注质量不均、自然场景数据无标注的痛点,论文提出两条并行的数据构建路径,兼顾标注可靠性与声学多样性。

1. 公开语料精制:从 “有标注” 到 “高质量标注”

对现有公开双语 NVV 语料进行三步标准化加工,提升标注一致性与数据多样性:

  • 标签归一化:将不同数据集的异构标注统一映射到挑战赛 16 类标准标签体系,确保所有样本遵循统一的带标签转录格式;
  • 声学增强:通过加性高斯白噪声与语速扰动扩充样本,对呼吸、笑声等高频标签降采样,对长尾类别上采样,缓解标签分布失衡。扰动参数控制在温和范围(信噪比 20~35dB,语速因子 0.9~1.1),避免破坏呼吸、抿嘴等弱 NVV 的声学细节;
  • 多模态 LLM 过滤:将音频与标注文本一同输入 Gemini 2.5 Pro [5]进行 “接受 - 拒绝” 式校验,仅保留声学真实存在、类别判断正确、与上下文匹配的样本,优先保障标注质量而非数据数量。

2. 影视数据挖掘:从 “无标注” 到 “结构化标注”

从影视长音频中挖掘自然发生的 NVV 样本,补充公开语料中缺失的自发表达、交互场景与声学环境:

  • 音频预处理:提取音轨,通过 SileroVAD 识别语音活动区并去除长段静音,对强干扰音频使用 MossFormer2-SE-48K 降噪,切分为适配 Whisper 30s 输入窗口的短句;
  • 初转录与分段:使用 Volcengine Doubao ASR 2.0 生成初步句子级转录、说话人信息与时间戳,结合 VAD 结果合并片段,构建词汇转录骨架;
  • 自动化 NVV 标注:将分段音频与初转录文本联合输入 Gemini 2.5 Pro[5],生成同时包含词汇内容与内嵌 NVV 标签的精校转录。该过程为生成式标注,可根据声学证据自动完成标签的插入、删除、类别修正与位置调整,保留自然的事件时序与对话交互模式。

最终将精制公开语料与影视挖掘数据融合,并混入 178.8 小时无标签纯语音样本作为负例,构建出总时长 1178.8 小时的双语训练集,包含 37 万余条话语与 51 万余个标注 NVV 事件。


实验设置

模型训练:基于 Whisper-medium 全参数微调,使用 AdamW 优化器与余弦学习率调度,学习率为,warmup 步数 500,有效 batch size 为 352,采用 bfloat16 精度与 DeepSpeed ZeRO-2,在 8 张 NVIDIA RTX 4090 GPU 上训练;

评测协议:遵循官方 Track 1 评测标准,指标体系与 NVV-SuperBench [4] 等主流评测框架一致,单语言得分由三部分加权构成:事件级 micro-F1(权重 70%)、多事件归一化标签距离 mNTD(权重 20%)、带标签词错率(权重 10%):

消融设计:所有对比系统采用完全相同的模型架构、训练配置与纯语音负样本,仅改变 NVV 标注训练语料的构成,隔离各数据组件的贡献。


实验结果与分析

整体性能:双语得分大幅跃升,识别与定位协同提升

替换原始公开数据为最终构建语料后,双语 FinalScore 从基线的 33.32 提升至 53.61,绝对提升 20.29 分。其中中文得分从 34.05 升至 55.45,英文从 32.59 升至 51.76,提升在两种语言上均稳定成立。

核心收益来自 NVV 识别与定位能力的显著增强:中文 micro-F1 从 0.3325 提升至 0.5666,mNTD 从 0.6602 降至 0.4443;英文 micro-F1 从 0.2964 提升至 0.5081,mNTD 从 0.7459 降至 0.4357。中文基本保留了原有的词汇识别准确率,英文则在 NVV 能力大幅提升的同时出现了一定的词汇精度下降,体现了双语场景下两类任务的权衡特性。

类别级表现:收益广泛覆盖,细粒度类别仍具挑战

在全部 16 类 NVV 中,英文有 14 类、中文有 15 类的 F1 值获得提升,性能增益广泛分布而非集中于少数高频类别。

  • 提升显著类别:英文 [burp](0.161→0.742)、[sigh](0.019→0.498)、[hum](0.311→0.713);中文 [sneeze](0.209→0.790)、[sniff](0.168→0.679)、[hiss](0.098→0.576);
  • 尚存难点类别:英文 [gasp]、[breath]、[moan] 与中文 [breath]、[gasp] 的 F1 仍低于 0.3,能量弱、时长短的细粒度 NVV 事件仍是识别难点;
  • 语言差异现象:中文 [burp] 在基线中已接近饱和(0.930),而英文对应类别提升空间巨大,反映出不同语言 NVV 分布的天然不均衡性。

消融验证:数据组件互补,双路径协同最优

通过控制变量消融实验,定量验证各数据构建模块的独立贡献:

  • 声学增强单独带来 4.24 分的 FinalScore 提升,后续 LLM 过滤进一步带来 1.71 分提升,二者分别从 “量” 和 “质” 层面优化公开语料,形成互补;
  • 仅使用影视挖掘数据即可达到 46.34 分,超过精制公开语料的 39.27 分,证明自然自发 NVV 数据对任务的核心价值;
  • 两种数据源融合后达到最优的 53.61 分,相比单独精制公开语料提升 14.34 分,相比单独影视数据提升 7.27 分,充分验证了双路径源自适应策略的协同增益。


总结

这项工作面向双语 NVV-aware ASR 任务,形成了一套 “轻量化模型适配 + 双路径数据构建” 的完整解决方案:

  • 建模层面:通过词表重映射实现 Whisper 的 NVV 感知改造,在不改变模型结构、不增加参数的前提下,支持词汇与 NVV 标签的端到端联合解码;
  • 数据层面:源自适应策略同时挖掘公开语料的标注价值与影视素材的自然多样性,通过标准化增强、LLM 质量校验与自动化标注,构建出高质量双语 NVV 训练集;
  • 效果层面:在 ISCSLP 2026 NVVSpeech Challenge Track 1 上实现了大幅性能提升,同时揭示了细粒度类别识别、中英双语平衡等后续优化方向。


参考文献

[1] A. Radford et al., "Robust speech recognition via large-scale weak supervision," in Proceedings of the 40th International Conference on Machine Learning, PMLR, 2023, pp. 28492–28518.

[2] H. Liao et al., "NVSpeech: An integrated and scalable pipeline for human-like speech modeling with paralinguistic vocalizations," arXiv preprint arXiv:2508.04195, 2025.

[3] R. Ye et al., "A scalable pipeline for enabling non-verbal speech generation and understanding," arXiv preprint arXiv:2508.05385, 2025.

[4] L. Xue et al., "NVV-SuperBench: Beyond words, beyond quality-benchmarking nonverbal vocalizations in speech generation," arXiv preprint arXiv:2604.16211, 2026.

[5] G. Comanici et al., "Gemini 2.5: Pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities," arXiv preprint arXiv:2507.06261, 2025.