随着可控语音生成的发展，训练数据不仅要描述“说了什么”，还需覆盖说话人特征、韵律、情绪、副语言现象、声学场景与上下文含义。然而，人工多维标注难以扩展至大规模数据，商业多模态接口又存在调用成本、吞吐限制和外部依赖；对长音频逐片段独立处理，还容易忽略跨片段语境与说话人一致性。

为此，我们提出 SpeechAnnotator，一个完全基于开源模型和工具、可本地部署的上下文感知多智能体语音标注框架。系统通过共享状态协调时间线构建、证据提取、多模态标注与审查修订，并利用有界审查循环定向修正证据不足或跨片段不一致的字段。本文同时构建 SpeechAnnotator-Bench 和 SpeechAnnotator-Eval，用于评估说话人感知时间线恢复及 15 个片段级属性。

该工作由西北工业大学音频语音与语言处理研究组（ASLP@NPU）、南京大学、语图智能和深圳媲美科技共同完成。下文将对论文 “SpeechAnnotator: A Context-Aware Multi-Agent Framework and Benchmark for Multidimensional Speech Annotation” 作简要介绍。

论文题目：SpeechAnnotator: A Context-Aware Multi-Agent Framework and Benchmark for Multidimensional Speech Annotation

作者列表：詹其瑞 王水源 胡景斌 张皓宇 任夏明 梁津睿 余朝仁 吴本谷 陈云翔 刘厚盾 冯溯 薛浏蒙 谢磊

合作单位：南京大学、语图智能、深圳媲美科技

代码与数据：https://github.com/zhanqirui/SpeechAnnotator

在线演示：https://zhanqirui.github.io/SpeechAnnotator-demo-page


背景动机

已有语音与音频数据管线通常只覆盖完整标注目标的一部分。人工标注数据集能够提供高质量事件或副语言标签，但面对大规模长音频和更丰富的属性体系，重复聆听、交叉核验和返工的成本会迅速上升。模型辅助管线可以承担转录、改写、声学特征提取或描述生成，却常常依赖付费托管接口，或将每个片段作为独立事件处理，难以利用同一说话人的历史信息、相邻话轮和录音级语境。

多维语音标注还存在一个容易被忽略的问题：不同字段需要不同的证据。音高、语速和音色应主要由局部声学信号决定；口音、感知年龄和感知性别需要参考同一说话人在多个片段中的稳定表现；情绪可以借助邻近话轮理解，但不能脱离局部声音特征；环境和背景声必须得到原始音频或声音事件检测结果的支持。若把所有证据不加区分地交给一个模型，额外上下文反而可能诱发无依据推断。

因此，SpeechAnnotator 关注的并非简单串联多个模型，而是三个更具体的问题：怎样为每个字段选择与排序证据，怎样在保留长音频上下文的同时限制无关信息，以及怎样在初始标签生成后只修正真正存在冲突的字段。

SpeechAnnotator：共享状态驱动的多智能体标注框架

SpeechAnnotator 将长音频处理为一组带有统一片段键的结构化记录。增强音频、说话人感知时间线、片段音频、最终转录、先验证据、字段契约、初始预测、审查结果和最终 JSON 都通过该键关联。共享状态使各阶段能够读取已有证据并写回自己的产物，也为失败重试和错误分析保留完整轨迹。

图1 SpeechAnnotator 总体架构

需要区分的是，前端处理和先验证据提取属于支持模块，并不被定义为智能体。SpeechAnnotator 中负责观察共享状态、做出字段级决策并写回动作的智能体只有三个：Planning Agent、Labeling Agent 和 Review Agent。

支持模块：建立可靠的片段骨架

系统先使用 FullSubNet 对长音频进行语音增强，再由 MOSS-Transcribe-Diarize 估计说话人同质区间、说话人标识和初始转录。按照 MOSS 给出的片段边界切分音频后，Qwen3-Omni 对每个片段的初始文本进行修正，修正结果作为后续标注使用的最终片段转录。片段表随后统一记录边界、说话人、片段音频和文本。

先验证据提取模块按片段键补充不同类型的声学线索。DataSpeech 在增强后的片段上估计音高、能量、响度和语速等统计信息；Emotion2vec 与声音事件检测模块处理增强前的原始音频，以尽量保留情绪、副语言发声、非语音事件和背景场景信息。系统不向模型提供外部的年龄或性别先验，这两个字段由多模态标注器结合原始音频和说话人历史进行判断。

Planning Agent：把上下文转换为字段契约

Planning Agent 读取片段表、转录文本、先验证据、录音级摘要、说话人历史和相邻片段。它不直接输出标签，而是针对每个待标字段构造一个轻量字段契约，规定标注目标、允许使用的证据、证据优先级、上下文范围和冲突处理方式。

这种字段级规划让上下文以受控方式进入标注过程。音高、语速、节奏、语调、音色和发音更重视当前片段及声学统计；口音、感知年龄和感知性别可以参考同一说话人的历史表现；情绪和副语言现象允许使用相邻话轮作为弱支持；环境与背景声则必须回到原始音频或声音事件证据。完整上下文仍保存在共享状态中，但每次决策只暴露与当前字段有关的部分。

Labeling Agent：按契约完成多模态预测

Labeling Agent 由 Qwen3-Omni 实现。它接收原始片段音频、转录文本、选定证据、允许使用的上下文和字段契约，对感知性别、感知年龄、口音、音高、语速、节奏、语调、音色、发音、情绪、副语言现象、环境和背景声等直接可观察属性生成自然语言或闭集预测。

音频描述（caption）和语境推理（contextual inference）并不在这一阶段单独预测，而是在审查结束后，由确定性后处理根据转录文本、已审查属性和保留上下文进行汇总。这样可以避免它们与底层属性互相矛盾，也使语义描述建立在完整的已审查状态上。

Review Agent：通过有界 review loop 定向纠错

初始预测写入共享状态后，Qwen3.6-27B Review Agent 检查每个字段是否得到保留证据支持，并判断其与说话人历史、相邻片段和相关字段是否一致。典型冲突包括：背景声只来自文本联想而没有声学依据，情绪与韵律表现不一致，同一说话人的属性在相邻片段间发生漂移，或某个局部标签与录音级语境冲突。

发现可恢复问题时，Review Agent 不会重启整条管线，而是生成字段级修订请求，只让 Labeling Agent 重新预测受影响字段。已接受标签、前端时间线和无关先验证据保持不变。当全部字段通过审查或达到预设修订次数后，循环停止。相比整段重新生成，这种有界 review loop 把纠错范围限制在有问题的字段上，同时保留每次接受或重标注的依据。

后处理模块对说话人标识和模式格式进行规范化，汇总生成 caption 与 contextual inference，并将所有结果序列化为统一 JSON。review loop 负责语义支持与跨片段一致性，后处理则负责格式校验与结构化输出，两者的职责相互分离。

SA-Bench：面向长音频多维标注的测试集

SA-Bench 包含 8.87 小时以中文为主的人工标注音频，覆盖九种语音来源形式：现场解说、知识讲述、动画配音、广播新闻、电影与评论、对话与销售、个人独白、有声书叙述和政治辩论。不同来源在说话人轮换、表达方式、背景条件和篇章结构上具有明显差异，可以更全面地检验长音频标注链路。

图2 SA-Bench 九类语音来源的时长分布

数据采用“五名标注员 + 两名质检员”的流程。五名经过训练的标注员独立标注片段边界、说话人标识、转录文本和多维属性，两名质检员再对全部结果进行检查，将不一致或不合格记录退回修订。现场解说占 1.46 小时，知识讲述和动画配音均约为 1.16 小时，广播新闻为 1.10 小时，其余时长分布在余下五种来源中，整体不存在单一类别占据绝对多数的情况。

图3 SpeechAnnotator 的 15 个标注字段及六类证据分组

每个参考片段包含时间边界、说话人标识、转录文本和 15 个属性。按证据来源与标注作用，这些属性被组织为六组：语义理解包含 caption 和 contextual inference；说话人画像包含 perceived gender、perceived age 和 accent；韵律与表达包含 pitch、speed、rhythm 和 tone；声音质量与构音包含 texture 和 pronunciation；情感与副语言线索包含 emotion 和 paralinguistic cues；声学场景包含 environment 和 background sound。

除 perceived gender 和 perceived age 外，其余 13 个字段均采用自然语言描述。该设计保留了描述的细粒度和开放性，也要求评估方法能够识别措辞不同但语义相近的答案。

SA-Eval：将时间线、闭集属性和开放描述分开评估

SA-Eval 不把所有输出压缩成一个端到端分数，而是根据输出结构分为三个互补部分。

Timeline-Eval 着重评估说话人日志能力。由于 SA-Bench 以中文为主，评估采用字符错误率（CER）、考虑说话人最优映射的拼接最小排列字符错误率（cpCER），以及进一步加入时间约束的最小排列字符错误率（tcpCER）。三项指标分别反映文本内容、说话人归属和时间对齐误差。

Closed-Eval 在固定时间线设置下评估 perceived gender 和 perceived age。预测值经过大小写、标点、空值和别名规范化后，与参考值进行精确匹配。

Open-Eval 用于其余 13 个自然语言字段。评估器使用冻结的 Qwen3.6-27B 提取参考文本与预测文本的最后一层隐藏状态，通过注意力掩码进行均值池化并完成 L2 归一化，再计算截断到非负区间的余弦相似度。Qwen3.6-27B 在这里不生成评价意见，也不充当提示驱动的裁判模型，只提供固定的语义表示空间，从而减少开放描述受表面措辞差异的影响。

属性实验使用参考片段边界、参考说话人和参考转录重建片段表，使不同系统在同一时间线上预测 15 个属性。SpeechAnnotator 与四个商业音频多模态系统均在相同输入下独立运行五次，每个字段报告五次运行的均值与标准差，Average 为 15 个字段均值的等权平均。

实验结果

Speaker Diarization结果

首先评估 SpeechAnnotator 从长音频中恢复转录文本、说话人归属与时间边界的能力。实验采用 CER、cpCER 和 tcpCER 分别衡量文本识别、说话人感知识别及时间约束下的综合误差，三项指标均为越低越好。

表1 Speaker Diarization结果

SpeechAnnotator 在 CER 和 tcpCER 上取得最低结果，分别为 12.42% 和 33.69%；Qwen3.5-Omni-plus 的 cpCER 最低，为 26.31%。与独立运行的 MOSS-Transcribe-Diarize 相比，利用 Qwen3-Omni 修正 MOSS 片段文本后，CER 从 12.84% 降至 12.42%，tcpCER 从 34.08% 降至 33.69%。SpeechAnnotator 的 tcpCER 比表现最好的商业对比系统 Seed2.0 Lite 低 19.92 个百分点，说明开源链路在说话人感知时间线恢复上具有明显优势。

多维属性标注

在统一使用参考时间线的条件下，进一步评估不同系统对片段级多维属性的标注能力，从而排除分段与说话人分配差异的影响。实验覆盖 15 个字段，并将其归纳为六类属性；字段得分越高越好，宏平均分为所有字段的等权平均。

表2 多维属性标注结果

SpeechAnnotator 的 15 字段宏平均得分为 81.27%，整体排名第二，与 Gemini 2.5 Pro 的差距为 0.46 个百分点。它在 15 个字段中的 7 个取得最高分，分别是 tone、pitch、speed、rhythm、texture、pronunciation 和 paralinguistic cues；其中 speed、texture、rhythm 和 pronunciation 相比各字段最强商业结果分别高出 21.60、9.38、8.09 和 7.49 个百分点。按六类字段汇总后，SpeechAnnotator 在韵律与表达、声音质量与构音两组中排名第一，平均得分分别达到 86.75% 和 86.48%。

结果也暴露出当前系统的不足。Environment 得分为 55.04%，短而以语音为中心的片段往往缺少稳定场景线索，模型容易转而依赖转录语义；emotion 得分为 62.85%，说明细微、混合或随语境变化的情感仍难从局部韵律中可靠判断；perceived age 与最佳商业系统之间也存在明显差距。因而，SpeechAnnotator 的优势主要集中在韵律、表达方式、声音质量和构音等由局部音频与专门先验证据共同支撑的字段，场景与细粒度情感仍是后续改进重点。

消融实验

为验证审查循环、异质先验和跨片段上下文的具体贡献，实验在相同的参考时间线下分别移除对应模块，并比较 15 个字段的宏平均得分及运行间波动。三个消融设置分别衡量系统的定向修订能力、声学证据约束能力和上下文推理能力。

表三 消融实验结果

移除 review loop 后，宏平均从 81.27% 降至 80.42%，运行间标准差由 0.34 增至 0.39。下降主要出现在感知年龄、感知性别、caption、语速、音高和情绪，说明 Review Agent 的作用并非格式检查，而是通过字段级重标注提高说话人相关、语义、韵律和情感判断的一致性。

移除 DataSpeech、Emotion2vec 和声音事件检测提供的先验证据后，宏平均下降 1.20 个百分点。声学场景、情感与副语言线索、韵律与表达受到的影响最大，表明异质先验的主要价值是约束需要声学支撑的字段，而不是改变语义描述的措辞。

移除录音级摘要、说话人历史和相邻片段后，宏平均下降至 79.79%，是三个消融设置中降幅最大的一个。Caption、contextual inference、perceived age、accent 和 paralinguistic cues 分别下降 4.77、3.83、3.37、2.94 和 2.12 个百分点。这一结果说明，上下文对语义解释、说话人依赖属性和跨片段副语言一致性最为关键，而局部可观察的声音质量字段对长上下文的依赖相对较小。

总 结

SpeechAnnotator 将多维语音标注组织为一个可检查、可修订的共享状态流程。支持模块负责构建说话人感知时间线、修正片段文本并提取异质声学证据；Planning Agent 决定每个字段可以使用哪些证据和上下文；Labeling Agent 按字段契约完成多模态预测；Review Agent 通过有界 review loop 识别证据不足和跨片段不一致，并只重标注受影响字段。围绕这套流程，SA-Bench 提供 8.87 小时、九种来源形式的人工标注测试数据，SA-Eval 则将时间线恢复、闭集属性与开放自然语言描述分开评估。

实验显示，这套完全开源、可本地部署的链路在 CER 和 tcpCER 上优于所有商业对比系统，并在 15 个属性中取得 7 项最佳结果，属性宏平均与最强商业系统相差 0.46 个百分点。消融实验进一步表明，上下文、异质先验和 review loop 分别带来 1.48、1.20 和 0.85 个百分点的平均增益。后续工作将继续加强字段专属证据建模、上下文选择和审查策略，并扩展到更多语言与录音场景。

参考文献

[1] Hu, J., Chen, H., Ma, L., Guo, D., Zhan, Q., Li, W., et al. VoiceSculptor: Your Voice, Designed by You. arXiv preprint arXiv:2601.10629, 2026.

[2] Yang, C., Yu, C., Chen, H., Zhu, J., Chen, J., Chen, K., et al. MOSS-Audio Technical Report. arXiv preprint arXiv:2606.01802, 2026.

[3] Yu, D., et al. MOSS Transcribe Diarize Technical Report. CoRR, 2026.

[4] Xu, J., et al. Qwen3-Omni Technical Report. arXiv preprint arXiv:2509.17765, 2025.

[5] Hao, X., Su, X., Horaud, R., and Li, X. FullSubNet: A Full-Band and Sub-Band Fusion Model for Real-Time Single-Channel Speech Enhancement. In: ICASSP, pp. 6633–6637. IEEE, 2021.

[6] Ma, Z., et al. emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation. In: Findings of ACL, pp. 15747–15760, 2024.

[7] Schmid, F., et al. Effective Pre-Training of Audio Transformers for Sound Event Detection. In: ICASSP, pp. 1–5. IEEE, 2025.

[8] Wang, Y., Peng, J., Li, H., Wang, C., Tu, W., Xi, Y., et al. Audio-Mind: An Auditable Agentic Framework for Audio Understanding. arXiv preprint arXiv:2605.28480, 2026.

[9] Wijngaard, G., Formisano, E., Dumontier, M., and Jitsev, J. AudioToolAgent: An Agentic Framework for Audio-Language Models. arXiv preprint arXiv:2510.02995, 2025.

[10] Bañeras-Roux, T., et al. Evaluation of Automatic Speech Recognition Using Generative Large Language Models. arXiv preprint arXiv:2604.21928, 2026.