有声书、广播剧、影视配音，正在成为语音生成最真实的落地场景。这里的“考题”早已不是把一句话读得自然：模型要先读懂场景背景和人物角色描述，再按每一句台词对应的指令调整语气、语速和情绪，还要在十几轮对话中始终是“同一个人”、始终待在“同一场戏”里。

问题在于，评测没有跟上。实验室先前发布的MINT-Bench，主要考察单句指令遵循能力。该类指令遵循TTS的基准只看单句，对话 TTS 的基准多数只喂纯文本和参考说话人音频，音视频生成模型的音频分支则停留在音质、可懂度与基础表现力。三种能力被三把尺子分开量，谁也回答不了一个最朴素的问题：一个系统，能不能从头到尾演好一场戏？

近期，西工大音频语音与语言处理研究组（ASLP@NPU）联合媲美科技、语图智能、南京大学，发布 DRAMA-Eval——一个面向“上下文感知、多轮、多说话人”语音生成的场景级评测基准。它提供了 12.5 小时中英双语真实剧本测试集（配真人参考音频）、覆盖客观 / 局部 / 全局的三层评测协议，以及一套经过人评验证的 LALM-as-a-Judge A/B 偏好评测流程 [5]，并对 12 个主流开源与商业系统做了系统实测。评测代码、测试集与全部结果均已开源。

评测结果给出了一个不太乐观的答案：头部系统在单句上已经能与真人掰手腕，但一进入整场戏，多数系统的交互、流畅与沉浸就掉到 50 分以下——12 个系统里，只有 SeedAudio [6] 在英文的三项全局指标上全部越过 50 分。

论文题目：DRAMA-Eval: A Benchmark for Context-Aware, Multi-Turn, Multi-Speaker Speech Generation

作者列表：胡景斌、杨子航、彭潇格、张皓宇、张子萸、詹其瑞、陈华康、郭钊、田文杰、夏康翔、侯文康、尤若楠、刘子涵、廖晨易、吕宏宇、白梓豪、梁津睿、凌盛铭、陈云翔、刘厚盾、冯溯、吴本谷、薛浏蒙†、谢磊†

合作单位：媲美科技 语图智能 南京大学

论文预印版：https://arxiv.org/abs/2610.31796

GitHub：https://github.com/ASLP-lab/DRAMA-Eval

HuggingFace 测试集：https://huggingface.co/datasets/ASLP-lab/DRAMA-Eval

HuggingFace 完整评测结果：https://huggingface.co/datasets/ASLP-lab/DRAMA-Eval-Results

Demo page：https://ASLP-lab.github.io/DRAMA-Eval-Demo


背景动机

过去几年，语音生成沿着几条清晰的路线演进：早期的零样本 TTS 从几秒参考音频克隆音色；随后是多说话人对话 TTS，把重点放在自然的轮次切换；指令可控 TTS 引入文本提示来控制情绪与风格；最近，上下文感知 TTS 开始把对话历史当作隐式条件，让语音“贴合场景”。与此同时，音视频生成模型的音频分支也在朝多轮、多说话人的方向发展。

能力在融合，评测却还停在原地，形成三个明显的断点：

  1. 指令遵循类基准（InstructTTSEval [1]、MINT-Bench [2] 等）能细致刻画单句的语气与风格执行，但评测单元始终是“一句话”。
  2. 长音频与对话类基准（SwanBench-Speech [3]、TTSD-eval 等）覆盖了一致性与长程表现，但多数只以纯转写文本 + 参考说话人音频作为条件，缺少剧本级的结构化上下文。
  3. 音视频生成的音频分支，评测长期集中在音质、可懂度和基础表现力，很少追问“这几十秒里，角色有没有一直是同一个声音、对话有没有真的发生在同一个空间里”。

结果是：单句都很好听，拼起来却不像一场戏，语速忽快忽慢、情绪没有递进、同一个角色第二句就换了个人——这些问题只有在场景级评测里才会暴露。

基于这些问题，我们提出了DRAMA-Eval——剧本级、多轮、多说话人语音生成的统一评测基准。如表1所示（含 MINT-Bench [4] 等），在现有的公开基准中，DRAMA-Eval 是唯一同时把指令遵循、跨话语音色一致性、完整多说话人场景三项结合整场结构化剧本作为专门评测目标的基准。

表1 与相关基准的对比

DRAMA-Eval方法介绍

任务定义：把“一场戏”变成一道可评分的题

DRAMA-Eval 的评测单元是整场音频，不论它是模型原生一次生成的，还是由逐句输出按剧本拼接而成。这样既能看单句的合成质量，也能看见拼接处引入的断裂。

形式化地，一份结构化剧本可以写成：

其中 c是场景背景，R是人物角色描述，r_t是第 t轮的说话人，x_t是台词，u_t是这一轮的局部演出指令。给定剧本 S和（系统支持时的）说话人参考音频 A_ref，系统需要生成整场音频：

输出的音频要落实剧本里的内容与角色分配，还要落实那些没有写进台词、只写在提示里的东西。

数据构建：从真实作品里“抠”出可评测的剧本

整个流程分四步：

  • 真实音频采集：以播客、影视剧为主（各占约 30%），另含访谈、新闻播报、日常对话、直播带货、有声书、广告等来源；影视素材覆盖历史剧、谍战、都市剧、悬疑等类型，兼顾“对话”与“表演”两种语音形态。
  • 片段级标注：用 Gemini 2.5 Pro 对每段语音标注说话人属性与局部表达特征，描述的是真实音频里实际发生的声音行为。
  • 剧本改写：用 DeepSeek-v4.1-Flash 清洗标注并改写成统一剧本格式，把信息组织成三层——全局场景背景、人物角色描述、逐轮局部演出指令。
  • 人工质检：人工审核格式合规性，以及描述的质量与适配性；通过的剧本构成测试输入，对应的真实音频作为参考答案。

图1 DRAMA-Eval 的数据构建流程：真实音频采集 → 自动标注 → 剧本改写 → 人工审核，最终形成“场景背景 + 人物信息 + 逐轮指令”的结构化剧本测试集。

表2展示数据集具体信息，共1038条用例，分布广泛，长短均有，有丰富的情绪和说话人信息。

表2 数据集统计

图2则展示数据集的多元构成，覆盖多类音源与丰富对话场景，包含不同人数、轮次的对话样本，体现数据类型的多样性。

图2 数据分布：音源、场景类型、每场说话人数、每场轮数（蓝=中文，橙=英文）

一份剧本长什么样？结构上，它是一份带标注的 JSON：


{
  "context_background": "……这场戏发生在哪、气氛如何……",
  "character": { "角色名": { "text_info": "……声音与性格……" } },
  "content": [
    { "text": "……台词……",
      "speaker_info": { "speaker_name": "角色名" },
      "context": "……这一句该怎么演……" }
  ]
}

参考示例如下：

  • 场景背景：警局会议室内，白炽灯下烟雾缭绕，几名警务人员围坐在长桌旁，墙上挂着城市地图。气氛凝重，众人正分析一起解款车劫案。
  • 人物信息
    • 汇报男_中年：中年男性，声音洪亮，语速偏快，吐字清晰，带有职业性的汇报腔调。
    • 警官男_中年：中年男性，声音坚实低沉，富有权威感，语气果断，带有不容置疑的指令性。
  • 第 1 轮｜汇报男_中年
    • 台词：解款车的路线图会放在这个信封里面，出发前交给负责押运的经理，他会在上车后才打开信封，也就是说，事前没有人知道行车路线。
    • 舞台提示：他清了清嗓子，目光扫过众人，用洪亮的声音快速而清晰地说明流程，试图强调安保的严密性。
  • 第 2 轮｜警官男_中年
    • 台词：车没有按指定路线，一定是车上有内鬼。
    • 舞台提示：他眉头紧锁，双手撑在桌沿，身体前倾，用不容置疑的语气果断下结论，目光锐利地扫视众人。

台词、说话人、场景氛围、舞台提示是分开给的。模型要做的不是“读出台词”，而是把整段场景演出来——这正是现有基准难以衡量的部分。

评测协议：三层指标 + 与真人音频打擂台

DRAMA-Eval 把评测拆成三层，A1/A2 是客观指标，B1–B3 看局部执行，C1–C3 看整场效果：

图3 DRAMA-Eval 的三层评测体系：客观指标、局部执行、全局场景

下表则具体展示了三层指标的具体含义与判定方式，其中客观指标是通过 Qwen3-0.6B-ASR 转写以及 WavLMfinetuned 声纹表征实现的。局部和全局指标则是使用LLM-Judge方式实现的。

表3 三层指标与判定方式

最关键的设计是对手是真人。每一组对比，都是把模型生成的音频与同一场景的真实音频做盲测 A/B，不告诉裁判哪段是模型、哪段是人。裁判只回答“哪一个更好，或者打平”，最终汇总成平局折算的胜率：

胜率 =（胜场数 + 0.5 × 平局数）/ 有效对比数

50 分 = 与真人参考音频打平，高于 50 说明这段生成在这项标准上被偏好。所有分数按维度分别给出，避免用一个总分掩盖“局部好、整体差”的结构性问题。

为压住 LALM 裁判的不稳定性，作者做了三件事：

  1. A/B 顺序对调：同一组音频正反各评一次，只有在两种顺序下都获胜才计为胜；
  2. 三次独立评测取平均：降低单次采样带来的波动；
  3. 人工一致性验证：组织人工主观评测，与裁判判断逐条对齐。

表4 人工一致性

（一致性计算采用部分给分：完全一致记 1，一方判平、一方判胜负记 0.5，判断相反记 0。）标注者级一致性在 65%–73% 之间，取多数人共识后提升到 66%–82%。这说明用 LALM 做场景级裁判虽然不能做到100%准确，但足以支撑系统间的相对比较。


实验设置

  • 参评系统：12 个主流开源与商业系统（含 VoxCPM2 [7] 等），覆盖四类接口——多说话人对话生成模型、单说话人音色设计生成模型、单说话人音色控制生成模型、上下文感知多说话人生成模型。
  • 推理协议：按各系统支持的接口分别喂入条件。对话生成模型只给台词、说话人和参考音；音色设计生成模型只给“人物角色描述 + 局部风格”拼成的指令，逐句生成后拼接；音色控制生成模型给参考音 + 指令，同样逐句拼接；上下文感知多说话人生成模型则拿到完整剧本，整场生成。
  • 客观指标：A1 用 Qwen3-0.6B-ASR 转写后计算 CER/WER；A2 按 WavLM finetuned模型提取声纹表征计算同角色跨轮声纹相似度。

需要提醒的是：由于各系统的输入条件不同，跨类别比较反映的是能力配置的差异，而不是同等输入下的公平对决。


实验结果

中文结果

我们首先在中文测试集上对12个主流系统进行了全面评测，各系统按接口类型分组排列。

表5 中文结果

英文结果

接下来在英文测试集上进行了同样的评测，观察各系统在跨语言场景下的表现差异。

表6 英文结果

三个值得注意的结论

  1. 文本保真早已不是分水岭。中文 CER 最低 2.58、最高 8.43，英文 WER 最低 3.97、最高 10.56——但 A1 的高低与 B/C 各维度之间并没有对应关系。字读对了，不代表戏演对了。
  2. 局部强 ≠ 全局强。Qwen3-TTS 在中文 B1/B3 上拿到 59.7/60.6，两项都是全场第二高；可到了 C2/C3 只剩 28.2/27.7。单句演得再好，拼起来却不再像一场戏——这正是“逐句拼接”范式最典型的失效点，也是场景级评测存在的意义。
  3. 音色稳 ≠ 演得好。MOSS-TTSD [8] 和 SoulX-Podcast 的中文 A2 均为 0.78，是全场最稳的“同一个人”；但 MOSS-TTSD 的 B3 只有 35.9。身份维持住了，表演却是平的。

消融：全局上下文到底值多少分

在 SeedAudio 上去掉全局场景上下文，其余条件不变，再做同样的 A/B 对比：

表7 全局上下文消融（SeedAudio）

中文三项分别提升 +6.3 / +7.0 / +11.3，英文 +6.0 / +6.0 / +9.8。提升最大的一直是 C3 场景沉浸——这很合理：知道“这是一场警局里的劫案分析会”，和只知道“请用凝重的语气读这句话”，演出来的东西根本不是一回事。


总 结

DRAMA-Eval 的贡献可以归为三点：

  1. 一个场景级双语基准：12.5 小时真实影视与播客音频、1,038 个用例、7,530 条话语，配人工校正的结构化剧本与真人参考音频，全部开源。
  2. 一套三层评测协议：客观指标（文本保真、跨话语音色一致性）+ 局部 LALM 判定（指令遵循、韵律、表现力）+ 全局 LALM 判定（交互、流畅、沉浸），并用“对真人 A/B 盲测 + 平局折算胜率”统一到同一把尺子上，再以人工一致性研究验证裁判可靠性。
  3. 一份有信息量的实测结果：在 12 个系统上揭示了两个此前被分散评测掩盖的短板——长程音色一致性与依赖深度上下文理解的隐式指令遵循；消融实验则量化了全局场景上下文的价值。

但评估仍有不足：目前只覆盖中英双语；自动评测依赖闭源的音频语言模型，其偏好与版本更新可能影响可复现性；数据在情绪与说话人配置上并不均衡；场景长度还没覆盖真正长篇的叙事；此外暂不评估背景音、音乐与音效，现有评估模型很难评估准确。这些既是边界，也是下一步的方向。

对做语音生成的人来说，DRAMA-Eval 最直接的价值也许是换了一个提问方式：不要再问“这句话读得好不好”，而要问“这场戏，演成了没有”。


参考文献

[1] K. Huang, Q. Tu, L. Fan, et al. "InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems," CoRR, abs/2506.16381, 2025.

[2] H. Chen, J. Hu, L. Xue, et al. "MINT-Bench: A Comprehensive Multilingual Benchmark for Instruction-Following Text-to-Speech," CoRR, abs/2604.17958, 2026.

[3] C. Pan, R. Yang, H. Wang, et al. "Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios," in Findings of ACL 2026, pp. 2365–2400.

[4] Y. Geng, Y. Li, J. Yang, et al. "SceneTTS-Bench: A Benchmark for Scene-Level TTS in Drama Dubbing," CoRR, abs/2609.26255, 2026.

[5] R. R. Manku, Y. Tang, X. Shi, et al. "EmergentTTS-Eval: Evaluating TTS Models on Complex Prosodic, Expressiveness, and Linguistic Challenges Using Model-as-a-Judge," in NeurIPS 2025.

[6] P. Anastassiou, J. Chen, J. Chen, et al. "Seed-TTS: A Family of High-Quality Versatile Speech Generation Models," CoRR, abs/2406.02430, 2024.

[7] Y. Zhou, G. Zeng, X. Liu, et al. "VoxCPM2 Technical Report," CoRR, abs/2606.06928, 2026.

[8] Y. Zhang, Y. Yuan, H. Chen, et al. "MOSS-TTSD: Text to Spoken Dialogue Generation," CoRR, abs/2603.19739, 2026.