配音录好了，名字需要替换；词句都对，某处的语气、语速或停顿却还差一点。能否只改这些地方，让其余内容和声音特征保持稳定，整段语音仍然自然流畅？

近日，小红书升级发布端到端精确语音编辑模型 dots.tts.edit V1.1，面向的正是这类需求。用户选中转录中的词句，设置文字修改或声音参数，即可对已有语音进行局部编辑，多处修改也可一次完成。

除了模型与推理代码，训练数据构造管线 和 精确语音编辑评测基准 doteBench 等也均配套开源，为社区复现、评测和进一步研究精确语音编辑提供完整工具链。

样例：https://dots-studio-dots-tts-edit-demo.static.hf.space/


⏩模型与数据

模型基座与架构

局部改词或调整语速，都会改变片段长度；修改后的声音还需要与整段语音自然衔接。这要求模型既理解局部编辑目标，也能利用完整录音中的上下文。

dots.tts.edit 基于 dots.tts 的连续自回归架构，在 AudioVAE 的连续隐空间中生成语音。模型读取源录音、转录和编辑要求，生成完整的编辑结果。得益于自回归架构，模型无需输入语音与文本的时间对齐，也无需单独预测时长，而是通过结束信号（EOS）自行决定何时结束生成。所有编辑类型共享同一个模型。

半形式化编辑指令

精确编辑首先要说清“改哪里”和“怎么改”。项目采用与转录对应的半形式化编辑指令，将操作直接绑定到具体词句或边界，明确、准确地定位编辑目标。参数既可以是语速倍率、音高变化，也可以是自由形式的自然语言描述。这套指令以明确、可检查的目标定位保证操作描述的可靠性，同时保留灵活的描述接口和扩展空间。

为方便实际使用，项目还提供可本地部署的语音编辑应用（https://dots-studio-dots-tts-edit.hf.space/）。界面将指令呈现为高亮选区与操作标签，使用者可以直接选中片段、设置参数、组合操作并试听结果；应用代码随模型一起开放。

数据管线

要让模型学会局部编辑，训练样本需要只改变指定内容，同时保留其余声音特征。然而，自然录音中很难找到这样的成对语音；分别合成前后两段，容易引入音色、节奏等无关变化，直接拼接局部片段又可能造成衔接生硬。为此，配套的数据构造管线 围绕明确的编辑操作生成样本，尽量复用周围语音、修复局部衔接，再筛选编辑准确且声音自然的样本。多类编辑共同训练，并混合语音合成样本，让模型在学习编辑的同时保留语音合成能力。


⏩改对了，还要听着自然

现有语音编辑评测对局部修改的考察还不够完整：改动是否准确、其余部分是否保持，需要放在一起衡量。为此，项目推出中英双语精确语音编辑评测基准 doteBench，同时评估指令执行、局部保持和音频质量。

  • 指令执行：目标文本、情绪、语速、音高与停顿是否按要求变化。
  • 局部保持：检查未指定区域的内容、时长、音高与说话人特征。
  • 音频质量：关注整体听感、清晰度和编辑区域前后的衔接。

dots.tts.edit V1.1 在 doteBench 五类编辑场景的指令执行与局部保持上取得整体领先表现，音频质量与参与比较的开源系统相当。

图中的黑色实线代表 dots.tts.edit，其他折线代表对比模型。外圈蓝色、橙色和绿色分别对应指令执行、局部保持和音频质量。各项指标按固定尺度归一化，越靠外表示该项表现越好。沿着同一根轴比较，就能看到模型在“改得准”“保留得好”和“听着自然”上的表现。

实际编辑往往需要反复调整：先改台词，再调语气，最后补一个停顿。doteBench 也支持这样的逐步编辑评测，每一步都以上一步生成的语音为输入，检验多次修改后能否继续改准、保留好其余内容。在这一设置下，dots.tts.edit 在组合编辑上也领先已有开源模型。整条指令全部完成的成功率为42.92%，达到已有开源模型中表现最好的18.33%的2 倍以上（见论文表 6，Sequential 部分的 All 列）。

在第三方评测 SpeechEditBench 上，dots.tts.edit V1.1 的文本、情感和韵律编辑均取得了对比开源系统中的最佳联合成功率，分别为 94.00%、15.07% 和 91.50%。其中，韵律编辑也超过了论文中参与比较的闭源系统。与各项最强开源基线 AuK 的对比见下图。

主观听测也表明，dots.tts.edit 在指令遵循和局部保留两个方面获得了高于已有基线模型的平均偏好评分。听测设置与完整结果见论文。


⏩模型与配套工具，一套开放

dots.tts.edit 的开源套件包括论文、模型权重、在线编辑应用、推理代码、数据构造管线、doteBench 评测集和演示页面。创作者可以试听案例、直接编辑录音；开发者可以部署模型、接入应用，并复用数据构造管线与评测工具。