一句话还没有说完，语音识别系统应该什么时候输出文字？

对于实时字幕、同声传译和语音智能体，这个问题直接影响系统体验。输出过早，模型可能在信息不足时作出错误判断；等待过久，下游应用的响应又会变慢。如果先输出、再不断修正，字幕可能反复跳动，翻译与推理也可能需要重做。

网易有道提出的 Confucius4-R2T2（Real Real-Time Transcription），将提交时机纳入模型学习：根据已经到达的音频，输出可以提交的文本前缀，并在需要更多上下文时继续等待。对外提交的文字只会追加，后续不再修改或删除。

技术报告 Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription 系统介绍了这一路径：以 Qwen3-ASR-1.7B 为基础，冻结预训练音频编码器和投影层，通过最长稳定前缀监督、显式等待行为和两阶段后训练，获得兼顾识别质量与输出及时性的流式模型。

论文地址：https://arxiv.org/abs/2611.06043

在报告的 13 个中英文测试集上，R2T2 的质量优先配置将综合平均错误率从同配置基础模型的 21.01% 降至 5.76%，接近基础模型完整音频识别的 5.15%。这项工作的核心看点是：如何保留完整音频模型的已有能力，让它学会在声音持续到来的过程中，逐步提交可靠的文本。


⏩实时识别中的输出稳定性

离线 ASR 可以先听完整段音频，再利用完整上下文确定转写内容。流式 ASR 则只能根据当前收到的声音作出判断。

报告以“I have two cats”为例：随着音频逐步到来，中间识别结果可能出现“to”“too”，直到更多上下文帮助模型确定“two”。如果只评价最终转写，这些中间变化容易被忽略；但对下游系统而言，先前输出的文字可能已经触发了翻译、推理或工具调用。

R2T2 对稳定输出给出了明确要求：在任意后续时刻，对外发布的文本都必须以此前发布的文本为前缀。换句话说，已提交文本可以延长，但不能回改。

这种稳定性是识别器与解码策略共同满足的行为约束。

稳定性与准确率、延迟同样需要区分。始终等到整句话结束再输出，也能做到稳定，却不够及时；过早提交错误内容，同样满足“不回改”，却损害准确率。R2T2 要解决的是：在稳定输出约束下，同时提高识别质量、减少等待。


⏩用 LSP 构造提交边界监督

常规 ASR 数据通常提供“音频—完整转写”配对，却没有直接标注：听到哪个时间点，模型可以提交到哪里。

R2T2 为此提出一种具体的 Longest Stable Prefix（LSP，最长稳定前缀）定义，并将其用于训练。首先，让同一个基础模型识别完整音频，得到整句输出；再逐步输入不同长度的音频前缀，记录每次识别结果。

在某个时刻，LSP 是此前所有识别结果中，整条结果都与完整音频输出的开头一致、且长度最长的一条。

这里有两个关键点。首先，比较基准是同一个模型听完整段音频后的输出，而非人工标准答案。因此，LSP 描述的是与模型最终输出的一致性，识别是否正确仍需通过 WER、CER 等指标评价。

其次，候选必须是模型实际生成过的一整条结果。例如，完整输出为“I have two cats”，某次部分音频识别为“I have too”，这次结果整体不符合要求，不能仅从中截取“I have”来认定新的 LSP。如果此前模型曾完整输出过“I have”，这条历史结果才可以作为候选保留。

报告证明了这一标签的几个性质：随时间推进不会缩短；最终收敛到完整音频输出；并且在“等于某次已有完整输出、同时与最终输出一致”的候选中具有最大长度。这些性质约束的是监督标签，并不意味着模型转写一定正确。

实际标注以 80ms 为间隔进行。研究者记录模型输出与 LSP 相等、且该前缀保持不变的连续区间；训练时随机截断音频，将部分音频与对应标签配对。落在这些区间内的样本学习稳定前缀转写，落在区间间隙的样本则在 LSP 后附加显式的 WAIT 标记。

WAIT 表示结束当前轮次的生成，等待新音频。通过这样的监督，模型同时学习“应该输出什么”和“当前应该输出到哪里”。

报告 Figure 2 稳定前缀区间的构造。模型每隔 80ms 识别一次累积音频，蓝色表示与稳定前缀一致的结果，橙色表示需要等待更多上下文的不确定续写。

最终版还引入了 streamability，即流式适配潜力。研究者观察音频逐步到来时，模型的 LSP 长度如何增长，并用归一化曲线下面积概括其响应特征。

在 Buckeye 语料选取的 1,860 条英文语句上，Qwen3-ASR-1.7B 的归一化指标为 0.493，在所比较模型中最高，为选择它作为基础模型提供了依据。这项指标反映的是模型向自身完整输出推进的情况，需要与识别准确率结合理解。

报告 Figure 1 不同模型的流式适配潜力比较，展示累积音频输入下 LSP 的增长情况及归一化曲线。


⏩两阶段后训练

R2T2 使用约 1,500 小时自有中英文语音进行后训练，共 60 万条样本，中英文各 30 万条。报告说明，SFT 和 GRPO 均未使用公开评测数据集；基础模型预训练阶段是否接触过其中部分数据，则需要另行考虑。

两个训练阶段均冻结音频编码器和投影层，只更新语言解码器参数。模型保持原有架构，不增加额外预测头，也不通过因果化改造或新增注意力掩码来实现流式能力。

第一阶段是监督微调（SFT），通过交叉熵损失学习 LSP 转写与 WAIT 行为。训练中，10% 的样本使用完整音频，90% 使用前缀截断；在前缀样本中，一半从稳定区间采样，另一半从区间间隙采样。编码器的注意力窗口在 1 至 8 秒之间变化，窗口内部仍保留双向注意力。

这一安排既保留完整转写监督，也让模型反复面对部分音频和不确定续写，学习在不同上下文条件下作出提交决定。

第二阶段采用 GRPO 强化学习。从 SFT 模型出发，训练会采样包含一轮、两轮或四轮流式更新的轨迹，比较不同输出的相对奖励。

奖励包含八个部分，分别涉及字符级识别准确性、编辑距离精确度、长度、重复、语言一致性、尾部冗余、局部词匹配及 WAIT 标记的位置。它们共同约束重复生成、无依据续写和语言偏离等行为。

训练还采用噪声混合、纯噪声替换、混响及部分语言标签翻转，帮助模型在复杂声学条件下更多依赖实际声音，并在没有有效语音时抑制生成。

这些设计构成整体训练方案；各个奖励分量的独立贡献，仍需通过受控消融实验进一步区分。


⏩高频更新下的推理优化

学会提交时机之后，还需要控制推理成本。在主实验采用的 160ms 音频块设置下，每条音频流每秒更新约 6.25 次。如果每次都重新处理全部历史音频与文字，计算成本会随输入增长。

R2T2 从四个方面减少重复工作。

缓存已完成的音频窗口。推理时，编码器使用不重叠的 8 秒窗口。已经完整接收的窗口可以复用编码结果，每次只重新编码仍在增长的活动窗口。

解码器也复用固定提示词开头和已完成音频窗口的 KV Cache。不过，活动音频之后的提示词与保留文本仍需重新预填充。即使已提交文字没有变化，它前面的音频上下文已经更新，对应 KV 状态也会变化。

用 WAIT 终止没有新增内容的生成。如果预填充后的首个预测就是 WAIT，本轮无需进入逐 token 的串行解码；否则继续生成，直到遇到 WAIT 或结束标记。

限制历史上下文。主实验保留最近一个已完成窗口和当前活动窗口，将音频上下文限制在最多 16 秒，并按提交时间移除对应的旧文本。这样可以避免计算量随长音频无限增长。

验证内部暂定尾部。模型允许设置暂定 token 数量 U。U＝0 时不保留可修订尾部；U＝1 时将最后一个 token 暂留内部，等待更多上下文后再提交。下一次更新利用预填充结果验证这段尾部，在首次出现分歧的位置继续处理，减少重复生成。

两种配置对外都只发布已提交文本。内部暂定尾部可以变化，已经发布的文字保持不变。

报告 Figure 3 R2T2 的窗口缓存与解码流程。已完成音频窗口及其对应的输入前缀缓存可复用；活动窗口和保留文本每次重新处理，可修订尾部通过预填充验证。

这些优化保留了原有双向编码能力，也意味着系统仍需重新编码活动窗口。报告分析了如何限制每次更新的工作量，实际设备上的吞吐、实时因子和端到端延迟仍需部署测试验证。


⏩稳定输出下的识别质量

最终版主实验包含 8 个英文测试集和 5 个中文测试集，覆盖朗读、会议、公开演讲、财报电话会议及真实同传源语音等场景。

英文采用词错误率 WER，中文采用字错误率 CER，数值越低越好。综合平均对 13 个测试集的错误率等权平均，并非将所有词、字的编辑错误合并计算。

上述三列均采用 160ms 音频块。U＝1 为质量优先配置，U＝0 为延迟优先配置。

更能体现后训练作用的是与基础模型的同设置比较：在 160ms、U＝1 下，Qwen3-ASR-1.7B 的综合平均错误率为 21.01%，R2T2 为 5.76%，相对下降约 72.6%。R2T2 在全部 13 个测试集上均优于该基础模型配置。

基础模型完整音频识别的综合平均错误率为 5.15%，R2T2 的质量优先流式配置与之相差约 0.61 个百分点，说明该方案缩小了流式识别与完整上下文识别之间的质量差距。

在 Table 3 纳入排名的配置中，R2T2 的 5.76% 也是最低综合平均错误率，低于所评测的三款商业 API。该排名不包括作为参考的基础模型离线结果和 2 秒音频块结果。

这一优势并不覆盖所有单项测试：部分商业系统在一些英文测试集及中文平均准确率上仍有优势。因此，比较需要同时说明测试范围、输出策略与运行配置，并结合延迟一起判断。

报告 Figure 5 主要流式配置的英文 WER、中文 CER 与回溯性输出延迟比较，同时区分稳定前缀输出和可修订中间结果。

最终版还报告了跨语言迁移结果。尽管 R2T2 仅使用中英文进行后训练，在另外 10 种语言、18 个测试集上，其 160ms、U＝1 配置的错误率均低于基础模型的相同配置。

这些测试集的等权平均错误率由 30.75% 降至 8.40%。这一结果说明，后训练带来的流式识别改进能够迁移到训练之外的语言。作为参照，基础模型完整音频识别的对应均值为 5.99%，流式条件下仍存在提升空间。完整结果见文末报告 Table 8 原表。


⏩如何理解输出延迟

音频块大小与稳定输出延迟是两个不同指标。

160ms 音频块表示系统每次推进多少音频；稳定输出延迟关注的是：某个词或字在语音中结束以后，还要经过多少音频时间，它才能出现在此后不再变化的输出前缀中。

报告采用的回溯性度量可以概括为：

输出延迟＝对应输出前缀首次永久稳定时的音频时间－该词或字的参考声学结束时间。

在 160ms 音频块下，R2T2 结果参见Figure 5。

保留一个内部暂定 token，可以改善识别质量，同时增加提交前的等待。进一步采用 80ms、U＝0 配置时，报告报告中英文平均回溯性输出延迟均低于 0.5 秒，代价是识别错误率有所上升。

这些音频块与暂定尾部实验使用同一个 R2T2 检查点，无需重新训练。应用可以根据字幕、翻译或语音交互的需求调整配置。

报告 Figure 6 不同音频块大小、暂定尾部预算与基线设置下，识别错误率和回溯性输出延迟的关系。来源：报告第 15 页。

理解这些数字，还需要注意评测口径。延迟只统计通过编辑距离对齐后正确匹配的英文词或中文字，并排除识别错误较高的语句，因此必须与 WER、CER 一起阅读。

此外，该指标沿音频时间轴计算，不包含模型执行、排队、网络传输和界面渲染时间。报告没有通过运行时测量验证所有更新都能赶上实时音频输入，因而不能将这些数值直接视为具体设备上的端到端响应时间。

WAIT 也只表示当前轮次暂停生成。判断说话是否结束、输出最后剩余内容，仍属于独立的运行时处理。


⏩对实时语音系统的启发

R2T2 将“何时提交”转化为模型可以学习的任务，为完整音频模型向实时应用迁移提供了具体路径。

对于实时字幕，只追加的已提交文本有助于减少阅读干扰；对于同声传译，它可以提供持续增长的稳定输入；对于语音智能体，它让后续理解、推理与处理有机会在整句结束前开始。

从技术构成看，这项工作将 LSP 标签定义、监督数据构造、显式等待、两阶段后训练与推理优化连接起来。它保留预训练声学表示，通过语言解码器学习部分音频条件下的输出边界，并通过提交策略保证对外文本不回改。

最终版实验支持这一整体方案在所测配置下兼顾识别质量与输出及时性，也展示了跨语言迁移的可能。进一步验证仍可围绕奖励分量的独立贡献以及实际部署中的实时性和端到端表现展开。

对于实时语音系统，识别内容与提交时机共同决定了输出能否被下游可靠使用。R2T2 将两者放进同一个学习与评估框架，为稳定增量语音识别提供了可继续研究和优化的开源方案。


报告与开源资源

报告题目：Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

开源项目：https://github.com/netease-youdao/Confucius4-R2T2

模型权重：https://huggingface.co/netease-youdao/Confucius4-R2T2

数据来源：中英文识别结果见 Table 3；训练设置见 Appendix B；延迟及配置比较见 Figure 5、Figure 6；跨语言结果见 Appendix C.2、Table 8。下附两张原始实验表，保留原文表头、数据与说明。


附录

原报告中英文识别实验表

报告 Table 3 原始截图，含完整表头、数据与原文说明。来源：报告第 13 页。星号表示中间结果可修订；离线与 2 秒基础模型结果仅作参考，不纳入高亮排名。

原报告跨语言识别实验表

报告 Table 8 原始截图。来源：报告第 30 页。日语、韩语和泰语采用 CER，其他语言采用 WER；Average 对 18 个测试集等权平均。