标题：DM-ASR: Diarization-aware Multi-speaker ASR with Unified Offline and Online Decoding with Large Language Models

链接：https://arxiv.org/abs/2604.22467

Demo展示：https://github.com/wyunj/DM-ASR

作者单位：香港中文大学（深圳），武汉大学，腾讯天籁实验室

实验室主页：https://smiip-mli.github.io/


背 景

多说话人语音识别需要从同一段对话中恢复“谁在什么时间说了什么”，与单人语音识别相比，会议和电话对话中频繁出现轮流发言、短促附和与重叠语音，识别系统既要转写内容，又要保持跨句段的说话人身份一致性和时间对应关系。

在线场景进一步限制了可用信息：系统不能借助尚未到来的音频，必须在前端确认发言片段后尽快提交结果，同时兼顾上下文利用与输出延迟。常见的级联方法先进行说话人日志，再按日志区间分别识别，虽然便于部署，却容易丢失相邻发言的声学和对话上下文；前端的漏检、边界偏移和身份错误也会传递到转写结果。

另一类方法由端到端语音大模型直接联合生成文本、说话人和时间信息，但需要模型利用大量数据同时学习多种输出结构，且大多只适用于离线场景；在不能依赖后续音频的实时在线场景中，识别性能还有待提升。为兼顾结构化识别与离线、在线使用，论文因此研究一种在线日志引导的LLM方法：由专门的说话人日志系统提供说话人和时间结构，由语音大模型在保留混合音频上下文的条件下完成转写，可同时支持离线和在线两种工作方式。

主要内容

基于这一思路，论文提出日志感知的多说话人语音识别框架 DM-ASR。系统首先从前端日志结果中取得说话人标签及发言的起止时间，再将每个“说话人—时间段”转换为一轮识别查询，明确指定模型当前要识别谁、识别哪个区间。

例如，日志中的说话人及时间信息可以表示为“Spk_A 0.0 2.0”。与按照日志区间裁剪音频、逐段调用单说话人ASR不同，DM-ASR让语音编码器处理包含多个说话人的共享混合音频，再由投影模块将声学表示送入语言模型。

这样，即使当前查询只针对一名说话人，模型仍能够利用窗口内其他发言者及相邻轮次的声学信息；方法也不要求前端先输出各说话人的独立波形。

图1 DM-ASR框架图

DM-ASR进一步将一段音频内的多个识别目标组织为多轮对话生成过程。第一轮输入音频表示和目标查询，模型生成该轮的说话人标记与转写内容；后续轮次在新增目标查询的同时保留此前已经生成的转写，使前一轮的内容成为下一轮的对话上下文。对于时间信息，模型可以选择输出与转写内容交错排列的时间标记：中文以字符、英文以单词作为相应的单位。论文利用强制对齐获得训练所需的时间边界，并通过可选的时间戳监督训练结构化输出。因此，DM-ASR不仅面向“谁说了什么”，也尝试给出更细的“何时说出相应内容”的信息。

在推理方式上，论文使用集离线与在线统一的S2SND日志处理离线和在线多人ASR任务。离线识别在音频窗口内依次完成多个目标的转写；在线识别则等待日志前端确认目标句段结束，随后以该目标终点作为窗口右边界，向前选取最长25秒的可用混合音频，并结合此前已提交的转写生成当前结果。在线输出属于句段级增量识别：它可以随着目标句段陆续确认而提交结果。

数 据

在数据方面，论文全部使用真实对话录音进行训练，未采用模拟数据。训练语料分为中文和英文两部分：中文部分包括AliMeeting、AISHELL-4、MISP2025、HKUST、MagicData-RAMC、Nexdata对话语音以及内部两人中文对话数据；英文部分包括AMI（IHM与SDM混合）、ICSI、MLC-SLM英文子集和Fisher。

论文按不同规模组织了多组训练混合：小模型使用CN 212h、CN 630h、CN 1300h、EN 630h、EN 1600h以及中英混合的CN+EN 2900h等配置；DM-ASR-L采用Qwen3-ASR-1.7B语音编码器、Qwen3-4B语言模型解码器，使用CN+EN约7500小时的训练混合。训练片段长度为25秒，与推理时最长25秒的声学窗口设置相匹配；字/词级时间戳的监督信息由强制对齐工具（MFA）在训练数据上生成。

离线实验结果

表1：AliMeeting 和 AISHELL-4 上的离线多说话人语音识别结果。指标为 DER（%）、cpCER（%）和 tcpCER（%）。VibeVoice-ASR 与 Qwen-Audio-3.1-ASR-Next 的 DER 使用 0.5s collar，其他方法使用 0s collar；为便于比较，括号内另列出 0.5s collar的 DER。

可以看到，DM-ASR-L 在 AliMeeting 上的 cpCER/tcpCER 为 17.51%/17.78%，在 AISHELL-4 上为 15.58%/15.95%，优于1.7B 版本（分别为 21.40% 和 17.66%）。这一提升来自 Qwen3-ASR音频编码器、4B 语言模型解码器，以及扩展至 7,500 小时的训练集。在该模型上继续进行 GSPO 强化学习后，两个测试集的 cpCER 分别降至 16.77% 和 14.74%。在对比系统中，Moss Transcribe Diarize 和Qwen-Audio-3.1-ASR-Next他们并未报告完整训练数据规模，不好严格进行比较。总体来说，我们用相对较少的数据实现了有竞争力的识别结果。

在线实验结果

表2：在线识别结果（%）。中文数据集使用cpCER/tcpCER，英文数据集使用cpWER/tcpWER。DER 使用 0s collar，tcpCER/tcpWER 使用 5 s collar。

论文在中文的AliMeeting、AISHELL-4，以及英文的AMI-IHM、AMI-SDM和Fisher等数据集上进行了验证。在CN+EN 7500h的训练数据情况下，DM-ASR-L加上GSPO后，在AliMeeting和AISHELL-4上的在线cpCER分别为17.53%和15.43%，其中文在线cpCER数值远低于VibeVoice-ASR-Streaming的39.80%和28.70%；在AMI-IHM、AMI-SDM和Fisher上，在线cpWER分别为17.38%、22.86%和18.76%。

除总体结果外，论文也分析了框架中不同设计的作用。在匹配的小模型训练设置下，加入时间戳监督使AliMeeting的cpCER从31.07%降至28.24%，说明时间信息不仅扩展了输出形式，也可能为内容识别提供有益监督。在线历史管理实验则在相同前端和1.7B模型设置下比较了两种策略：当25秒窗口向前移动时，滑动保留仍有效的已识别历史，比窗口满后直接清空历史取得更低的错误率；AliMeeting的cpCER由22.32%降至21.36%，Fisher的cpWER由19.99%降至19.21%。这些实验分别为细粒度时间监督和跨轮次历史的使用提供了证据。

表3：DM-ASR（1.7B、S2SND、CN+EN 2900h）在线解码中的历史信息管理。“重置”（Reset）策略在窗口满时清空全部对话历史；“滑动”（Sliding）策略仅移除当前窗口之外的历史轮次。中文数据集采用 cpCER/tcpCER，英文数据集采用 cpWER/tcpWER；结果均以百分比表示。

总体来看，DM-ASR的关键并不是用语言模型取代说话人日志，而是改变日志与识别模型的协作方式：日志负责组织目标，模型在混合音频与已有对话历史上逐轮识别，从而将说话人归属、文本转写和时间信息纳入同一生成接口。该接口能够用于离线处理，也能够天然的在句段确认后用于在线输出。进一步降低句内早期词语的等待时间、提高重叠和复杂声学场景下的稳健性，仍是后续值得研究的问题。