把下面这段讨论交给 AI，即使每个字都识别正确，它也未必能真正听懂：


小林：“这个版本周五能上线吗？”
小周：“可以吧……”
小陈几乎同时插话：“不行，支付还没测完。”

小周是在确认，还是有所保留？小陈反对的是方案本身，还是当前的上线安排？如果纪要最后写成“大家同意周五上线”，文字很流畅，讨论中的分歧却被抹掉了。

这正是音频理解大模型走向真实会话时需要跨过的一道门槛。模型要把声音中的内容、人物、表达方式和交互关系连接起来，形成能够持续更新、有证据支持的理解。会议纪要只是其中一种应用。同样的能力也支撑着访谈分析、讨论回顾以及多人环境中的语音助手。

因此，我们关心的不仅是模型能答对哪些问题，也关心这些能力如何搭建。怎样保留声音线索？怎样让信息始终对应正确的人？又怎样把分散在多个轮次中的发言组织成对整场交流的理解？

（图 1：多人会话理解示例）


‍▎听懂多人会话，难在把线索连起来

一段会话包含多个层次的信息。语言内容传递发言的具体含义，音色等声音特征帮助区分发言者，语速、停顿和语调则提供情绪与态度的线索。不同轮次之间还存在回应、追问、反对和修正等关系。理解多人会话，需要模型综合这些线索，结合上下文建立人物、内容与交互关系之间的联系。

这里既有相对稳定的说话人特征，也有随轮次变化的状态。同一个人可能先犹豫、后确认，也可能在讨论中改变立场。模型需要保持人物对应的一致性，同时追踪表达和观点的变化。声音特征不能简单等同于姓名，短暂的语气也不能被直接当作一个人的固定性格或真实意图。

重叠语音让问题更复杂。小陈的“不行”可能与小周的“可以吧”同时出现，系统如果漏掉其中一方，后续的立场判断就会失去依据。“嗯”“对”等短促回应也需要结合上下文理解，有时是在赞同内容，有时只是表示听到了。

更深一层的理解依赖跨轮次关系。假如小周随后说“我周四交回归结果”，这是一项交付承诺，并不意味着测试已经通过。即便有人提出“测试通过才周五上”，也仍有尚待满足的条件。模型需要区分提议、条件、承诺和已确认的事实，而不能把它们压缩成同一种结论。

人物、时间和关系是连接这些信息的三条主线。一个观点要能归到发言者，一项判断要能定位到原声，一次修正要能对应被修改的旧说法。只有局部识别准确，仍不足以保证整场会话理解正确。

（图 2：多人会话理解的三类对齐）


‍▎从感知到推理，能力应该怎样搭建？

对音频理解大模型而言，多人会话能力的建设需要贯穿数据、表示、训练和推理过程。单纯增加一批会话问答，可能让模型学会某些答案形式，却未必解决信息归属与证据连接的问题。一条可行的建设路径是先建立可靠的对齐基础，再逐步学习会话关系，并形成持续更新理解的能力。

先把声音、人物和时间对齐

数据建设首先要保留多人交流的真实结构。除了清晰的轮流发言，还应覆盖插话、重叠、长停顿、远场噪声以及同一人相隔较久再次发言等情况。仅靠整理后的文字稿，无法完整提供这些声学线索；仅靠孤立的音频短句，也难以教会模型理解轮次之间的联系。

标注可以围绕“谁在什么时间说了什么”建立基础，再连接语气、回应对象和观点变化。事实与解释需要分层。发言起止位置、说话人编号等属于基础信息，态度和关系判断则应记录依据，并允许合理分歧。这样既能用于训练，也便于在模型出错时回到具体环节排查。

在模型层面，关键是让声学特征与语言内容共同参与理解。文字中相同的“可以吧”，在不同语调下可能表达不同程度的确定性；两段内容相似的发言也可能来自不同的人。需要避免声学细节在接入语言模型前被过度压缩，或在后续推理中被语言上的惯常搭配盖过。

实现上可以采用联合建模，也可以通过模块协同组织识别、说话人区分和时间定位。前者需要处理多任务训练之间的协调，后者需要控制错误逐级传递。无论采用哪条路线，都要保证后续推理能够获得人物与时间信息，并在必要时重新核对原始音频。

再让模型学会发言之间的关系

有了对齐基础，训练任务就可以从局部感知向会话推理递进。先识别某人的发言与表达线索，再判断他在回应谁、接受了什么条件，最后汇总不同人的观点与分工。这些任务应共享同一段会话和相互一致的标注，帮助模型建立从局部证据到整体结论的联系。

训练样本还需要让模型遇到容易混淆的情况。例如，改变发言者后，观点归属是否随之改变？同一句话换成不同语气后，判断是否需要调整？一句“同意”究竟回应前面的哪个提议？声音变化并不必然改变答案，但当关键证据发生变化时，模型应能作出相应修正。

输出也可以同时保留结论与依据，记录谁提出了风险、对应哪段发言，以及后面是否有人补充或否定。对于缺少明确指向的“我把结果给你”，如果仅凭音频和已有上下文仍不能确定对象，就应保留待确认状态。这里的目标是让判断与证据相称，而非一味增加拒答。

把一次回答延伸为持续理解

完整会议可能持续几十分钟，同一议题会反复出现。可行的系统设计需要兼顾全局上下文和局部细节。前者保留人物、议题与决策的脉络，后者用于回听、定位和核实。阶段性摘要可以减轻处理长音频的负担，但不应成为丢弃原始证据的理由。

持续记忆也不能只做信息累加。若交付时间从周四改为周五上午，系统需要更新当前安排，同时保留修改的来源；若不同人给出了互相冲突的说法，则不能自动把它们合并成共识。对于流式输入，更新只能依据当时已经接收到的内容。

多人语音助手还需要识别话语面向的对象。“小周，帮我查一下结果”通常是在安排同事做事；“助手，记下小周负责查结果”才是对助手的记录请求。识别到一个任务词，并不意味着应该执行该任务。人物归属、回应时机与行动范围需要共同约束助手的行为。

（图 3：多人会话能力建设的迭代路径）


‍▎当前研究在关注什么问题？

围绕真实多人会话，当前研究正在尝试把说话人身份、时间结构与语义内容连接起来，并将这些信息用于跨轮次推理和交互决策。下文选取的三项工作分别关注建立稳定的人物与内容对应关系，组织长音频中的全局与局部证据，以及理解多人指令的适用范围。

在人物与内容对齐方面，相关方法尝试将说话人归属与语音转写联合建模，并通过结构化输出关联身份、时间和发言内容。MSU-Bench 以 16 项任务、2,300 道经人工核验的问答，构建了从说话人定位与识别到多人对话推理的两层评测体系。其分析发现，时间定位和信息归属仍是薄弱环节，较强模型也会将内容归给错误的说话人。这提示，人物对齐需要贯穿证据组织、跨轮次整合与答案生成，成为会话推理中的持续约束。

在长会话处理方面，研究关注如何兼顾全局上下文与局部声学细节。LAT-Audio 先构建全局时间线，再根据任务调用局部音频，逐步细化事件定位与内容描述。配套的 LAT-Bench 面向最长 30 分钟的音频，评估时间与语义的对应能力。这类工作为长音频中的证据组织与按需访问提供了具体思路。该工作主要处理一般音频事件的时间对齐，向多人会话中的观点归属和关系理解扩展仍需要进一步验证。

在多人交互方面，研究进一步关注指令由谁提出、对谁生效，以及助手何时应当回应。MSI-Bench 通过 1152 个中英文案例考察多人记忆、指令遵循与推理，并将评价延伸至回应和工具调用。在说话人权限与信息披露任务中，即使提供带说话人标签的文字，较强系统仍会出现决策错误。模型也经常在发言并未面向助手时提前回应。这提示，能力建设需要将说话人身份与指令作用范围、参与者权限及回应时机联系起来，使身份信息能够实际约束系统行为。

这些工作体现出一个共同方向，即将人物、时间和交互关系纳入会话理解的建模与推理过程。已有方法探索与评测分析为能力建设提供了依据，但相关成果仍主要在各自的任务设置下得到验证。如何将这些能力组合起来，并在自然长会话和持续交互中保持可靠表现，是后续能力建设需要回答的问题。


‍▎后续能力建设还缺什么？

沿着上述研究方向，后续建设需要进一步打通感知、人物对齐、关系推理与持续记忆，使模型在同一任务中同时给出正确的人物、结论和证据。结合真实会话的使用需求，仍有以下能力需要补齐和验证。

建设过程中，评测的作用是帮助定位下一步该改什么。人物错配要回看对齐与训练数据，时间偏移要检查长音频表示和检索，遗漏条件则要分析会话关系推理。除了分项检查，也应要求模型在同一任务中同时给出正确的人物、结论和证据，再将失败案例反馈到数据与训练中。

这种迭代还要覆盖真实使用条件：人数增加、说话人声音相似、重叠增多或会话变长时，能力是否仍然稳定？逐段输入音频时，结论能否及时更新？需要回听核对时，延迟与成本是否可接受？让这些条件进入日常开发，能力建设才能逐步接近实际应用。


‍▎让理解真正服务于交流

多人会话理解的价值，在于将连续讨论转化为可追溯的知识与协作依据：纪要中的结论能够关联原始发言，行动项保留负责人及前置条件，分歧与未决问题得到明确记录。这要求模型协同完成语音感知、说话人归属与跨轮次推理。

为此，Qwen-Audio-3.1-ASR-Next 首先使用语音识别数据训练音频适配器，建立音频与文本的跨模态对齐。随后，使用说话人区分、情感分类、反语识别等任务的数据训练音频编码器，增强对声学与副语言信息的表征。语言模型则在音频推理类数据上训练，提升发言间的语义关联与推理能力。最后引入强化学习，进一步优化回答正确性、指令遵循与事实一致性。

目前，模型已具备初步的对话推理能力，但在长距离依赖、交叉发言归属及讨论状态跟踪方面仍存在不足。后续工作将结合长会话数据建设与专项评测，重点提升观点归属、结论溯源及条件变更理解能力，推动模型从局部问答向完整讨论过程的理解与协作支持演进。


延伸阅读：

[1] Z. Sun, S. Wang, Z. Lin, C. Wang, D. Gao, Y. Cao, C. He, P. Zhou, and L. Xie, “MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios,” arXiv preprint arXiv:2606.22868, 2026. doi: 10.48550/arXiv.2606.22868.

[2] M. Shao, H. Su, W. Tian, B. Mu, Z. Lin, L. Fan, Z. Luo, J. Luan, and L. Xie, “Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding,” arXiv preprint arXiv:2604.22245, 2026. doi: 10.48550/arXiv.2604.22245.

[3] C. Xiong, D. Shen, Y. Tang, W. Ma, M. Li, and A. Smola, “MSI-Bench: Evaluating Multi-Speaker Voice Interaction for Collaborative AI Agents,” arXiv preprint arXiv:2609.24812, 2026. Available: https://arxiv.org/abs/2609.24812.