当 AI 能够流畅接话、模仿情绪，甚至允许用户随时打断，语音交互似乎已经跨过了最难的一关。但从演示走进实际业务，开发者往往会发现：声音自然，不代表对话自然；回答正确，也不代表任务能够完成。

用户话没说完，AI 就抢着回答；一句补充说明，让系统丢失了原本的任务；调用工具时，对话陷入等待。这些问题未必来自模型“不够聪明”，却直接决定了一个语音 Agent 是否好用。

10月23-24日举行的 iRTE2026 实时智能大会，为观察这些问题提供了一个切口。声网创始人兼 CEO 赵斌在演讲中讨论了对话能力分级、模型架构与实时 AI 基础设施。贯穿其中的问题是：当语音模型持续进步，下一阶段的竞争，将发生在模型的哪些能力之外？


会生成语音之后，还要学会参与对话

过去，语音系统的能力通常被拆分衡量：识别准不准、回答对不对、合成像不像真人。这些指标仍然重要，但它们不能完整解释一次对话的体验。

例如，用户说“帮我订明天去上海的票”，停顿后又补充“最好下午出发”。系统需要判断，这个停顿意味着表达结束，还是仍有后文。当用户说“等一下”，它还需要识别：用户是要取消任务、修改条件，还是暂时暂停交流。

这里既有识别问题，也有对话时机与意图判断问题。单个模块表现不错，串起来仍可能出现抢话、误打断和上下文丢失。

赵斌在演讲中提出的“五级对话能力”框架，尝试把评价范围从语言输出扩展到沟通能力：L1是基于自身视角的表达；L2开始理解互动规律，协调倾听与发言；L3结合个体身份、意图和处境沟通；L4进一步理解群体关系与角色差异；L5则指向长期上下文与深度关系。

这是一种对能力演进的划分，还需要具体场景与评测方法来检验。它带来的启发是：衡量语音 AI，不能只看它说出了什么，也要看它为什么此刻开口、是否理解了对方。

尤其在客服、教育和陪伴场景中，同一句话面对不同的人、发生在不同阶段，可能需要完全不同的回应。语音自然度可以通过一段音频展示，沟通能力则需要放进连续互动中观察。


端到端与级联架构，仍需接受业务检验

对语音行业而言，端到端模型与级联架构如何演进，始终是一个核心话题。

级联系统由语音识别、大语言模型、语音合成等模块组成，方便替换组件、定位问题和接入业务系统，但多个环节之间可能增加等待，也可能损失语气、情绪等信息。端到端语音模型则试图更直接地处理语音输入与输出，为自然表达和全双工交互提供新的空间。

不过，技术路径的选择，很难只靠一次对话演示决定。

赵斌在演讲中提到，级联架构在灵活性、可控性和调试方面仍有优势，端到端模型则需要继续解决成本、可控性和问题定位等挑战。

从业务角度看，这些要求各有实际含义：客服系统说错了一项政策，需要查清错误发生在哪个环节；执行订单操作前，需要确认用户授权与业务条件；工具调用失败后，还要能够解释情况、恢复流程。

因此，“哪种模型更先进”与“哪种方案适合上线”，是两个需要分别回答的问题。

一种值得关注的方向，是根据任务组合不同模型：负责即时交互的模型保持对话，其他模型并行处理检索、复杂推理或工具调用。但多模型协作也会引入新的难题：用户修改要求之后，后台任务是否同步更新？旧结果返回时，系统如何避免继续执行已经失效的指令？

架构变得更复杂，系统协调能力的重要性也随之上升。


“实时”的难点，藏在整条交互链路里

用户感受到的等待，来自采集、传输、识别、推理、工具调用和语音播放等多个环节。即使模型输出很快，前后的链路也可能拉长响应时间。

更复杂的是，对话并不会在任务执行期间暂停。用户可能继续补充信息、改变目标，或者直接打断。系统必须一边处理任务，一边维护不断变化的会话状态。

这也是大会讨论 Real-Time AI Infra 的背景。赵斌将相关能力概括为实时推理、实时编排和大规模全双工交互：既要及时处理输入，也要协调模型与工具，并维持持续的双向交流。

在这一思路下，实时音视频网络、云边端推理与 Agent 编排开始进入同一套系统设计。声网在演讲中介绍的全球实时网络、TEN Framework及对话式 AI 引擎，也分别对应连接、编排和交互等环节。

但基础设施最终是否有效，仍要回到具体问题：弱网下能否维持交流？打断之后能否正确恢复？工具失败会不会导致对话中断？并发增加后，延迟与成本能否保持在业务可接受的范围内？

“实时”需要由整条链路共同兑现。除了平均响应速度之外，异常情况下的表现，同样影响用户是否愿意继续使用。


从“像真人”到“能交付”，评价标准需要跟上

语音 AI 的展示往往容易让人记住音色、情绪和反应速度。但进入真实场景后，更有价值的问题是：它到底帮助用户完成了什么？

客服 Agent 是否解决诉求，还是最终仍需用户重复描述？教育产品是否识别了学生的困惑，还是只给出流畅讲解？陪伴产品是否能在长期交流中保持一致、正确运用记忆，而非机械提及旧信息？

这些问题提醒行业，需要把体验评价与任务结果放在一起：既观察延迟、打断与上下文衔接，也关注任务完成、人工接管和错误恢复。

从此次大会的讨论来看，语音 AI 的关注范围正在扩大。模型仍是核心变量，但连接、编排、记忆、工具调用和业务流程，正在共同决定产品的实际能力。

对开发者与企业而言，下一阶段值得追问的，或许是：当用户改变主意、网络出现波动、工具执行失败时，这个 Agent 还能不能把对话接下去，把事情处理好？