11月13日，腾讯混元发布全新实时语音模型 Hy Realtime。新模型在语音理解、指令遵循、拟人化表达等基础对话能力上有显著提升，同时新增Agentic工具调用与唱歌能力。目前，Hy Realtime已在元宝语音通话、腾讯客服等产品上线，近期也将上线腾讯云，对外提供 API 服务。


⏩智商情商双在线，能说会唱还能调用工具

Hy Realtime在理解用户意图和指令遵循方面表现出色。现实交流中，用户交互可能会口齿含糊、话说半截，或者中途改口纠正自己，模型可以结合对话上下文，对这类不完整输入进行意图还原，理解准确率显著提升。同时，模型的多轮指令遵循与上下文管理能力进一步增强，在较长的连续对话中依然能够稳定理解用户意图，保持对话流畅。

除了基础对话功能，Hy Realtime还具备工具调用能力，它能根据对话上下文、用户意图准确判断是否执行联网搜索，统一搜索决策、调用工具与生成回答。

除了“听力理解”的大幅提升，Hy Realtime的口语表达能力也进一步升级。在音质、发音、韵律、情感各维度上全面优于上一代模型，对话内情感的变化和递进更加自然，韵律语调处理也更具多样性，与用户的共情能力进一步提升。

依托与腾讯音乐TME灵音AI团队的深度Co-design，Hy Realtime新增唱歌能力，将自然语言点歌与富有表现力的歌声融入对话，让交互从“能说”走向“会唱”。用户可以按歌手、专辑、曲风、语种、发行年份和热度组合点歌，也能承接前文继续选择。例如，当用户说“来首2010年到2020年之间的英文民谣”，模型即可结合多轮上下文，理解点歌意图、匹配歌曲并演唱。在演唱表现上，混元团队围绕表现力、自然度和音乐性持续打磨，让演唱情绪更有层次，咬字、气息衔接更加自然，旋律与节奏表达更加协调。在内部专家A/B Test评测中，Hy Realtime在核心体验维度中呈现出显著优势。

在中文/中英混为主的应用场景上，混元语音构建了体验向的真实产品评测体系。在内部专家盲评的结果上，基础搜答类体验上有了显著提升。

在覆盖数学、科学、逻辑推理、知识问答、复杂指令、文本理解、多轮等多个维度的内部自建基础智商测试集上，非思考模式的中文表现不俗。

在语音交互领域多个公开benchmark上，综合客观表现处于领先水平。


⏩跨模态对齐、专项数据体系、多奖励强化，模型能力全面提升

为了进一步提升用户体验，混元语音团队对语音实时交互模型进行了全面的重构。通过优化算法框架、严控数据质量、完善评测方案以及搭建高性能训推Infra设施，Hy Realtime的实时语音通话能力显著提升到行业第一梯队的水平。

预训练和后训练跨模态对齐

在语音通话模型的演进中，跨模态对齐决定了能力上限。文本世界的知识、逻辑与推理能力，能否完整无损地迁移进语音世界，而不在“口语化”的过程中被稀释，是提升模型能力的关键。Hy Realtime通过预训练与后训练的协同设计实现了系统性突破。

在预训练阶段，模型沿递进路径完成了从“模态连通”到“深度融合”、再到“全场景感知”的能力跃迁。感知维度不再局限于语音到文本的语义转写，而是延伸至情感、语调、环境音等副语言特征，使模型真正具备对完整声学场景的解析力，不仅能听清字面内容，还能捕捉语气中的情绪与言外之意，从而在真实、嘈杂、多变的通话环境中保持稳定与准确。

后训练阶段，Hy Realtime通过重构面向真人交流场景的高质量数据生产与门控体系，文本智能向语音任务迁移的保留率实现数倍跃升，在精炼口语表达的同时完整保留复杂逻辑推理链条，让模型“说人话”而不“掉智商”。

构建专项数据体系

与此同时，Hy Realtime围绕CT、SFT、OPD与RL四个阶段，构建多个专项数据体系，为模型能力的逐级跃升提供了坚实底座。

CT预训练数据以规模化清洗采集与严格质量把控为核心，从海量多源语音中层层收敛出高质量数据资产，任务形态从单一ASR拓展至音频理解、音乐理解、语音翻译等通用音频理解，达到千万小时级规模，并配合51套纯文本集与50+套语音评测集的多领域评测矩阵，实现文本智商不降、语音能力全面跃升。

SFT数据则解决了端到端语音模型长期存在的跨模态智商折损难题，通过重构口语化改写生产链路，将高质量文本数据向语音任务的有效迁移保留率从21%大幅提升至69%，在精炼口语表达的同时完整保留复杂逻辑推理链条；同时系统性构建了 Context-ASR、长程多轮、指令遵循、逻辑推理、需求理解、情感共情、工具调用等多维专项数据，结合MinHash LSH多样性去重、Topic均衡分布及人工抽检，构建起严密的数据门控与十维刚性评测护栏。

MOPD 数据打通语音与文本双通路，以文本教师语料承载知识、推理与指令遵循，以Voice Agent教师语料覆盖多轮对话、实时联网与工具调用的完整链路，并使语料分布与真实通话场景对齐，支撑on-policy逐token反馈的精准监督。

RL 数据则围绕基础能力、专项能力与Agentic能力三类配比协同组织，在保障对话基础与智力上限的同时定向提升回复多样性、多轮上下文记忆与人设一致性，并配套偏好样本与规则清单校验集，为双轨奖励与底线门控提供可靠的信号来源。

多奖励强化

在强化学习阶段，模型团队围绕奖励算法与 RL Infra两个方面进行全链路优化。算法侧引入多元奖励信号：针对不同场景，以自研的通用偏好奖励模型提供平滑的全局信号，以规则清单提供确定性的逐项约束信号，构建双轨奖励机制并实现相互校正；同时引入覆盖安全、格式、风格与逻辑等维度的底线门控机制，通过一票否决严格守住关键红线。在智能体场景中，进一步将奖励目标从最终答案的正确性扩展至工具调用的完整过程，并对冗余检索实施阶梯式降权。RL Infra 侧则重点围绕Rollout训练效率、音频计算与显存占用、训推一致性等关键环节进行系统优化。

MOPD

在后训练中，模型引入了多教师、跨模态的OPD训练。训练同时打通语音与文本输入两条通路，将教师模型的能力迁移进Realtime模型的多模态表征中。具体来说，使用混元文本模型作为通用能力教师，负责知识、推理、指令遵循与多轮能力的迁移；混元语音Agent教师则将能力范围从单轮问答扩展至真实交互场景，覆盖多轮对话、实时联网与工具调用，使模型在完整的“思考—调用—作答”链路上同步获得提升。两者以受控配比共同指导同一模型，使“能力增强”、“表达自然”与“任务可执行”不再相互妥协。

低延迟语音生成

语音生成模块采用低延迟方案，与大脑协同，实现“边生成文本、边合成语音”。其核心是对文本与语音进行协同序列建模，以及采用高效声学生成技术，使语音生成不必等待大脑输出完整文本后再“说话”，从而显著降低首响延迟，满足流式交互要求。训练上采用三阶段模式：文本模型预训练打好语言基础；大规模语音数据预训练学习语音时序、韵律及文本对齐，并在此阶段注入TN相关数据，缓解流式场景下传统TN模块难以直接使用的问题；精品发音人微调进一步收敛特定音色、发音、韵律与情感。整体遵循先通用、后专用的思路：前两阶段解决低延迟流式场景下“能说、会说”，第三阶段解决“说得好、有情感”。

Hy Realtime 仍在不断迭代，下一步将重点在双工交互、长期个性化记忆、前后台 Agent 交互上等方面不断提升，为用户带来更好的交互体验。当前版本可通过最新版元宝 App（下载地址：https://yuanbao.tencent.com/download）体验，在语音通话功能中选择“初语”音色。

也可访问网页 Demo 进行部分能力体验：https://rtcube.cloud.tencent.com/component/hunyuan/index.html