现有世界模型大多聚焦于模拟物理现实——给定过去的观测和控制信号,预测场景如何演化。在这个框架里,推理和决策被排除在世界之外,用户通过低自由度的信号从外部控制,世界内部没有主体。
团队认为,完整的世界模型不仅需要模拟物理场景,还需要内部承载能够自主感知、决策和表达的智能主体。它们持续接收环境输入,自主决定行为,并通过视听输出与真实用户交互。
今天,蚂蚁技术研究院与西湖心辰共同发布 Duo,Reciprocal World Model(RWM,双向世界模型) 的首个实现。它通过 Intent 和 Realization 两个紧密耦合的模块,将智能主体内化为世界的一部分,原生支持全双体、实时、双向的交互。

- 技术报告:https://arxiv.org/abs/2611.15131
- 官网:https://duo-v1.github.io/
- 代码:https://github.com/inclusionAI/Duo
- 模型:ModelScope:https://www.modelscope.cn/collections/inclusionAI/Duo-v1Hugging Face:https://huggingface.co/collections/inclusionAI/duo-v1
双向世界模型
传统世界模型只模拟物理场景——光影、材质、动态。用户始终在外部,通过键盘、鼠标或文本输入指令。这样的世界可以足够逼真,但内部没有主体:场景可以被观测,但无法主动回应。
双向世界模型(Reciprocal World Model,RWM) 同时覆盖物理现实和智能主体。在这个框架中,虚拟主体与世界共享同一交互时空:它持续接收用户的音频和视频输入,自主决定何时开口、何时倾听,并生成与之一致的视听行为。这种双向关系意味着,虚拟主体不是被操控的 NPC,而是具有感知、推理和表达能力的存在。

图 1:Duo v1 框架示意
Intent:世界中的认知主体
Intent 模块是虚拟主体的"大脑"。它不只是一个多模态语言模型,而是在统一时间线上进行连续交互推理的决策系统。
在每个约 0.7 秒的时间块(chunk)内,Intent 基于用户输入和交互历史,自主决策是选择 <speak>(开口说话)还是 <wait>(倾听等待),并同步生成对应的语言内容。它的隐状态(hidden states)而非解码文本,构成对 Realization 模块的直接指导。
这种设计使虚拟主体具备原生的交互理性:它能决定何时参与对话、何时保持沉默、如何回应打断,而不是被动执行预置指令。
Realization:视听行为的因果生成
Realization 模块是虚拟主体的“表达”。它基于 Intent 的隐状态、用户输入和自身生成历史,联合生成与之一致的音频和视频。
为了保证流式交互的因果正确性,Duo v1 将用户输入、Intent 决策与 Realization 生成严格对齐到统一时间线。模块特定的注意力掩码强制建立严格的因果依赖:任何模块都不能访问未来输入,已生成的视听历史则作为上下文参与后续 chunk 的生成。
这种因果同步不是外部调度逻辑,而是模型自身的推理节律——每个 chunk 约 0.7 秒,Intent 推理与 Realization 生成在统一管线中无缝衔接。

图 2:基于 ASR 对齐的 chunk 构建与因果同步
训练策略:从意图到实现的三阶段训练
Duo v1 的训练分为三个阶段,逐步对齐"意图理解"与"视听生成"之间的复杂依赖。
Duo v1 的训练分为三个阶段。第一阶段训练 Intent 模块进行文本预测和参与决策,并通过目标采样重平衡解决"过度等待"的偏差。第二阶段训练 Realization 模块进行因果联合视听生成,Intent 保持冻结,因果注意力掩码确保训练与推理的一致性。第三阶段通过分布匹配蒸馏压缩为 4 步生成器。Dual Rollout 解决核心挑战——训练时用录制媒体,推理时用自身生成:冻结的 Intent 生成文本,Realization 基于自身合成的视听历史训练,从而对齐推理分布。
Stage 1:Intent Training
第一阶段训练 Intent 模块进行因果参与和文本预测。模型在每个 chunk 上预测 assistant 的输出,包括 <speak> 或 <wait> 动作以及对应的语言内容。
由于大多数 chunk 不包含新的 assistant 文本,训练容易出现"过度等待"的偏差。团队通过动作感知重平衡(action-aware rebalancing)对不同类别的目标进行采样和加权,确保模型在“等待”和“开口”之间保持均衡。同时,通过对历史文本进行截断或重复,让模型学会从不完美的上下文中恢复。

图 3:阶段一和阶段二训练示意
Stage 2:Realization Training
第二阶段训练 Realization 模块进行因果联合视听生成,Intent 模块保持冻结。Realization 基于冻结 Intent 提取的隐状态、录制媒体历史和用户输入,学习生成与之一致的音频和视频 latent。
通过精心设计的注意力掩码,noisy media embedding 只能访问参考图像、全局描述、历史 clean media 和当前 Intent 隐状态,不能访问自身的 clean target 或任何 future chunk。这种因果约束确保了训练和推理时的一致性。

图 4:Realization 模块的训练序列、位置编码及注意力掩码
Stage 3:Distribution Matching Distillation
第三阶段通过分布匹配蒸馏将模型压缩为 4 步生成器。核心挑战在于:训练时 Realization 依赖录制的媒体历史,而推理时面对的是系统自身生成的历史。
Dual Rollout 解决了这一分布偏移:在每个训练窗口内,冻结的 Intent 模块自回归生成 assistant 文本,Realization 模块则基于这些生成的 Intent 特征和自身合成的视听历史进行条件生成。模型在自身生成的数据上训练,从而对齐推理时的真实交互分布。

图 5:Distribution Matching Distillation 与 Dual Rollout 示意
训练数据、挑战及解决方案
Duo v1 的训练数据来自合成与录制两个来源。
合成数据采用两阶段流程:LLM 根据控制卡片生成结构化剧本,再经视频生成模型逐块生成音视频。控制卡片涵盖时长、语言、人设、交互类型等维度,确保场景多样性。
在视频合成中,一个关键挑战是误差累积:如果每个 block 只依赖前一个 block 的 final frame 作为参考,视觉误差会逐块放大,导致画面质量持续退化。Duo v1 通过固定使用 block 0 的 opening video 作为质量参考,将误差稳定下来。在 60 秒的连续生成测试中,基线方法的 luma 值从 103.8 下降到 69.6(下降 34.2),而该方法稳定在约 99 的水平,保持了面部外观的一致性。

图 6:在包含十个区段、时长 60 秒的 rollout 过程中产生的误差累积
生成后通过四种自动质检(首帧一致性、意外音频、镜头推近、大面积视觉变化)过滤低质量样本。
录制数据包含六种类型:单人视频、同步双视角视频、异步双视角视频、直播互动、双工音频,以及筛选后的开源数据集。所有数据经过 ASR、VAD、说话人分离和时间轴对齐处理,最终统一为因果交互格式。
性能测试
在 30 组真实全双体交互的人类评估中(180 项检查),Duo v1 通过了 168 项(93.3%):
- 语言遵循性、语音可懂度、视觉身份稳定性:100% 通过;
- 视听情感一致性:96.7%;
- 视听同步:90.0%;
- 内容响应度:73.3%。
内容响应度是最具挑战性的指标——模型必须在音视频仍在输入时就做出决策,这要求对用户的意图进行实时推断。这也是下一版重点提升的方向。
结语
Duo v1 验证了 Reciprocal World Model 的技术可行性:Intent 与 Realization 的内生耦合,使虚拟主体首次成为世界模型的内部构成,而非外部控制对象。
Duo 能力的核心在于:虚拟主体不是执行预置脚本的 NPC,而是具有内在意图、能主动参与交互的存在。
当前版本在内容响应度(73.3%)和长程一致性上仍有提升空间。下一步,团队将继续优化复杂意图的实时推断能力,并探索更长会话周期中的稳定性。完整的技术报告、训练代码与模型权重已开源,欢迎社区在此基础上进一步拓展。
