游戏引擎渲染的画面、AR/VR 里的交互，都不是视频生成模型生成的，自然也没有谁顺带生成声音；电影实拍镜头，基本要靠后期音效重新做。现在的文生音视频和有声世界模型，音频生成绑定在自家的视频生成过程里，只能给自己生成的画面配声音。流式视频生音频（streaming V2A）不挑来源，给它任意像素流，就能实时配声音。

但这个方向有一个长期没解决的难题：「实时下，音画同步和生成质量怎么保住？」想少等几帧，就只能缩小视觉窗口，同步随之变差；音频后端逐段独立去噪，音质也落后于离线。

由来自莫纳什大学、南京大学、清华大学、阿里巴巴、前 VGG Group的研究员等联合提出的 LiveFoley，彻底解决了实时下的音画同步问题，方法却出奇简单。视觉前端用拖尾滑动窗口，不换编码器，也不用重新训练，就把等待压到 0.08 秒，还能做到同一个模型还能按场景切换延迟。

在单张 A800 GPU 上，LiveFoley实现端到端无感知延迟，音画同步追平离线模型SOTA模型MMAudio，是首个做到这一点的流式系统，音质也在流式系统中领先。


世界模型只配自己的画面LiveFoley 接任何画面

在探讨技术细节之前，首先需要厘清流式视频生音频与当前热门的有声世界模型之间的本质差异。

当前很多工作希望用文生音视频（T2AV）一套模型同时搞定音画生成，其音频合成往往与视频画面的扩散生成机制紧密交织在一起。这意味着模型只能给自己生成的画面配声音。然而，游戏、AR/VR 这些场景的画面并非由扩散模型生成，而是通过 3D 建模或现代游戏引擎实时渲染出来的，底层没办法同时生成声音。当面对这类外部管线驱动的画面时，强绑定架构便无法直接适用。

相比之下，LiveFoley面向的是更广阔的通用场景：无论是扩散模型生成的像素、3D 重建与引擎渲染的像素，还是等着后期做声音的实拍镜头，LiveFoley 都能直接从像素实时合成声音。

可以预见，越来越多的画面会由 Opus、Astra 这类 code agent 写成代码再渲染出来，生成过程里根本没有声音这一环，而 V2A 不挑画面来源，正好能接住这类内容。


离线早有 MMAudio 时刻实时却一直等不来

视频生音频（V2A）的离线赛道上，MMAudio 是一个绕不开的名字。它最杰出的贡献，是引入 Synchformer 这样的片段级同步编码器，大幅提升了声音和画面动作的对齐能力。此后的 HunyuanVideo-Foley、Omni2Sound 等工作都沿用了这一架构。可以说，MMAudio 是离线视频生音频走向实用的里程碑时刻。

但这套架构放到实时场景里就走不通了：Synchformer 一次要吃进 16 帧（0.64 秒）画面，离线模型等得起，流式系统等不起。画面已经过去了，声音还要等 0.64 秒才开始算，人一下子就能感觉到声音跟不上动作。

于是，流式系统长期只能二选一：V-AURA 保留 Synchformer，承受 0.64 秒的等待；SoundReactor 换成逐帧的 DINOv2，等待降到 0.08 秒，同步却明显变差。离线赛道的 MMAudio 时刻，一直没有在实时赛道上发生。

难点一：「窗口越小，同步越差」。LiveFoley 团队一开始也一样，想办法把 0.64 秒的窗口不断缩小，还试过知识蒸馏，但始终逃不开一块跷跷板：窗口越切越短，实时性变好，音画同步却严重退化。背后是一个思维误区：默认等待时间必然等于窗口长度。

难点二：「声音一段一段单独去噪，音质追不上离线」。现有的实时音效流式系统,例如 SoundReactor 和 WorldSonus,大多采用独立局部扩散头(Independent LocDiT):每个 patch 单独去噪,只能通过自回归主干间接感知历史,既不能直接参考刚生成的声音,也看不到未来的音频片段。LiveFoley 团队发现这种做法很快就收敛，随后甚至越训越差，而 MMAudio 这类宽的全局 DiT 一次能看到整段音频，没有这个问题。于是试了一个无需重新训练的在线版 MMAudio，虽然计算冗余、接缝清晰可辨，但局部的声音质感相当扎实。这也带来了启发：必须打破单个 patch 的孤立状态，把 LocDiT 的去噪窗口加宽。


不缩窗口，只挪对齐实时迈入 MMAudio 时刻

1、拖尾滑动窗口：窗口一点没缩，等待从 0.64 秒降到 0.08 秒

面对窗口越切越短导致的同步退化，LiveFoley 团队开始思考：前瞻延迟和感受野真的必须绑定在一起吗？能不能将二者彻底解耦？顺着这个思路发现，只要采用尾部对齐，现成的片段级别编码器根本不需要重新训练，配合首帧填充就能巧妙解决问题，而且同步几乎不退化。

传统切小窗口与拖尾滑动窗口的时序结构及同步误差对比：窗口切短导致误差急剧恶化，而拖尾滑动窗口降低步长时误差几乎无损（0.60 变到 0.61）

具体而言，LiveFoley 提出了拖尾滑动窗口机制。对于 Synchformer 所需的完整 16 帧（0.64 秒）窗口，LiveFoley 不再向未来等待帧数据，而是将窗口的尾部死死贴住当前到达的最新视频帧。对于历史不足 16 帧的冷启动时刻，直接采用第一帧重复填充补齐左侧历史，避免产生额外的启动等待。

在这个机制下，窗口内部依然拥有完整的 0.64 秒长时感受野，编码器内部的自注意力机制得以完整保留。窗口向前滑动时，引入了步长参数 s：每当新到达 2s 帧画面，窗口向前滑动一次，抛弃最早的历史，吸纳最新的帧，并在输出端只取出最新提取出的 s 个尾部 token。

此时，前端的前瞻延迟被彻底解绑，它完全由滑动步长 s 决定。如对比图所示，传统的块状滑窗将前瞻从 0.32 秒降至 0.08 秒时，同步误差从 0.67 恶化到 0.88；而拖尾滑动窗口在步长从 0.32 秒缩短至 0.08 秒的过程中，同步误差仅从 0.60 微幅变动到 0.61，音画同步性在低延迟下几乎无损。困扰流式领域许久的实时与同步难题，通过这一简单的尾部对齐转折被彻底化解。

2、Unified Varhop：一个模型，一颗旋钮切换延迟

通过拖尾滑动窗口，延迟与同步的对立被转化成了更为健康的延迟与算力开销的权衡：步长 s 越小，前瞻延迟越低，但前端提取特征的调用频次越高。用户研究显示，不同声音类型的感知阈值不同，这为调度留出了空间。

用户研究测得的动作音（340 ms）、语音（490 ms）与环境音（850 ms）感知阈值，以及 LiveFoley 提供的三档可选延迟（156/236/396 ms）

为了避免为每个步长单独训练专有模型的冗余，LiveFoley 提出了 Unified Varhop 框架，用单套主干权重同时适配步长 s 取 1、2、4 三种情况。为了解决直接截取 token 导致的特征分布偏移问题，LiveFoley 在前端与后端之间设置了一个轻量级的 Synchronizer 模块。这样无论前端以何种步长滑动，向后端输入的都是恒定的时序 token 流，使得生成主干对步长完全解耦。在推理时，系统只需像调节旋钮一样变更 s，即可按场景选择延迟。

3、加宽 LocDiT：绕开自回归死锁

在音频生成主干上，LiveFoley 采用了因果语言模型结合局部流匹配头（LocDiT）的架构。受在线版 MMAudio 启发，LiveFoley 探索了在时间轴上向历史与未来双向加宽去噪窗口。

连续自回归音频生成后端结构：独立的单 patch LocDiT、引入历史的 History LocDiT（系统默认）以及借助近似条件实现未来预热的 Future-Warmup LocDiT

  • 向历史加宽（History LocDiT，默认配置）：在去噪当前 patch 时，模型直接将前两步已经生成完成的干净 patch 作为上下文拼接到 LocDiT 的输入端。由于历史音频已经就绪，这一操作不需要增加前瞻等待，LocDiT 可以直接参考刚生成的音频，从而提升生成质量。
  • 向未来加宽（Future-Warmup LocDiT，可选配置）：如果进一步将未来的下一个 patch 也纳入当前去噪窗口，便能实现跨 patch 的双向信息协同。但下一个 patch 的去噪条件，要等当前 patch 生成完才算得出来，这就是自回归死锁。为绕开它，LiveFoley 提出了特有的 Future-Warmup 机制，构造了一个近似未来条件：将当前步的隐状态直接与提前到来的未来视觉 token 以及时间步嵌入相结合。在这一近似引导下，当前与未来 patch 能够在同一个扩散窗口中完成联合双向去噪。在实际推理时，未来 patch 仅仅充当预热角色，在当前步执行完毕后被直接丢弃。这一可选项虽然需要多等 0.08 秒的后端前瞻，但在延迟允许时能进一步提升音质。


从画面到声音 156 毫秒时间都花在了哪

在衡量流式系统的响应能力时，单纯讨论算法前瞻往往脱离实际，端到端耗时才是决定用户体验的关键指标。

单张 A800 GPU 下 LiveFoley 默认配置（History LocDiT, s=1）端到端 156 ms 的阶段拆解，以及未来预热模式估计 236 ms 与动作声察觉阈值的关系

在单张 A800 GPU 的运行环境下，对于默认配置（History LocDiT，步长 s 为 1），LiveFoley 各个推理与神经解码计算阶段总计耗时仅为 76 ms，叠加固定的 80 ms 画面缓冲前瞻后，最终端到端耗时锁定在156 ms。这一成绩低于用户研究测得的动作音 340 ms 察觉阈值。对于开启 Future-Warmup LocDiT 的高质模式，在加上额外的 0.08 秒算法前瞻后，端到端延迟估计约为 236 ms，仍在阈值内。


同步性追平离线音质领先流式

在 VGGSound 标准测试集上，LiveFoley-48k 的音画同步误差为 0.48，和离线模型 MMAudio-L（0.47）处于同一水平，领先所有流式系统。音质也在流式系统中领先，PQ 评分 6.26 全场最高。

各系统同步误差与视频等待时长对比：LiveFoley 在等待时长减少近 100 倍的前提下追平了同步精度，并在主客观维度全面领先流式系统

差距也要承认：FD_PaSST 上 LiveFoley 是 92.48，离线的 MMAudio-L 是 74.16。因果模型只能看到已经到来的画面，音质还没有追平离线。主观听感的结果一致。6 名受试者在 16 段视频上打分，LiveFoley 的音质（3.23）和同步（3.58）都在流式系统中领先，同步逼近离线的 MMAudio-L（3.79），音质与它（3.62）仍有差距。

主观评测与频谱对比：VR 乒乓球画面的声谱连贯性呈现，以及受试者在 16 段素材上的音质（MOS-Q）与音画同步（MOS-A）均值评测对比


总结与展望

必须客观承认，这项技术要真正走进产品，还存在计算成本和长时间运行稳定性的问题，有待继续打磨。但从科研与算法探索的层面上看，LiveFoley 彻底解决了这个方向最关键的问题：在实时条件下保住音画同步，并首次追平离线模型，让这项技术第一次看到了落地的可能性。正如当年离线视频生音频领域因为 Synchformer 的引入而催生了 MMAudio 这样的标杆之作，LiveFoley 或许会催生实时音频领域的「MMAudio 时刻」。


作者介绍

代宇盛，澳大利亚 Monash University 博士生，导师为 Jianfei Cai 教授，研究方向为音视频生成模型与交互式世界模型。相关代表作包括 Omni2Sound、CineDub 以及 εar-VAE2。

Vladimir Iashin，芬兰 Tampere University 博士，曾在牛津大学VGG组从事博士后研究,研究方向为多模态视频理解与音视频学习。相关代表作包括 SpecVQGAN、Synchformer 以及 V-AURA。