什么构成了音乐的语义，又如何让这些语义在连续潜空间中得到清晰表达？

连续潜表示（Continuous Latent Representation）已成为歌词到歌曲、文本到音乐等生成系统的重要基础。音乐自编码器将波形压缩为紧凑的潜变量，供下游模型学习与生成，再由解码器还原为音频。现有方法大多以音频重建为主要训练目标，能够保留丰富的声学细节，却未必将旋律、和声与歌词相关信息组织成清晰的结构。如何在支持高质量重建的同时，使连续潜空间更好地表达音乐内容，是音乐表征学习中的一个重要问题。

近期，西北工业大学音频语音与语言处理研究组（ASLP@NPU）联合吉利汽车研究院、西安交通大学、WeNet 开源社区等，合作提出了音乐语义变分自编码器——MSVAE（Music Semantic Variational Autoencoder），通过分区双流语义对齐与语义优先的门控残差后验，在连续潜空间中组织互补的音乐内容，在保持有竞争力的立体声重建质量的同时，有效提升了音乐理解、歌词到歌曲生成和纯器乐生成表现。题为“MSVAE: Rethinking Musical Semantics in Continuous Latent Spaces”的技术报告现已公开，模型权重与代码均已开源。现对该工作进行简要解读和分享。

论文题目：MSVAE: Rethinking Musical Semantics in Continuous Latent Spaces

作者列表：马国斌，姜月鹏，郭大可，陈华康，周源，熊玲欣，程文楷，胡景斌，解晗轲，郝春博，李文豪，宁子谦，姚继珣，赵剑，蒋忠林，陈勇，谢磊†，朱鹏程†

合作单位：吉利汽车研究院、西安交通大学、WeNet 开源社区

论文链接：https://arxiv.org/abs/2610.17187

样例展示：https://aslp-lab.github.io/MSVAE/

推理代码：https://github.com/ASLP-lab/MSVAE

模型权重：https://huggingface.co/ASLP-lab/MSVAE


背景动机

音乐语义包含多个层面的内容。旋律与和声体现作品层面的组织，歌词则通过歌声传递语音和语言信息。歌词与音频能否准确对应，是其中一个直观、可衡量的体现。针对歌词对齐问题，已有歌曲生成系统引入了句级时间戳、辅助对齐目标、对齐奖励或半自回归生成等机制。这些改进主要发生在生成器侧，而生成器所预测的潜变量，仍大多来自以波形重建为主要目标的自编码器。

MSVAE 从表征侧探索这一问题，将歌曲内容组织为两条互补的语义流：一条关注旋律、和声等作品层面的作曲内容，另一条关注歌词相关的语言与人声内容。这是一种对内容信息的划分。一句演唱同时具有旋律和语音，其中的旋律属于作曲内容，语音则承载歌词相关信息。因此，两条语义流并不等同于伴奏与人声两个独立音源。围绕这一建模方式，MSVAE 需要解决两个问题：如何在紧凑的潜空间中明确表达两类内容，并减少监督信号之间的干扰；如何保留语义结构，同时补充高质量重建所需的声学细节。

MSVAE

如图 1 所示，MSVAE 将立体声音乐编码为 64 维、25 Hz的连续潜表示。冻结的音乐自监督编码器 MuQ[1] 提供语义基础，可训练的声学编码器提供受约束的残差修正，两者共同构造潜分布。采样得到的潜变量随后由解码器还原为音频。

训练时，潜变量被划分为两个 32 维子空间，分别接受冻结的 SheetSage[2] 和 FireRedASR[3] 特征监督。模型联合优化重建、对抗、KL 正则化与双流语义对齐目标，使同一个潜表示同时满足声学保真与内容组织的需求。

图1 MSVAE 整体模型结构

分区双流语义对齐

不同语义目标作用于同一组潜变量时，可能产生干扰。MSVAE 为两类内容分别分配潜变量通道，并使用独立的投影头完成对齐。

对于作曲内容流，模型使用 SheetSage 的旋律转录与和弦识别隐藏特征作为参考。这些特征包含旋律和和声信息，经过时间对齐后，为对应的 32 维子空间提供监督。

对于语言与人声内容流，模型使用 FireRedASR 编码器的隐藏特征，指导另一个 32 维子空间表达歌词相关的语言与演唱内容。

这种设计为不同监督目标提供了明确的作用位置，鼓励两个子空间形成互补的功能。SheetSage 和 FireRedASR 用于离线提取训练参考特征，正常音频重建时无需运行这两个参考编码器。

语义优先的门控残差后验

音乐自监督特征已经包含丰富的内容信息，但不足以保留波形重建所需的全部声学细节。直接加入声学信息，又可能使重建目标在融合过程中占据主导，从而削弱潜空间的语义组织。

MSVAE 以冻结 MuQ 特征生成的均值与对数方差作为潜分布的基础，由声学编码器预测残差修正。修正幅度受到显式限制，其进入最终分布的程度由语义特征生成的门控控制。

通过这种方式，声学信息在约束下补充重建所需的细节。分区对齐负责组织不同类型的音乐内容，门控残差则控制语义信息与声学信息的融合，两项设计共同构成 MSVAE 的连续潜空间。

实验

实验设置

  • 实验数据与训练流程：MSVAE 采用两阶段训练。第一阶段使用约 60 万首歌曲、总计约 4 万小时的音乐数据，在 24 kHz 立体声音频上训练；第二阶段冻结编码端，以 48 kHz 音频为目标细化解码器，编码端仍接收 24 kHz 输入。
  • 对比系统：选取 Stable Audio Open、ACE-Step 1.5、SAME-S 和 SAME-L[4] 的官方自编码器检查点，分别评估音乐重建、音乐理解和下游生成能力。
  • 比较设置：在每项下游生成任务中，各表征使用相同的生成器骨干、模型规模、训练数据、优化方案与训练步数，仅根据潜变量的维度和帧率调整输入输出接口及序列长度，从而考察表征本身带来的影响。

音乐重建

如表 1 所示，在 MUSDB18-HQ 官方 50 首测试歌曲上，MSVAE 保持了有竞争力的重建质量。在所比较的 64 维卷积 VAE 组内，MSVAE 的 PESQ 与两项谱域距离表现最优，STOI 则次于 ACE-Step 1.5。

SAME 系列获得了更高的重建指标，同时使用了更大的潜变量速率预算。上述结果表明，在紧凑的连续表征中引入明确的语义组织，可以与较好的声学重建能力兼容。

表1 MUSDB18-HQ 测试集上的立体声音乐重建结果。评价以共同的 24 kHz 采样率为基础，粗体表示各组内最优结果，参数量仅统计可训练组件。

音乐理解

音乐理解实验保持表征模型冻结，仅训练任务对应的探测头，考察潜变量中保留了多少可用于内容分析的信息。

所选任务覆盖情绪回归、和弦识别、调性识别与节拍跟踪。如表 2 所示，MSVAE 在报告的五项指标上均优于比较的连续自编码器，说明其在支持波形重建的同时，也保留了丰富的音乐语义信息。

表2 所选 MARBLE 任务上的探测结果。冻结参考编码器仅用于提供背景，不计入连续自编码器之间的排名。

歌词到歌曲生成

歌词到歌曲实验采用 1B 规模的非自回归潜空间生成器，以 20 万首歌曲进行训练，主要训练长度为 45 秒，并使用 200 条生成歌词进行评测。

MSVAE 的主要设置通过没有时间标注的音素前缀提供歌词条件，无需指定每句歌词对应的演唱时间。在这一设置下，MSVAE 的音素错误率 PER 为 0.136，而相同无时间戳条件下，其他比较表征的 PER 为 0.851–1.579。

这说明，在共享生成器训练方案下，MSVAE 能够更可靠地建立给定歌词与生成歌声之间的对应关系。

收益也体现在歌曲整体表现上。即使与使用句级时间戳的基线相比，MSVAE 仍取得更好的歌词对齐效果，生成歌曲的音乐性也更高。在 SongEval 自动评估中，其连贯性、音乐性、记忆性、清晰度和自然度五个维度均获得更优表现。

纯器乐文本到音乐生成

为检验语义组织的作用是否超出歌词任务，论文进一步开展了纯器乐文本到音乐实验。该实验遵循 ICME 2026 ATTM 评测协议，使用 MTG-Jamendo 的纯器乐片段训练约 400M 规模的条件生成器。

MSVAE 在 FAD 和音乐概念覆盖指标 CCS 上获得更优结果，体现出更好的音频分布质量，以及对文本中指定音乐概念的更可靠呈现；文本与音频匹配指标 CLAP 也保持了竞争力。

消融实验进一步显示，双流分区对齐优于仅使用作曲内容对齐的设置。即使生成目标没有人声，对两个潜变量分区进行互补约束仍能带来收益。

消融实验

我们进一步从语义对齐方式、后验构造方式和语义监督位置三个方面开展消融实验，以验证各项设计的作用。

首先，分区方式影响语义监督的效果。仅使用一个参考目标，或将两个目标同时施加于全部潜变量，都未能获得完整模型在重建与下游任务之间的综合表现。将两类监督分配到不同子空间，有助于协调内容组织与音频重建。

其次，门控残差有助于保留语义结构。直接融合语义和声学信息可以取得较好的重建结果，但其语义探测与下游生成表现存在不足。门控残差在约束声学修正的同时，更好地结合了两类信息的优势。

最后，在固定为单声学编码器的控制实验中，VAE 训练阶段的分区语义对齐，比仅在生成器中引入 REPA 语义指导取得了更好的综合表现。这一结果支持了在连续表征中直接组织音乐内容的设计思路。


参考文献

[1] Haina Zhu, Yizhi Zhou, Hangting Chen, et al. MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization[J]. CoRR, 2025, abs/2501.01108.

[2] Chris Donahue, John Thickstun, Percy Liang. Melody Transcription via Generative Pre-Training[C]//ISMIR. 2022: 485–492.

[3] Kaituo Xu, Feng-Long Xie, Xu Tang, et al. FireRedASR: Open-Source Industrial-Grade Mandarin Speech Recognition Models from Encoder-Decoder to LLM Integration[J]. CoRR, 2025, abs/2501.14350.

[4] Julian D. Parker, Zach Evans, CJ Carr, et al. SAME: A Semantically-Aligned Music Autoencoder[J]. CoRR, 2026, abs/2605.18613.