近日,LAION 发布大规模音频文本数据集 LAION-Audio-XL,以及基于该数据集训练的对比式音频文本预训练模型 CLAP2。
数据集包含 3.65 亿组音频文本对,累计约 139 万小时音频,覆盖人声、音乐、环境音等多种声音类型。团队同步开放五种参数规模的模型权重、数据处理流水线及训练评测代码。

⏩数据集:从 14.8 亿条原始样本到 3.65 亿组高质量对
LAION-Audio-XL 的构建起点是约 14.8 亿条音频样本,来源包括 YouTube(仅限明确允许再利用的 CC 许可视频)、Common Crawl、其他网络集合以及 316 个学术数据集。YouTube 贡献了最大份额,从约 3266 万个完整视频中提取出 11.8 亿条音频片段,并在静音边界处切分为 5 至 120 秒的片段。

经过清洗、去重、基于 3718 类音频分类体系的覆盖度筛选,并借助 Qwen3-Omni 与 MOSS-Audio 为缺失描述的片段生成长短两种文本标注后,最终得到的训练语料为 3.65 亿组音频-文本对,累计约 139 万小时,单条音频最长限制在 30 秒。
最终语料中实际包含约 7.07 亿条标注条目(部分片段配有多条描述)。需要留意的是,大量标注由模型生成,并非全部来自人工撰写;论文中虽有人工听感研究支持其标注质量,但标注忠实度与风格偏差仍是需要在使用中留意的属性。
⏩CLAP2 模型:五种尺寸与一个关键设计取舍
CLAP2 是一个双编码器对比模型:音频塔将任意长度(最长 30 秒)的片段编码为一个向量,文本塔将描述编码到同一空间,余弦相似度衡量匹配程度。音频编码器采用 NaFlex 架构,直接处理变长音频,不强制裁剪或填充到固定长度。文本编码器基于 ModernBERT 改造,用 SwiGLU 和 RMSNorm 替代原版的 GeGLU 与 LayerNorm。
团队从零训练了五个尺寸,参数量从 2700 万到 3.4 亿,每个尺寸都训练至 10.24 亿样本见过(samples seen)的检查点。关键结果如下:
| 模型 | 参数量 | MAEB-30 均分 | HEAR-17 均分 |
|---|---|---|---|
| CLAP2-XXS | 27M | 46.2 | 79.1 |
| CLAP2-XS | 48M | 49.1 | 80.6 |
| CLAP2-S | 104M | 51.8 | 81.8 |
| CLAP2-M | 153M | 52.3 | 81.4 |
| CLAP2-L | 340M | 53.6 | 81.9 |
作为对比,此前表现较好的同类模型 GLAP(8.55 亿参数)在 MAEB-30 上为 44.1%,LAION 早前的 CLAP 为 35.2%。CLAP2-L 以约四分之一的参数量取得了明显更高的分数,且它是 MAEB-30 榜单上从零训练的模型中表现最好的一个——部分竞品依赖未公开训练数据的预训练骨干。

论文中一个值得注意的发现是时长取舍:仅使用不超过 30 秒的音频训练,在 MAEB-30 上比使用最长 120 秒的音频训练高出约 4.1 分,同时计算量减少 3.5 倍。对于通用音频嵌入任务,更长的片段并不自动意味着更好的表征质量。
⏩缩放规律:公开、可复用的训练规划参考
这是 LAION 延续其 OpenCLIP 路线的一贯做法:不只发布模型,还发布拟合好的缩放关系。在计算帕累托前沿上,计算量每翻一倍,MAEB-30 误差约下降 3.9%,对应分数提升约 1.8 分。最优数据量与模型尺寸的缩放指数约为 1.4 倍——数据量应比模型尺寸增长得更快。
此外,环境音任务的性能在约 1.5e10 GFLOPs 后趋于饱和,而语音和音乐任务仍在持续改善。这些结果对于计划训练自有音频模型的团队具有直接的参考价值。

⏩获取与使用
模型可通过 OpenCLIP 以几行代码加载,支持零样本分类、音频-文本检索以及作为通用音频嵌入提取器。数据集可通过 Hugging Face datasets 流式读取,支持按分类标签过滤(例如 tax_l1 == "Music")。代码采用 MIT 许可证,模型权重采用 Apache 2.0 许可证,音频数据则因来源不同而遵循各自原始许可。
Use CLAP2
# pip install "open_clip_torch>=4.2.1" soundfile
import torch, open_clip
from open_clip.audio.io import load_audio
hub = "hf-hub:laion/clap2-medium-audioxl-s1B"
model, preprocess = open_clip.create_model_from_pretrained(hub)
tokenizer = open_clip.get_tokenizer(hub)
audio = preprocess()(load_audio("dog.wav")) # any sample rate and channel count
texts = ["A dog barks.", "A door slams shut.", "People are applauding."]
with torch.no_grad():
logits, _ = model.get_logits({k: v[None] for k, v in audio.items()}, tokenizer(texts))
print({t: round(p, 3) for t, p in zip(texts, logits.softmax(-1)[0].tolist())})Use LAION-Audio-XL
from datasets import load_dataset
name = "laion/laion-audio-xl"
ds = load_dataset(name, streaming=True)
for s in ds["train"].take(3):
print(s["short_caption"], s["duration"])