音频语言模型(LALM)已经能相当准确地描述“音频里有什么”:声音事件、场景、情绪、语义内容。但在会议转写、播客检索、音频取证、内容审核、声学监控、音频剪辑等真实场景里,真正决定可用性的往往是“何时发生”——用户想知道狗叫发生在第几秒、某段讨论从哪一刻开始。模型能否把一句自然语言查询落到时间轴上,此前却没有一套统一的尺子来衡量。

为了解决这一问题,本文提出 TAG-Bench——首个系统性评测时间音频定位(Temporal Audio Grounding, TAG)的基准:1,750 条人工校验的查询-录音对、覆盖 149.5 小时真实音频、8 个可诊断的查询与时长子集,并对 21 个主流音频大模型系统做了统一评测。结果显示,最好的系统 mIoU 只有 31.2,在 IoU 高于 0.7 的严格标准下召回仅 21.5%,21 个系统里有 9 个 mIoU 低于 5——“何时”这个问题,远未解决。评测已开源,相关技术报告“TAG-Bench: Benchmarking Temporal Audio Grounding in Large Audio Language Models”已公开。

论文题目:TAG-Bench: Benchmarking Temporal Audio Grounding in Large Audio Language Models

作者列表:戴宇航, 舒心, 李曾玺, 谢磊, 李先刚, 余剑威

论文地址:https://arxiv.org/abs/2609.01542

项目链接:https://github.com/DaiYvhang/TAG-Bench

Demo page:https://aslp-lab.github.io/TAG-Bench.github.io/

Bench下载链接:https://modelscope.cn/datasets/yhdai666/TAG-Bench


背景动机

大音频语言模型在音频理解上进步迅猛。MMAU [1]、MMAU-Pro [2]、MMAR [3] 等基准把“音频问答”做成了标准评测,Audio Flamingo 系列 [5, 6]、Kimi-Audio [7]、MiMo-Audio [8]、Step-Audio [9]、MOSS-Audio [10] 等系统已经能描述复杂声学场景并流利作答。但它们评的是“听懂了多少、能不能推理”,很少评“能不能给出时间戳”。

这与真实需求是错位的。会议转写与播客检索要定位“这段话在哪”,音频取证与内容审核要定位“违规片段从几分几秒开始”,声学监控要定位“异常声响出现在何时”,音频剪辑更是直接依赖时间戳。一个只能说“有狗叫”、却指不出狗叫在第几秒的模型,在长录音场景里几乎不可用。

论文把这种能力称为时间音频定位(TAG):给定一段录音和一个自然语言查询,模型需要返回录音中所有与查询内容匹配片段的起止时间。

对当前 LALM 来说,TAG 至少在三处是困难的。第一,目标常常是“大海捞针”:真实录音里需要检索的片段只占音频很小一部分,在本基准中,目标区间覆盖音频比例的中位数仅为 7%。第二,一条查询可能对应多段不连续的片段——反复出现的副歌、被反复讨论的话题——模型必须把所有出现都召回,而这种 one-to-many 设定即便在视频领域也才刚刚被研究 。第三,自回归多模态解码器在精确时间戳预测上本身存在系统性精度损失,这在视频时间定位中被反复观察到,而纯文本输出的评测在时间推理上也有稳定性问题。

图1 TAG 任务的两种形式。(a)单区间:查询事件只出现一次,模型给出一个时间区间;(b)多区间:事件重复出现,模型需要给出所有对应区间。

现有音频资源只覆盖了这个问题的一部分。文本-音频定位以及 AudioTime、TACOS 这类时序对齐数据集,提供的是短片段上的事件级或已对齐自由文本监督;DCASE 的音频片段检索任务面向的是专门的检测架构,而不是通用训练的 LALM;TimeAudio、LAT-Audio、GigaChat Audio、音频侧时间提示后训练 等时间感知工作,各自在不同数据集与协议下报告结果;多事件敏感性分析则指出事件数量增加时检出率下降、误报上升。据作者所知,此前没有资源同时覆盖 TAG-Bench 瞄准的四个方面:从单个词到抽象语义的查询、从秒级到数十分钟的音频、one-to-many 目标、以及在统一协议下比较异质 LALM。


TAG-Bench:一个分源、多粒度、可诊断的基准

TAG-Bench 由 1,750 条查询-录音对构成,每对对应一段独立录音,合计 149.5 小时。为了让误差可归因,数据沿“查询类型”与“音频时长”两个维度组织成 8 个子集(表 1)。需要说明的是,这是诊断性划分而非受控析因实验:查询类别、来源领域、音频时长与重复率并不独立变化,因此跨子集差异只作描述性证据,因果结论要留给按子集匹配的后续研究。

表1 TAG-Bench 的组成。Multi% 表示真值区间不少于 2 个的查询占比,Avg. dur. 为平均音频长度。

查询类型与数据来源

Word 查询要求定位单个词(中位长度 6 个字符),素材来自朗读语音;Acoustic event 查询指向一个声音类别(如鸟叫或引擎声);Acoustic description 查询给出一句完整描述句;Semantic 与 rough semantic(模糊或改写措辞)查询描述话语层面的内容,中位长度 141 个字符;Emotion 查询指向被表达出来的情绪。声学子集覆盖日常环境声音,描述与语义子集覆盖播客、访谈、体育与金融材料。这些类别之间存在来源、时长与重复率差异,这正是需要按子集分别报告的原因。

音频时长维度

六个子集使用 7 秒到 93 秒的中短录音;两个 long 子集把同样的语义查询与声学描述查询放到平均 17 分钟、最长 20 分钟的录音上。这两个子集只占 25% 的查询数,却贡献了 85% 的音频总时长,使“长上下文时间定位”成为本基准的一等公民。

One-to-many 目标

387 条查询(22.1%)带有两个及以上真值区间,这类查询平均含 4.02 个区间(单条最多 18 个)——脚步声、鸟叫等事件天然会重复出现。按子集统计,one-to-many 占比从 1%(word)到 42%(acoustic event)不等(图 3)。答对一条查询必须召回所有出现,这正是本基准与 one-to-one 视频定位工作的分野,也要求评测使用并集形式的 IoU 而不是逐对匹配。

图2 各子集的 one-to-one 与 one-to-many 查询数量

构建流程

基准分三步构建(图 2)。第一步是数据获取与格式化:从强标注开源数据集(AudioSet-strong、AudioCaps、Clotho、DESED 的声学子集)、朗读语音语料库,以及播客、有声书、访谈、直播等长时真实素材中,把每条素材统一成 JSONL schema,包含音频路径、时长、事件区间、语言和查询。第二步是自动预标注:用音频打标模型与语音识别、强制对齐模型生成候选区间与候选转写,作为人工复核的起点。第三步是人工标注与质量控制:标注员在定制的 Label Studio 界面中结合波形与频谱图精修候选,随后经过跨标注员交叉验证、标注员间一致性筛选、以及边界偏差超过 0.5 秒的重新裁定,不一致样本直接丢弃。

图3 TAG-Bench 的构建流程——数据获取与格式化、自动预标注、人工标注与质量控制


评测协议:从宽松 mIoU 到逐项诊断

预测与真值都表示为区间集合,先按区间合并求交并,再取并集形式的 IoU(式 1)。这一形式天然支持 one-to-many 的答案:多给一段与少给一段都会同时拉低分子和分母。

由于模型输出是自由文本,评测走“自由输出”轨道:时间戳由一套确定性规则级联解析得到,匹配区间表达式、起止式表达与时间数组,并统一 hh:mm:ss、mm:ss、毫秒字段、拼写时间词等格式,各模型自身的格式约定用确定性归一化兜住。这里刻意不启用 LLM 解析器或语义兜底:级联解析取不到有效值时,该条记为解析失败(parse failure)并归一化为空预测,而不是当成模型崩溃。解析失败在 mIoU、Recall、gIoU、计数指标里一律按“漏检”计分——IoU 记 0、每个召回阈值都算漏、gIoU 记 −1、预测区间数记 0。

在这个基础上,评测给出三类互补指标:

  1. mIoU 与 Recall@τ(τ 取 0.3、0.5、0.7),衡量定位精度,整体打分为 0–100;
  2. count accuracy(CntAcc):只有预测区间数恰好等于真值区间数才算对,用来把“把出现找全”与“把边界放准”这两件事拆开;
  3. generalized IoU(gIoU)与 midpoint absolute error(MAE):gIoU 对不重叠的预测给负分,能区分“擦边”与“跑远”;MAE 统计端点误差,并必须与 coverage(Cvg,能给出可用时间戳的样本占比)一起读。

需要强调的是,这些指标是对该基准样本的描述,而不是对“查询抽象性”或“音频时长”的可控估计。同理,MAE 只在有可用时间戳的样本上计算,脱离 Cvg 单独读 MAE 会低估长音频上的误差。


实验:21 个系统的统一对比

评测按三类系统组织:16 个通用大音频语言模型,包括 Audio Flamingo 2 [5] 及其 Sound-CoT 变体、Audio Flamingo 3 [6]、FireRedAudio、GLM-4-Voice-9B、Kimi-Audio-7B [7]、MiDashengLM-7B、MiMo-Audio-7B-Instruct [8]、MOSS-Audio 4B 与 8B 的 Instruct 与 Thinking 变体 [10]、Step-Audio-2-mini 系列与 Step-Audio-R1 [9];3 个全模态接口,包括 LLaMA-Omni2-14B、LLaMA-3.1-8B-Omni 与商用 API Gemini-3.1-Pro;以及 2 个时间感知专家模型 LAT-Audio [11] 与 TimeAudio。所有系统都通过各自的对话接口、以同一套模板问题查询,并明确要求给出每段匹配片段的起止时间,尽量公平地比较“指令遵循加时间定位”的组合能力。

主要结果

表 2 汇总全部结果。第一,时间定位仍远未解决:最高分 FireRedAudio 的 mIoU 为 31.2、R@0.3 为 30.8、R@0.7 仅 21.5,次优的 MOSS-Audio-8B-Thinking 与 MOSS-Audio-4B-Thinking 分别为 29.6 与 27.8;21 个模型中有 9 个 mIoU 低于 5。考虑到目标区间的中位覆盖率只有 7%,这种量级的落差说明高精度时间戳定位依然很难。

表2 TAG-Bench 主要结果。mIoU、R@0.3/0.5/0.7、One-to-one、One-to-many 与 Fail 均为百分比,Fail 为无法给出可用时间戳的回复占比(越低越好)。

表2 TAG-Bench 主要结果

第二,17 分钟量级的长录音子集更难。FireRedAudio 在 long-semantic 与 long-acoustic description 上分别为 20.6 与 21.7 mIoU,Gemini-3.1-Pro 为 12.9 与 7.2,LAT-Audio 为 8.6 与 5.5;同时 FireRedAudio 在 20.8% 的长声学描述查询上给不出可用时间戳。FireRedAudio 也是唯一在两个长音频子集上都超过 20 mIoU 的系统。长、短子集在来源与查询分布上并不相同,因此这组结果确认了 17 至 20 分钟区间上的表现,但没有把“时长”单独识别为差距的成因。

第三,长录音改变了短音频的排名。FireRedAudio 作为通用 LALM 在两个长音频子集上领先,而专做长音频的 LAT-Audio 只有 8.6 与 5.5;反过来,在短声学子集上领先的 MOSS-Audio-8B-Thinking,在长音频上掉到 4.8 与 4.1。说明“擅长短音频事件定位”与“擅长长上下文定位”互不蕴含,按用途选模型比看总分更可靠。

子集差异:模型强项并不一致

短音频子集把“细粒度边界”与“较粗的事件匹配”区分开了。Word 查询上通用 LALM 领先:FireRedAudio 达 34.5 mIoU,MOSS-Audio-4B-Thinking 与 MOSS-Audio-8B-Thinking 为 24.3 与 22.9,而最强的全模态与专家模型只有 Gemini-3.1-Pro 的 14.1 和 TimeAudio 的 7.0。即便 FireRedAudio 也从 R@0.3 的 47.7 掉到 R@0.7 的 25.8,印证精确词边界依然困难。

声学事件与描述则由 MOSS 的 thinking 变体主导:51.9 与 50.6 mIoU,Gemini-3.1-Pro 紧随其后为 46.5 与 48.1,最好的专家模型 LAT-Audio 为 31.9 与 31.3。同一基座下,thinking 相对 instruct 在事件与描述上高出约 22 至 31 个点,在 word 上只高出 3 至 5 个点——“思考带来的增益”在声学内容匹配上远大于短词边界。

语义与情绪子集又是另一套格局。FireRedAudio 在语义、模糊语义、情绪上分别为 38.4、40.6、25.2 mIoU,MOSS-Audio-8B-Thinking 为 37.4、36.5、18.2;LAT-Audio 在语义与模糊语义上仍有竞争力(35.6/29.6),Gemini-3.1-Pro 为 31.6/26.8——没有任何一族模型通吃这些子集。情绪的天花板明显更低:最好只有 25.2,而语义与模糊语义分别是 38.4 与 40.6。此外,模糊语义对 FireRedAudio 比语义更容易,对 MOSS-Audio-8B-Thinking、LAT-Audio、Gemini-3.1-Pro 却更难,因此结果并不支持按“查询抽象度”给出单一排序。

One-to-many:最主要的失败模式

所有系统的 one-to-many mIoU 都低于 one-to-one:FireRedAudio 从 34.1 掉到 21.0,MOSS-Audio-8B-Thinking 从 31.4 掉到 23.6,Gemini-3.1-Pro 从 27.9 到 20.9;在最严格的 R@0.7 上,这一落差把系统召回从 24.9 拉到 10.1。

计数诊断(表 5)指出主因是欠报。one-to-many 查询平均含 4.02 个真值区间,而模型平均只预测 0.18 到 3.67 个区间,欠报率高达 79.3% 至 100%。多数系统“找到一个就停手”:FireRedAudio 平均只给 1.19 个区间、欠报 91.0%,尽管它在整体定位指标上领先;Gemini-3.1-Pro 是输出量上的例外(平均 3.67 个),但计数准确率仍只有 7.0%,因为预测数量很少恰好正确。

计数准确率最高的是 Step-Audio-R1 的 13.2%,其后是 Gemini-3.1-Pro 的 7.0%、FireRedAudio 的 4.7%,MOSS-Audio-8B-Thinking 与 TimeAudio 为 3.6%。没有任何模型超过 13.2%,说明“完整枚举出现”的能力基本缺失。值得注意的是,Step-Audio-R1 的优势伴随 one-to-one 查询上 33.2% 的多报率——倾向输出多个区间,有时恰好撞上多区间真值;而 MiDashengLM-7B、GLM-4-Voice-9B 这类弱模型在 one-to-many 上反而略高于 one-to-one,检查发现它们系统性输出超长区间,恰好扩大了与“多区间并集”的交集。这些现象正是“只看 mIoU 不够、必须配计数诊断”的理由。

指标陷阱:gIoU、MAE 与覆盖率

换一个指标,排名就会换。FireRedAudio 的 mIoU 第一,但整体 gIoU 只有 −0.6,排在 MOSS-Audio-8B-Thinking(3.5)和 Gemini-3.1-Pro(0.5)之后:它可解析回答的平均 gIoU 为 17.1,但 15.1% 的解析失败按 −100 计入,把全集均值拉到零以下。所有模型的 one-to-many gIoU 都是负的,最好的也只有 −14.6,说明重复目标上的误差早已超出“小幅边界偏移”,而是漏掉或错位了整段出现。

MAE 也必须和覆盖率一起考量。FireRedAudio 的纯 MAE 最低(34.3 秒)且覆盖 84.9%,而 Step-Audio-2-mini 与其 Base 版本 MAE 相近(36.4/42.9 秒),覆盖率却只有 6.3% 与 75.0%;反过来,MOSS-Audio-8B-Thinking 的 gIoU 最好(3.5)、覆盖 99.9%,纯 MAE 却是 923.1 秒,其中 96.8% 的端点误差来自两个长音频子集。长音频的误差尾巴在以秒为单位的无界 MAE 里被放大,在有界 gIoU 里又被压缩——任何单一指标都不能代表可用性。

结论与局限

本文的主要判断是:时间音频定位仍处于早期,没有一个模型能同时做到“答案可解析、边界够准、出现找全”。FireRedAudio 在整体 mIoU(31.2)与两个约 17 分钟子集(20.6/21.7)上领先,但 R@0.7 仅 21.5、one-to-many 欠报 91.0%;MOSS-Audio-8B-Thinking 的 gIoU(3.5)与覆盖率(99.9%)最好,纯 MAE 却高达 923.1 秒;Step-Audio-R1 的 one-to-many 计数准确率(13.2%)最高,而整体 mIoU 只有 11.0。选模型必须分别看输出格式稳健性、边界精度、出现枚举这三类需求的指标,而不是一个名次。

本文提出的基准也具有一定局限性:每条录音只配一条查询,因而无法衡量模型对同一段音频在不同查询上的一致性;整体指标按查询宏平均,440 条长音频查询在总分里只占 25.1%,却对应 149.5 小时中的 127.6 小时;八个子集在来源、查询类型、时长、重复率上都不同,不能当作受控的“抽象度阶梯”,最长录音也只有 20 分钟,向更长上下文外推前需要新的评测;自由输出轨道把时间定位与指令遵循、时间戳格式混在一起,确定性解析保证了可复现,却也带来选择偏差。

总结

本文提出 TAG-Bench——覆盖 1,750 条查询-录音对、149.5 小时真实音频、8 个诊断性子集的时间音频定位基准,配套并集 IoU 协议与面向 one-to-many 的计数诊断。在 21 个系统的统一评测中,最好的系统 mIoU 也只有 31.2、R@0.7 只有 21.5,且没有任何系统在 one-to-many 上的计数准确率超过 13.2%:完整召回所有出现仍然是难点。解析失败在不同系统上差异很大,它们在 mIoU、Recall、gIoU、计数里按漏检计分但被排除在 MAE 之外,因此报告 MAE 覆盖率是必要的。我们将开源数据与评测代码,希望推动这一方向的研究。

参考文献

[1] S. Sakshi, Utkarsh Tyagi, Sonal Kumar, Ashish Seth, Ramaneswaran Selvakumar, Oriol Nieto, Ramani Duraiswami, Sreyan Ghosh, and Dinesh Manocha, “MMAU: A massive multi-task audio understanding and reasoning benchmark,” 2024.

[2] Sonal Kumar, Šimon Sedláček, Vaibhavi Lokegaonkar, Fernando López, Wenyi Yu, et al., “MMAU-Pro: A challenging and comprehensive benchmark for holistic evaluation of audio general intelligence,” 2025.

[3] Ziyang Ma, Yinghao Ma, Yanqiao Zhu, Chen Yang, Yi-Wen Chao, Ruiyang Xu, Wenxi Chen, Yuanzhe Chen, Zhuo Chen, Jian Cong, et al., “MMAR: A challenging benchmark for deep reasoning in speech, audio, music, and their mix,” 2025.

[4] Zhifeng Kong, Arushi Goel, Rohan Badlani, Wei Ping, Rafael Valle, and Bryan Catanzaro, “Audio Flamingo: A novel audio language model with few-shot learning and dialogue abilities,” 2024.

[5] Sreyan Ghosh, Zhifeng Kong, Sonal Kumar, S. Sakshi, Jaehyeon Kim, Wei Ping, Rafael Valle, Dinesh Manocha, and Bryan Catanzaro, “Audio Flamingo 2: An audio-language model with long-audio understanding and expert reasoning abilities,” 2025.

[6] Arushi Goel, Sreyan Ghosh, Jaehyeon Kim, Sonal Kumar, Zhifeng Kong, Sang-gil Lee, Chao-Han Huck Yang, Ramani Duraiswami, Dinesh Manocha, Rafael Valle, and Bryan Catanzaro, “Audio Flamingo 3: Advancing audio intelligence with fully open large audio language models,” 2025.

[7] KimiTeam, Ding Ding, Zeqian Ju, Yichong Leng, Songxiang Liu, Tong Liu, et al., “Kimi-Audio technical report,” 2025.

[8] Xiaomi LLM-Core Team, “MiMo-Audio: Audio language models are few-shot learners,” 2025.

[9] Boyong Wu, Chao Yan, Chen Hu, Cheng Yi, Chengli Feng, Fei Tian, et al., “Step-Audio 2 technical report,” 2025.

[10] Chen Yang, Chufan Yu, Hanfu Chen, Jie Zhu, Jingqi Chen, Ke Chen, et al., “MOSS-Audio technical report,” 2026.

[11] Mingchen Shao, Hang Su, Wenjie Tian, Bingshen Mu, Zhennan Lin, et al., “Listening with time: Precise temporal awareness for long-form audio understanding,” 2026.