从说出有什么到指出何时发生：用确定性边界监督做音频细粒度定位

英文题目：AudioGround: Fine-Grained Temporal Grounding in Audio via Deterministic Boundary Supervision

会议身份：conference:interspeech:2026:conference-paper-id:kim26z_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#指令微调 #音频大模型 #长音频处理 #音频检索

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Mingi Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Minchol Kwon：机构信息未能从会议 PDF 纯文本可靠映射
• Junyeong Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

当前大型音频语言模型能描述声音存在却难以输出可验证的起止时间，输入为未剪辑长音频与自然语言查询，输出为支撑答案的时间区间，难点在于长时压缩丢失边界且缺乏精确监督。本文构建AudioGround-IT合成流水线生成确定性边界，再用滑动窗口压缩保留时长可扩展的局部特征，接着以文本时间戳条件与连续绝对时间嵌入恢复全局位置，最后经由SALMONN解码出带时间戳的回答。与仅做粗粒度选择或依赖大模型推断时间戳的已有监督相比，该机制把四类问答统一为区间预测，迫使模型学习何时发生而非背诵文本模式。在Clotho-Moment基准条件下，零样本AudioGround的R1@0.5指标为27.47%，高于加正弦绝对时间嵌入变体的R1@0.5指标26.82%。该结论限于英文标题式查询与分钟级检索，合成拼接的静音间隙和语义过滤可能削弱对重叠混响真实场景的外推。原文未披露训练时长、推理与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么缺口？

本文的输入是一段未剪辑的长音频加一个自然语言查询，查询例如狗叫何时发生，目标是输出支撑答案的一个或多个起止时间区间。输出必须包含显式的时间数字，而不是只回答开头中间结尾这样的粗选项，也不是只生成没有时间锚点的自由文本。对于刚进入语音音频领域的研究生，可以把任务理解为音频版的时刻检索：给定问句，在 20 秒到 120 秒甚至更长的录音里找到证据片段。论文要解决的缺口是现有大音频语言模型能描述有什么声音，但定不准何时发生。

作者把原因归于监督信号：已有时间推理数据要么是多选题形式没有边界标签，要么是用大语言模型推断的时间戳而准确性不可验证。即使架构想做细粒度定位，训练信号仍来自短片段标签或粗时间字幕。因此本文的中心问题是细粒度监督是否能真正提升定位能力。输出上，本文承诺提供可复述的方法：用可控拼接构造确定性边界数据，再用轻量时间感知扩展改造 SALMONN，并在真实音频基准上做零样本验证。

本解读只依据论文原文证据写作，不引入外部评价，资源可用性方面本次未发现完成验证的开源链接，因此不声称代码模型数据已公开。

有哪些相关路线，为什么它们还不够？

第一条路线是声音事件检测。这类系统能输出事件边界，但假设是固定封闭词汇表，例如只能识别预定义的十几类事件。它的做法通常是帧级分类加后处理，优点是边界相对准，缺点是遇到开放问法就无法回答。第二条路线是音频时刻检索。它把查询放宽为自然语言，处理分钟级音频，论文中提到的代表是 AM-DETR 这类任务专用流水线。

它们为检索专门设计编码器和匹配头，不作为通用大音频语言模型中的一种能力存在。第三条路线是给大音频语言模型注入时间推理，例如 AudioSkills 把时间问题做成多选题，AQA-Temp 依赖 GPT-4 生成的自由文本时间描述。前者没有边界标签，后者时间戳来自模型推断而难以核对。论文用表格对比指出，只有 AudioGround-IT 同时提供自由文本加时间戳回答、确定性边界、人工查询来源和 4 个任务。

声音事件检测 × 音频时刻检索： 声音事件检测负责在固定封闭词汇表内预测每一类事件的起止边界，分工是高精度分类加定位；音频时刻检索负责对开放的自然语言查询在分钟级长音频中定位相关区间，分工是开放语义理解加排序，论文把后者作为大音频语言模型要具备的能力，是因为前者不能处理任意问法，后者需要把语言理解和边界预测搭配起来，组合意义在于把封闭标签任务的定位要求迁移到开放问答中。

初学者容易把相关当作因果：看到某模型在分类或字幕上强，就以为它定位也强。论文的划分提醒我们，同输入不等于同目标，同目标不等于同监督。只有当训练样本逐个提供精确可验证的定位信号时，模型才有机会把是什么和何时发生绑定起来。这也是后文要构造合成数据和改造架构的直接动机。

细粒度时间定位任务到底要求模型做什么？

论文把时间定位定义为在未剪辑录音中定位与查询相关的区间。与视频领域的时刻检索相对应，音频这里的难点在于事件在时间上重叠、边界模糊，且查询是开放词汇。例如查询是狗叫，音频中可能有多段狗叫、背景噪声和人声，模型需要输出每一证据段的起始和结束秒数。评估时用预测区间与真值区间的交并比是否超过阈值来判定成功，阈值取 0.5 和 0.7，越严格越考验边界精度。

举例来说，这只是一个教学例子而非论文数值：如果真值是 20 秒到 30 秒，预测是 22 秒到 32 秒，重叠 8 秒并集 12 秒，交并比约 0.67，在 0.5 下算对而在 0.7 下算错。论文强调，所有 4 种训练问法最终都要求输出区间，这种统一输出是关键设计：定位问直接要区间，时长问要区间长度加区间，计数问要个数加多个区间，排序问要先定位两个事件再比较先后。这样模型不能靠猜选项或背诵文本模式过关，必须反复练习定位证据。

方法全景：数据和模型各自解决哪一步？

方法分为两部分。数据部分 AudioGround-IT 负责提供确定性监督：用 AudioCaps 训练集的人工字幕直接做查询，把约 10 秒的短片段拼接成 20 秒到 120 秒的长音频，拼接顺序完全受控，因此每个事件边界天然已知，不需要事后标注。模型部分 AudioGround 负责消费这种长音频监督：以 SALMONN 为底座，保留 Whisper 语音编码器和 BEATs 音频编码器，新增帧级插值对齐、滑动窗口 Q-Former 压缩加时间戳条件、绝对时间嵌入 3 步。训练时只更新窗口级 Q-Former 和线性投影层，大语言模型部分用 LoRA 适配，编码器冻结。

推理时模型读入长音频和指令，直接生成带时间数字的回答，再用启发式解析器抽取时间戳计算指标。整个链条可以沿一个样本走一遍：输入是一段由狗叫、人声、水声片段拼接成的 60 秒音频加查询狗叫何时发生，表示是双编码器输出的帧特征，组件把长帧序列按窗口压缩并注入时间信息，目标是输出真值区间，输出是文本中的起始结束秒数。

边界监督 × 指令微调： 边界监督的分工是给出可验证的起始和结束时间戳作为学习目标，指令微调的分工是把定位、时长、排序、计数都写成问答指令让模型按格式输出，搭配理由是只有问答形式不足以教会时间精度，只有边界数字才能提供稳定梯度，组合意义在于 4 种问法共享同一区间输出，从而迫使模型学习何时发生而不是背诵某种题型模板。

论文的逻辑是数据瓶颈优先于架构堆料：先保证每个样本的定位信号精确可验证，再用轻量时间感知让模型能读到该信号。图 1 的寓意在正文中也有文字说明，上半是粗或不可验证的监督，下半是四任务确定性标注加 49K 样本达到 267K 基线可比性能，但因本次未收到原图像素，这里只转述正文结论而不描述图中坐标颜色。

数据如何合成才能保证边界确定且语义可分？

合成流程从 AudioCaps 的短片段出发，每个片段约 10 秒，附带一句人工字幕。构造时把多个片段用 0.3 秒到 0.5 秒的静音间隔连接起来，总长控制在 20 秒到 120 秒。因为拼接顺序由程序决定，每个片段在长音频中的起始结束时刻可以直接计算得到，这就是确定性的含义：不需要人工再听写边界，也不需要大语言模型猜测。关键细节是语义消歧：如果两个片段字幕很相似，模型会分不清目标指的是哪一段。

为此作者用 Sentence-BERT 计算所有字幕的句嵌入余弦相似度，设阈值为 0.33，该值对应成对相似度分布均值 0.21 加约一个标准差 0.12。填充片段之间要求两两相似度低于阈值，保证非目标事件易于区分；当需要用多个片段组成一个更长的目标段时，则挑选相似度高于阈值的片段，保证组成段语义连贯。偏差控制上，作者把归一化答案起始位置分成 5 个等宽区间并均衡采样，避免模型默认猜开头或结尾；同时把总音频长度和答案时长分箱近似均匀采样，减少对特定时长的过拟合。

正文图 2 显示总长度在 4 个区间近似均匀，仅最后一箱例外，但因无像素此处不展开图中柱高。最终得到 4 类任务样本：定位、时长、排序、计数，统一要求输出区间。

模型如何保留长音频的时间分辨率？

模型要处理最长 120 秒的音频，直接把所有编码器帧送入大语言模型计算量太大且会丢失位置。作者的做法分 3 步。第一步是帧级插值：Whisper 和 BEATs 都工作在 50 赫兹，长音频先按 30 秒非重叠分块独立编码再沿时间拼接，得到 D 秒输入的帧序列，但两者帧数可能不一致，于是把 BEATs 特征线性插值到 Whisper 帧长，实现帧级对齐。第二步是滑动窗口 Q-Former：用 W 秒窗口按 S 秒步长在特征上滑动，每个窗口内用固定 NQ 个可学习查询做交叉注意力，得到每窗口 NQ 个压缩 token，总共 L 乘 NQ 个，压缩率与时长无关。

实现上论文取 0.33 秒非重叠窗口且每窗口单个查询 token。仅有滑动压缩还不知每个窗口在全曲中的绝对位置，因此加入时间戳条件：为窗口生成 This segment is from sl to el seconds 文本，其中 sl 等于 l 减 1 乘 S，el 等于 sl 加 W，把该文本与可学习查询一起送入 Q-Former，得到时间感知的窗口表示。第 3 步是绝对时间嵌入：对窗口中心时刻 c 等于 sl 加 W 秒一半计算正弦基，再加零初始化残差多层感知机做轻量自适应，最后乘可学习缩放因子加到投影输出上。

滑动窗口 Q-Former × 绝对时间嵌入： 滑动窗口 Q-Former 的分工是在每个 0.33 秒局部窗口内把增长的编码器帧压缩成固定数量的查询 token，保持压缩率不随音频变长而恶化；绝对时间嵌入的分工是给每个窗口中心时刻提供连续的全局时间参考并加到压缩表示上，搭配理由是前者只做隐式的时间戳文本条件仍缺显式数值坐标，后者补上连续坐标，组合意义在于局部压缩保留细节而全局嵌入保留位置，两路一起维持长音频的时间分辨率。

时间戳条件 × 帧级插值： 帧级插值的分工是把 BEATs 特征线性插值到 Whisper 的帧数上，使双编码器在同一时间网格对齐；时间戳条件的分工是为每个窗口生成 This segment is from sl to el seconds 文本并送入 Q-Former 做条件，搭配理由是若帧未对齐则窗口切分错位，若无文本条件则压缩过程不知窗口在全曲中的绝对位置，组合意义在于先对齐再告知位置，保证后续压缩的每一组 token 都有正确的时间归属。

对初学者而言，可以这样记忆分工：插值管对齐，文本条件管隐式告知位置，绝对嵌入管显式连续坐标。三者缺一不可的原因在原文有明确安排理由：长输入需要恒定压缩率，压缩后需要位置恢复，离散文本时间仍需连续数值参考。论文未报告梯度在双编码器内部的路径以外的细节，编码器明确冻结，因此不猜测其更新方式。

训练如何组织：更新谁、冻结谁、监督从哪来？

训练只在合成的 AudioGround-IT 上进行，不在评测基准上微调，因此评测属于零样本。优化对象是窗口级 Q-Former 和线性投影层，大语言模型侧用秩 32 的 LoRA 适配，缩放系数 64，编码器侧 Whisper 和 BEATs 全程冻结。优化器用 AdamW，学习率 3 乘 10 负 5，热身 0.1K 步，总共 6K 步，有效批量 24，分布在 8 张 48 GB 的 A6000 上。时间嵌入缩放因子初值 0.05，混合嵌入中残差分支的 W2 和 b2 零初始化，使训练起点退化为纯正弦编码再逐渐学习任务适配。监督来源完全来自合成时的已知拼接边界，4 种任务共享区间输出，保证每步都有定位压力。推理时不加额外检索器，直接生成自由文本再用规则解析器抽取不同措辞单位和冗余文字中的时间数字。

为交代数据规模与训练预算的对应关系，下表整理论文报告的总量与训练配置，表中数字均来自原文连续句，转写时保留原精度与单位写法，便于复现时核对量级。

上表说明数据侧以 49.9K 样本和 835 小时支撑四任务统一区间监督，训练侧以 6K 步和批量 24 完成轻量适配，代价是编码器冻结可能限制对真实录音信道失配的适应，这一点在后文真实基准差距中会再次体现。论文未报告学习率调度之外的权重衰减与梯度裁剪取值，复现时需按缺项处理而不自行假定。

在什么数据、什么设置、用什么指标测定位？

评测用 3 个已有基准：Clotho-Moment、UnAV-100 子集、TUT-Sound Events 2017，均来自前人工作，覆盖合成与真实录音的不同分布。因为多数大音频语言模型只能处理 30 秒以内，作者增设裁剪设置：从原长音频中截取包含真值区间的 30 秒片段，且保持答案位置占总长的比例不变，避免把答案推向特定区域。这样同一模型会在原始长音频和裁剪短音频两种条件下各测 1 次，以观察搜索空间缩小带来的影响。指标采用 Recall1，阈值 0.5 和 0.7，方向是越高越好。比较对象包括专用监督模型 AM-DETR 作为上限参考，以及 Qwen2-Audio-Instruct、Qwen2.5-Omni、GAMA、DeSTA2.5-Audio、SALMONN、AF2 等大音频语言模型，均按零样本评估。解析上因模型输出是自由文本，作者用启发式规则统一抽取时间戳，保证跨模型计算一致。

交并比 × 召回率 R1： 交并比的分工是计算预测区间与真值区间的重叠除以并集，衡量单次定位的空间精度；召回率 R1 的分工是统计首个预测中交并比超过 0.5 或 0.7 阈值的样本比例，衡量系统级成功率，搭配理由是只有重叠度没有阈值无法判定对错，只有比例没有重叠定义无法比较定位质量，组合意义在于用阈值化的成功率来比较不同模型在同一基准上的细粒度定位能力。

需要提醒的是，数值相同不代表同一指标：0.5 阈值下的成功率天然高于 0.7 阈值，原始设置与裁剪设置的条件不同，不能直接跨列相减得到方法增益。百分点差与相对百分比也不同，后文只报告百分点口径的阈值内比较，不做跨阈值平均。

主结果：在真实音频上定位能力提升了吗？

论文报告，在原始长音频设置下，本方法在 3 个基准上均为大音频语言模型中最好。现有基线大多失效，例如 SALMONN 几乎不能按定位指令输出而接近零分，说明缺乏时间定位能力。裁剪设置会让部分基线因搜索空间变小而分数上升，但提升在各模型间一致存在，作者据此认为裁剪主要改变难度而非带来方法特有的鲁棒性。专用模型 AM-DETR 仍是强上限，本方法在零样本下显著缩小差距但并未全面超越，尤其在 TUT 这类真实事件上绝对值仍偏低，表明合成到真实的迁移有效但有限。

为在可运行策略间做公平对照，下表聚焦原始设置下 R1@0.5 与 R1@0.7 的部分可比数字，基线选自原文实际可运行的零样本大音频语言模型，指标方向均为越高越好，数字保留原文精度。

表后解释主要收益与代价：收益是本方法在 Clotho-Moment 上把 R1@0.5 从约 10 左右提升到 27.47，在更严的 0.7 上达到 12.68，显示边界精度确有提升；代价与反例是 TUT 上绝对值仅 10.78，说明真实声学条件仍困难，且裁剪后部分基线也能回升，因此不能把单次提升推广为所有时长全程最优。未胜出项是 AM-DETR 在多数列仍领先，论文将其明确标为有监督上限而不作为可部署零样本收益的替代。统计显著性与多次随机种子方差原文未报告，此处按缺项处理。

拿掉时间嵌入会怎样：哪种时间表示真正起作用？

消融在带时间戳条件的 Q-Former 基础上比较 3 种绝对时间嵌入：正弦、直接多层感知机学习、本文的混合残差。问题是显式连续时间参考是否在文本条件之外仍有增益，以及哪种参数化更适合连续时间关系。条件保持一致，只换时间嵌入形式，指标仍是 3 个基准上的 R1@0.5 与 R1@0.7。

表后解读支持的判断与限制：报告显示加入绝对时间嵌入优于仅用时间戳条件，混合嵌入在多列取得最好并在 UnAV 上与正弦持平，作者解释为正弦提供连续基、轻量残差做任务自适应，而直接多层感知机把时间看得更离散因而效果较弱。该解释属于有限解释而非因果证明，论文未做显著性检验，也未测量延迟与参数增量，因此不承诺时间嵌入改善推理成本。负结果是学习嵌入在 3 组上均低于混合嵌入，未评测边界包括更长于 120 秒音频与重叠事件密集场景，原文未给出这些条件下的表现。

还有哪些没测到、不能承诺的地方？

首先是分布差距：训练音频由干净短片段加静音拼接而成，真实录音存在混响、重叠与信道变化，主结果在 TUT 上的低绝对值已经提示迁移不完全。其次是时长与搜索策略：评测最长仍在分钟级，模型依赖 30 秒分块编码与滑动压缩，对更长会议或监控音频的显存与延迟原文未报告，不能从训练资源推定推理延迟。第三是解析与误判：自由文本经启发式解析抽取时间，解析失败或幻觉时间的误判率未单独测量，因此不能把召回率提升等同于幻觉减少。

第四是统计与成本：无多次种子方差、无人工评价对照、无训练能耗与推理帧率，总体趋势不等于每组每步成立。最后是资源状态：本次未发现完成验证的开源链接，不得声称代码权重数据已公开，复现需按论文文字重写拼接与模型扩展。缺失证据不是技术错误，但写作时需用报告显示表达直接结果，用支持表达消融一致性，用可能待验证表达对连续时间建模的机理解释。

要复现这篇工作，先做什么、保留哪些关键参数？

复现先做数据：取 AudioCaps 训练集人工字幕做查询，用 Sentence-BERT 算句嵌入，阈值 0.33 控制配对，填充对要求低于阈值、目标多片段要求高于阈值，拼接时加 0.3 秒到 0.5 秒静音，总长 20 秒到 120 秒，记录拼接顺序得到确定性边界，再按定位、时长、排序、计数 4 种模板生成统一带区间的问答，并对答案起始归一化位置五分箱均衡、对总长与答案时长分箱近似均匀。

再做模型：在 SALMONN 双编码器 50 赫兹基础上做 30 秒分块编码拼接，对 BEATs 插值到 Whisper 帧长，用 0.33 秒非重叠窗口每窗单查询压缩，窗口文本条件按 sl 到 el 生成，绝对混合嵌入按中心时刻计算并以缩放因子初值 0.05 加入。训练按冻结编码器、更新 Q-Former 与投影、LoRA 秩 32 系数 64、AdamW 学习率 3 乘 10 负 5 热身 0.1K 步、总 6K 步批量 24 执行。评估时同时跑原始与 30 秒比例保持裁剪两种设置，用同一解析器抽取时间并按 R1@0.5 与 0.7 报告。还需补的验证是解析器鲁棒性、长于 120 秒的显存曲线、真实噪声下的校准误差，这些在原文未充分展开，复现时应单独记录。

何时值得尝试这种确定性边界监督？

当你的任务需要输出可验证的时间区间而非粗选项，且能用可控合成获得精确边界时，这套做法值得尝试：用拼接顺序换取免费而准确的监督，用 4 种问法共享区间输出来防止题型捷径，用恒定压缩率加显式时间坐标来保留长音频分辨率。它的适用条件很具体：查询语义可由短片段字幕代表，目标与填充在嵌入空间可分，音频总长在模型分块与窗口设计的可覆盖范围内。

若场景是高度重叠的多声源、开放域长会议或需要在线低延迟输出，则需先补真实数据微调与延迟测量，不能直接承诺收益。回到中心矛盾：大音频语言模型缺的不是更多时间文本，而是每个样本都可核对的边界数字。本文的证据支持确定性边界监督是当前瓶颈之一，但 TUT 上的剩余差距与专用模型的上限提醒我们，这只是从说出有什么走向指出何时发生的第一步，后续还需在真实分布、更长时长与可靠解析上继续验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总