📄 长音频里按复杂查询找短片段：先调制再做液态时序建模
英文题目：Query-Conditioned Liquid Temporal Grounding for Long-Form Audio
评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Yuelan Cheng：机构信息未能在本次解析中与作者逐人可靠绑定
- Yonggang Zhu：机构信息未能在本次解析中与作者逐人可靠绑定
- Yongqiang Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Peiwei Chang：机构信息未能在本次解析中与作者逐人可靠绑定
- Yingyi Chen：机构信息未能在本次解析中与作者逐人可靠绑定
- Wenwu Wang：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
长时音频定位输入为长录音与一句自然语言查询，输出查询所述声音起止时间，难点在于目标占比极小且周围存在相似声音，查询还可同时约束说话人、事件、属性与时序关系。方法将音频编码为时间槽序列，用查询整体表示做特征线性调制后送入闭式连续时间网络传播长程证据，使查询语义直接影响时序演化而非仅参与候选打分。同时并行计算帧级音频查询匹配信号，并与调制后特征和时序输出融合，由轻量头预测起始、结束与相关性分布，为候选抽取提供时间证据。无参数候选抽取从融合相关曲线取高响应种子向外生长、合并与多尺度扩展，再用冻结大音频语言模型对各候选片段做Yes/No兼容性打分并保留最高分者。Qwen3-Omni分支再用局部精修器在候选边界两侧五秒窗口内调整边界，得到最终起止时间。在LAT-Bench英文时间定位子集上，Qwen3-Omni骨干下合并两种生长阈值候选池并精修的mIoU为44.13%，高于同骨干直接定位的15.80%。结论适用于冻结骨干加轻量模块的单卡适配，对更严格阈值的精确定位和候选选择仍不充分，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
长音频定位难在哪里
这篇论文研究时间音频定位，也就是给定一段自然语言查询，在录音中找到查询描述内容对应的起止时间。输入是长录音加文本查询，输出是一个时间区间，记为起点和终点。必须保留的信息是目标事件何时开始、何时结束，以及查询里提到的说话人、事件、属性和时间关系是否同时满足。
短音频定位的目标在录音中占比相对大，查询也往往简单，例如找狗叫声。但长音频定位把录音拉长到可达 30 分钟，目标可能只占很小一段，周围还可能有声音或语义相近的干扰段。查询也更复杂，可能同时约束语气、举例数量和具体事例。已有音频语言模型随音频变长会出现明显退化，精确边界仍然困难。
下面先看论文图 1 对两种任务的直观对比，重点是时间轴尺度和查询复杂度的变化。
看图路径： 1. 对比上下两栏的时间轴长度与目标段占比；2. 对比短查询与长查询的语义约束数量；3. 看输出都是起止区间但搜索空间差异很大
论文图 1。原论文 Figure 1:：“Comparison between short-form and long-form temporal audio grounding.”。
上图上半是短音频定位，时间轴只有 10 秒，查询是狗叫的时间区间，蓝色高亮段占比大。下半是长音频定位，时间轴拉到 1800 秒，查询要求找到一段简短而有激情的引用，其中说话人快速列举 4 个历史例子，橙色目标段在整条轴上只占很窄一条。例子只是为了说明占比和约束数量的差异，不代表实测数值。图的可贵之处是把搜索空间变大和语义约束变多同时画了出来，理解后文为什么要先保留多个假设再选优就更容易。
已有路线为什么还不够
早期时间音频定位主要学习文本描述和局部声音事件之间的细粒度对应，近年音频语言预训练进一步改善了音频文本对齐。另一条路线是显式时间编码、定位监督或从全局到局部的推理，这些方法改善了模型对时间的感知。
论文认为长音频定位的特殊困难在于要在很大的时间空间里按查询找事件，时间建模本身应该直接受查询引导，而不是先做与查询无关的时序编码，最后才打分。如果时间传播过程不知道要找什么，就容易被相似但无关的长背景带偏。这也是本文把查询语义提前注入时序建模的动机。
本文要解决的具体问题
论文把问题限定为长音频时间定位。给定长录音和复杂查询，模型要在大搜索空间中找到短目标段。难点有两层，一是前景背景极不平衡，目标帧很少，二是查询有多重语义约束，单点回归容易错过或错选。
因此作者不直接从全录音回归单一区间，而是先保留多个与查询相关的假设，再做语义选择和局部修正。整个预训练音频语言骨干保持冻结，只优化轻量定位模块，使得单卡可训练。结论的成立范围也限定在这种冻结骨干加轻量适应的条件下，不是端到端重训大模型。
整体流程是怎样分工的
框架输入是长音频和复杂查询，输出是精修后的起止区间。先由音频编码器得到高分辨率表示，经投影池化成时间序列，查询编码器得到词级别表示和池化后的查询向量。接着查询调制改变音频特征的强调重点，液态时序模型在此基础上做长程传播。
另一路并行计算帧级别音频查询匹配信号，再与调制特征和时序输出融合，预测起点、终点和相关性分布，由此抽取候选池。冻结大音频语言模型对每个候选裁剪做是否兼容判断，选出最兼容者，最后轻量修正器在局部窗口内调整边界。
先看总览图理清分支在哪里分开、在哪里汇合，重点是调制在前、选择在后、修正最后。
看图路径： 1. 沿左上长音频到右下最终区间的箭头看主路径；2. 看查询表示分两路进入调制和匹配的位置；3. 看下方多假设到选优再到微调的三条时间带
论文图 2。原论文 Figure 2:：“Overview of the proposed query-conditioned liquid temporal grounding framework.”。
上图上半是主流程，左侧长音频和复杂查询分别进入音频编码器和查询编码器，中间经过查询调制的 FiLM、液态 CfC、特征融合和 3 个预测头，再到候选抽取、音频裁剪、冻结大模型选择和边界修正。下半用时间带说明多假设如何收敛，绿带是真值区间，中间黄蓝相间的候选池经选择得到黄色优选段，最后红色段是微调后的预测。可以看到语义分支和声学分支在融合处汇合，原始查询文本还直达选择阶段用于兼容判断。
查询语义如何提前进入音频特征
音频时间序列最初与查询无关，记为多个时间步的特征向量。查询侧有一个池化向量，概括整句查询语义。调制的作用是让同一组调制参数作用到所有时间步，放大查询相关维度、抑制无关维度，同时不打乱时间顺序。
查询调制 × FiLM： 查询调制指让音频特征按查询语义改变强调重点，FiLM 就是实现这种调制的具体算子，它用 pooled 查询向量生成缩放和平移参数，作用在每个时间步的音频特征上，保留时间顺序但突出查询相关的特征维度。
具体计算是特征线性调制，缩放分支和平移分支都是由查询向量经可学习投影得到，再逐元素作用到音频特征上。
\[\tilde{\mathbf{h}}_{t}=\left(1+f_{\gamma}(\mathbf{q})\right)\odot\mathbf{h}*t+f*{\beta}(\mathbf{q}),\]上式要计算的是调制后的每步特征，其中缩放项控制原特征保留多少，平移项补充查询带来的偏置。因为参数在时间上共享，模型学到的是按查询选通道，而不是按位置记模板。论文强调调制放在时序建模之前，使得查询语义能直接影响后文的长程信息传播，而不只是在最后打分时起作用。
液态时序模型做了什么
调制后的序列进入闭式连续时间网络，简称 CfC。这里液态指其连续时间动态随输入自适应变化，时间演化依赖于当前查询调制后的表示。每个时间步还带有物理时间间隔，由录音时长除以步数减一得到，因此长录音中每步代表的真实跨度会被显式考虑。输出状态再经层归一化和丢弃得到规整后的时序证据。
液态时序建模 × CfC × GRU： 液态时序建模指随输入自适应改变连续时间动态的建模方式，CfC 是其闭式实现，与离散递推的 GRU 不同，它还考虑每步代表的物理时间跨度，本文用它来传播经过查询调制后的长程时序证据。
递推形式是以上一步状态和当前调制输入共同算出当前状态。
\[\mathbf{x}_{t}=\mathrm{CfCCell}(\tilde{\mathbf{h}}_{t},\mathbf{x}_{t-1};\Delta_{t}).\]上式要计算的是当前时刻的隐状态，输入是调制特征、前一状态和时间间隔。理解时可以沿一个样本想，早期与查询相关的证据会通过这种带时间感知的递推向后传播，使远距离但语义连贯的片段仍能互相支持，而无关背景的影响被调制后的特征所减弱。
匹配信号和候选池如何产生
与调制加时序这条路并行，模型还从原始时间表示计算帧级别匹配信号。每帧先与查询词级别表示交互得到词级别匹配分，再与池化查询向量的全局相似度加权合并，权重控制局部词匹配和全局语义的比例。
\[p_{i}^{m}=(1-w_{g})S_{i}^{\mathrm{tok}}+w_{g}S_{i}^{\mathrm{glb}}.\]上式要计算的是第 i 帧的匹配分，由两部分加权得到。匹配信号再与调制特征和时序输出拼接融合，经层归一化后送入 3 个轻量头，分别预测起点分布、终点分布和帧相关性分布。
时间候选 × 相关性分布： 时间候选指模型提出的多个起止区间假设，相关性分布指每帧属于目标的可能性曲线，候选是从相关性和匹配信号的高响应区经种子生长和合并得到的，本身不含可训练参数。
候选抽取本身没有可训练参数，完全操作在已预测的时间证据上。做法是把归一化后的相关性曲线和匹配曲线加权相加得到综合曲线，在综合曲线上取分位数选种子，再向超过生长分位数的邻域扩展，默认种子分位数是 0.85，生长分位数是 0.65，邻近区域合并后再做多尺度变体，最后用起点终点头的局部响应调整边界，得到候选集合。
冻结模型选择与局部修正如何分工
候选池保留多样性后，需要语义判断挑出最符合查询的一项。每个候选对应一段音频裁剪，连同原查询一起送入冻结大音频语言模型，用是否兼容的提示让模型回答是或否。对是与否的下一词元逻辑值做双向归一化，取是的概率作为兼容分，最高分者成为优选区间。
冻结大音频语言模型 × 候选选择： 冻结大音频语言模型指参数不更新、只用来打分的音频语言大模型，候选选择指把每个候选对应的音频裁剪连同原查询送入该模型做是否兼容判断，取回答是的概率最高者作为优选，不直接回归单一区间。
对 Qwen3-Omni 系统，优选结果还要过一个轻量局部修正器。修正器看候选边界两侧各外扩 5 秒的窗口，一路用冻结音频编码器提供语义表示，一路用轻量 1 维卷积在梅尔谱上提供高分辨率声学特征，两路都再做查询调制，融合后在起点、中心和终点附近池化得到边界表示。
边界修正 × 残差门控： 边界修正指在已选候选附近小窗口内微调起点和终点，残差门控指用有界残差控制最大改变量、用门控控制实际采用比例，二者相乘后加到原边界上，避免大范围跳变。
修正量是有界残差乘以门控，最大改动限制为 5 秒，再裁剪到录音范围内。训练时若起点或终点需要修正超过最大范围的样本会被排除，因为超出了局部修正器的能力圈。
只训练哪些部分，用什么监督
预训练音频语言骨干全程冻结，只优化提出的时序定位模块和修正器。时间证据预测器的训练目标包括边界损失、相关性损失、匹配损失、1 维广义交并比损失和尾边界难负例损失，分别监督起止分布、前景背景不平衡下的相关性、区间内外难例的匹配对比、预测区间重叠度，以及远离真值尾点的虚假尾响应的抑制。各损失按权重相加，权重在实现中设为 0.3、1.0、0.5、0.5 和 0.3。这些损失只优化时间证据预测器，候选抽取无参数，也不直接监督候选排序，排序留给冻结大模型。
修正器用平滑绝对值回归损失加交并比损失，前者监督门控前的有界边界残差，后者直接监督精修区间与真值区间的重叠。训练用 AdamW，学习率 1 乘 10 的负 4 次方，在 1024 个时间槽上训练 3 轮。原文未披露梯度在冻结骨干与可训练模块之间的完整路径细节之外的更多优化器状态和调度细节，复现时应以原文给出的学习率、轮数和时间槽数为准，不要自行猜测裁剪或预热设置。
数据、指标和基线条件是什么
实验用 Listening with Time 中的英文时间定位数据。训练用 LAT Chronicle 英文子集的 3737 个查询片段对，按 9 比 1 划分训练验证。评测用 LAT-Bench 英文子集，录音可达 30 分钟。骨干用冻结的 MOSS-Audio-8B-Instruct 和 Qwen3-Omni-30B-A3B-Instruct，定位模块在单张 A100 上训练。
指标遵循官方协议，报告平均交并比和交并比阈值为 0.3、0.5、0.7 时的召回率。平均交并比衡量预测区间与真值区间的平均重叠程度，召回率衡量重叠超过阈值的样本比例，数值越大越好。基线包括直接定位、滑窗定位和只做问答监督微调，以及原文引用的外部系统成绩。比较时要注意外部引用成绩与本文复现实验的运行条件不完全相同，不能当作同机同码复跑的胜负，只能看趋势和自带基线的相对提升。
主结果在什么条件下成立
要回答的问题是冻结骨干加轻量模块能否在长音频上稳定提升定位。比较对象是同骨干下的直接定位、滑窗和问答微调，指标方向都是越高越好，指标为平均交并比和 0.3、0.5、0.7 阈值下的召回率，均为百分比。下表是 LAT-Bench 英文子集上的完整成绩，包含引用成绩和本文实验两部分，滑窗表示滑窗定位，问答微调表示仅问答监督微调，精修表示边界修正，并集表示合并两种生长分位数候选池后再做选择。
| Model | Setting | mIoU | R@0.3 | R@0.5 | R@0.7 |
|---|---|---|---|---|---|
| LAT-Audio | Main Model | 50.00 | 68.10 | 54.10 | 34.50 |
| Gemini-2.5-Pro | Main Model | 45.30 | 65.20 | 53.90 | 27.70 |
| Gemini-3.0-Pro | Main Model | 41.00 | 51.40 | 44.80 | 22.90 |
| Qwen3-Omni | SW | 26.20 | 41.90 | 25.80 | 15.50 |
| Qwen3-Omni | QA-SFT | 39.20 | 54.20 | 41.70 | 24.50 |
| MOSS-Audio | Direct | 15.71 | 22.77 | 14.79 | 8.69 |
| MOSS-Audio | SW | 26.39 | 36.15 | 14.79 | 4.23 |
| MOSS-Audio | QA-SFT | 17.75 | 27.00 | 18.08 | 9.86 |
| MOSS-Audio | Ours | 38.52 | 57.98 | 40.61 | 19.25 |
| Qwen3-Omni | Direct | 15.80 | 26.40 | 16.00 | 7.00 |
| Qwen3-Omni | Ours (ρg=0.65) | 42.72 | 65.02 | 42.49 | 19.95 |
| Qwen3-Omni | Ours (ρg=0.65) + Ref. | 43.20 | 65.26 | 42.96 | 21.13 |
| Qwen3-Omni | Ours (Union) | 43.45 | 65.26 | 45.54 | 21.13 |
| Qwen3-Omni | Ours (Union) + Ref. | 44.13 | 65.02 | 46.95 | 22.07 |
表中 MOSS-Audio 下本文方法平均交并比 38.52，0.5 阈值召回率 40.61，超过同骨干的直接、滑窗和问答微调。Qwen3-Omni 下默认生长分位数配置平均交并比 42.72，超过本文复现的直接定位，也在平均交并比上超过引用的滑窗和问答微调报道值。把两种生长分位数候选池取并集后平均交并比升到 43.45，0.5 阈值召回率升到 45.54，再加边界修正后达到 44.13 和 46.95，说明不同生长配置给出互补假设，冻结的价值评估模型可从更多样池中挑选，再由局部修正器调整边界。本表数值与单位依据论文 PDF。
但在 0.7 严格阈值下精修后为 22.07，仍低于引用的问答微调的 24.50，说明高精度边界仍是短板。引用中最强的 LAT-Audio 平均交并比 50.00，本文方法并未超过它，论文也明确把重点放在冻结骨干的轻量适应和跨骨干一致性上。未胜出项要正视，严格阈值和最强外部系统都是本文方法的边界。
候选池里是否还有更好的没被选中
要回答的问题是候选生成和候选选择谁是瓶颈。做法是在精修前比较大模型选出的首位结果和事后知道真值时的最优选择，后者称为 oracle，只用于诊断，不代表实际可部署的提升。下表是不同候选池的首位与 oracle 成绩，全部指标均为百分比。
| Backbone | Pool | Selection | mIoU | R@0.3 | R@0.5 | R@0.7 |
|---|---|---|---|---|---|---|
| MOSS-Audio | Ours | Top-1 | 38.52 | 57.98 | 40.61 | 19.25 |
| MOSS-Audio | Ours | Oracle | 46.72 | 68.31 | 50.94 | 26.76 |
| Qwen3-Omni | ρg=0.65 | Top-1 | 42.72 | 65.02 | 42.49 | 19.95 |
| Qwen3-Omni | ρg=0.65 | Oracle | 51.04 | 74.41 | 55.63 | 30.52 |
| Qwen3-Omni | ρg=0.80 | Top-1 | 41.47 | 62.44 | 43.90 | 18.31 |
| Qwen3-Omni | ρg=0.80 | Oracle | 50.66 | 74.18 | 54.93 | 31.22 |
| Qwen3-Omni | Union | Top-1 | 43.45 | 65.26 | 45.54 | 21.13 |
| Qwen3-Omni | Union | Oracle | 55.20 | 78.40 | 61.97 | 38.26 |
表中 oracle 在同一候选池内全面高于首位选择，例如并集池平均交并比从 43.45% 升到 55.20%，0.7 阈值召回率从 21.13% 升到 38.26%，说明池子里常常保留了比最终选中更好的假设。这里平均交并比衡量预测区间与真值区间的重叠程度，0.7 阈值召回率衡量交并比超过 0.7 的查询比例，比较都是在精修前、同一池内进行。
并集池同时提升首位和 oracle，说明两种生长配置提供了互补假设。但首位与 oracle 之间仍有 10 个百分点以上的差距，且在严格阈值下差距更大，支持论文的选择仍是关键瓶颈的判断。这个差距不能理解为换个选择器就能免费拿到，实际选择必须在不知道真值时做出。
查询调制和液态建模是否互补
要回答的问题是提升究竟来自查询调制、时序建模还是二者组合。为隔离影响，消融统一用相同候选生成配置，并把液态模型换成标准门控循环单元做对照。下表是两个骨干上的消融成绩。
| FiLM | Temporal | mIoU | R@0.3 | R@0.5 | R@0.7 |
|---|---|---|---|---|---|
| No | None | 36.29 | 54.92 | 36.38 | 18.31 |
| No | CfC | 37.21 | 54.67 | 37.79 | 19.71 |
| Yes | CfC | 38.52 | 57.98 | 40.61 | 19.25 |
| No | None | 35.43 | 53.52 | 37.10 | 15.25 |
| No | CfC | 38.37 | 59.62 | 39.44 | 14.79 |
| Yes | CfC | 42.72 | 65.02 | 42.49 | 19.95 |
表中完整组合在两个骨干上平均交并比最高，MOSS-Audio 为 38.52，Qwen3-Omni 为 42.72。单独用调制而不加时序建模并不能超过两者都不用，说明调制需要与时序传播配合。在已有液态建模基础上加入调制，平均交并比从 37.21 升到 38.52，从 38.37 升到 42.72。把液态模型换成普通循环单元后平均交并比掉到 32.00 和 31.29，因此不能把增益简单归为加了循环结构，证据更支持连续时间输入自适应动态的作用。限制是消融只覆盖这 2 个组件和这一种替换，没有评测其他时序结构，结论也只在本文数据和冻结骨干条件下成立。
还有哪些做不到和没测到的
首先是选择瓶颈，oracle 分析已显示池子质量高于首位质量，严格阈值下差距更大，说明语义选择仍会错选相近候选。其次是高精度边界，即使加了局部修正，0.7 阈值召回率仍低于问答微调，修正范围被限制在 5 秒内，更大的偏移本来就被排除在训练之外。
未评测的范围包括超过 30 分钟的录音、非英文查询、推理延迟和多轮检索成本，原文没有报告误判率和运行时开销，不能承诺这些方面会改善。来源方面，本次未发现可验证的作者代码模型数据链接，不能说已公开或可下载，这只是来源未确认，不是技术缺陷。
复现第一步做什么
先按原文准备数据与骨干，训练用 LAT Chronicle 英文子集并留一成验证，评测用 LAT-Bench 英文长音频子集，指标用平均交并比和 3 个阈值召回率。骨干保持冻结，只训练定位模块，时间槽数设为 1024，学习率 1 乘 10 的负 4 次方，训练 3 轮，损失权重按原文五元组设置。
候选生成时先固定生长分位数 0.65 复现默认结果，再做 0.80 并取并集验证互补性。选择阶段用是否兼容提示取是的概率排序，修正阶段只在优选附近正负 5 秒窗口内训练和推理。复现时要保留实际可运行策略的成绩，oracle 只做诊断。还需补的验证是换骨干版本时的稳定性、在更长录音和噪声背景下的衰减曲线，以及选择器的校准和延迟测量，这些原文都没有给出。
什么时候值得尝试这个方法
当任务是长录音中找短片段、查询有多重约束、且不想或不能重训大骨干时，这个先调制再做时序建模、保留多假设再选优的路线值得尝试。它把查询语义提前到时间传播之前，又用冻结大模型做语义把关，单卡可训练是实际好处。
使用时要记住 3 个条件，骨干冻结、候选多样性依赖分位数配置、精修只管小范围。严格高精度场景要另做验证，不能把 oracle 差距当作可直接获得的提升，也不要把平均指标的改善推广到每一条查询和每一个时间段。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses