给音频加刻度再做强化：TimePro-RL 如何让大音频语言模型卡准起止时间

英文题目：Towards Fine-Grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

会议身份：conference:interspeech:2026:conference-paper-id:shi26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#提示学习 #强化学习 #音频大模型 #后训练 #音频事件检测

评分：7.5/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Yanfeng Shi：机构信息未能从会议 PDF 纯文本可靠映射
• Pengfei Cai：机构信息未能从会议 PDF 纯文本可靠映射
• Jun Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Qing Gu：机构信息未能从会议 PDF 纯文本可靠映射
• Nan Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Lirong Dai：机构信息未能从会议 PDF 纯文本可靠映射
• Ian McLoughlin：机构信息未能从会议 PDF 纯文本可靠映射
• Yan Song：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

大音频语言模型（Large Audio-Language Model，LALM）能理解音频语义，但难以精确推断查询事件的起始与结束时间：一是音频输入缺显式物理时间坐标，仅靠旋转位置编码（Rotary Position Embedding，RoPE）等难以建立语义与绝对时间的对应；二是监督微调（Supervised Fine-Tuning，SFT）的词元级交叉熵与时间对齐评测指标错位，对合理近似过度惩罚。该文提出 TimePro-RL 框架：先把时间戳词表扩展为可学习嵌入并按编码器帧率交错插入音频特征序列形成显式坐标，再用 SFT 教会模型利用邻域时间嵌入定位，随后在小子集上用分组相对策略优化（Group Relative Policy Optimization，GRPO）以后训练直接优化事件级 F1（Event-based F1，Eb-F1），并以连续辅助奖励的方差门控融合解决小分组下离散奖励区分度丧失。与已有时间标注数据构造和专用时间词元方法不同，差异在于把时间提示放在音频侧输入而非文本侧，并用强化学习（Reinforcement Learning，RL）解决离散指标不可微问题。在音频定位任务下，经TimePro-RL后训练的Qwen2.5-Omni的R@0.9为39.8，从SFT基线的R@0.9 34.1升至39.8。该结论目前仅在 30 秒内短音频、FTAR 与 DESED 受控划分上验证，对长音频、重叠事件与思维链推理的外推尚未验证。原文未披露训练、推理与部署成本，未提供代码与模型。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息？

这篇解读的输入是论文正文给出的文字、图注与表格证据，目标是让刚进入语音音频方向的研究生能复述方法并核对实验条件。必须保留的信息包括 3 类任务的输入输出格式、音频侧时间提示的插入方式与初始化、强化阶段的奖励构成与训练量、以及主结果与消融中报告的具体数字与适用条件。输出是 1 篇按学习依赖展开的中文技术说明，不做超出证据的效果承诺。

先说任务直觉。白话讲，大音频语言模型是指把音频编码器与大语言模型接在一起、能用自然语言回答音频问题的系统，英文是 Large Audio-Language Model，后文简称大音频模型。这类模型已经能说出音频里有什么，但在细粒度时间感知上仍弱，细粒度时间感知指精确给出事件何时开始、何时结束的能力。论文举的矛盾是语义对了不等于边界对了，例如真值是 5.0 秒到 6.0 秒，模型猜 4.9 秒到 5.9 秒在内容上很接近，却会在词级交叉熵下受到重罚。教学例子是查询铁路道口铃声何时响，模型需要输出如两个区间那样的起止时间，而不是只回答有铃声。

理解这篇论文要先抓住两个抓手。第一是输入侧缺显式时间坐标，模型主要靠位置编码感知顺序，直接推绝对时间戳困难。第二是训练目标与评价错位，监督微调只管词对得对不对，不管时间重叠好不好。论文的解法是先在音频特征里插入可读的时间刻度，再用强化把时间对齐质量写进优化目标。后续各节按任务与路线、方法全景、组件计算、训练推理、实验条件、结果反证、复现收束展开，每次重提数字都会增加新的对照或条件。

已有路线在补时间能力时各管了哪一段？

论文把相关工作分成 3 条线，分别对应数据、词表与训练目标。第一条是构造带时间标注的数据集，用更多对齐样本教模型时间表达，论文引用这类工作说明数据能带来明显提升，但指出音频输入本身仍缺物理时间线索的显式建模，语义内容与真实时间坐标的对齐仍不精确。第二条是引入专门的时间词元来表示时间概念，在生成时增强时间对齐，这条管的是输出侧的时间表示。第 3 条是视频时间定位中的强化做法，直接围绕时间对齐指标设计奖励，论文认为这对音频有借鉴意义。

对照时要按同输入、同目标、同监督来分。数据路线与本文同目标但不同手段，本文不是再造一个更大标注集，而是在输入侧加坐标。时间词元路线与本文都动词表，但本文强调把时间戳向量交错放进音频特征序列，而不是只在文本侧加词。视频强化路线与本文同运行阶段，都是微调后的后训练，但本文把它搬到音频定位、事件检测与密集字幕 3 类任务，并针对离散奖励设计了自适应融合。论文没有声称这些路线无效，而是指出两处值得继续注意的地方，一是音频侧缺显式时间提示，二是监督微调缺边界偏差的优化信号，这正是后文两个模块的由来。

要解决的具体问题与输出格式是什么？

论文研究的是 3 类需要起止时间的音频任务。第一类是音频定位，英文是 Audio Grounding，后文简称定位任务，输入是一段音频加一句自然语言查询，输出是查询声音对应的起止时间，格式要求是查询到区间映射，例如查询对应一个或多个 onset 与 offset。第二类是声音事件检测，英文是 Sound Event Detection，后文简称检测任务，输入是音频，输出是从预定义集合中判定事件类别并给出每类出现时段，格式是事件到区间的映射。第 3 类是密集音频字幕，英文是 Dense Audio Captioning，后文简称密集字幕任务，输入是音频，输出是每段声音事件的时间戳加文字描述，格式是起止时间加描述。

3 类任务共用时间边界准确这 1 核心，但评价不同。定位任务用交并比系列指标，包括不同阈值下的召回与平均交并比，阈值越高要求重叠越严格。检测任务用事件级 F1，英文是 Event-based F1，后文简称事件级 F1，并设边界容差。密集字幕任务同时看语言质量与定位准确，分别用 METEOR 看字幕文字质量、用事件级 F1 看时间定位。初学者容易把语义对当成时间对，论文反复提醒高精度指标如严格阈值召回与事件级 F1 才是细粒度能力的试金石，零样本下通用大音频模型在这些指标上受限明显。

TimePro-RL 的全景：先加刻度，再改目标

论文提出的框架叫 TimePro-RL，白话是先给音频加时间刻度、再用强化校准边界的 2 阶段后训练。第一阶段是音频侧时间提示，英文是 Audio-Side Time Prompt，后文简称时间提示，做法是把时间戳编码成向量并交错插入音频特征序列，让模型在听音频帧时能从邻近位置取出时刻。第二阶段是监督微调加强化后训练，监督阶段让模型学会使用这种被改变的输入结构，强化阶段用分组相对策略优化直接优化时间对齐奖励。

下面这张总览图把左右两块放在一起，左块讲输入如何构成，右块讲 2 阶段训练如何衔接，读图时先走从波形到答案的主路径，再看监督与强化的分支在哪里汇合。

看图路径： 1. 先看左半部分时间轴上音频块与时间块如何交替排列，再确认三类嵌入分别进入哪个编码层；2. 再看右上监督阶段预测文本词与标签文本词如何通过交叉熵对齐；3. 再看右下强化阶段组预测如何经抽取时间段后进入自适应时间奖励并回传更新；4. 对照示例查询铁路道口铃声的两段时间输出，确认输入问题与输出格式的对应关系

论文图 1。原论文 Figure 1：“Overview of our TimePro-RL framework. Timestamp Embeddings are interleaved within audio features as time prompt, followed by SFT and RL post-training.”。

从像素看，左半部分下方是波形与时间轴，时间轴上交替排列着音频块与时间块，分别经音频编码器与时间戳嵌入层后进入上方的大语言模型，右侧还有文本嵌入分支汇入，顶部示例把查询铁路道口铃声何时响映射到两个预测区间。右半部分上方是监督阶段，全量数据经模型得到预测文本词，标签经分词得到标签文本词，二者经交叉熵损失对齐。

右半部分下方是强化阶段，子集数据进入模型后按组大小产生多组预测，抽取出预测时间段后与真值时间段一起进入自适应时间奖励，得到组奖励再经分组相对策略优化回传更新模型。这张图不支持把某一箭头解读为梯度截断或参数冻结位置，冻结与更新的说明以文字证据为准。

沿一个样本走一遍有助于建立依赖。输入是一段音频加问题何时响，音频按编码器帧率切成音频帧序列，每个位置固定对应时间线，时间词按对应时刻插入。表示层把音频占位替换为音频帧特征，把时间词映射为时间戳向量，把问题映射为文本向量，三者在序列中交错。组件层由大语言模型做自回归生成，生成词在关注事件声学线索时可以 attending 到邻近时间戳向量。目标层在监督阶段是词级正确，在强化阶段是时间重叠好。输出是结构化时间区间文本，后处理抽出数字区间用于算奖励与评价。

时间刻度怎么做：词表、位置与向量初值

时间提示的实现分 3 步。第一步扩词表，加入一组时间戳词元，例如代表 0.04 秒的词，覆盖范围与步长按编码器帧率与最大时长设定。第二步定位置，按音频时长与编码器输出帧率把音频切成序列，每个位置固定映射到时间线，再按对应时刻把时间词插入序列，示例中音频编码器输出帧率为 25 赫兹，时间词以 0.04 秒步长出现，序列用起始结束标记与音频段标记包裹，音频占位之后被替换为对应音频帧特征。第 3 步做向量映射，序列中的时间词经时间戳嵌入层变成向量，与音频特征、文本嵌入一起构成大语言模型的音频输入。

音频侧时间提示 × 时间戳嵌入： 音频侧时间提示负责决定在音频特征序列的哪里插入时间坐标，时间戳嵌入负责把每个具体时刻变成可参与注意力的向量，二者搭配是因为只加词表不给向量无法被音频注意力利用，只给向量不固定位置无法对应真实时间线，组合后模型在听事件声学线索时可以直接从相邻位置取出时刻表示。

初始化是关键细节。论文采用基于语义先验的初始化，白话是不要随机给时间向量，而是用它对应数字字符串分词后子词嵌入的均值来起步，例如把 0.04 这个字符串分词后取词嵌入平均作为该时刻向量的初值。这样做的安排理由是与自回归结构对齐，模型可以在关注事件线索时从邻近时间戳嵌入中取出时间信息，同时把预训练语言知识迁移过来，帮助模型正确理解被改变的输入结构。论文还明确所有时间戳嵌入参数在训练中冻结，以防语义漂移。

未报告的是音频编码器与大语言模型本体在 2 阶段是否全量更新，论文只给出用低秩适配做参数高效微调的秩与系数，缺项处不从模型名称推定实现。

初学者常见误解是以为加了时间词模型就自动会看时间。论文的逻辑是结构改变后必须经监督微调引导，语义初始化只是让引导更容易，而不是替代训练。另一误解是把时间戳当成文本提示，实际它是放在音频特征序列里的向量坐标，作用是提供可感知的输入级时间参照，降低推理难度与幻觉，而不是在问题文本里加一句话。

奖励怎么做：主奖励离散时的平滑与自适应

强化部分的动机是监督目标与时间评价错位。词级交叉熵把接近真值的预测当错词重罚，容易过拟合且泛化弱。论文在监督之后加分组相对策略优化，英文是 Group Relative Policy Optimization，后文简称分组优化，做法是对同一输入采样一组预测，在组内算相对优势来更新。

奖励设计是主辅搭配。主奖励用事件级 F1，这是声音事件检测中的既定指标，直接反映时间对齐。论文在实验中观察到它是阈值离散指标，组大小有限时组内预测可能同分，导致优势退化、数据效率下降。为此加入连续辅助奖励，例如定位与检测任务用平均交并比，英文是 mean Intersection over Union，后文简称平均交并比，密集字幕任务用 METEOR，提供更平滑的优化信号。

事件级 F1 × 平均交并比： 事件级 F1 负责作为主奖励判定边界容差内的检出是否算对，平均交并比负责作为辅助奖励给出连续的重叠程度，分工不同是因为前者是阈值离散量、组内容易出现同分而无梯度信号，后者平滑可分，组合后在主奖励无方差时用二者乘积恢复区分度、有方差时只用主奖励保对齐质量。

自适应规则按组内主奖励方差切换。当主奖励方差小于阈值时组奖励取主辅逐元素乘积，用平滑量恢复区分度并以主奖励调节优化强度，否则直接用主奖励。论文给出方差阈值为极小量级，强调按训练实时数据条件动态调整，在保持对齐质量的同时提高数据效率。需要区分的是原始目标、近似与优化步骤，论文只说明用分组优化做单轮后训练并给出组大小与学习率，未给出梯度是否截断、奖励是否归一化等实现，未报告处不猜梯度路径。

两阶段训练：数据量、轮数与可复现设置

训练分监督与强化两段。基座模型选用两个 7B 规模的大音频模型，音频编码器均为 Whisper，输出帧率为 25 赫兹。为支持最大时间分辨率，词表扩展 750 个时间词，覆盖从 0 秒到 30 秒、步长 0.04 秒。微调采用低秩适配，秩与系数有明确取值。监督阶段在全量数据上训练 3 轮，学习率较小。

强化阶段在监督之后，只用 10200 条子集数据训练单轮，组大小为 4，学习率更小一个量级。自适应奖励中 3 类任务的主奖励统一用事件级 F1，辅助奖励按任务分别用平均交并比或 METEOR，方差阈值取极小值。

监督微调 × 分组相对策略优化： 监督微调负责教会模型按标注格式输出时间文本并适应被时间戳打断的输入结构，分组相对策略优化负责在同一输入下采样多个预测并按相对优劣更新策略，二者搭配是因为前者只优化词对词正确、会重罚接近真值的边界偏移，后者直接用时间对齐奖励纠正这种错位，组合后先会格式再校准边界。

推理与输出侧也有固定约定。定位任务要求输出查询到区间的映射，检测任务要求输出事件到区间的映射，密集字幕任务要求输出起止加描述。强化阶段需要从生成的文本中抽取出预测时间段，再与真值时间段比较算奖励，这一步是规则抽取而非再次生成。论文未报告硬件类型、 batch 大小、采样温度或解码策略，复现时应先按给定的轮数、学习率、组大小与奖励配置对齐，再补测解码与硬件相关量。资源状态方面，本次收到的证据中没有完成验证的代码模型数据链接，不得声称已公开可用。

在哪些数据与指标上测，条件是否一致？

实验覆盖 3 类代表性时间任务。定位任务用 FTAR 数据集，要求输出对应时间戳，指标用不同阈值下的召回与平均交并比，阈值越高越考高精度。检测任务用 DESED 数据集，输出格式化为事件到区间映射，评价用事件级 F1 并设 0.2 秒边界容差。密集字幕任务同样用 FTAR 构造，输出为起止加描述，语言质量用 METEOR，定位用事件级 F1。论文给出 3 类任务各自的训练与测试样本量，测试集规模在数百到上千量级，适合看高精度差异但不适合推广到所有声学场景。

音频定位 × 声音事件检测： 音频定位负责按自然语言查询返回对应声音在整段音频中的起止区间，声音事件检测负责从预定义类别集合中同时判定类别与每类出现的起止区间，前者考查询到时间的映射，后者考多类并存时的分类加定位，论文用同一套时间提示与奖励同时检验这两种不同输出约束下的边界能力。

基线分零样本与微调两类。零样本测通用大音频模型的直接表现，微调类在相同数据集上做过监督适配，包括同基座的微调版本与其他已发表大音频模型，其中只在 FTAR 上训练的模型沿用其原论文报告值。比较的公平条件是微调基线与本方法见到相同来源的训练数据，区别在于本方法多了时间提示结构与单轮强化。指标方向是召回、平均交并比、事件级 F1 与 METEOR 均为越高越好。需要提醒的是数值相同不是同一指标的证据，定位的平均交并比与奖励用的平均交并比虽同名但聚合对象与用途不同，字幕的 METEOR 是语言分不能当成人评，百分点与相对百分比也不同。

主结果：高精度定位提升了多少，有无代价？

先提比较问题。在相同数据适配的前提下，加时间刻度再做强化是否在严格阈值与事件级指标上超过只做监督微调的基线，指标方向均为越高越好。下表把论文正文连续原句中实际出现的关键数字整理成可核对形态，条件列保留任务与阶段，指标列保留原名，基线与本方法列保留原文数值写法，不做四舍五入与单位追加。

表后解释要同时看收益与代价。主要收益在高精度定位，定位 R@0.9 从监督阶段的 34.1 到最终 39.8，时间提示阶段的 35.8 到强化后 39.8 说明单轮强化带来明显增量。密集字幕事件级 F1 从 35.2 到 40.7，Qwen2-Audio 也有 4.8 个点的提升，显示跨基座有效。具体代价与反例是只用事件级 F1 做奖励时密集字幕 METEOR 从 32.6 掉到 31.6，出现优化不平衡，自适应后才回到 33.9 并把事件级 F1 推到 40.7。这支持自适应融合更均衡的判断，但也说明奖励设计不当会损语言质量。未胜出与边界方面，论文未报告延迟、误判率与长音频外推，总体趋势不等于每组都成立。

注意力可视化给出机制侧证据，读图时先确认真值区间与时间轴的对应，再看注意力是否落在边界附近。

看图路径： 1. 先确认上方面谱中两个红框标注的真值区间位置与下方时间轴刻度的对应；2. 再观察下方注意力条带上深色高激活竖线是否落在区间起止附近；3. 比较模型预测区间与真值区间的数字差异，判断注意力集中是否带来边界接近

论文图 2。原论文 Figure 2：“Visualization of attention weights on Timestamp Em- beddings.”。

从像素看，上方面谱有两个红框标注的真值区间，分别为 1.7 秒到 3.4 秒与 5.2 秒到 6.2 秒，下方注意力条带按 0 秒到 10 秒排列，在约 1.7 秒、3.3 秒、5.2 秒与 6.3 秒附近出现深色高激活竖线，模型预测为 1.7 秒到 3.3 秒与 5.2 秒到 6.3 秒。解释是生成词对时间戳嵌入的末层注意力在事件起止边界处 sharply 集中，与声谱能量变化位置对齐，这为时间提示被有效利用提供了直观证据。但这只是单样本标记而非分布曲线，不能推广为所有样本都如此集中，也不能从颜色深浅读出精确数值，像素不能辨别的步数不硬写。

拿掉语义初值或换奖励会发生什么？

消融基于 Qwen2.5-Omni，逐个检验时间提示初始化与强化奖励的作用。第一个问题是随机初始化能否替代语义初始化。论文报告随机初始化在多数指标上回退，例如检测事件级 F1 掉 2.9 个点，原因是随机向量给音频特征序列引入额外噪声。相比之下语义初始化带来定位 R@0.9 约 1.7 个点的提升，说明初值决定了模型能否把时间戳当坐标用。这支持语义初始化关键的判断，但属于有限解释而非因果证明，未测量其他初值分布。

语义先验初始化 × 随机初始化： 语义先验初始化负责把时间戳向量初值设为其数字字符串分词后词嵌入的均值，随机初始化负责给出与语言空间无关的起点，前者搭配音频侧时间提示的理由是输入结构已被改变、需要借助原语言模型对数字的已有表示来稳定理解，组合意义在消融中体现为语义初始化带来提升而随机初始化引入噪声导致回退。

第二个问题是强化是否需要自适应。只用事件级 F1 时定位仍有提升但密集字幕 METEOR 从 32.6 降到 31.6，自适应后 METEOR 回到 33.9 且事件级 F1 到 40.7，说明乘积融合在主奖励无区分度时恢复了优势信号，同时用主奖励加权控制了优化强度。第 3 个问题是强化用量，论文只用 10200 条子集做单轮就观察到定位 R@0.9 从 35.8 到 39.8 的增量，支持数据效率的判断，但未做多轮与更大组大小的扫描，待验证是否继续单调提升。失败条件方面，随机初始化与单奖励的回退就是明确负结果，复现时应先复现这两个回退再谈改进。

哪些还没测，哪些不能承诺？

按证据区分 3 层。直接报告的是 3 类任务上的高精度提升与消融回退，有数字支持。有限解释的是注意力集中说明时间提示被利用，以及自适应奖励提高数据效率，这有单图与单配置支持但缺统计显著性与多种子验证。未验证推测是未来用到思维链等复杂推理时细粒度线索会作为关键中间证据，这只是展望，不能当结论。

缺项要具体点名。论文未报告训练硬件、耗时、推理延迟、输出帧率与实际延迟的关系，未报告误判率、校准误差与长于 30 秒音频的处理，未报告多轮强化、不同组大小与阈值敏感性。相关性不是因果，例如注意力落在边界附近不能证明就是它导致边界变准。未测量延迟与成本时不承诺这些量得到改善。时间词覆盖止于 30 秒，超长音频是否截断或外推未交代，这是明确的未评测边界。

复现先做什么，需要哪些可运行配置？

复现按依赖排序。第一步对齐数据与格式，分别准备定位、检测与密集字幕的训练测试划分，固定输出为查询到区间、事件到区间、起止加描述 3 种模板，检测容差设 0.2 秒。第二步搭时间提示，按 25 赫兹帧率与 0.04 秒步长扩 750 个时间词到 30 秒，音频切帧后按时刻交错插入，时间戳向量用数字字符串分词嵌入均值初始化并冻结，基座接 Whisper 编码器，用低秩适配做高效微调。第 3 步跑 2 阶段训练，先全量 3 轮监督学会新输入结构，再用 10200 条子集单轮分组优化，组大小 4，主奖励统一用事件级 F1，定位与检测辅奖励用平均交并比，密集字幕辅奖励用 METEOR，方差阈值取极小值。

下表把可复现的关键超参数整理成核对清单，数值与单位保留原文写法，不擅自添单位，裸数值不补百分号。

表后说明代价与核对点。主要代价是输入变长与组采样开销，750 个时间词交错会增加序列长度，组大小 4 意味着单步要生成多份预测再算奖励，实际延迟与显存需另测。核对点是先复现监督加时间提示的提升，再复现单轮强化的增量，最后复现随机初始化回退与单奖励下 METEOR 回退，3 个检查点都对上才算跑通。资源可用性方面，本次证据未绑定可验证链接，不得写代码模型数据已公开，复现应按论文文字重写时间提示与奖励抽取逻辑。

何时值得尝试，一句话收束

当任务必须输出起止时间且评价看重严格重叠时，这套先加音频侧坐标再用时间奖励校准的思路值得尝试，特别是有监督数据但边界总差一点的定位、检测与密集字幕。尝试前确认音频时长是否在 0 秒到 30 秒覆盖内、编码器帧率是否为 25 赫兹可对齐、输出模板能否被规则抽出区间用于算奖励。若时长更长或帧率不同，需要重算时间词数量与步长，不能直接套用 750 与 0.04 秒。

收束回到中心矛盾。语义正确不等于时间正确，时间提示解决输入缺刻度的问题，分组优化加自适应奖励解决目标不管重叠的问题，二者缺一不可。论文用跨任务的高精度增量与 2 次回退证明了这一搭配的稳健性，但延迟成本、长音频外推与多轮训练仍待补验证。初学者复述时抓住一句话，刻度插进音频特征供注意力取用，奖励按方差切换以保区分度与对齐质量，数字只引用原文报告的区间与条件。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总