📄 先给草稿再自我修正：RefTAG 如何做语音中的时间定位
英文题目：RefTAG: Reflection-aware Temporal Audio Grounding in Large Audio Language Models
标签：#音频时间定位 | #音频推理 | #强化学习 | #音频大模型
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Yuhang Dai：机构信息未在 arXiv HTML 中可靠披露
- Xin Shu：机构信息未在 arXiv HTML 中可靠披露
- Zhennan Lin：机构信息未在 arXiv HTML 中可靠披露
- Mingchen Shao：机构信息未在 arXiv HTML 中可靠披露
- Chengyou Wang：机构信息未在 arXiv HTML 中可靠披露
- Xiangang Li：机构信息未在 arXiv HTML 中可靠披露
- Jianwei Yu：机构信息未在 arXiv HTML 中可靠披露
- Lei Xie：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
时间音频定位要求根据自然语言查询在录音中找出全部匹配区间，输出数量可变且起止边界需准确，目标反复出现或长录音会加大漏检与边界偏移风险。RefTAG先由大音频语言模型生成初始草稿区间，该草稿连同音频与查询一起进入诊断环节。诊断输出离散的数量动作与边界动作以区分漏检和边界错位，再据此改写为修订后区间，使草稿直接成为修订的修改起点。同一质量函数对草稿和终稿打分，结合并集交并比、一对一匹配交并比、中点误差转换分和数量一致分，反射感知分组相对策略优化同时奖励最终定位质量与草稿到终稿的质量变化。与仅学最终答案的监督微调相比，Re-CoT监督微调在Clotho、LAT与TAG-Bench三数据集平均的平均交并比mIoU上从49.67%提高到50.90%。最终模型在TAG-Bench总体平均交并比mIoU上取得38.50%、在三数据集平均mIoU上取得51.01%，均超过受评的开源MOSS-Audio、FireRedAudio与商业Gemini-3.1-Pro。长录音语义查询上草稿到终稿几乎没有增益，说明缺少新增音频证据时仅靠数量与边界修正难以继续提升。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决的输入输出是什么
输入是一段录音和一句自然语言查询，比如查询狗叫声在何时出现，录音时长记为从开始起算的秒数。输出不是单个时刻，而是一个区间集合，每个区间用开始秒数到结束秒数的范围表示，多个区间之间用分号隔开。任务要求把查询内容的所有出现都找出来，既要个数对，也要每个区间的起止边界准。只给一个看似合理的区间是不够的，如果目标在录音里出现了三次且互不重叠，就必须给出 3 个区间。评价时只看回答末尾的修订区间，中间的草稿和诊断只用于训练奖励和过程分析。论文把 3 类评测合在一起，共 8228 条查询，覆盖短环境音频、长音频语义查询和包含重复目标的多样查询。
时间音频定位 × 区间集合： 时间音频定位指给定一段录音和一句自然语言查询，找出查询内容出现的所有时间区间；区间集合指这次预测输出的全部开始减结束片段的组合，允许零个、一个或多个区间，评价时看集合整体与参考集合的重叠与个数是否一致。
已有路线做了什么，本文补哪一块
早期时间定位用帧级声音 embedding 与查询短语 embedding 算相似度来定边界，弱监督版本从整段加字幕的配对里学对应关系，合成数据与人工标注时间区域则增强对齐信号。另一条路线改进时间表示与证据获取，比如加入时间标记与绝对时间编码、把时间戳 embedding 与音频特征交织、为长音频建全局时间线再取局部片段，或从带时间戳的事件库检索。推理与反思训练方面，有工作为声音问答构造显式推理链，有工作用正确性变化加格式加长度做反思奖励。
本文不动主干模型，也不加检索系统或反复调用局部音频工具，而是聚焦已经生成一组区间之后如何发现并修正错误。作者强调两类错误需要不同操作，移边界补不回漏掉的一次出现，加区间也修不好不准的端点，而且流畅的文字批评本身不能度量定位是否变好，所以反思必须写成可解析的修正动作，并用量化的定位提升来评价。
为什么只监督最终答案不够
如果只监督最终答案，模型可能保留一个本来就准的草稿，也可能把一个差草稿改好，两者在最终答案上看起来一样，但反思的价值完全不同。两个错误的预测也可能错得不一样，一个是个数错，一个是边界偏，笼统的文字反思区分不了。论文因此要求每个回答都包含草稿、离散的数量与边界动作、修订后区间三部分，数量动作在集合层面区分出现次数不匹配，边界动作区分时间错位。
边界取保持不要求时间戳完全相同，而是指在标注阈值下视为一致，剩余不好归类的情况用调整兜底。固定字段的好处是草稿和修订都能被确定性解析，用同一个质量函数打分，不需要再训练一个自由文本的反思裁判。
整体流程如何把修正变得可验证
下面这张图是理解全文的关键，它把数据构造和 2 阶段训练画在一条流水线上，上半部分做监督轨迹，下半部分做强化学习 rollout，参考答案只出现在构造与奖励环节。请先按读图说明看主路径，再看回路。
看图路径： 1. 先从左上源数据集框沿箭头看到轨迹生成与规则修正；2. 再看右下从监督微调模型中采样出子集做强化学习 rollout 的回路；3. 注意图中标注参考只用于构造数据与奖励、不进入推理
论文图 1。原论文 Figure 1:：“RefTAG data construction and training.”。
上半路先从自有时序语音语料、长录音、带强标注的音频集和由短音频派生的定位样本出发，用大语言模型根据查询和已有的参考区间生成候选轨迹，包括初始预测、数量与边界诊断和修订答案，再用确定性规则对区间与动作标签做对齐与平衡，保留参考区间作为最终目标，得到 275,000 条覆盖各类修正情形和全部动作类型的轨迹。
下半路从中选出 5000 条按查询类型、时长和目标个数平衡的子集，去掉离线助手轨迹，只保留音频、查询、时长和参考，策略模型现场生成新的草稿、动作与最终区间，参考只给奖励，不作为策略输入。监督微调先教会这种先草稿后诊断再修订的格式，强化学习再联合奖励最终定位质量与修订效果，主干结构不变，推理时不需要任何标注。
回答格式里每一段写什么
一个回答的例子是先在思考标记内写草稿区间 10 到 14 秒，数量动作取保持，边界动作取向右，再在思考标记外写 12.26 到 16.47 秒作为修订答案。多目标时草稿与最终区间都用分号隔开，但整个集合只配 1 对数量与边界动作。数量动作只有保持、增加、删除 3 种，边界动作有保持、左移、右移、扩大、缩小、调整。保持数量意味着草稿认为个数已对，增加与删除对应补漏与去重。边界动作里左右对应整体平移，扩大缩小对应覆盖时长变化，调整对应剩余情形。这样的离散化把反思从自由发挥变成可检查的选择题，后续既能统计动作声明是否与规则标签一致，也能统计动作是否被真正执行。
草稿区间 × 修订区间： 草稿区间是模型在同一回答中先给出的初步预测，修订区间是经过数量与边界诊断后在回答末尾给出的最终预测，二者用同一质量函数打分，相减得到修订带来了多少定位提升，修订区间才是参与评价的输出。
数量动作 × 边界动作： 数量动作判断出现次数是否对错，只取保持、增加、删除三种离散取值，处理漏找或多找；边界动作判断起止时刻是否对齐，取保持、左移、右移、扩大、缩小、调整等取值，处理找对了个数但端点不准，两种动作分工对应漏检与不对齐两类不同错误。
定位质量如何用重叠与中心算出来
先看重叠的定义，预测集合与参考集合各自先把内部重叠合并成时间并集，再算交集时长除以并集时长，这就是联合重叠。合并的目的是避免同一段时间被重复计算。
\[\operatorname{IoU}(P,G)=\frac{|\mathcal{U}(P)\cap\mathcal{U}(G)|}{|\mathcal{U}(P)\cup\mathcal{U}(G)|}.\]符号含义是花体并集符号表示合并重叠区间，竖线表示时长秒数，分子是预测并集与参考并集相交的秒数，分母是两者合并的总秒数。论文的质量函数在此基础上再加三项，构成 4 个分量的和。
\[Q(P,G)=I_{u}+I_{m}+r_{\mathrm{mae}}+c_{\mathrm{soft}},\]其中联合重叠看整体覆盖，匹配重叠把预测与参考一对一配对求两两重叠之和再除以两者个数最大值，保留每个区间的个体信息且不合并重复，中心项把每个参考中点到最近预测中点的平均绝对误差换算成 0 到 1 之间的分数，个数项看预测个数与参考个数的相对一致程度。4 个分量与总分都在 0 到 1 之间，任一集合为空则总分为零。匹配与计数保留个体区间，允许预测复用，中点误差本身不对未匹配单设惩罚，而是靠匹配与个数项处理数量不匹配。最终区间的质量直接作为最终奖励，草稿的质量用于算修订增益。
联合重叠 × 匹配重叠： 联合重叠先把预测和参考各自内部重叠的部分合并，再算交集除以并集，看整体时间覆盖；匹配重叠把预测与参考逐个配对算两两重叠再求和，看每个事件是否各自找准，前者对重复覆盖不敏感，后者保留个数信息，二者互补。
监督数据与强化奖励各怎么构造
监督阶段的标注规则只用于离线整理标签，不作为测试接受标准或动作奖励。数量标签看区间个数，边界取保持要求个数相等且联合重叠不低于 0.70、匹配重叠不低于 0.60，否则按时长加权的中点偏移在中位目标宽度 1/4、裁剪到 0.2 秒到 5 秒的容差内判左右，若都不适用再看覆盖时长差是否超过参考并集时长的 0.15 倍与 0.2 秒中的较大者来判扩大缩小，其余归为调整。语法与一致性检查后保留 275,000 条轨迹。强化阶段每条提示采样 8 个回答，在组内归一化奖励。
修订奖励按草稿与最终的质量差分段给分，变好给 0.50 分，持平且草稿已高于 0.75 给 0.25 分，持平但草稿不高于 0.75 给负 0.10 分，变差给负 0.25 分，思路是奖励改进与保留高质量草稿，惩罚错失与有害修订。
\[R_{\mathrm{ref}}=\begin{cases}0.50,&\Delta Q>0,\\ 0.25,&\Delta Q=0,\ Q_{\mathrm{dft}}>0.75,\\ -0.10,&\Delta Q=0,\ Q_{\mathrm{dft}}\leq 0.75,\\ -0.25,&\Delta Q<0.\end{cases}\]总奖励是最终质量与修订奖励的加权混合，权重记为阿尔法，最终模型取 0.30。
\[R=\alpha R_{\mathrm{fin}}+(1-\alpha)R_{\mathrm{ref}}.\]格式错误、空回答、截断或通不过时间边界校验的回答两项奖励都记为负 1。动作声明与规则标签的比较只做诊断，动作执行一致性用草稿与最终区间算，均不进奖励。
最终质量奖励 × 修订奖励： 最终质量奖励只看修订区间的定位质量，修订奖励看从草稿到修订的质量变化，变好给正奖励，变差给负奖励，高质量草稿保持不变也给小正奖励，二者按权重混合后既鼓励答案准，也鼓励修正过程有效。
实验在什么条件下比较
比较对象包括开源音频模型与商用多模态模型，以及同一初始化与同源样本下只监督最终答案的微调模型。监督微调与结构化轨迹微调共享模型初始化与源样本，区别只在回答结构，前者只学最终区间，后者学草稿加诊断加修订。两者都训练 500 步，全局批量 32，最大序列长度 16384，初始学习率很小，音频与视觉塔及对齐器冻结。强化学习从结构化微调 checkpoint 继续，在平衡的 5000 条子集上约跑一个轮次，约 300 步，只变混合权重。解码时温度取零，最多生成 384 个新 token，无效答案按空预测计分。
指标方向都是越高越好，平均交并比看重叠，召回率看交并比超过阈值的比例。表格中的平均值是对 3 个数据集取等权平均，总体值是对全部 8228 条查询取等权平均，结果为单次运行估计。短音频评测含 5472 条查询，长音频评测含 1006 条，多样评测含 1750 条其中单目标 1363 条、多目标 387 条。
结构化反思带来多少最终精度
要回答的比较问题是，在初始化与数据源相同、只改变回答结构时，最终定位精度是否提升，以及继续做联合奖励的强化学习是否再带来多目标与召回增益。指标方向都是越高越好。下表把平均精度与多样评测精度的关键数字放在一起，公平条件是同底座与同源样本。
| 条件 | 指标 | 只学最终答案 | 学草稿加修订 | 联合奖励最终模型 |
|---|---|---|---|---|
| 三数据集等权平均 | 平均交并比 | 49.67% | 50.90% | 51.01% |
| 多样评测整体 | 交并比 | 未单独列出 | 整体提升对应 | 38.50% |
| 三数据集等权平均 | 平均交并比 | 三者共享底座 | 查询加权提升 1.74 点 | 51.01% 对应最终 |
具体数字表明，结构化轨迹微调把等权平均从 49.67% 提到 50.90%，查询加权增益为 1.74 点，多样评测整体交并比提升 1.71 点且在单目标、多目标与不同召回阈值上都有增益。强化学习把等权平均进一步提到 51.01%，在多样评测多目标上比结构化微调高 0.40 点，召回阈值 0.5 与 0.7 上分别高 0.86 点与 0.18 点，长音频上高 0.23 点。短音频上下降 0.12 点，而短音频占全部查询的 66.5%，所以查询加权的总体精度从 68.86% 到 68.87% 基本持平。限制是这些都是单次运行估计，且强化学习的总体提升主要来自多目标与召回，而非所有子集均匀变好。
论文报告最终模型在多样评测五项指标与等权平均上都高于所评测的开源模型与商用模型，对最强外部基线的等权平均领先 8.49 点。
草稿本身有用吗，修订改了多少
要回答的比较问题是，草稿是否已编码时间信息，以及从草稿到修订的增益有多大。做法是把草稿与数量宽度匹配但位置随机的 32 种放置做比较，再看同一质量函数下草稿到最终的变化。下表整理原文报告的草稿质量、随机基线与修订后质量的关系。
| 范围 | 指标 | 草稿 | 随机放置 | 修订后 |
|---|---|---|---|---|
| 全部查询 | 质量分 | 0.6487 | 低于草稿对应 | 0.7526 |
| 全部查询 | 交并比 | 55.41% | 未设随机 | 68.86% |
| 多目标修订前后 | 交并比 | 25.05% 对应草稿 | 强化后 25.56% | 29.73% 到 30.13% |
| 长音频修订前后 | 交并比 | 28.31% | 未设随机 | 28.32% |
总体对比可见，草稿已明显高于随机放置，聚合质量高出 0.2428，修订把质量从 0.6487 提到 0.7526，交并比从 55.41% 提到 68.86%，说明草稿有信息量且修订在平均意义上有效。但长音频几乎没有修订增益，交并比从 28.31% 到 28.32%，质量从 0.4997 到 0.4963 略降，而草稿已比随机高 0.2276。作者的解释是长音频语义查询更依赖在全录音中找到相关证据，一旦草稿选定区间，不借助额外证据只靠数量与边界修订很难再提升。强化学习把多目标草稿与最终分别从 25.05% 提到 25.56%、从 29.73% 提到 30.13%，但平均修正步长与微调阶段接近，说明强化学习改善的是最终定位水平，而不是把每一步改得更大。未胜出项是长音频的修订增益为负，提示该子集不适合只靠文本内反思。
混合权重与质量分量各自起什么作用
先看混合权重的选择。读图说明是横轴为最终质量权重，纵轴左中为定位精度、右为平均修订增益，每个点都是相同初始化、相同 5000 条数据与相同训练步数下的单次运行。
看图路径： 1. 横轴都是最终质量权重，对比左中右三块面板的峰值位置；2. 看中间多目标面板在权重为 0.3 处的顶点数值；3. 看右侧修订增益面板的峰值与左侧整体精度峰值是否错开
论文图 2。原论文 Figure 2:：“Reward-weight sensitivity under matched initialization, 5K data, and schedule (single run).”。
可见内容是 3 个面板都随权重先升后降，但峰值错开，整体精度与多目标精度在权重 0.30 处最高，多目标达到 30.13%，整体达到 68.87%，平均修订增益在权重 0.70 处最高达到 0.1046。每个混合权重都高于只用一端的两个极端，在 0.30 处比纯修订与纯最终分别高 0.41 点与 0.68 点，说明把修订信号变得可度量后，联合优化确有好处，但修正幅度最大不等于最终最准。
要回答的第二个比较问题是质量函数 4 个分量是否都必要。做法是每次去掉一个分量后重归一化其余权重，其他条件不变。下表整理完整目标与去掉分量后的总体与多样评测变化。
| 条件 | 总体交并比 | 多样评测整体 | 多样评测多目标 | 有害修订率 |
|---|---|---|---|---|
| 完整四项 | 68.87% 对应最高 | 38.50% 对应最高 | 30.13% | 13.98% 对应最低 |
| 去掉任一项 | 下降 0.23–0.44 点 | 下降 0.53–1.04 点 | 个别变高 | 升到 14.22–14.69% |
这组消融表明，完整目标在总体与多样评测整体上最高，去掉任一项都会下降且两档召回都下降，有害修订率也是完整目标最低，支持互补的时间标准组合。但单个子集有例外，去掉个数项多目标更高，去掉匹配项长音频从 28.55% 升到 29.05%，说明完整目标利于总体定位，特定标准可偏向特定子集。限制是消融同样是单次运行，且有害修订率的比较用的是共享的完整质量函数。
下面把分阶段训练的总体精度放在一起看，要回答的比较问题是结构化监督与继续强化各带来多少总体增益。
| 训练阶段 | 平均交并比 | 查询加权交并比 | 多目标与召回增益 |
|---|---|---|---|
| Re-CoT-SFT | 50.90% | 68.86% | 1.74 points |
| Re-CoT-SFT-RL | 51.01% | 68.87% | 0.40 points 与 0.86 points |
这张小表把两步增益分开，结构化轨迹监督对应从 49.67% 到 50.90% 以及查询加权 1.74 点的提升，继续强化对应平均到 51.01%、查询加权到 68.87% 以及多目标 0.40 点与 R@0.5 的 0.86 点提升。查询加权增幅小的原因是含 66.5% 查询的短音频子集略有回落，限制同样是单次运行估计。
结论在什么条件下才成立
主结论依赖全出现评测设定，要求把同一查询的每次出现都给出，指标同时看覆盖、匹配、中点与个数，换成只评最显著一次出现的设定，数量动作的价值会变小。基线比较只覆盖所评测的开源模型与商用模型各一个版本，不能推广为对所有同类模型都胜出。匹配的监督微调比较隔离了训练方式的变化，但底座、冻结方式与数据都固定，换底座或解冻音频塔后增益未验证。
强化学习子集只有 5000 条且约 300 步，权重 0.30 是最优搜索值，不是部署时自适应可得的，事后选最优权重不能当成部署增益。长音频上修订几乎无效，说明没有外部证据时文本内反思的天花板很明显。所有数字都是单次运行，没有报告方差与显著性，0.2 到 0.4 点的差距需要谨慎看待。
复现第一步做什么，需要哪些条件
复现先准备 3 类评测的音频、查询、时长与参考区间划分，保持短音频、长音频与多样评测的查询数与单多目标划分不变，再按论文的输出语法解析分号隔开的开始到结束范围，无效答案按空预测计分。用同底座与同源样本先跑只学最终答案的微调，再跑学草稿加诊断加修订的轨迹微调，两者保持步数、批量、序列长度与冻结部位一致，才能隔离结构的作用。
强化学习要在去掉离线轨迹的 5000 条平衡子集上现场采样，每提示 8 个回答，组内归一化，混合权重从 0 到 1 扫描并记录整体、多目标与平均修订增益 3 条曲线。关键超参数是监督阶段 500 步批量 32、序列长度 16384，强化阶段约 300 步、注意力低秩适配秩 8、KL 系数 0.03、裁剪 0.2、温度 1.0。信息条件是参考区间只用于构造数据与奖励，推理时只有音频、查询与时长。本文没有提供经验证可达的代码与模型下载链接，不得声称已开源或可直接运行。
什么时候值得尝试，还缺哪项验证
当任务要求同一查询的多次出现都要找全，且错误既有漏找又有端点不准时，值得尝试这种先草稿后离散诊断再修订的格式，因为它把两类错误分开处理，并让修订效果可算可比。当长音频主要难点在找到证据位置而非微调边界时，不宜指望只靠文本内修订带来大提升，可能需要配合检索或局部音频工具。复现第一步是把解析、质量函数与分段奖励先写对，再跑匹配的最终答案基线。
还缺的验证包括多次随机种子的方差、换底座与解冻音频塔后的稳定性、在更多重复目标与更长录音上的表现，以及修订动作声明准确率与执行一致率的完整报告，这些在原文中只作为诊断提及，未进入奖励与主结论。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses