英文题目：Listening Between the Frames: Bridging Temporal Gaps in Large Audio-Language Models
会议身份：
conference:aaai:2026:conference-paper-id:39827
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#数据集 #多模态学习 #长音频处理 #语音 #音频事件检测
评分：7.8/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Hualei Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Yiming Li：机构信息未能从会议 PDF 纯文本可靠映射
- Shuo Ma：机构信息未能从会议 PDF 纯文本可靠映射
- Hong Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Xiangdong Wang：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
现有大音频语言模型需以长音频波形与自然语言查询为输入，直接输出带精确起止时间的事件定位与描述，但声学特征缺乏显式时间对齐且长音频token冗余严重，导致时间戳幻觉与长程语义错位。TimeAudio先用滑动音频编码器将长音频切分为30秒片段，并以Whisper与BEATs双编码器分别抽取各片段特征以保留语音与环境声信息。随后窗口Q-Former将编码后音频token投影到语言空间，并基于注意力分数做分段级token合并，仅保留注意力与上下文token以压缩冗余并维持信息密度。接着绝对时间感知编码将绝对时间信息显式注入音频嵌入，同时将起止时间转换为锚点加偏移的离散时间标记，与用户提示文本一起送入冻结的大语言模型生成带时间戳回答。相对直接回归数字或固定间隔时间token，该锚点加偏移表示降低了数值收敛负担，而显式时间对齐与分段合并使模型能端到端处理多段长音频并保持细粒度定位精度。在AudioGrounding测试集的时间 grounding任务评测下，TimeAudio完整模型的mIoU为57.8，从FTAR微调后SALMONN基线的51.9升至57.8。该结论适用边界受限于平均约10秒的短事件定位与约82秒的合成新闻语音摘要等FTAR覆盖任务，在重叠事件、真实长会议与强噪声环境的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/lysanderism/TimeAudio — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么时间难？
这篇论文的输入是一段原始音频，可能是环境声音，也可能是连续语音，长度从约 10 秒的短片段到 80 秒以上的长语音。目标输出不是一句整段概括，而是带着起止时间的结构化理解，例如密集音频描述要求输出多个开始减结束加描述，时间定位要求根据查询句输出开始减结束，时间线语音摘要要求按时间分段输出摘要。必须保留的信息有 3 类，一是事件或语音内容的语义，二是每个语义片段在绝对时间轴上的位置，三是长音频中多段之间的顺序与重叠关系。最终输出既要文本可读，又要时间可核对。
对刚进入语音与音频领域的研究生来说，第一个要建立的直觉是，大音频语言模型已经很会回答这段音频是什么，但在何时发生上经常含糊。论文把限制归纳为 3 个方面，分别是时间戳表示、架构与数据。表示层面，如果直接让语言模型输出小数数字，数字回归的收敛负担重，长音频上的小误差会被放大。架构层面，如果只把音频特征投影到语言空间而不显式注入时刻，解码器很难把语义与时刻对应起来。数据层面，如果指令微调数据只覆盖整段问答，模型就缺少学习细粒度时间推理的监督信号。这三点决定了后文方法要同时改符号、改特征与改数据。
举一个教学用的例子帮助定位难度，假设 10 秒音频里前 2 秒是说话声，全程有风声，中间还有几次短促风噪。整段问答模型可以说有说话和风声，这不难。细粒度任务则要求说清说话声是 0.7 秒到 2.2 秒、3.0 秒到 4.4 秒等多段，风声是 0 到 10 秒，短风噪是 0.1 到 1.0 秒等。若模型把所有事件都写成 0 到 10 秒，语义看似对了，但时间完全失去证据价值。长语音更难，因为信息分散在数十秒的转录里，模型若只能处理短窗，就只能靠猜测补全后半段，这正是论文要解决的长音频端到端理解问题。
同输入同目标的已有路线卡在哪里？
在细粒度时间理解这条线上，输入同样是音频、目标同样带时间区间的工作包括声音事件检测、音频定位与会议摘要。专家模型擅长在特定数据集上给出起止时间，但缺少零样本与自由问答能力，换一个问法或换一个领域就难以直接使用。通用音频描述只要求输出事件与大致先后顺序，不要求精确到秒，因此不能直接拿来评价时间感知。论文指出，已有大音频语言模型在细粒度时间推理上表现不理想，同时缺少面向时间任务的指令微调数据，任务不平衡进一步限制了性能。
在大音频语言模型这条线上，共同做法是把声学编码器接到已预训练的解码式大语言模型上，经过对齐预训练与指令微调实现自由问答。从彭吉用固定模板对齐，到听想理解模型与伽马模型引入多样化问答，再到萨尔蒙与通义千问音频扩展到更多音频类型与指令形式，通用理解能力在提升。但论文强调，这些模型处理长输入时容易幻觉，因为缺少全长度端到端的处理机制。音频火烈鸟二代用滑动窗口加对比语言音频预训练做长环境声理解，通义千问全模态用流式转录做长语音识别，但这些做法依赖大量训练或特殊架构改动，不易直接迁移到需要精确时间戳的定位任务。
把两条路线放在同一输入、同一目标、同一运行阶段下比较，结论是专家路线有时间精度但无通用问答，大模型路线有通用问答但时间精度与长音频能力不足。本文的选择是保留大模型路线的问答灵活性，再补上显式时间建模与长音频压缩，而不是退回专家模型。这也解释了为什么后文既要做模块改动，又要构造新的时间指令数据集，两者缺一不可。
论文把失败具体化为哪三类任务？
论文用 3 类任务把时间失败具体化。第一类是密集音频描述，输入短音频，输出全部事件的起止时间加描述，评价既看文本质量又看事件级与片段级定位。第二类是时间音频定位，输入音频加一句查询，输出该事件的时间区间，评价用预测区间与真值区间的交并比及其召回率。第 3 类是时间线语音摘要，输入长语音，输出按时间分段的摘要，既用文本摘要指标评价内容，又用交并比评价摘要与时间轴的对齐。3 类任务覆盖了环境声与语音、短音频与长音频、生成与指向 3 种能力。
下图把零样本基线的失败展示得很直观，阅读时不要只看文字结论，要对照真值区间与模型区间的位置关系来理解误差类型。
看图路径： 1. 先看左侧密集描述面板中真值给出的多段风声与说话时间，再对比模型输出的整段归一时间；2. 再看右上定位面板中查询狗叫时模型给出的零点几秒区间是否落在真值区间内；3. 最后看右下长语音摘要面板中模型输出的时间分段数量与内容是否与真值分段对应
论文图 1。原论文 Figure 1：“Example of failed cases by Qwen2-Audio and Qwen2-Audio-R1 on fine-grained tasks that require both se- mantics and timestamps as output.”。
从像素可见内容看，左侧密集描述面板上方给出频谱与 3 类事件的真值横线，中间黄色提问框要求给出起止时间，蓝色真值框列出说话声的多段区间与风声的全程区间，而下方 2 个模型输出都把事件压成 0 到 10 秒的整段区间，丢失了分段结构。右上定位面板查询狗叫声，模型输出 0.0 到 0.6 秒，与真值中后段的吠叫位置明显错开。
右下长摘要面板要求按时间分段总结，真值给出零到 37.9 秒与 38.1 到 67.8 秒两段，而模型输出的时间切分与内容都出现漂移。论文据此提出，失败既有表示与架构原因，也有数据与评测缺失原因，后文方法与数据集正是逐 1 对应这三点。
TimeAudio 让一段音频走完怎样的全流程？
TimeAudio 基于萨尔蒙七 B 架构，整体可沿一个样本走完输入到输出。输入长音频先被切成多个短分段，每段独立经过双音频编码器提取特征，其中语音分支与非语音分支的特征按帧拼接。接着窗口问答转换器把帧级特征投影到语言空间，并做分段令牌合并，只保留关键语义令牌与合并后的上下文令牌。最后音频嵌入与用户指令的文本嵌入一起送入大语言模型，生成带专用时间符号的回答。时间戳在输出端不再是普通小数，而是锚点加偏移的特殊词。
下图是全文的方法总览，建议先走主路径再看放大框，避免在细节中迷路。
看图路径： 1. 沿底部音频分段到音频编码器再到窗口 Q-Former 再到分段合并最后到大语言模型的主箭头走一遍；2. 观察左侧放大框中注意力分数如何分出直接保留与聚类合并两条支路；3. 核对右侧用户指令与顶部输出中锚点加偏移时间符号的对应位置
论文图 2。原论文 Figure 2：“Overview of our TimeAudio method. The input audio is first split into segments and encoded into audio tokens.”。
从像素看，主路径自下而上是绿色音频小方块到蓝色音频编码器，再到黄色窗口问答转换器与分段令牌合并，再经橙色线性层到达绿色大语言模型。左侧黄色放大框展示了分段合并内部的 3 步，注意力分数同时连向查询、键与值，经过前馈网络后分为注意令牌选择与聚类合并两步，绿色为保留的音频令牌，白色为空位，粉色为合并令牌。
右侧灰色框是用户指令，要求识别、定位并描述事件且时间以秒为单位，顶部灰色框是助手输出示例，可以看到锚点与偏移符号与文本描述交替出现。图例明确区分了灰色文本令牌、绿色音频令牌、粉色合并令牌，以及火焰标记的可训练模块与雪花标记的冻结模块，这对理解后文 2 阶段训练中谁更新谁冻结很关键。
密集音频描述 × 时间音频定位： 密集音频描述负责列出音频中全部事件的起止时间并给出每段描述，考察从音频到多段时间加文本的生成能力；时间音频定位负责根据一句查询文本找到对应事件的时间区间，考察从文本到时间的指向能力。两者分工互补，前者要求不漏报不串时间，后者要求对单句查询精确定界，组合在一起才能检验模型是否真正把语义和时间轴连起来，而不是只会回答整段音频是什么。
时间符号与时间特征分别做了什么计算？
时间标记要解决的是输出端如何表示时刻。论文指出，直接用数字词预测长音频时刻很困难，固定间隔的相对时间词又会占用大量词表并带来量化误差。因此引入锚点词与偏移词，把连续时刻拆成粗定位加细调整的离散序列。例如示例中男性声音从零到 2.5 秒、3.2 到 8.0 秒，配乐从零到 9.0 秒，都会被改写成锚点减锚点加描述的统一格式。词表扩充了 20 个专用时间词，最大时间位置设为七百六十八。
初始化时不是随机给向量，而是把数字词已有的语义迁移过来，锚点词复制对应数字的嵌入，偏移词取数字与小数点的平均嵌入，预测头也做同样初始化，以保护预训练的嵌入空间。
\[[Wtoken]ID(⟨a0⟩) = [Wtoken]ID(0) [Wtoken]ID(⟨f0⟩) = ([Wtoken]ID(0) + [Wtoken]ID(.))/2\]上式先解释符号，方括号加词表表示取该词的嵌入向量，标识函数表示取词编号，尖括号 a 零表示锚点零，尖括号 f 零表示偏移零。计算目标是让新时间词在训练开始前就继承数字词的语义，而不是从零学习。原文明确的实现是锚点直接复制数字零的嵌入，偏移取数字零与小数点嵌入的平均。这种做法的依据是语言模型内部已隐含时间理解，迁移可以降低收敛负担。需要指出的是，论文没有给出该初始化在梯度路径上的消融细节之外的数学证明，这里应理解为工程上的先验迁移，而非理论最优。
绝对时间感知编码解决的是输入端特征不知时刻的问题。长音频被切成多个长度段，每段经双编码器得到声学嵌入，再加上与该段绝对秒数对应的可学习时间嵌入。时间嵌入通过独热查找选择，零初始化以保证训练初期不破坏预训练编码器。论文认为绝对时间编码与原有的相对位置编码正交，实验部分会验证叠加是否有效。
\[∈RB×Nq×Nq A = Softmax\]上式符号中注意力矩阵表示多头注意力分数，维度包括批次与查询数，查询与键来自音频特征，根号下维度是缩放因子。计算目标是得到统一的显著性分数，用于后文挑选被其他令牌关注最多的关键令牌。原文明确的实现是跨头平均后再排序保留，这一步复用了问答转换器已有的注意力，不引入额外计算。
聚类合并的相似度计算如下，键向量的点积越大表示语义越相近，候选令牌就被分配到最相似的簇中心再融合。
\[Sim(hi, hj) = ki kT\]上式中相似度函数输入两个剩余令牌，键向量点积给出相似度，目标是把非关键令牌压缩成少量上下文令牌。原文的实现是先把剩余令牌均匀分成目标与候选两组，再按相似度分配融合。最终每段只保留 22 个注意令牌与 4 个上下文令牌，剪掉约 75% 的冗余。
时间标记 × 绝对时间感知编码： 时间标记负责把连续时刻变成语言模型词表里的离散锚点与偏移符号，让输出端可以直接生成时刻；绝对时间感知编码负责在音频特征进入语言模型之前，就把每段音频所处的绝对秒数加到声学向量上。两者搭配的原因是只改输出符号不能让输入特征知道先后，只给输入加时间又不能解决数字回归难收敛的问题，组合后输入带钟表、输出有专用时刻词，定位与描述才能在同一时间轴上对齐。
窗口 Q-Former × 分段令牌合并： 窗口 Q-Former 负责把每段音频的帧级声学特征投影到语言空间，输出固定数量的语义令牌；分段令牌合并负责在每段内部按注意力重要性保留关键令牌，再把剩余令牌按相似度聚类合并为上下文令牌。搭配理由是长音频直接堆叠令牌会超出计算与上下文预算，而简单降采样会丢掉分散在长语音中的关键句，组合后先投影再按段筛选合并，既控制长度又保留各段的信息密度。
注意力选择 × 聚类合并： 注意力选择负责利用 Q-Former 内部已有的注意力分数，平均多头后挑出被其他令牌关注最多的关键令牌直接保留；聚类合并负责把剩下的非关键令牌按键向量的点积相似度分配到目标簇并融合成上下文令牌。搭配原因是只保留不合并会彻底丢弃次要信息，只合并而不筛选会让重要语音帧被平均淹没，组合后重要帧原样保留、次要帧压缩成背景，既省算力又不完全丢失长尾证据。
两阶段训练与 FTAR 数据如何分工？
训练分为两个阶段，分工不同。第一阶段是时间词对齐的继续预训练，从训练好的大音频语言模型检查点出发，收集定位、密集描述与时间线摘要等接地数据集，让模型学会搜索与定位时间信息。该阶段可训练的是低秩适配器、窗口问答转换器、绝对时间嵌入与特殊文本嵌入，音频编码器与大语言模型主体冻结。
第二阶段是长音频指令微调，针对长语音语义错位问题，用少量多样化指令数据微调窗口问答转换器与低秩适配器，其他部件冻结，目标是提升长音频理解并对齐时间知识与语义空间。优化设置上，第一阶段 10 轮、学习率一万分之一，第二阶段 5 轮、学习率二百万分之二。音频预处理按 30 秒切段，最多 5 段。
数据方面，论文构造了约 260000 条公开音频文本对的时间推理数据集，包含 3 类时间任务加辅助任务。密集描述用真实的强标注音频集与另外两个时间对齐数据集，要求输出开始减结束加描述，并用大语言模型把粗标签改写为细粒度描述。时间定位把事件描述当查询，输出对应起止时间。时间线语音摘要一方面用语音合成模型把新闻摘要数据合成语音，另一方面收集朗读语音分段数据，要求保留关键信息并沿时间轴接地。此外还从开放问答数据构造计数、时长与顺序的时间问答，并加入音频描述与语音识别数据以保留通用能力。
下图把任务与数据集的对应关系做了可视化，阅读时重点看任务定义与数据来源的搭配。
看图路径： 1. 先区分蓝色密集描述、绿色时间定位、橙色时间线摘要与紫色时间问答四个任务框；2. 再看每个任务框下标注的数据集名称分别覆盖了哪些音频来源；3. 最后确认长语音任务与短音频任务在数据构成上的分工差异
论文图 3。原论文 Figure 3：“Involved tasks and datasets in the time-aware in- struction tuning dataset.”。
从像素看，蓝色框定义密集描述为定位并描述原音频中全部事件，下挂 3 个数据集。绿色框定义时间定位为识别描述句的精确时刻，下挂 2 个数据集。橙色框定义时间线摘要为沿时间轴保留关键内容，下挂朗读语音与新闻语音。紫色框是开放时间问答，下挂音频问答数据。这种组织说明短音频任务提供密集时间监督，长语音任务提供分段联合监督，问答任务提供显式时间推理监督。
时间问答 × 时间线语音摘要： 时间问答负责用计数、时长、先后顺序等自由问答形式训练模型对时间的显式推理；时间线语音摘要负责把长语音按时间分段压缩成要点，同时保留每段摘要对应的时间区间。搭配原因是前者提供短音频上的细粒度时间监督，后者提供长音频上的分段语义与定位联合监督，组合后模型既能在短句上算准时间，又能在长语音上沿时间轴组织摘要。
在什么数据、指标与基线上测时间能力？
实现上以七 B 萨尔蒙为基座，窗口问答转换器与序列嵌入用预训练检查点初始化，词表扩充 20 个时间词，时间嵌入最多 768 个位置。评估分三块，密集描述在强标注音频集评估子集上测试，描述少于 100 词，用文本相似度与事件级、片段级定位分数评价时间感知与描述多样性。时间定位在音频定位测试集上报告平均交并比与 0.5、0.7、0.9 阈值下的召回率。时间线摘要遵循已有语音摘要协议，用新闻测试集中少于一千六百字符的文章子集，报告内容质量指标并补充平均交并比衡量摘要与时间轴的对齐。
基线分两类，一类是零样本通用大音频语言模型，包括通义千问音频、其推理变体与全模态模型，另一类是在本文时间数据上做参数高效微调的模型，包括伽马、通义千问音频、通义千问二代音频与萨尔蒙七 B 和十三 B。这样的对照能区分增益来自模型结构还是来自时间数据。论文还报告了专用语音摘要模型作为长语音任务的参照。需要核对的是，所有微调基线都经过同一时间数据的微调，因此比较条件相对一致，但预训练起点与指令模板仍有差异，阅读数字时应把结构增益与数据增益分开理解。
指标方向上，文本相似度与定位分数越高越好，交并比与各阈值召回率越高越好，摘要的内容指标越高越好。时间交并比的特殊意义在于，它惩罚把全程写成一个大区间的做法，只有分段边界都接近真值才能得高分。这正是前文失败案例中模型把所有事件写成 0 到 10 秒时会被扣分的原因。
主结果在三个任务上分别证明了什么？
在比较之前先明确问题与公平条件，3 个任务分别考察多事件定位加描述、单句查询定位、长语音分段摘要，指标方向都是越高越好，基线中既有零样本模型也有经过同一时间数据微调的模型，因此能看出结构改进在数据对齐后的额外收益。
| 任务 | 指标 | 零样本基线 | 微调后强基线 | 本方法 | 比较对象 |
|---|---|---|---|---|---|
| 密集描述 | 事件级定位分数 | 9.8 | 基准 | 高 0.9 | 微调后通义千问二代音频 |
| 密集描述 | 片段级定位分数 | 未报告 | 基准 | 高 2.7 | 微调后通义千问二代音频 |
| 时间定位 | 平均交并比 | 未报告 | 基准 | 57.8，高 11.4% | 微调后萨尔蒙七 B |
| 长语音摘要 | 内容与摘要指标 | 未报告 | 基准 | 42.4，30.8 | 新闻语音 |
上表聚焦可运行策略之间的比较，零样本基线只在有原文连续句覆盖的格子中给出数字，其余不再硬填。表后需要同时谈收益与代价，本方法在时间定位上提升最明显，平均交并比达到 57.8，超出微调后萨尔蒙七 B 约十一点 4 个百分点，这支持了时间标记与绝对时间编码对显式定位任务最有效。在密集描述上，事件级与片段级定位分别高出约 0.9 与 2.7，说明多事件边界更准。
但文本多样性指标上微调后通义千问二代音频反而更高，论文推测与其预训练时见过更多样化描述有关，这是一个未胜出项，说明定位准不等于描述更丰富。在长语音摘要上，内容指标 42.4 与 30.8 超过其他有摘要能力的模型，也超过专用模型，这支持分段合并保留了各段关键语义。
下图用两个定性样本展示了数字之外的边界行为，阅读时把时间区间与内容词分开核对。
看图路径： 1. 对比左侧密集描述中真值、对比模型与本方法给出的火车声起止时间差异；2. 对比右侧长摘要中三者对同一事件分段边界的切分位置是否逐步逼近真值；3. 注意黄色高亮的时间区间与红色标记的内容词是如何同时变化的
论文图 4。原论文 Figure 4：“Qualitative results between models on the dense audio captioning task and timeline speech summarization task. Yellow denotes the time interval and red marks the au- dio content.”。
从像素看，左侧密集描述中真值给出 2.1 到 5.0 秒的咔哒声与 0 到 10 秒的火车与蒸汽声，对比模型给出零到 3.4 秒与 0 到 10 秒，本方法给出零到 5.0 秒与 0 到 10 秒，更接近真值的相对边界。右侧长摘要中真值分为 3 段，本方法给出零到 20.3 秒、20.3 到 30.9 秒、30.9 到 101.5 秒 3 段，切分位置比对比模型更贴近真值。黄色高亮标出时间区间，红色标出内容词，可以看到时间与内容是同时改善的。但也要看到，长摘要的最后一段结束时间仍有 100 秒量级，说明长音频的尾部对齐仍有误差，不能把单样本的接近推广为全程无误差。
拿掉时间符号、时间编码与合并会发生什么？
消融要回答的是每个模块是否必要，以及保留多少令牌最合适。比较问题是，在同一时间数据上，只加时间标记、再加绝对时间编码、再加分段合并，定位与内容指标如何变化。公平条件是基座与数据不变，只开关模块。指标方向仍是越高越好。
| 条件 | 指标 | 基线 | 本方法增益 | 比较对象 |
|---|---|---|---|---|
| 只加时间标记 | 事件级定位 | 基准 | 高 3.6 | 强标注音频集 |
| 只加时间标记 | 定位交并比 | 基准 | 高 3.0 | 音频定位集 |
| 只加时间标记 | 摘要交并比 | 基准 | 高 4.4 | 新闻语音集 |
| 再加时间编码 | 文本相似度 | 基准 | 高 0.9 | 密集描述 |
| 再加时间编码 | 事件级定位 | 基准 | 高 5.4 | 密集描述 |
表后解释要区分支持与推测。报告显示，只加时间标记就在 3 个数据集上带来定位增益，这支持输出端专用符号降低了数字回归负担。再叠加绝对时间编码后，文本相似度提高 0.9，事件级定位提高 5.4，这支持输入端显式时刻与输出端符号是互补的。论文还报告，不做初始化的时间标记效果较差，这支持继承数字嵌入的必要性。
再加入分段合并后，长摘要的内容与交并比继续提升，但密集描述精度略有下降，这是一个预期的权衡，长音频压缩保留了分散语义，却在短音频上引入了少量信息损失。关于保留比例，论文称较小比例无法覆盖长音频语义，增大后先提升后趋平，最终选 0.25 作为性能与效率的平衡，但原文未给出延迟与显存的完整曲线，因此不能承诺该比例在所有硬件上最优。
综合来看，消融支持时间符号与时间编码是定位提升的主要来源，分段合并是长音频的必要代价，而非短任务上的免费增益。
哪些边界没有被测到，不能承诺什么？
首先是数据边界，时间线摘要部分依赖合成语音与朗读语音分段，合成语音的韵律与真实会议、播客仍有差距，朗读语音的事件重叠也少于真实环境声，因此在强重叠事件与真实长会议上的表现待验证。其次是指标边界，定位用交并比与召回率，摘要用内容指标加交并比，但误判率、幻觉率、推理延迟与显存占用没有系统报告，不能承诺这些量同步改善。总体趋势不等于每组都成立，例如密集描述的定位提升了，但文本多样性仍落后于另一基线，说明不能把定位增益推广为描述全面变好。
其次是实现缺项，论文未报告时间嵌入在不同最大位置下的敏感性，也未报告双编码器各自的贡献，冻结与更新策略只给出模块级说明，没有逐层梯度路径。因此复现时若改编码器或改分段长度，需要重新验证。最后是资源状态，代码链接在本次核对中可用，可以写当前已公开，但权重下载与完整运行环境仍需按仓库实际内容确认，不能把代码可用等同于系统开箱可运行。
要复现先做什么，需要哪些关键设置？
复现先做三件事，第一是按论文切分与编码流程搭通短音频链路，确认双编码器拼接、窗口投影与时间嵌入叠加的形状正确，再接入大语言模型生成锚点加偏移符号。第二是准备时间指令数据，至少覆盖密集描述、定位、时间线摘要与时间问答 4 类，并保留通用描述与识别数据以防通用能力退化。第三是按 2 阶段顺序训练，先对齐时间符号再做长音频指令微调，不要跳过第一阶段直接做长音频，因为论文指出直接面对长序列会出现语义错位。
关键超参数与信息条件包括，基座为七 B 萨尔蒙，词表扩充 20 个时间词，时间位置最多七百六十八，音频按 30 秒切段最多 5 段，每段保留 22 个注意令牌与 4 个上下文令牌，第一阶段 10 轮学习率一万分之一，第二阶段 5 轮学习率二百万分之二，可训练模块为低秩适配器、窗口问答转换器与时间相关嵌入。评估时注意聚合对象，密集描述在评估子集上平均，定位在测试集上平均交并比，长摘要只用少于一千六百字符的文章子集。百分点与相对百分比不同，论文中十一点 4 个百分点的增益应理解为相对提升，而非直接加减。
何时值得尝试，如果任务要求输出可核对的时间区间，尤其是长语音需要按时间分段给出要点，这个方案值得尝试。如果只需要整段分类或整段描述，引入时间符号与合并反而增加复杂度。还需补的验证包括真实长会议上的尾部对齐、重叠事件下的边界精度，以及保留比例变化时的延迟与显存曲线。
一句话收束：什么有效，什么仍是开放问题？
综合全部证据，论文的有效结论是，把时刻同时做到输入特征里与输出符号里，再对长音频按段筛选合并，能在保持问答灵活性的同时提升时间定位与长摘要对齐，其中定位任务的增益最集中。开放问题是，描述多样性、真实长音频尾部对齐与计算开销的完整权衡还没有被充分测量，合成数据与朗读数据的分布差距也需要进一步验证。
对初学者而言，可复述的方法链条是，切段编码加绝对时间，投影后按注意力筛选再聚类合并，输出用锚点加偏移表示时刻，2 阶段先对齐时间符号再适配长指令，评估时内容与交并比分开看。只有把语义分数与时间交并比同时核对，才能判断模型是真正听见了时间，还是只猜对了内容。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses