先抄写再打点：两步式语音大模型如何保住识别率做词级时间戳

英文题目：Parameter-Efficient Adaptation of Speech-Aware LLMs for Timestamp Prediction

会议身份：conference:interspeech:2026:conference-paper-id:sunder26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#LoRA #多语言 #零样本 #语音 #强制对齐

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Vishal Sunder：机构信息未能从会议 PDF 纯文本可靠映射
• Samuel Thomas：机构信息未能从会议 PDF 纯文本可靠映射
• Xulin Fan：机构信息未能从会议 PDF 纯文本可靠映射
• Brian Kingsbury：机构信息未能从会议 PDF 纯文本可靠映射
• George Saon：机构信息未能从会议 PDF 纯文本可靠映射
• Avihu Dekel：机构信息未能从会议 PDF 纯文本可靠映射
• Luis Lastras：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

词级时间戳预测需在连续语音中同时给出文字与每个词的结束时刻，单遍交错生成常破坏语言连贯性并抬高词错误率，而传统强制对齐又难以融入语音大模型统一解码。所提框架先用基座语音大模型完成常规转写（ASR），再以转写文本与语音为条件复述出带时间戳序列，将联合解码转化为定位问题。三种适配变体分别负责连续微调、模块化双遍与激活式单遍复用，其中激活式适配仅在时间戳调用符后启用增量权重以继承首步缓存。为隔离任务能力，时间戳适配器只在带时间戳数据上训练而冻结基座权重，模块化变体因此保留原始转写翻译能力并支撑零样本跨语言迁移。在9个英语测试集上非模块化变体以平均27.1 ms的累积平均偏移超越最强基线Qwen3 Forced Aligner的41.8 ms，且词错误率与基座持平。该结论依赖强制对齐器生成的伪标签与较长音频拼接增强，真实噪声重叠与未见语言风格下的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，解读要保留什么？

本文解读的对象是 1 篇做词级时间戳的语音大模型论文，输入是连续语音，目标是输出每个词是什么以及每个词在何时结束。读者是刚进入语音或音频方向的研究生，因此解读必须保留可复述的动作：音频如何变成标记，语言模型分几步生成，哪些参数冻结、哪些参数更新，训练数据的时间标签从哪里来，评测时转写与时间各用什么指标。

论文要解决的矛盾很具体：一方面字幕同步、关键词检索、文本音频对齐都需要毫秒级词边界，另一方面如果让自回归模型在 1 次生成里交错输出词和时间，文本连贯性容易被数字标记打断，转写错误率会上升。传统做法是另起一个对齐器，但那样就游离于语音大模型之外。论文的选择是留在同一个语音大模型里，用两步完成：第一步只转写，第二步照着转写复写并插入时间。

本解读按学习依赖展开：先讲任务与两类已有路线，再讲 3 套适配方案的全景，然后走完一个样本的输入到输出，接着讲训练数据的构造与训练配置，再讲实验条件与主结果，最后讲未胜出项、边界与复现清单。凡是教学用的举例都会标为例子，不虚构数值。资源状态方面，本次未发现来源绑定且完成验证的开源资源，因此不声称代码、模型或数据已公开。

两遍对齐与一遍生成各管什么，各缺什么？

论文把已有工作分成两类。第一类是两遍式：先得到文本，再对齐到音频。例子包括基于高斯混合隐马尔可夫的蒙特利尔强制对齐器，需要发音词典和领域匹配的声学模型；基于连接时序分类后验做维特比解码的对齐器，受空白符建模影响，细粒度词边界较难；还有用语音识别配神经对齐的组合，例如先转写再对音素后验做动态时间规整，或编码器解码器配独立的连接时序分类对齐器。论文指出这些方法没有在单个语音大模型内给出统一方案。

第二类是一遍式：自回归模型直接产生带时间戳的转写。论文提到对编码器解码器模型做时间戳交错训练，以及在语音大模型上加时间戳正则的做法，共同问题是转写质量下降。也就是说，模型要同时决定下一个词是什么和它的时间是多少，文本连贯性容易被破坏。

强制对齐 × 一步式自回归生成： 强制对齐是给定文本后用独立声学后验或动态规划找边界，一步式自回归生成是让模型 1 次输出带时间的文本，二者分工不同在于前者依赖外部对齐器而后者依赖语言模型连写，搭配比较的意义在于说明论文选择两步同模型路线：既不引入外部对齐器，也不 1 次交错解码，而是复用同一语音大模型的转写再定位。

理解这两类的分工有助于定位论文：它不想回到外部对齐器，也不想坚持 1 次交错解码，而是把 1 次生成拆成两步，但仍在同一个语音大模型里连续完成。第一步保留大模型的转写能力，第二步把问题简化为已知文本的定位问题。

带时间戳的语音识别到底要模型输出什么？

论文定义的带时间戳语音识别可以这样理解：输入一段 1 秒左右的语音，输出不是纯文本，而是词与结束时刻交错的序列。原文给了一个教学例子：hello how are you 对应的目标形如每个词后跟竖线与数字，数字单位是 10 毫秒，空格位置用静音标记表示停顿。词的开始时刻可以从前一个标记的结束时刻推断，因此模型只需预测每个词的结束时刻，避免同时输出开始与结束带来的冗余。

自动语音识别 × 带时间戳的语音识别： 自动语音识别只输出词序列本身，带时间戳的语音识别还要输出每个词的结束时刻，搭配的理由是先把是什么解对，再把何时发生变成定位问题，组合意义在于第二步可以照抄第一步的转写文本，只需对齐语音决定时间标记位置，从而避免交错时间戳打乱文本连贯性。

为什么要拆成两步？论文的理由是先解码是什么，再解码何时，可以保留转写的语言连贯性。第一步生成标准转写，第二步以语音加第一步转写为条件，复写文本并插入时间。这样第二步的监督来源是带时间的复写序列，推理时模型可以复制已知的词，只需决定时间标记的位置。指标上论文用词错误率衡量转写是否变差，用平均累积偏移衡量时间误差，时间误差越小越好。

三套方案的全景：保转写、保模块、保缓存如何取舍？

论文提出 3 种适配方案，全都建立在同一个基座语音大模型之上。基座由 16 层卷积增强 Transformer 编码器、两层查询 Transformer 投影器和 1,000,000,000 参数大语言模型组成，大语言模型侧带有基座低秩适配权重。基座先在公开语音转写与翻译数据上训练，再做时间戳适配。3 种方案的区别在于是否动基座、是否分两遍、是否复用缓存。

第一套是非模块化持续微调：把投影器与基座低秩权重继续在原始任务加时间戳数据上训练，可以连续生成并复用第一步缓存，但模块性丢失，且不能保证原始任务性能不退化。第二套是模块化低秩适配：把基座低秩权重合并冻结，另训练时间戳专用的语言模型适配器与投影器适配器，分两遍运行，第二遍因权重不同必须重算缓存。第 3 套是模块化激活式低秩适配：同样冻结基座，但在遇到时间戳调用标记后才激活时间戳权重，并重新注入音频，从而在一个连续生成里复用第一步缓存。

下图展示基座语音大模型的主路径与可训练位置，是理解 3 套方案的前提，橙色为训练部分，蓝色为冻结部分。

看图路径： 1. 先沿左侧音频对数梅尔到编码器再到投影的箭头，确认音频标记如何进入语言模型；2. 再看橙色可训练与蓝色冻结的颜色区分，确认只有投影和低秩权重被更新；3. 最后对照下方用户转写翻译指令到助手输出的灰条，确认基座任务的输入输出形态

论文图 1。原论文 Figure 1：“Speech-LLM architecture. Only the projector and LoRA weights are trained.”。

从图中可以看到音频对数梅尔先经过冻结的编码器，再经过可训练的投影器变成音频标记，与用户的转写翻译指令一起进入带基座低秩权重的大语言模型，最终输出助手转写。这张图固定了一个关键事实：基座阶段只有投影器和低秩权重被训练，编码器与大语言模型本体冻结。这为后文只训练时间戳适配器而不破坏基座能力提供了起点。

基座组件各自做什么，音频标记如何被压缩？

沿一个样本走一遍有助于固定分工。假设输入一段英语朗读，声学前端提取对数梅尔特征，送入 16 层隐藏维度 1024 的卷积增强 Transformer 编码器，该编码器用连接时序分类损失在公开识别语料上预训练。取编码器倒数第二层输出，进入两层查询 Transformer 投影器。投影器对无重叠的 15 帧编码器块做交叉注意力，每块用 3 个可学习查询向量压缩，最终把音频序列降采样为原来的五分之一，再经线性层映射到大语言模型 2048 维的嵌入空间，形成音频标记。

语音编码器 × 大语言模型： 语音编码器负责把对数梅尔声学帧变成有时间分辨的声学表示，大语言模型负责把离散词序列维持成流畅文本，二者搭配的理由是声学端擅长定位而文本端擅长保持转写一致，组合意义在于用轻量投影把音频块压缩成语言模型能读的音频标记，从而让定位与组词在同一解码器里衔接。

大语言模型侧是一个 40 层、隐藏维度 2048、16 个注意力头、词表约 10 万的 1,000,000,000 参数模型，采用分组查询注意力与旋转位置编码。基座低秩适配的秩为 64，缩放因子为 0.5，作用于所有层的查询、键、值与输出线性投影，记为基座适配权重。推理时用户指令与音频标记拼接后进入模型，模型自回归生成转写。这一段的动作是后续两步生成的地基：第一步的转写质量决定第二步能否安心复制。

时间标记如何编码，调用标记如何切换权重？

时间戳的输出格式需要先讲清。论文只预测词的结束时间，单位 10 毫秒，词与时间之间用竖线分隔，词间停顿用静音标记占位。举例来说，例子中的 hello 从 0.2 秒到 0.3 秒，how 从 0.4 秒开始，开始时刻由前一标记的结束时刻推得。这种设计把开始与结束的联合预测变成单点预测，减少冗余。

低秩适配 × 模块化适配： 低秩适配只训练附加在冻结权重上的小秩矩阵以控制参数量，模块化适配要求基座能力可开关且不被覆盖，二者搭配的理由是只在时间戳数据上训练小适配器就能新增技能，组合意义在于把基座转写翻译权重冻结合并，再单独训练时间戳分支，需要时启用、不需要时退回基座。

权重切换的逻辑是 3 套方案的核心。非模块化方案直接把投影器与基座低秩权重微调为新权重，连续生成但失去隔离。模块化低秩方案第一遍有效权重为原始权重加基座增量，第二遍再叠加时间戳增量，只有时间戳增量可训练，但两遍权重不同导致缓存不兼容。激活式方案用二值掩码控制时间戳增量：调用标记前掩码为零，模型等价于基座；调用标记后掩码为一，权重为三者叠加，同时经时间戳投影器重新注入音频。

键值缓存 × 激活式低秩适配： 键值缓存是自回归生成中已算过的注意力键值复用以避免重复计算，激活式低秩适配是在遇到特定调用标记后才打开新增权重，二者搭配的理由是第一步的转写缓存与基座权重一致则可直接延续，组合意义在于调用标记前用基座权重算缓存，调用后才叠加时间戳权重，从而在一个连续生成里兼顾复用与模块隔离。

重新注入音频的细节值得注意：激活式方案在第二步既能看到第一步的音频与转写缓存，又能看到时间戳专用的音频编码。论文还提到未来可通过屏蔽对第一段音频的注意力来省算力，但本文实验未采用该优化，仍保留完整上下文。

时间标签从哪里来，模型实际训练了什么？

训练数据的构造分两类。有人工时间标注的 4 个语料直接使用原标注，包括会议、电话、朗读与自发对话数据；其余朗读、多语、众包与视频语料没有词级时间，则先用蒙特利尔强制对齐器生成对齐，并把静音边界插入人工标注数据。为了保证质量，论文再用自身语音编码器的连接时序分类强制对齐做校验，计算两种对齐之间的平均绝对偏移，只保留偏移最小的一部分：英语保留前 95%，非英语保留前 70%，并对大规模语料做样本上限截断。按原文还把连续 utterance 拼接成 2 倍长度以改善长音频泛化。

基座训练与适配训练的条件不同。基座在公开转写翻译数据上训练 900,000 步，批量 128，学习率 1e-4，1000 步 warmup 后线性衰减。时间戳适配中，非模块化方案以更小的 4e-5 学习率在原始任务加时间戳数据上继续训练 800,000 步；两种模块化方案以 1e-4 学习率只在时间戳数据上训练 800,000 步，投影器侧的低秩作用于查询 Transformer 的全部线性投影，并采用无填充训练与闪速注意力。也就是说，模块化分支的梯度只更新时间戳适配器，基座增量冻结，这是隔离性的来源。原文未报告具体硬件与总时长，复现时需把这项缺项记下。

用什么数据、和谁比、指标方向是什么？

评测覆盖英语与多语。英语包括会议近场与远场、朗读干净与困难集、视频与众包、大规模多语英语子集，以及带人工标注的朗读与自发对话；多语覆盖法语、西班牙语、德语、葡萄牙语在朗读与众包上的子集。基线有 5 类：给定转写的非自回归大模型强制对齐器、语音大模型一遍式时间戳模型、改造分词并对交叉注意力做动态时间规整的模型、编码器解码器加连接时序分类对齐的模型、用音素后验对齐的长音频转写管线。比较条件上，论文强调自家两步设计的第一遍词错误率应与基座一致，第二步复写不应引入额外转写误差。

指标有 2 个方向：词错误率越低越好，用于确认时间戳没有拖累转写；平均累积偏移以毫秒为单位，衡量预测结束时刻与参考时刻的平均绝对误差，越低越好。论文还做了一个零样本多语设置：只在英语时间戳数据上训练，直接测多语，以检验学到的是语言无关的定位能力还是英语特有的时长线索。该设置下非模块化方案预期会受影响，因为它同时改动了基座表示。

主结果：时间误差降了多少，转写保住了吗？

下面用一句可重放的证据句整理英语平均时间误差的关键对比，为后文收益与代价讨论提供统一口径。

表后解释需要同时讲收益与代价。收益是英语平均从 41.8 毫秒降到 27.1 毫秒，相对改善约 35%，对另一基线的相对改善约 49%，且 3 套自家方法的英语平均词错误率均为 7.3%，与基座语音大模型持平，多语也在 5.2% 到 5.3% 之间，基座为 5.3%，说明两步复写确实避免了一遍交错带来的转写退化。代价是该最优平均来自非模块化方案，它需要原始任务与时间戳联合重训，模块性差。

模块化低秩与激活式在英语上分别为 29.7 毫秒与 28.6 毫秒左右，略逊于非模块化，但在多语上激活式以 21.2 毫秒反超，说明缓存复用与基座保留在低资源多语上更有价值。未胜出项是依赖帧级后验的两类管线，其时间误差显著更高，论文归因于难以精确检测词边界与静音。

下图是 3 套方案的对照全景，底行展示了缓存的预填充与生成分段，是理解复用与重算差异的关键。

看图路径： 1. 先对比上排三列的编码器投影权重颜色，确认哪一列在第二阶段换了权重；2. 再看中排连续生成与分离两遍的字样，确认缓存复用与重算的差异；3. 最后看下排键值缓存的预填充与生成色块，确认每段标记激活的是哪套权重

论文图 2。原论文 Figure 2：“Overview of SRWT approaches. The bottom row shows KV-cache computation: prefill for user-provided or first-pass/first-step tokens, gen for generation.”。

从像素可以看到左列连续生成共用一套训练权重，中列两遍权重不同且标出缓存不可复用，右列在调用标记后才激活时间戳权重并用箭头复用第一步缓存。下方色块进一步标出每段标记在预填充或生成时激活的是哪套权重，其中右列第一步为基座权重，第二步为激活权重。这种可视对应解释了为什么激活式能在保持模块化的同时做到连续生成。

只训英语能直接测多语吗？

为检验仅用英语训练的定位能力能否跨语言复用，本节聚焦零样本多语平均对齐误差的对比，重点观察模块化隔离是否带来可迁移性。

表后解释的关键是反例。非模块化在该设置下平均高达 339.5 毫秒，基本不可用，而模块化低秩为 43.0 毫秒，激活式为 37.3 毫秒，显示模块化隔离确实学到了更语言无关的定位技能。论文推测非模块化可能学了英语特有的时长线索，但这仍是待验证的解释。限制也要讲清：该零样本结果不等于无需多语数据即可部署，37 毫秒左右的误差仍高于有监督多语训练的 21 毫秒水平，且原文未报告该设置下的词错误率变化，跨语言料的口音与领域偏移也未单独控制。

模块化与缓存复用各自带来什么变化？

为检验仅用英语训练时的跨语泛化能力，本节先比较多语平均误差与零样本多语平均误差，考察模块化与缓存复用是否带来一致优势。

表后解释要给出机制层面的有限解释。论文报告激活式在多语平均取得 21.2 毫秒，优于非模块化的 22.9 毫秒与普通模块化的 23.9 毫秒，支持继承基座缓存有助于保留多语声学知识的判断。普通模块化因第二遍重算缓存且换权重，丢失了预训练缓存的优势；非模块化因微调了基座表示，也可能削弱了原来的多语表示。需要注意这是论文的解释而非因果证明，仍属支持级别。另一面是英语上激活式并未超过非模块化，说明总体趋势不等于每组都成立，资源充足的英语上联合微调仍有拟合优势。

零样本多语进一步放大了模块化的价值，下一节的表格将专门呈现该反证。

哪些结论有边界，哪些量根本没测？

先区分报告、支持与推测。论文直接报告的是平均时间误差与词错误率数字，以及 3 套方案的训练数据范围与学习率；有限支持的是缓存复用保留多语知识、模块化更语言无关的解释；未验证的是屏蔽第一段音频注意力后能否保持精度且省算力，这只是未来工作设想。

未评测的边界较多。训练与推理成本没有量化：两步生成必然比纯转写多 1 次解码，普通模块化还要重算缓存，但原文未给延迟、吞吐或显存数字，不能承诺延迟改善。输出帧率与实际延迟是两回事，时间单位虽为 10 毫秒，不等于系统延迟就是 10 毫秒级。误判率如插入删除对时间误差的影响也未单独分解，词错误率持平不等于每句都无错。数据侧只保留低偏移样本，保留阈值本身会过滤难样本，实际部署的难例误差可能高于报告平均。此外，时间标签大量来自强制对齐器而非人工，标签噪声会传导到模型，论文虽用双对齐校验，但未给出噪声上界。

要复现先做什么，需要补哪些验证？

复现的第一步是固定基座：按原文搭建 16 层卷积增强 Transformer 编码器与两层查询 Transformer 投影器，投影器每 15 帧用 3 查询压缩为五分之一，再映射到 2048 维；大语言模型用 1,000,000,000 参数、40 层、分组查询注意力与旋转位置编码，基座低秩秩 64、缩放 0.5，作用于全部线性投影。先在转写翻译数据上得到与基座相当的词错误率，再冻结基座增量，只训练时间戳适配器，这是模块化分支可比的前提。

第二步是复刻数据管线：对无人工时间的语料跑蒙特利尔强制对齐器生成词边界，再用自家编码器的连接时序分类对齐算平均绝对偏移，按英语 95%、非英语 70% 保留低偏移样本，并拼接 2 倍长度增强长音频。输出格式固定为词加竖线加结束时刻，单位 10 毫秒，静音占位，开始时刻由前一标记推得。训练时模块化分支用 1e-4 学习率训 800,000 步，非模块化对照用 4e-5 联合重训，记录是否复用缓存。

还需补的验证包括：在相同解码预算下测两步的实际延迟与重算开销，给出难样本与过滤样本的误差对比，报告零样本下的词错误率，以及用人工标注子集估计标签噪声对毫秒误差的影响。由于本次未确认可达的开源资源，不应默认存在可直接下载的权重或脚本，一切以原文超参数与数据划分为准。

何时值得尝试这种两步加激活适配？

当任务同时要求转写不退化与毫秒级词边界，且基座语音大模型已承载多任务时，论文的两步加模块化路线值得尝试。做法是保留第一步纯转写，第二步以转写为条件做定位，并把时间戳能力做成可开关的小适配器。若推理预算允许连续生成且希望复用缓存，优先考虑激活式方案，它在多语与零样本上显示出优势；若只关心英语平均且能承担联合重训，非模块化平均更低，但会失去隔离性。

需要记住的特有误解有三点。其一，两步不是两遍外部对齐，第二步仍在同一模型内解码，只是权重与音频注入方式不同。其二，激活式不是全程换权重，调用标记前仍是基座，调用后才叠加时间戳增量。其三，平均改善不等于每句改善，英语内部各测试集的误差分布不同，多语低资源上缓存保留的作用更大。带着这些条件去读数字，才能把 27 毫秒、21 毫秒与 37 毫秒零样本放在正确的位置上。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总