英文题目：End-to-End Contrastive Language-Speech Pretraining Model for Long-Form Spoken Question Answering
会议身份：
conference:aaai:2026:conference-paper-id:40364
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#对比学习 #检索增强 #长音频处理 #音频检索
评分：6.8/10 | 创新 1.2/2 | 技术严谨 0.8/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 0.9/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Jiliang Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Zuchao Li：机构信息未能从会议 PDF 纯文本可靠映射
- Baoyuan Qi：机构信息未能从会议 PDF 纯文本可靠映射
- Guoming Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Ping Wang：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
长表单口语问答输入为文本或语音问题加数十分钟级语音上下文，输出为抽取或生成式答案，难点在于大音频语言模型难以直接消费长音频且易被无关片段干扰。本文提出对比语言语音检索器CLSR，先由语音编码器抽取声学特征并经连续积分触发压缩为词元级声学表示，再经向量量化适配器映射为类文本嵌入。上一阶段输出的类文本嵌入直接送入冻结文本编码器统一编码问题与上下文，最后以余弦相似度做对比学习实现问题查上下文与上下文查问题的双向对齐，形成端到端链条。与直接对齐声学与文本的双编码器相比，该链条把跨模态对齐转化为文本空间内对齐，可复用文本检索模型的泛化能力而无需大规模高质量语音文本对预训练。在Spoken-SQuAD*评测任务下，CLSR的WER为15.14，低于Whisper+BGE的WER19.39。该结论适用边界受限于合成语音与固定40秒切分模拟长文档，在真实噪声会议和多说话人场景的外推尚未验证，而长音频筛选后的下游推理开销变化仍需结合具体硬件与延迟进一步评估。
🔗 开源与复现资源
- 代码相关资源：https://github.com/193746/CLSR — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么要先检索再回答？
这篇论文研究的输入是长语音上下文加问题，输出是问题的答案。上下文是语音，例如会议、讲座、在线讨论的录音，时长经常超过 10 分钟。问题在部分数据集是文本，在部分数据集也是语音。目标不是直接转写全文，而是找到与问题最相关的语音片段，供下游问答模型使用。
论文把这个问题放在语音问答的长上下文困难下来谈：现有多数语音问答模型只能处理 1 分钟以内的短音频，把数十分钟音频直接送入大音频语言模型，既容易引入无关信息导致答错，也会显著增加推理时间。 论文借用文本领域检索增强生成的思路。白话说，检索增强生成就是先检索、再生成：检索器按相似度从知识库挑出最相关的若干片段，生成模型只看这些片段来回答。英文名是 retrieval-augmented generation ，缩写为 RAG 。
论文的判断是，长语音问答同样需要这一步，先用语音检索器把长上下文压缩成短上下文，再交给语音问答模型。图前导读如下：下面这张对比图把有无检索器的两条路线画在同一页面，适合先建立长变短再回答的整体动作，观察时注意哪一路多出了检索与短上下文环节。
看图路径： 1. 对比左右两路：左侧长上下文直送问答模型，右侧多了语音检索器和短上下文框；2. 看底部输入：问题与长上下文的图标是否都为语音波形；3. 看顶部输出：左侧标注错误答案，右侧标注正确答案的文字框；4. 沿箭头确认主路径：长上下文先经过检索器再进入问答模型
论文图 1。原论文 Figure 1：“Using a speech retrieval model to simplify long audio context into several key audio segments can help im- prove the quality of subsequent LALM response.”。
这张图左侧是 Long Context 直接进入 SQA Model ，顶部得到 Wrong Answer 的文字框；右侧是 Long Context 先经过 Speech Retriever 得到 Short Context ，再进入 SQA Model ，顶部得到 Correct Answer 的文字框。底部两路都有 Question 输入，图标显示为波形，说明该示意覆盖语音形式的问题。虚线框把检索器和短上下文圈在一起，强调新增的预处理环节。理解这张图后，后续方法部分的所有编码器和损失都可以回指到这个动作：检索器要学会给问题和语音片段打分。
检索增强生成 × 长语音问答： 检索增强生成负责先检索再把最相关的片段作为生成模型的补充上下文，长语音问答负责在会议讲座这类长录音上回答问题，搭配理由是直接把 30 分钟音频送入大音频语言模型既慢又易引入无关信息，组合意义是用检索把长上下文压缩成短上下文再回答。
需要保留的关键信息是：论文不是改进问答生成本身，而是改进问答之前的语音检索；代码当前可用，资源状态显示为 available ，地址为论文给出的仓库链接。研究生复述时应先说清任务形态是抽取式还是生成式问答的上游检索，再说长音频的时长压力，最后说检索器的输出是若干音频片段而非最终答案。
已有路线在同输入同目标下卡在哪里？
与本论文同输入同目标的工作可以分成两类。第一类是端到端语音问答与语音检索，例如 SpeechBERT 、生成式语音问答、 SpeechDPR ，以及用深度问答学习跳过无关音频片段的策略。论文对这 2 篇检索相关工作的评价有明确来源： SpeechDPR 致力于使用无文本数据训练，虽然用了语音识别和文本检索做知识蒸馏，但数据稀缺限制了性能；另一类基于强化学习的跳段策略则难以适应音频高维复杂特征空间，容易因探索与利用不平衡陷入局部最优。
第二类是流水线，即先用语音识别把语音转成文字，再用文本检索或文本问答模型处理。 在同监督和同运行阶段上，论文还回顾了语音检索增强生成。已有工作把检索用于口语理解和命名实体识别，例如用预训练语音识别编码器抽声学特征，再找训练集中相似的音频文本标签对，通过交叉注意力送入解码器；或计算输入语音查询与实体库的相似度，取出最相关的实体作为额外输入。但论文报告，当前还没有专门为长语音问答设计的语音检索增强模型。
这就是本文的切入点。 教学上要区分的是：流水线依赖转写质量，端到端直接对齐则依赖大量高质量语音文本对。论文认为高质量语音文本对本身稀缺，端到端模型若没有长期大规模预训练很难做好。因此它提出第三条路：不直接对齐声学表示和文本表示，而是先把声学表示变成类文本表示，再在文本模态内对齐。这个选择是后续所有组件的出发点，分工是声学侧负责变表示，文本侧负责对齐，组合原因是缩小模态差异后再利用文本检索的泛化能力。
典型的端到端语音文本对比模型如何打分？
先沿一个样本走完典型路线。输入是一段语音上下文和一个文本问题。语音编码器把语音变成一组语音向量，记为 A1 到 An ；文本编码器把问题变成一组文本向量，记为 B1 到 Bn 。模型计算每个 Ai 与每个 Bj 的相似度，形成矩阵，对角线是配对组合，非对角线是不配对组合。
训练希望配对的相似度高于不配对的相似度，推理则按相似度排序返回最相关的上下文。 图前导读如下：下面这张图是论文用来说明典型端到端语音文本对比模型的基线结构，重点看双编码器如何汇入相似度矩阵，示例问题是关于牛顿力学的英文问句，适合对照理解后文 CLSR 改了哪里。
看图路径： 1. 先看左右两端：左侧语音编码器输出 A1 到 An，右侧文本编码器输出 B1 到 Bn；2. 再看中间矩阵：对角线加深格表示配对的语音文本组合；3. 确认相似度计算对象：矩阵每个格子是 Ai 与 Bj 的点积相似度
论文图 2。原论文 Figure 2：“The architecture of typical E2E speech-text con- trastive model.”。
这张图左侧是声谱图输入与 Speech Encoder ，中间是由 A1 到 An 行与 B1 到 Bn 列组成的相似度矩阵，对角格加深表示正样本；右侧是示例问题文本进入 Text Encoder ，再广播到矩阵列方向。箭头表明两路编码独立进行，只在矩阵处汇合打分。这种结构的问题在于声学向量与文本向量来自差异很大的模态，直接点积对齐需要大量数据才能学好。论文报告 CLAP 在 4 个数据集上不能有效学到文本问题与语音上下文的相关性，并解释 CLAP 更适合声音与文本对齐而非内容对齐。
复述时要注意：相似度用余弦相似度，训练用双向负对数似然损失，一路是从问题找上下文，另一路是从上下文找问题。不要把这种矩阵说成注意力权重，它是对比学习的打分矩阵。
CLSR 的全景动作是什么，先变什么再对齐什么？
CLSR 的全景动作可以概括为先变表示再对齐。左侧是非自回归的注意力编码器解码器框架，基于连续集成发放，输入语音上下文，输出词元概率分布。中间是向量量化适配器，把概率分布变成类文本嵌入。右侧是基于 Transformer 的文本编码器，既接受真实文本嵌入，也接受类文本嵌入，输出句子级表示后计算余弦相似度。训练时还有采样器与三项损失参与，推理时只用编码、发放、适配与文本编码做检索。 图前导读如下：下面是 CLSR 总体结构图，左侧语音流与右侧文本流在文本编码器处汇合，红色虚线仅训练使用，火焰与雪花图标区分可训练与冻结模块，适合按输入到输出走一遍主路径后再看训练分支。
看图路径： 1. 沿左侧主路看语音流：频谱图经语音编码器、CIF、语音解码器到线性层；2. 看中间桥接：线性层输出经 VQ 适配器进入右侧文本编码器；3. 区分训练与推理线：红色虚线只在训练时连接采样器与各损失
论文图 3。原论文 Figure 3：“The architecture of proposed model, CLSR. The red line is only used during training.”。
这张总览图顶部左侧是声谱图，依次经过 Speech Encoder 、连续集成发放、 Speech Decoder 、 Linear ； Linear 一路输出语音识别损失，一路经 VQ Adaptor 进入 Text Encoder 。顶部右侧是示例英文问题进入同一文本编码器。底部显示对比损失连接两路句子表示。红色虚线连接发放模块、线性层与 Sampler ，并回指语音解码器，表示训练时的第二轮采样优化。
图标含义在后文有文字对应：语音编码器、发放、解码器与线性层可训练，文本编码器与适配器侧冻结或无可学习参数的映射。 研究生应记住的顺序是：语音帧序列先变声学特征，再变按词元对齐的声学表示，再变词元分布，再变类文本嵌入，最后与问题文本表示做对比。这个先变后对齐是与典型双编码器最根本的区别，分工是语音侧完成到类文本的转换，文本编码器完成模态内对齐，组合原因是让语音表示落入文本编码器熟悉的空间。
语音编码器、CIF 与解码器如何把帧变成词元？
先解释术语。声学特征是语音编码器从帧序列抽出的连续向量，保留时序细节；连续集成发放是 continuous integrate-and-fire 的白话译法，缩写为 CIF ，负责按信息量把变长帧序列压缩成定数词元对应的表示；非自回归注意力编码器解码器指解码时不逐词依赖已生成词，而是并行预测分布的框架。论文的编码器与解码器采用 SAN-M 结构，即在 Transformer 层中融合自注意力与深层前馈序列记忆网络。
分工上，语音编码器管特征抽取， CIF 管变长到定长的对齐，解码器管分布预测，三者组合才得到可量化的词元分布。 具体计算分 3 步。第一步用语音编码器抽声学特征，公式符号含义是输入为语音上下文帧序列，输出为声学特征序列。
\[Hs = SEncoder(X)\]第二步用 CIF 把声学特征从时间步映射到词元数，得到与词元分布对齐的声学表示。
\[Ea = CIF(Hs)\]第 3 步用语音解码器加全连接层预测词元分布，并用采样器增强解码器的上下文建模。典型对比模型的打分公式可作为对照：它直接对语音编码输出与文本编码输出做归一化点积。
\[SX,Z = ||A(X)|| · ||B(Z)||\]CIF 的内部动作是先经卷积与线性映射算出每帧权重，权重在零到一之间，表示该帧有效信息量，再累积权重直到达到阈值即切出一个声学边界，溢出部分留给下一轮累积。阈值与示例权重在原文有交代，示例权重为小数序列，阈值取一。计算权重的线性卷积公式如下，输入为声学特征序列，输出为权重序列。
\[α1:t = W · conv(Hs\]连续集成发放 × 声学特征： 连续集成发放负责把按帧排列的声学特征按信息量累积切分成与词元数量对齐的片段，声学特征负责保留原始语音的时序细节，二者搭配的理由是帧数与词元数天然不等长，组合意义是先做软单调对齐，后续解码和量化才有稳定的按词元操作对象。
复述时要强调： CIF 不是语音识别本身，而是对齐机制；它的输出长度对应词元数，这是后续能量化为类文本表示的前提。
采样器与向量量化适配器分别解决什么断裂？
采样器解决训练中解码器上下文建模不足的问题，向量量化适配器解决概率分布不可导且不能直接送入文本编码器的问题。先说采样器。训练分两轮：第一轮不用采样器，直接用 CIF 得到的声学特征预测词元分布并取最大得到转写结果；第二轮比较转写结果与真实上下文文本，找出转写错误的词元位置，按混合比例把这些位置的正确嵌入替换进声学特征，得到语义特征，再用语义特征重新算分布并计算语音识别损失。第一轮不做梯度回传，只用于确定采样数量。
正确嵌入的来源不是解码器未训练的嵌入层，而是用于生成分布的线性层权重。分工是采样器只管训练时补上下文，适配器只管打通分布到文本嵌入的通路，组合原因是两者分别补建模与补可导性。 再说适配器。输入是词元概率分布，输出是类文本嵌入。分量化与映射两步：先对每个分布取概率最大的词元索引，再用温度缩放的 softmax 做连续近似，并用直通梯度估计器把离散独热与连续近似结合，保证梯度可传。
温度超参数取 0.1。然后把量化后的矩阵与文本编码器的嵌入层权重做矩阵乘法，得到可送入文本编码器的向量。文本编码器的输入因此有两种：问题的真实文本嵌入与上下文的类文本嵌入，输出句子级表示后按下式算相似度，符号含义是两路经同一文本编码器后的归一化点积。
\[SY ′,Z = ||TEncoder(EY\]向量量化适配器 × 类文本表示： 向量量化适配器负责把词元概率分布映射到文本编码器词嵌入空间中的向量，类文本表示负责以文本编码器能直接接受的形式承载语音内容，二者搭配的理由是概率分布本身不能送入文本编码器，组合意义是把跨模态对齐转化为文本模态内部的对齐。
初学者易误解适配器是简单的线性投影，实际它是先离散化再查表式映射，目的是让语音侧的表示落在文本编码器熟悉的嵌入空间。
三项损失如何分工，哪些参数更新哪些冻结？
训练的总损失由三部分加权组成：语音识别部分、发放对齐部分与对比学习部分。语音识别部分用交叉熵加最小词错误率损失优化转写能力，发放部分用平均绝对误差帮助 CIF 收敛，对比部分用负对数似然优化问题与上下文表示的对齐。权重系数控制发放损失与对比损失的比例，原文在实验条件中交代取 1/3 。 参数安排上，论文报告 CLSR 由 Paraformer 与冻结的 BGE-base 组成，联合训练时冻结检索性能强的 BGE 以加快训练。语音编码器、发放、解码器与线性层可训练，文本编码器冻结。
采样器不含可学习参数。训练后可冻结语音识别模块再单独训练 BGE 若干轮，论文称为后训练，希望让 BGE 更适应语音侧提供的类文本表示，但报告只能轻微提升性能。
对比学习 × 语音检索器： 对比学习负责拉近配对的问题与上下文表示并推开 batch 内不配对组合，语音检索器负责在推理时按相似度为长语音切片排序，搭配理由是训练目标与推理排序都使用余弦相似度，组合意义是训练学到的相似度可以直接用于挑选最相关音频片段。
需要指出的缺项是：原文未给出混合比例的具体数值与采样轮次的重置细节，也未报告每步梯度路径的完整推导，复述时不应自行补写拿掉某项后必然怎样，只能引用消融对照的实际变化。优化器用 Adam ，学习率在实验条件节给出，训练至收敛。
在哪些数据与基线上测，用什么指标判定好坏？
实验用 4 个数据集： Spoken-SQuAD 数据集、 LibriSQA 数据集、 SLUE-SQA-5 数据集和 DRCD 数据集。 Spoken-SQuAD 数据集原是多问题对应同一上下文，不适合训练文本语音检索器，论文过滤成一一对应的版本记为 Spoken-SQuAD 过滤版； LibriSQA 数据集由 LibriSpeech 文本经大语言模型生成问答对，论文用无选项且答案为完整句子的第一部分； SLUE-SQA-5 数据集的问题与上下文都是真实录音； DRCD 数据集原是中文多对 1 个数据集，过滤成 1 对一后用语音合成模型生成训练集语音，测试用已有口语版开发集。
划分与规模的细节见下表前的问题设定：比较必须在同语言、同问题上下文模态下进行，指标方向是词错误率越低越好，召回率越高越好。 下面整理实验配置对照表，目的是核对模型规模、基线组成、指标与损失权重，避免把不同模态或不同预处理条件下的数字直接对比。
| 条件 | 指标与规模 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 4 个数据集： Spoken-SQuAD 数据集、 LibriSQA 数据集、 SLUE-SQA-5 数据集和 DRCD 数据集 | 检索用 top-k 召回，转写用词错误率 | 端到端 CLAP 模型、 SpeechDPR 模型 | CLSR 模型： Paraformer 220M 加冻结 BGE-base 109M | 流水线 Whisper 244M 加 BGE-base ，纯文本 BGE 作最优转写参考 |
| 联合训练权重与优化 | 损失权重 1/3 ，学习率 5e-5 ， Adam 至收敛 | 预训练用 460 小时 LibriSpeech 数据与 Spoken-SQuAD 纯文本对 | 联合训练冻结 BGE ，后训练再调 BGE | 长语音验证用 Qwen-Audio 模型，切 40-second 片段， 500 条，平均 30 minutes |
表后解释如下：该表的价值在于固定公平条件。纯文本 BGE 模型的结果是假设语音识别完全正确时的理论上限，不能当成可部署的语音系统。
CLAP 模型由分层音频 Transformer 与 RoBERTa 组成， SpeechDPR 模型只报告了部分召回点；流水线基线先用 Whisper 转写再用 BGE 检索。论文未在中文集上训练 Whisper 模型，原因是其报告的中文识别不突出，这是一个明确的未评测边界。 为说明长语音问答的端到端收益，下面整理长音频问答验证表的对照条件，该表只复述原文给出的精确数值与单位写法，不做任何换算与补列。
| 配置 | EM (↑) | F1 (↑) | Cost time (s) | SpeedUP |
|---|---|---|---|---|
| 不用 CLSR ，直接生成答案 | 18.00 | 23.55 | 7935.00 | 1.00X |
| 先用 CLSR 切分再生成答案 | 27.60 | 35.10 | 783.00 | 10.13X |
表后解释如下：该长语音验证沿用 SLUE-SQA-5 训练子集训练 Qwen-Audio 模型与 CLSR 模型，并在 500 条测试上把上下文替换为 Spoken Wikipedia 全文档模拟长上下文；不用 CLSR 时直接输入语音文档与文本问题，用 CLSR 时先按 40-second 切分再选最相关一段输入。数值上 EM 与 F1 随检索预处理提升，同时推理耗时大幅下降，说明检索器把长变短后再回答的动作同时改善准确性与速度。
主结果在公平基线下显示了什么，代价是什么？
主结果要回答的问题是：在同数据集下，类文本桥接是否优于直接对齐与先转写再检索。公平条件是同划分、同问题上下文模态，指标是问题查上下文与上下文查问题的 R@1、R@5、R@10，方向都是越高越好，同时报告词错误率越低越好。 下面是主检索结果整理表，聚焦论文实际可运行的策略，纯文本 BGE 只作参考上限，搜索最优与事后最优不计入可部署收益。
| 数据集与模态 | 指标 | 流水线 Whisper+BGE | 端到端 CLSR | 直接对齐 CLAP |
|---|---|---|---|---|
| Spoken-SQuAD 星号版 文本问语音 | 词错误率，R@1，R@5，R@10 双向 | 词错误率 19.39，R@1 69.93，R@5 86.61，R@10 90.53 | 词错误率 15.14，R@1 70.03，R@5 86.90，R@10 90.68 | R@1 2.93，R@5 9.92，R@10 14.84 |
| LibriSQA 文本问语音 | 词错误率，R@1，R@5，R@10 双向 | 词错误率 4.32，R@1 83.70，R@5 93.28，R@10 94.92 | 词错误率 4.09，R@1 85.04，R@5 93.36，R@10 95.04 | R@1 0.04，R@5 0.19，R@10 0.38 |
| SLUE-SQA-5 语音问语音 | 词错误率，R@1，R@5，R@10 | 词错误率 36.41，R@1 29.98，R@5 60.41，R@10 72.71 | 词错误率 16.69，R@1 30.65，R@5 62.19，R@10 74.43 | R@1 11.17，R@5 28.67，R@10 38.16 |
表后解释如下：论文报告 CLSR 显著优于 CLAP 与 SpeechDPR，在三英语集上与 Whisper 加 BGE 接近或略优，且转写词错误率明显更低，支持联合训练同时优化了识别与对比模块的判断。在 Spoken-SQuAD 星号版上 CLSR 甚至超过纯文本 BGE，论文将其归因于架构优势而非数据规模，因为 CLSR 未做大规模预训练。
代价是该结论依赖一一对应过滤后的训练集与冻结大文本模型的泛化能力，未胜出项是部分 R@10 双向细节仍与流水线互有高低，不能说所有指标全面碾压。百分点差与相对百分比不可混用，复述时只说召回率高低，不自行计算提升百分比。
拿掉量化器与采样器会发生什么，转写多差才拖累检索？
消融要回答两个操作问题：量化器与采样器是否必要，多阶段训练是否值得做。论文在 Spoken-SQuAD* 上的对照显示，不用量化器时词错误率可能更低，但对比学习能力大幅下降，top-10 召回只相当于用量化器时的 top-1 水平；引入采样器后检索与识别同时改善。预训练方面，先用纯文本问答对训练 BGE 与用 LibriSpeech 预训练 Paraformer，都能提升联合训练后的检索或转写，但冻结 BGE 后的后训练只能轻微提升。与传统双编码器 ParaBGE 的对照显示 CLSR 在各检索指标远超，支持类文本桥接把语音对文本转化为文本对文本的有效性。
图前导读如下：下面是转写能力与检索能力关系图，横轴为词错误率，纵轴为召回率，4 条曲线区分问题查上下文与上下文查问题的 R@1、R@5，适合先看低词错误率段平台再看高词错误率段分开程度。
看图路径： 1. 先确认图例：红色与蓝色为问题查上下文，黑色与棕色为上下文查问题；2. 看横轴方向：词错误率从左向右增大，观察召回曲线的跌落位置；3. 对比上下两组曲线：R@5 整体高于 R@1，但都在高词错误率段下滑
论文图 8。原论文 Figure 8：“The correlation between the retrieval ability and speech recognition ability of CLSR.”。
这张图应先看低词错误率段 4 条召回曲线基本平坦的平台，再看高词错误率段 R@1 与 R@5 的分开程度，论文据此报告 16.75% 为转写误差影响检索的分界，超过该值后召回明显下滑。未胜出与限制是：后训练收益小，说明冻结策略虽省时间但也限制了适配；传统端到端模型高度依赖大规模预训练，而高质量语音文本对稀缺，这是 CLSR 试图绕开但并未彻底解决的数据问题。
哪些结论只是有限解释，哪些还没有测？
论文直接报告的是 4 个数据集上的召回与词错误率，以及长语音问答中抽取后问答分数与耗时的变化，这些用报告或显示来表述。有限解释的是对 CLAP 不适合内容对齐、对 SpeechDPR 受数据稀缺限制的归因，这些有对照支持但仍是解释性语言，应表述为支持而非证明因果。未验证的推测是类文本表示缓解模态差异的机制细节，论文没有逐层探针或误差归因，不能说已证明表示空间完全对齐。
未测量项要明确：原文未报告误判率的人工评估、端到端延迟分解、训练算力与显存预算，也未报告不同切分长度与 top-k 数量的系统性权衡。长语音验证只用 500 条随机测试与 40 秒固定切分，不能推广到任意时长与任意切分。中文集未训练 Whisper 基线，不同指标的差值不能混放，自动召回不能当成人评。原文表头与算术若有冲突应标注冲突，本解读未发现需要编造划分来圆场的矛盾，但过滤后数据集的规模与原始规模不同，引用时必须注明星号版为 1 对一过滤结果。
要复现应先做什么，需要保留哪些超参数与信息条件？
复现先做数据准备：把 Spoken-SQuAD 与 DRCD 过滤成问题上下文一一对应，LibriSQA 取无选项完整句子部分，SLUE-SQA-5 保持语音问语音形态。长语音验证需用口语维基全文档替换上下文，按 40 秒切分取最相关一片送入问答模型，测试前问答模型与检索器都用原训练子集训练。 关键超参数与信息条件是：损失权重取三分之一，Adam 学习率取 5e-5，训练至收敛；量化温度取 0.1；CIF 阈值取一。
文本编码器在联合训练时冻结，后训练再解冻微调若干轮；正确嵌入取自线性层权重而非解码器嵌入层；采样器混合比例与采样数按第一轮转写错误数决定，具体比例原文未给，需在复现记录中标为缺项。 下面是复现核对表，用于出发前确认代码、权重与系统可运行性的区别，避免把代码可用等同于权重可下载或系统可一键运行。
| 核对项 | 原文交代 | 复现动作 | 待补验证 |
|---|---|---|---|
| 代码与框架 | 仓库当前可用，基于 FunASR 与 ModelScope | 拉取仓库并固定依赖版本 | 是否包含完整训练与切分脚本 |
| 模型与权重 | Paraformer 220M，BGE-base 109M，Whisper 244M 作基线 | 确认是否提供预训练权重下载 | 若无权重需先跑 460 小时预训练 |
| 长语音流程 | 500 条，平均 30 分钟，40 秒切分，取最相关一片 | 先跑检索再跑 Qwen-Audio 问答 | 换切分长度与 top-k 后的耗时变化 |
表后解释如下：该表的主要收益是把可运行策略与参考上限分开，代价是部分细节缺失可能导致复现偏差，反例是后训练收益小，若复现时跳过后训练不应期待大幅变化。
硬件预算原文未报告，复现时应自行记录耗时与显存，不承诺推理加速在所有硬件成立。
何时值得尝试这种先变表示再对齐的路线？
当任务是长语音问答且瓶颈在检索而非生成时，值得尝试先检索再回答。适用条件是：上下文远长于问答模型的舒适长度，问题与上下文的配对可以构造成一一对应，且有一个检索性能强的文本对比模型可用。此时把语音先变成类文本表示，可以复用文本模型的泛化能力，避免为语音收集超大规模预训练对。
不适用或需谨慎的是：语音与文本内容高度不规范、转写错误率已超过阈值，或问题本身也是噪声很大的语音，此时检索收益会被错误转写抵消，应先改善前端识别或切分。不应把长语音验证中的 10 倍耗时下降当成所有场景的承诺，它是在固定切分与取一片条件下的实测趋势。 给研究生的收束动作是：复述时先画出长变短的主路径，再讲 CIF 对齐、量化映射、对比打分 3 步，最后用主结果与消融各举一个数字对照收尾。
动手时先跑通短语音检索，再做长语音切分验证，并补上切分粒度、top-k 数量与耗时分解三项验证。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses