📄 只用识别数据训练,为什么问答能力会消失:从分布中学习

英文题目:Learning from Distribution: Rethinking One-Hot Supervision for ASR and QA in Speech Language Models

评分:6.8/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Yujie Guo:College of Computer Science, Nankai University
  • Hongjie Chen:Xingchen AGI Lab, China Telecom Artificial Intelligence Technology Co. Ltd
  • Jiaming Zhou:College of Computer Science, Nankai University
  • Jian Kang:Xingchen AGI Lab, China Telecom Artificial Intelligence Technology Co. Ltd
  • Jie Li:Xingchen AGI Lab, China Telecom Artificial Intelligence Technology Co. Ltd
  • Yongxiang Li:Xingchen AGI Lab, China Telecom Artificial Intelligence Technology Co. Ltd
  • Yong Qin:College of Computer Science, Nankai University

📌 核心摘要

语音语言模型需要同时完成两类语音条件生成:一是把语音转写为文字,二是依据语音内容回答问题。前者输入与输出接近一一对应,后者允许多个合理回答,但常用训练都只用单条参考答案做独热监督,容易把语音与文本的对齐推向只会转写。本文提出从分布学习(Learning from Distribution,LFD),先让冻结文本教师模型在相同回答轨迹上逐词提取并输出条件词表概率分布,再将该分布送入语音学生模型的训练目标,用前向KL散度对齐其词表概率,最后对教师分布做尾部感知的截断,仅保留高概率词并合并剩余尾部质量以支持离线存储训练。与只学单条转写不同,该方法保留教师更广泛的生成行为,思维链转写则以中间推理拓宽生成空间,全参数微调与不同数据量对比显示类似趋势。在8000小时Emilia训练、LibriSpeech与TELEVAL评测下,仅用自动语音识别数据时从分布学习相对独热交叉熵基线将LibriSpeech总体词错误率从6.89%降到6.57%,同时将TELEVAL总体回答准确率从2.44%提高到40.20%。该结论目前只在Whisper-large-v3编码器加Qwen3-4B的单架构、英文转写与问答评测及适配器对齐与全参数微调下得到验证。即使把自动语音识别训练增至8000小时,独热监督仍不能恢复问答能力,脱离该架构与英文条件的表现可能失败。其他模型族与规模、非英文及其他语音语言任务仍需检验,原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音大模型要同时做什么:听写与听懂问题

刚接触语音与语言结合的研究生可以先把任务想成两件事。第一件是自动语音识别,输入是一段语音和一句转写指令,例如请逐字重复语音内容,目标是输出与语音内容一致的文字。这里必须保留的是语音中的字词顺序和内容,不能改写或总结,评价用词错误率,数值越低越好,论文在 LibriSpeech 的 test-clean 和 test-other 上报告,并把两部分平均成总体词错误率。

第二件是口语问答,输入是一段念出问题的语音和回答指令,目标是给出正确答案。论文用的 TELEVAL 包含 LlamaQA-en 共 300 条、TriviaQA-en 共 837 条、WebQ-en 共 1938 条,总计 3075 条,按字符串匹配多个人工可接受答案来算答对率,数值越高越好。这里允许措辞不同,只要意思和答案正确即可。

两类任务在论文中共享同一套语音大模型结构。语音先经过 Whisper-large-v3 编码器变成语音特征,再经过一个模态适配器映射到语言模型的输入空间,最后由 Qwen3-4B 生成文字。主实验只训练这个适配器,编码器和语言模型都冻结,这一步被称为语音与语言对齐。读者需要记住这个冻结设置,因为它决定了能力变化主要来自适配器学到了什么样的语音到文字的对应方式,而不是语言模型本身被改写。

为什么只练听写会丢掉问答:映射与独热监督的交互

论文关心的具体矛盾是,为了提高识别准确率而只用识别数据微调后,问答能力往往大幅下降。以往解释多归因于灾难性遗忘或跨模态没对齐,论文换了一个角度,比较任务本身的输入输出映射与训练时用的监督形式。

在公式层面,两类任务都被写成给定语音 X 和指令 I 逐词生成回答 Y 的连乘形式,其中可训练参数是适配器参数。原文把这个生成形式写成条件概率的连乘,含义是第 t 个词的概率依赖于语音、指令和之前已生成的词。这个公式本身不区分任务,区别在输出分布的形态。

\[p_{\phi}(Y\mid X,I)=\prod_{t=1}^{T}p_{\phi}(y_{t}\mid X,I,y_{\lt t}),\]

为了理解这种形态差异,先看论文第一张示意图的教学任务。上半是识别,一段问如何集中注意力的语音只对应一条相同的转写;下半是问答,同一段问题语音可以对应多条说法不同但都成立的长回答。识别近似 1 对一,问答是 1 对多,这是后文所有不对称现象的直观来源。

看图路径: 1. 先看上半 ASR 分支:同一语音和文字只对应一条转写输出;2. 再看下半 QA 分支:同一问题对应多条措辞不同但都合理的回答;3. 对比两分支从语音大模型出发的箭头数量差异;4. 想一想这种一对一与一对多的差异会给监督带来什么不同

原论文 Figure 1:Illustration of ASR’s approximately one-to-one mapping and QA’s one-to-many mapping with multiple…

论文图 1。原论文 Figure 1::“Illustration of ASR’s approximately one-to-one mapping and QA’s one-to-many mapping with multiple valid responses.”。

这张图确实可见的是上下两个面板共用同一个语音大模型方块,但输出箭头数量不同。上半只有一个指向转写的箭头,下半分叉出多个指向不同回答的箭头。它帮助理解为什么同样的独热监督会有不同效果:识别训练每次都把概率推向唯一的转写,问答训练虽然每条样本也只有一个参考答案,但在大数据上不同问法和答法会轮流出现,整体上更接近底层分布。论文据此提出假设,冲突部分来自确定性映射与单参考监督的反复叠加,而不是识别数据本身必然有害。

自动语音识别 × 口语问答: 自动语音识别指把一段语音转写成对应文字,输入和输出基本一一对应;口语问答指听懂语音中的问题并给出答案,一个问题可以有多种说法正确的回答。两者在本论文中都做成以语音和指令为条件的逐词生成,但输出空间的宽窄不同,这种映射差异是后文解释不对称退化的起点。

拓宽识别学习目标的总体思路是什么

论文主张的原则是拓宽识别的学习目标,同时保持识别准确率。也就是说,不再只让模型学会把语音对到唯一的转写字符串,还要让它在语音条件下保留预训练文本大模型更宽的生成行为。实现这条原则的一种方式就是从分布中学习,英文全称是 Learning from Distribution,缩写为 LFD。

LFD 的做法可以沿一个样本走一遍。准备一条语音及其转写,教师端读的是转写文本加任务提示,学生端读的是对应语音加任务指令。两者被要求沿同一条目标回答轨迹做教师强制,即每一步都以上文标准词为条件分别算出自己的下一个词分布,然后把学生的分布拉向教师的分布。这样学生学到的不只是标准词本身,还有教师在该位置认为哪些词也可能出现、整体多么集中。

第二张总览图把这个流程画得很完整,读图前可以先明确观察任务。左上区分学生内部谁冻结谁可训练,右上对比教师提示喂转写而学生提示喂语音的差别,下半三步展示同一回答如何先后产生教师分布和学生分布,以及前向 KL 与尾部 top-k 近似如何组成最终目标。

看图路径: 1. 先看左上学生与教师的组成,确认谁冻结谁可训练;2. 再看右上教师提示与学生提示分别喂的是转写还是语音;3. 沿下半三步看同一回答如何先产生教师分布再产生学生分布;4. 最后看右下 top-k 与尾部项如何共同组成训练目标

原论文 Figure 2:Overview of LFD. The text LLM teacher generates responses and token distributions, which the…

论文图 2。原论文 Figure 2::“Overview of LFD. The text LLM teacher generates responses and token distributions, which the Speech LLM student learns via forward KL divergence with a tail-aware top-k…”。

这张图实际可见的是上半提示与回答面板和下半三步训练面板。上半左侧标出 Whisper-large-v3 编码器和 Qwen3-4B 冻结、语音适配器带火焰可训练,教师只有 Qwen3-4B 冻结;中间给出识别的逐字重复提示和问答的转写加语音提示。下半第一步由教师提示经教师模型得到回答和词分布,第二步由学生提示和同一回答经学生模型得到对应分布,第三步画出 top-k 词条加尾部项的 KL 计算形式。它帮助读者把输入处理、分布产生和目标计算 3 段对应起来,避免把教师生成回答和教师提供分布混为一谈。

独热交叉熵监督 × 分布监督: 独热交叉熵监督每次只提高标准答案那个词的概率,其余词一律压低;分布监督则要求学生复现教师在每个位置给所有候选词分配的概率。前者与确定性转写天然契合但信息量少,后者保留了教师认为哪些替换可接受、整体多么确定的信息,论文用后者拓宽识别训练的学习目标。

教师分布、学生分布与尾部 top-k 如何分工

先说传统独热交叉熵监督在做什么。给定标准词序列,它在每个位置只最大化标准词的对数概率,对应公式是对所有位置的标准词负对数概率求和。这里的 yt 星号表示该位置的参考词,条件包括语音、指令和之前的参考词。这种监督每次只强化一条路径,对识别的确定性目标很直接,但不告诉模型其他词是否也可接受。

\[\mathcal{L}_{\mathrm{CE}}=-\sum_{t=1}^{T}\log p_{\phi}(y_{t}^{*}\mid X,I,y_{\lt t}^{*}),\]

LFD 把监督对象从单个参考词换成教师的完整条件分布。记教师在位置 t 的分布为 qt,条件是任务相关的文本上下文和之前的标准词;记学生在同一位置的分布为学生分布,条件是语音、指令和之前的标准词。两者的数学定义都以同一条回答轨迹为条件,保证比较的是同一位置、同一上文下的预测差异。教师分布来自冻结的 Qwen3-4B,学生分布来自带适配器的语音大模型。

有了这两个分布,完整目标是全词表上的前向 KL 散度再对位置取平均。前向 KL 的含义是按教师的概率加权看学生低估了多少,教师概率高的词学生必须给足概率,否则代价很大。这个目标传递的是文本大模型在文本条件下的生成行为,而不是单个参考词。

\[\mathcal{L}_{\mathrm{full}}=\frac{1}{T}\sum_{t=1}^{T}D_{\mathrm{KL}}(q_{t}\|p_{\phi,t}).\]

直接存全词表分布开销很大,论文只保留教师概率最高的 k 个词,记为集合 St 的 k。初学者容易以为直接对这 k 个词做加权交叉熵就够了,但原文指出这种截断目标只鼓励学生把概率集中到已选词上。当 k 等于 1 时,它退化成对教师最可能词的加权交叉熵,丢掉了分布监督的初衷。截断目标的形式是对已选词用教师概率加权的负对数似然求和,没有对剩余词的任何约束。

\[\mathcal{L}_{\mathrm{trunc}}=-\sum_{v\in\mathcal{S}_{t}^{k}}q_{t}(v)\log p_{\phi,t}(v),\]

为此论文采用尾部感知的 KL 目标。做法是把教师和学生在 top-k 之外的概率分别加总成尾部项,教师尾部等于 1 减去已选词的教师概率之和,学生尾部同理。然后目标包含两部分,已选词内部的 KL 加尾部一项的 KL。这样学生既要在已选词之间按比例分配,也要在整体上保留多少概率该留在已选集合之外。默认 k 取 256,后文消融显示即使 k 取 1,只要保留尾部项仍有竞争力,这说明关键不是存多少个细粒度概率,而是是否保留教师的最高置信和剩余总量的信息。

文本大模型教师 × 语音大模型学生: 文本大模型教师是冻结的 Qwen3-4B,只读转写文本和任务提示并输出每个位置的词分布;语音大模型学生由 Whisper-large-v3 编码器、语音适配器和同一个 Qwen3-4B 组成,读的是语音和指令。两者沿同一条回答轨迹做教师强制,学生的目标是让自己在语音条件下的分布贴近教师在文本条件下的分布。

前向 KL 散度 × 尾部感知的 top-k 近似: 前向 KL 散度衡量用学生分布去近似教师分布时的额外代价,教师概率高的地方学生必须跟上;尾部感知的 top-k 近似只存教师概率最高的 k 个词并把剩下所有词的概率加总成一个尾部项。这样既不用存全词表分布,又约束了已选词内部和剩余整体两部分,避免退化成只学最高一词的加权交叉熵。

数据、冻结方式与训练条件如何控制

理解实验结论必须先看比较条件是否一致。论文用 Emilia 的 8000 小时语音构造训练数据,识别数据用原始转写,问答数据由 Qwen3-4B 根据转写生成。在同一任务内部,交叉熵与 LFD 共享相同数据、相同结构和相同初始化,唯一差别是监督目标,这样才能把性能差异归因于监督形式。

主实验是适配器对齐阶段,语音编码器和大语言模型冻结,只有模态适配器更新,训练一轮,学习率为 1 乘 10 的负 4 次方,带余弦学习率调度。LFD 默认 top-k 为 256。另有全参数微调阶段,从适配器对齐后的 LFD 模型出发再放开全部参数,识别和问答分别用交叉熵或 LFD 继续训练,此时 LFD 用 top-k 等于 1 以验证稀疏监督是否依然有效。

还需要记住问答数据的来源条件。问答训练用的问题回答是由同一个 Qwen3-4B 教师生成的,这意味着问答监督本身已经带有教师的语言风格。在解读问答数据量增加带来提升时,不能脱离这个生成方式去推广到完全人工标注的问答数据。同样,识别与问答的数据时长都从 2000 到 8000 小时分档,但两者内容同源于同一语音池,只是监督形式不同,这是后文讨论数据效率的前提。

识别与问答分别测什么、哪个方向更好

识别在 LibriSpeech 的 test-clean 和 test-other 上测词错误率,定义为替换、删除、插入错误数之和除以参考词数,总体取两部分平均,数值越低越好。test-other 比 test-clean 更难,因此同一模型的 other 词错误率通常更高,解读时要分开看,不能只看总体。

问答在 TELEVAL 的 3 个英文子集上按答案准确率评价,回答与多个人工可接受答案做字符串匹配,总体按全部 3075 条样本计算,数值越高越好。3 个子集难度和题型不同,LlamaQA-en 样本少但问答相对集中,TriviaQA-en 和 WebQ-en 涉及更多事实性问答,同一方法在三者上的绝对值可以直接比较高低,但跨子集的差距不代表方法优劣,只反映任务难度。

论文还用词级别预测熵来刻画分布形态。熵越低表示预测越集中,越高表示候选越分散。识别通常熵更低,问答通常熵更高,这与 1 对一和 1 对多的映射直觉一致。后文表格中熵没有单位,比较的是相对大小,识别与问答的熵差越大,说明模型保留了任务相关的不确定性差异。

只用识别数据时分布监督改变了什么

主结果要回答的比较问题是,在只用识别数据或只用问答数据且其他条件完全相同时,把独热交叉熵换成 LFD 会发生什么。指标方向是识别总体词错误率越低越好,问答总体准确率越高越好。下面这张表保留了系统编号、训练策略、训练数据类型以及两类总体指标,是判断不对称效应是否缓解的核心证据。

SystemTraining StrategyTraining DataASR(Librispeech ↓)ASR(Librispeech ↓)ASR(Librispeech ↓)QA(TELEVAL ↑)QA(TELEVAL ↑)QA(TELEVAL ↑)QA(TELEVAL ↑)
SystemTraining StrategyTraining DatacleanotherOverallLlamaQA-enTriviaQA-enWebQ-enOverall
A1CEASR4.838.966.891.672.872.372.44
A2LFDASR4.518.636.5765.3331.7839.9440.20
B1CEQA6.3510.118.2372.0036.0842.0543.35
B2LFDQA5.189.237.2073.3336.5642.5743.93

这张表支撑的判断是独热监督具有任务不对称性,而分布监督缩小了这种不对称。只用识别数据的交叉熵总体词错误率为 6.89%,但问答总体准确率只有 2.44%,基本没有问答能力;只用问答数据的交叉熵问答总体准确率为 43.35%,识别总体词错误率为 8.23%,仍保留了可用的识别能力。换成 LFD 后,只用识别数据总体词错误率为 6.57%,问答总体准确率升到 40.20%,没有用任何问答训练数据;只用问答数据总体词错误率为 7.20%,问答总体准确率为 43.93%,两项都优于对应的交叉熵。限制是这组数只在 8000 小时、适配器对齐、上述评测集下成立,不能推广到其他模型规模或中文等其他语言。

数据量变化是否会消除这种不对称是第二个比较问题。下表展示识别总体词错误率随 2000、4000、6000、8000 小时的变化,行是识别或问答数据加交叉熵或 LFD,列是不同时长,数值单位是百分比,越低越好。它检验的是增加数据能否替代改变监督形式。

Training DataTraining StrategyTraining HoursTraining HoursTraining HoursTraining Hours
Training DataTraining Strategy2k4k6k8k
ASR Overall WER (%) ↓
ASRCE113.899.737.006.89
ASRLFD9.797.326.836.57
QACE123.9111.827.898.23
QALFD13.687.717.757.20
QA Overall Accuracy (%) ↑
ASRCE0.522.442.992.44
ASRLFD35.9040.0440.1340.20
QACE0.9139.2843.5843.35
QALFD38.1143.2843.4843.93

这张表支撑的判断是增加识别数据不能让独热监督长出问答能力,但 LFD 在小数据下就更有效。从 2000 到 8000 小时,只用识别数据的交叉熵识别总体词错误率从 113.89% 降到 6.89%,但同表对应的问答准确率在正文中报告为从 0.52% 到 2.44% 始终很低;只用识别数据的 LFD 识别总体词错误率从 9.79% 降到 6.57%,而问答总体准确率从 35.90% 升到 40.20%。问答数据一侧也有类似效率差异,2000 小时时交叉熵两项都未对齐,而 LFD 已达到可用的问答水平。限制是 2000 小时时交叉熵词错误率超过 100%,说明插入错误很多,此时模型尚未学会基本对齐,不宜把该点的绝对值当作正常识别水平来比较。

熵、稀疏程度与全参数微调是否支持同一解释

熵分析要回答的是模型预测的集中程度是否反映了任务映射。词级别预测熵定义为对词表上预测概率加权的负对数求和,再对回答词取平均,数值越小表示越集中。下表同时给出识别与问答的性能和熵,性能方向与前文相同,熵没有单位只看相对大小。

SystemTraining StrategyTraining DataPerformancePerformanceEntropyEntropy
SystemTraining StrategyTraining DataASR ↓QA ↑ASRQA
A1CEASR6.892.440.250.25
B1CEQA8.2343.350.170.39
A2LFDASR6.5740.200.200.48
B2LFDQA7.2043.930.150.60

这张表支撑的判断是除只用识别数据的交叉熵外,其他系统在识别上的熵都低于问答,符合 1 对一更确定、1 对多更多样的直觉。只用识别数据的交叉熵在识别和问答上的熵都是 0.25 且很低,论文指出它对问答输入也倾向于输出转写,表现为转写偏置;换成 LFD 后识别熵为 0.20 而问答熵为 0.48,重新拉开了任务差异。只用问答数据的 LFD 问答熵达到 0.60,高于交叉熵的 0.39。附录进一步报告冻结 Qwen3-4B 在识别上熵约为 0.04 而在问答上约为 0.58 到 0.67,LFD 训练后的语音模型保留了类似的高低关系。限制是熵是模型自身分布的统计量,不是答案正确率,不能把熵高低直接等同于能力好坏。

\[H(p_{t})=-\sum_{v\in\mathcal{V}}p_{t}(v)\log p_{t}(v).\]

分布粒度要回答的是 top-k 取 1、16、64、256 时性能是否敏感。论文在 8000 小时下分别对识别和问答训练测试,发现影响相对有限,即使 k 等于 1 仍有竞争力。解释是识别端因逐字重复指令使教师分布本身很集中,问答端因训练轨迹多样已在不同上下文提供丰富监督。需要强调的是 k 等于 1 仍保留尾部项,即保留最高一词的置信和剩余总概率,而不是退化成硬标签,这正是稀疏存储可行的原因。未胜出的一项是更大的 k 并没有带来系统性跃升,说明一味存更细的分布不是主要瓶颈,尚未评测的是远小于 1 之外的其他压缩方式。

思维链语音识别 × 从分布中学习: 思维链语音识别要求模型先写中间推理再给出转写,从分布中学习要求模型复现教师的词分布。两者分工不同但组合意义相同,都是在不改变以识别为主要目标的前提下拓宽生成空间,让只用识别数据训练时模型仍能接触更丰富的生成模式。

这些结论在什么边界内成立、哪些还没有验证

论文明确报告的局限是只在一个语音大模型结构上验证,即 Whisper-large-v3 加 Qwen3-4B 加适配器。映射视角针对的是任务特性和监督目标,理论上不依赖特定结构,但跨模型家族和规模的泛化仍待探索。读者不能把适配器阶段的数值直接套用到其他编码器或更大语言模型上。

任务范围也只覆盖识别与口语问答,没有验证其他语音语言任务。不同任务的输入输出映射各不相同,例如需要长推理或多步工具调用的任务可能有不同的熵形态和监督需求,本文的拓宽监督原则是否同样有效需要另做实验。

还有一个容易误解的地方是来源与开源。论文没有提供经校验可用的代码、模型或数据链接,解读中提到的教师分布存储、离线蒸馏和全参数配置都是按论文文字复述的操作步骤,不是可直接下载运行的资源。复现时需要自行实现教师分布生成、top-k 加尾部项的 KL 计算以及 TELEVAL 评测流程,并注意问答训练数据需用文本大模型按原文方式构造,不能随意替换为其他问答集后仍期望相同数值。

如果要复现,第一步做什么、还缺什么验证

值得尝试的情形是已经有一个冻结的文本大模型和可用的识别语音加转写,但缺乏问答标注,又希望保留问答能力。此时可以先不引入问答数据,而是把识别监督从独热换成教师分布,观察问答是否随之恢复。如果只有很少的对齐数据,论文的小数据优势提示分布监督可能更值得优先尝试。

复现第一步是搭好教师与学生的数据对。教师端用转写文本加识别或问答提示,学生端用对应语音加指令,沿同一条目标回答做教师强制,分别得到每个位置的词分布。接着实现带尾部的 top-k KL 目标,先从 k 等于 256 或更小的 k 开始,确认尾部项同时参与梯度,再只训练适配器一轮并用 LibriSpeech 和 TELEVAL 按原文指标检验。关键超参数是学习率、训练轮数和 k,信息条件是教师与学生必须看到语义对应的文本与语音,不能错位。

全参数阶段的比较问题是独热监督的不对称是否超出对齐阶段。下表保留了初始化模型、训练数据类型、训练策略以及识别总体和问答总体指标,初始化 C0 和 D0 分别是识别与问答的适配器 LFD 模型,C1、D1 是交叉熵续训,C2、D2 是 LFD 续训。

SystemTraining DataTraining StrategyASR(Librispeech ↓)ASR(Librispeech ↓)ASR(Librispeech ↓)QA(TELEVAL ↑)QA(TELEVAL ↑)QA(TELEVAL ↑)QA(TELEVAL ↑)
SystemTraining DataTraining StrategycleanotherOverallLlamaQA-enTriviaQA-enWebQ-enOverall
C0(init)ASRLFD4.458.626.5372.3332.5039.0140.49
C1ASRCE3.617.435.520.332.391.911.89
C2ASRLFD3.707.465.5772.0032.8642.7842.93
D0(init)QALFD5.249.277.2573.3336.6842.1143.67
D1QACE4.798.736.7674.0036.9243.8644.91
D2QALFD4.588.386.4873.3338.2344.0745.33

这张表支撑的判断是不对称在全参数微调中依然存在。从 C0 出发,只用识别数据的交叉熵把识别总体词错误率从 6.53% 降到 5.52%,但问答总体准确率从 40.49% 掉到 1.89%;而 LFD 把识别做到 5.57%,问答总体准确率升到 42.93%。从 D0 出发,问答数据的交叉熵两项都有提升,LFD 进一步把识别做到 6.48% 而问答做到 45.33%。限制是初始化已经是较强的 LFD 模型,结论依赖于这个起点,不能理解为从零开始全参数训练也会得到相同差距。

作为另一种拓宽监督的实现,论文还做了思维链实验。先用混合的思维链识别与问答数据做适配器对齐得到基座,再分别用思维链识别或问答数据做全参数微调,比较问题是只用识别数据但加入中间推理是否也能保住问答。

ModelFine-Tuning DataASR WER (%) ↓QA ACC (%) ↑
Base Model–7.5742.86
CoT-ASRASR-only7.3842.54
CoT-QAQA-only7.4242.67

这张表支撑的判断是只用识别数据的思维链微调把识别词错误率从 7.57% 降到 7.38%,问答准确率从 42.86% 变为 42.54%,基本保持;只用问答数据的思维链微调识别为 7.42% 而问答为 42.67%,同样没有明显退化。它说明能力下降并非识别数据必然导致,监督时是否拓宽生成空间很关键。限制是基座本身已见过两类思维链数据,且识别与问答的绝对提升幅度不大,不能当作大幅提升识别的方法,还需要补做只用普通转写起点的对照和更大规模的验证。

如何一句话记住方法、证据与代价

把全文压缩成可复述的关键步骤就是,识别是 1 对一而问答是 1 对多,独热监督反复强化唯一转写容易让适配器偏向转写,LFD 让语音分支在同一回答轨迹上模仿冻结文本大模型的条件分布,并用只存 top-k 加尾部总量的方式实现高效监督,思维链识别则从另一条路验证了拓宽生成空间的思路。

证据只支持在本文条件下的判断,即 8000 小时 Emilia 构造的数据、Whisper-large-v3 加 Qwen3-4B 加适配器的结构、LibriSpeech 与 TELEVAL 英文子集的评测下,分布监督同时改善识别与问答并缩小跨任务差距,且在小数据和全参数阶段依然有效。超出这些数据、模型和语言范围的效果尚未测量,也没有测量延迟、推理成本或人工评价,不能承诺这些方面会改善。

行动顺序上,先复现适配器阶段的分布监督并检查问答是否恢复,再按需尝试稀疏 k 与全参数续训,最后补做自己目标语言和任务上的对照。需要补的验证包括其他模型规模、非英文语音、人工标注问答而非模型生成问答,以及更细的存储与传输开销实测,这样才能知道拓宽监督的收益在新的部署条件下是否依然成立。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递