又安静又准确的角落是空的：给 Whisper 同时补上该闭嘴和该开口的证据

英文题目：How to Reduce Whisper Hallucination

标签：#语音识别 | #数据增强 | #多语言 | #基准测试 | #数据集

评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Husein Zolkepli：Scicom (MSC) Berhad, Malaysia

📌 核心摘要

Whisper在无语音音频上虚构流利语句且经伪标签蒸馏污染后代模型，任务要求输入任意音频时仅在有声学证据时输出转写、无语音时输出空白，难点是仅加负样本的抑制训练会形成拒绝发射先验而误删真实语音。作者先构建八臂基准同步度量无语音抑制与真实语音恢复，使只输出空白的模型无处隐藏并为每轮微调提供同一轴线比较。再从非语音输出中归纳40891条100种语言幻觉词表并经文本到语音合成为真实发音的正样本，使同一文本既出现在空白目标侧又出现在转写目标侧。最后以空白标注噪声音乐加真实语音的混合数据对whisper-large-v3做低秩适配与全量配对微调，迫使模型依据声学证据而非语言先验决定停止还是转写，相对仅过滤语料或仅加负样本的关键差异是同时教授抑制与判别。在八臂基准评测下，最优检查点的静音词发射错误率为2.4%，低于基线whisper-large-v3的错误率61.9%。其适用边界受限于16kHz近场合成与朗读类正样本及马来加权混合训练，全部微调在FLEURS多语言字符错误率上差于基线，窄带电话语音与极低覆盖语言等场景尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文正文给出的任务、数据构造、训练网格和基准测量，目标是让刚进入语音识别的研究生能不看原文就复述出关键做法并知道何时不能照搬。必须保留的信息包括 5 个被测检查点的身份、无语音三臂的错误定义、八臂基准加合成正例加野外音频加多语言守卫的完整结构、词典来源与合成筛选、配对微调中两个混合的差别、以及最佳检查点与中位数改进的数值和代价。

输出按学习依赖展开，先讲 Whisper 为什么在产品里重要但不会说空话，再讲蒸馏与只加负例两条老路为什么留下了行为缺陷，然后走完一个样本从音频输入到空转录或短语转录的完整路径，最后讲实验条件、主结果、反证与复现清单。阅读时请把幻觉理解为白话的无中生有写句子，把抑制理解为在无语音上输出空字符串的动作，后文固定使用这两个简称。

论文研究的是开放词汇多语言语音识别中的无语音幻觉，不是通用语言模型幻觉，也不是单纯提升干净语音词错误率，教学例子会明确标为例子，不虚构数值。

已有路线在修什么，为什么没修到权重？

第一条路线是蒸馏。用 Whisper 给无标注音频打伪标签，再用词错误率启发或幻觉过滤器筛掉看起来差的句子，然后训练学生模型。论文指出这类过滤器把教师写错的例子删掉了，学生只拟合教师已经对的那一半，从未见过音乐床上写出感谢观看的样本，也几乎没有正确输出为空字符串的样本，因此继承了先验而没有学到纠正。第二条路线是只加负例。把无语音音频放进训练并标空，让模型学会安静。

生产系统与马来微调都在用，论文承认它在无语音臂上最有效，但测量显示它同时压低了真语音的召回，删掉了重复语音，抬高了多语言字符错误率，属于用 blanket 先验换安静。第 3 类是外挂补救。在模型外加语音活动检测、解码阈值、已知短语块列表。论文认为这些在自带解码循环时有用，但换到不实现这些旋钮的服务栈就消失了，而且块列表只有在已知音频空白时才有效。

相关工作的对照条件不同，不能直接比谁的数字更小：蒸馏比的是干净语音准确率，外挂比的是有检测器条件下的系统行为，本文比的是改权重后无外挂的裸模型行为。

Whisper 到底在什么音频上犯错，错成什么样？

问题可以拆成 3 类可操作的测量。第一类是无语音上的发明，正确输出是空字符串，任何带词输出都算错，任何输出含一个句号也另计一档。第二类是重复语音上的两极错误，给定单元重复确切次数，写多是失控乱跑，写空是删除，两极都算错。第 3 类是真语音上的漏报与错字，包括干净朗读、带噪混合、真实马来西亚语音和多语言朗读。论文的机制解释是解码器是以音频编码为条件的语言模型，声学证据弱时先验接管，因为训练目标就是写流利文本，而静音不是可发射的词，只能靠决定停止，停止恰是弱项。

要读懂后文所有表格，先固定 5 个检查点的身份与简称，3 个是原版发布，两个是已含无语音数据的马来微调，可视为最强基线而非陪衬。

这张表说明后文 large-v2、large-v3、turbo 与两个马来微调分别对应哪个权重，其中 turbo 与 large-v3 的差别是解码器层数不同。它本身不证明好坏，但它是核对每个数字属于哪个模型、哪个训练阶段的唯一依据，复现时必须按标识符拉取同一权重再跑贪心解码、无强制语言、无温度回退的同一条件。

全景：为什么必须同时给该闭嘴和该开口的证据？

方法全景是一条配对因果链。先建一个同时打两半分的基准，让只会沉默的模型无处藏身；再把模型实际常说的话枚举成词典；再把词典合成成真语音正例，让同一文本既有标空的负例也有标文本的正例；最后在固定其他训练因素下做有无正例的配对微调，看加正例是否同时降低发明并抬高召回。

沿一个样本走一遍：输入一段 30 秒窗内的音频，先经编码器得到声学表示，再经解码器在语言 token 条件下逐词预测；若输入是房间底噪，目标是空转录加结束符，损失只落在转录与结束符上；若输入是合成的感谢观看的朗读，目标是该短语文本，损失同样只落在文本与结束符上。两个样本文本可以相同但音频与标签相反，模型必须用声学差别来决定输出。

幻觉 × 抑制： 幻觉指在没有语音的音频上写出流利但无人说过的句子，抑制指让模型在无语音上输出空字符串；只练抑制会形成一遇到不确定就少说话的先验，而论文把幻觉短语本身再合成为真语音正例，让同一文本既有该闭嘴的负例也有该转写的正例，从而把抑制训练成辨别而非一律沉默。

这个设计回应了前文两条老路的缺口：蒸馏删掉了错误证据，负例只给了闭嘴证据。论文要求训练混合里空白占比从去掉正例时的约七成七降到加入正例后的约 40% 七，这个变化不是混杂因素，而是机制本身，因为正例就是用来稀释空白主导的配重。初学者容易误以为训练损失更低就是更好，后文会用两混合的损失排序反过来证明这点。

词典怎么做，哪些条目不能直接合成？

词典组件的任务是回答模型到底常说什么。论文合并 4 个公开且许可宽松的来源，共 40891 条、覆盖 100 种语言，包括大面积跑无语音音频得到的完整计数、其中精选的子集、社区收集的多语言集合，以及 NVIDIA 管线自带的过滤词表。论文特意把过滤词表反过来用：别人用来删伪标签的句子，这里用来生成训练数据。原始词典不能直接合成，需要两道清洗。第一道去掉循环产物，例如单个字符重复 7 次的条目，这类条目会把字符错误率炸到二十以上，污染比较。

第二道做频次截断，只合成至少出现 2 次的 3882 条、覆盖 85 种语言、中位数两个词，因为只出现 1 次且长达五词以上的多是截断或数字混杂的识别碎片，两个独立合成系统在其上的往返字符错误率都接近 1，说明错在输入而非合成器。

负例 × 正例： 负例是音乐、无语音噪声和野外静音片段，目标是空转录，负责教会模型停下来；正例是把词典里的幻觉短语用语音合成器真正说出来并标注正确文本，负责留住开口能力；两者配对出现时，模型不能靠压低一切文本概率来拿低损失，必须学会看声学证据再决定说或不说。

举一个教学例子：假设词典里有英文感谢观看和马来语对应感谢语，负例是音乐床下标空，正例是有人真正说出这两句并标文本，这就是例子而非论文新增的实测值。真实流程还要做质量门：用识别往返要求能恢复短语且时长合理，并按每语言在真实 FLEURS 上的基线定门，基线本身很差的语言宁可暂不合成。最终合成语料是 29112 条、83 个语言、训练 22845 条测试 6267 条、约 15.8 小时、90% 以上非英语。

词典 × 合成正例： 词典是把模型反复编造的固定短语收集成可枚举的多语言集合，合成正例是把这些条目用选定的语音合成系统按语言朗读成训练音频；词典解决教什么，合成解决用什么声音教，前者提供文本对照，后者提供声学实现，合在一起才构成与负例文本重叠但标签相反的对比信号。

合成器怎么选，声音多样性不够怎么办？

合成组件的任务是把词典文本变成多声音、多语言的真语音。论文在相同文本上按识别往返字符错误率排了 6 个候选，并同时看覆盖语言数，因为覆盖与质量不在同一轴上。结论是自家多语言表达模型在具名说话人模式下平均约 0.221、中位数 0，OmniVoice 自动模式次之并以 646 语言的可枚举覆盖驱动百语言扫荡，覆盖 7233 语言的系统反而一项不胜。

声音多样性是关键细节：OmniVoice 无说话人参数导致 74 语言中有 33 个语言内两两相似度过高，相当于一语言一声音，模型会学到某人的短语而非短语本身。论文比较两条增多样路线，发现直接具名说话人比参考克隆更好，克隆不仅成品率低约一半，声音分离度也更差，因此采用每短语三具名声音补足 26 个语言，约 12000 条通过门限。

语音转换部分进一步说明具名模式是全比较中最清晰且唯一负增量误差的系统，而零样本克隆模式因中位时长变为 3 倍多、近七成超 2 倍长而最差，原因是停不下来而非音色不对，所以正例池只用具名模式构建。

配对微调练什么，优化器与适配器怎么固定？

训练部分以 whisper-large-v3 为起点，做低秩适配与全量微调两族。空白片段的目标是在其语言 token 下的空转录，4 个提示 token 不计损失，损失只落在转录与结尾符上，这就是教会无话可说而非说短话的实现。优化器固定为融合 AdamW，线性衰减加 50 步热身，梯度裁剪 1，半精度，每步有效 16 片，跑 1000 步约 16000 片，最大标签 200 词，种子 0。适配器扫两族：只动 4 个注意力投影，以及再加上两个前馈矩阵，秩取 8 到 128，学习率三档，全量三档更小学习率，共 33 配置乘以两种混合得 66 跑。混合是配对关键：去掉合成正例的混合约 36183 条、空白占七成七，加入 22845 条正例的混合约 59028 条、空白占 40% 七，其余非语音、音乐、马来语音、重复、静音、野外训练完全相同。

注意力适配器 × 前馈适配器： 注意力适配器只改每层的查询键值输出 4 个投影，负责调节信息路由，前馈适配器再加上每层的两个大矩阵，负责改写停不停、写什么的局部映射；论文发现只动注意力几乎学不会安静，加上前馈后同样秩下词发射率大幅下降，说明学会停止的容量主要落在前馈层，而不是注意力路由。

下表是混合中每块数据的分工，复现时必须保持 disjoint，测试集始终 held out，且注意空白占比变化就是要检验的机制。

这张训练组成表说明噪声与音乐教安静、马来语音保准确、重复教不乱跑、合成正例教真短语必须转写、野外噪声教真实嘈杂下安静。它不是结果表，不能用来论证谁更好，但它是复现配比、核对空白占比与小时数的依据。论文还提醒先控优化器再归因数据：曾有 1e-3 学习率下空白重混合损失发散而被误读为数据不好，降到 2e-4 后正常收敛，因此 1e-3 被移出网格。

基准、野外与多语言守卫各测什么，指标方向是什么？

实验条件分四块。第一块是八臂基准，含静音、音乐、无语音三负臂，重复臂，真语音、带噪、孤立短语与英语干净朗读，负臂正确输出为空，重复臂正确为确切次数，其余为转录，训练与测试按构造 disjoint。第二块是合成正例测试 6267 条、83 个语言，每条跑裸片段、前后各加 2 秒数字零、前后各加 2 秒真实房间底噪 3 种 framing，零填充是控制应无影响，底噪是生产分块的真实条件。

第三块是野外池，含带人工标注的会议电话、从流式语料无标注挖掘的片段与本地 aphasia 片段，按录音划分而非片段划分以防近邻泄漏，挖掘只用六连词与无语音活动下出词两种自 evident 信号，不用与参考不一致来定幻觉。第四块是 58 语言各 20 条 FLEURS，按语言平均而非按片段平均，用字符错误率以兼容无空格语言。

词错误率 × 字符错误率： 词错误率按词切分计错，适用于英语等有空格的语言，字符错误率按字符计错，适用于中日泰等无空格语言和跨语言平均；论文用英语 LibriSpeech 词错误率看守门，用 58 个语言 FLEURS 字符错误率看多语言损伤，两者搭配才能发现英语不变但其他语言崩掉的情况。

野外挖掘的产率跨度是理解为什么 curated 语料会低估问题的关键，下表按每听 8000 片计 kept 与比例，录音质量越差产率越高。

这张表显示 AudioSet 高达约五成多而干净朗读低至万分之一，相差数千倍，且同样是播客油管材料的 GigaSpeech 因切到语音而仅约 0.41%。它的代价提示是单看 curated 集会得出问题很小的错误结论，复现挖掘时必须用未切分、带背景噪声的源，且注意循环语料若用某模型挖出则对另一模型不公平。

基线 trade-off 在哪里，最安静的模型付了什么代价？

主结果先看 5 个基线的两半权衡。横轴是三无语音臂按片数 pooled 后的出词率越低越好，纵轴是真说短语召回越高越好，理想左上角是空的，5 个点呈正相关约 0.63，安静的删真语音，准确的在静音上写作。无语音臂上 3 个原版在任一臂都几乎全军覆没，静音 61.9% 起，音乐与无语音更高，而马来 turbo 版在三臂全面最低，静音约 16.7%、无语音约 9.3%。但另一半账本显示它真短语召回仅约 41.1% 对基线 69.8%，重复臂删空达 58%，典型语言 FLEURS 字符错误率约 1.26 且英语 LibriSpeech 仍可持平，说明它是 blanket 少说而非检测器。重复臂上原版失控比例低但 turbo 已有约 5.8% 超发，而马来两版超发与删空双高。

下面先看权衡散点，再看无语音三臂柱状，两张图要在同一小节形成各自闭环。

导读：这张散点把发明放横轴、召回放纵轴，一眼定位每个检查点的整体性格，左上空位就是论文要攻的角落。

看图路径： 1. 先看横轴是无语音上发出词的比例越往右越差，纵轴是真说短语的召回越高越好；2. 再找左上角标注安静且准确的空位，确认五个基线点都不在那里；3. 最后比较右上三个原版点与左下两个马来微调点的连线趋势

论文图 1。原论文 Figure 1:：“Every checkpoint trades one failure for the other.”。

解释：像素显示右上 3 个原版点聚在一起，左下马来 turbo 点孤立在左中，深色圆点虽最靠左但纵轴仅 40% 左右，右下马来 v2 点横轴仍靠右但纵轴更低，虚线对角标注相关约正 0.63。可见没有一点同时安静且准确，单看一侧指标会选错模型，这正是后文必须双半同测的理由。

导读：这张柱状把静音音乐无语音 3 组分开，每组五根柱，正确输出是空串所以柱越高错越多，重点看组内排序是否稳定。

看图路径： 1. 按静音 42 条、音乐 600 条、无语音 1168 条三组分别读五根柱子高低；2. 先确认三个原版模型在任一组都接近顶格，再看最右侧深色柱的下降幅度；3. 注意纵轴是出错比例，柱越低越好，不要反读

论文图 2。原论文 Figure 2:：“Hallucination on the three non-speech arms. Every bar is error, because the correct output is the empty string.”。

解释：像素显示 3 组内都是灰绿橙三根原版柱最高，浅蓝与深蓝马来柱依次降低，且音乐组整体高于静音组，深蓝在无语音组降到 10% 以下。排序跨三臂稳定，说明加负例确实有效，但结合散点可知这种安静伴随召回损失，不能单独作为可部署收益。

要核对无语音错误的具体数值与任取一档都全错的细节，看下表三负臂的出词率与含句号的任输出率。

这张表的主要收益是给出可复述的基线：large-v3 静音 61.9%、音乐 97%、无语音 89.9%，而任输出档 3 个原版全是 100%，说明报告口径不同可差 10 倍以上。代价在下一节用召回与多语言表对照，未胜出项是马来 v2 在静音仅降到 35.7% 但已开始丢多语言，边界是静音仅 42 条、每条约 2.4 个百分点，几点的差异可能是噪声，音乐臂可能含唱歌应以标签验证的无语音臂为准。

有无合成正例的 33 组配对差多少，模块与损失说明了什么？

消融以配对差为核心。33 配置中加正例后野外无语音出词在 31 组下降、召回在 32 组上升、FLEURS 在 31 组下降，中位数差约负 0.118、正 0.186、负 0.107，LibriSpeech 中位数差为零。在守住英语词错误率不超 0.04 的 30 组中，加正例在 30 组更安静、29 组更高召回、28 组更好多语言。最佳单点是注意力加前馈秩 64 学习率 5e-4 的全混合：静音 0.619 到 0.024，野外无语音 0.999 到 0.478，召回 0.698 到 0.827，LibriSpeech 0.035 到 0.041，FLEURS 0.305 到 0.398。去掉正例时安静很少且召回全掉到 0.511 到 0.602，FLEURS 升到 0.522 到 0.809。

最安静的两跑虽到 0.15 与 0.071，但召回与多语言崩坏，属做哑换安静。模块消融显示全混合下加前馈 15 格全胜、中位数降 0.133，而只动注意力全网格仅 0.762 到 0.911 几乎没学会停；去掉正例时加前馈无优势，说明容量只有遇到对比信号才有用。损失是反证：无正例混合终损失中位数 0.322 远低于有正例的 0.621，28 个无正例跑低于所有有正例跑，但召回完全分离，原因是空白好拟合，跨混合比交叉熵是在比混合而非比模型。

导读：这张横条图同时看超发与删空，正确是确切次数，两色越短越好，重点看最安静模型在哪一色上付出代价。

看图路径： 1. 先区分红色超发与蓝色删空两种错误，两者都是越短越好；2. 逐行对比原版三行与马来两行的蓝色条长度差异；3. 重点看最后一行蓝色条延伸到约六成的位置

论文图 3。原论文 Figure 3:：“Both extremes are wrong on repeated speech.”。

解释：像素显示原版三行两色都很短，turbo 红蓝约 5.8% 与 5.2%，而马来两行红色约 10% 四，蓝色分别约 16.9% 与 58%，最后一行蓝色长条直达 60%。这支持只看超发会奖励删空模型的判断，而论文 66 跑在重复臂删空不超 0.006，说明配对方法的安静不是靠删重复换来的。

导读：这张柱状左看英语词错误率右看典型语言字符错误率，同一模型两柱并列，红柱越高代表英语守不住的多语言损伤。

看图路径： 1. 每组先看绿色英语词错误率，再看红色典型语言字符错误率；2. 对比前三组红绿接近，再看后两组红色柱突然拔高到 1 以上；3. 记住纵轴是误差越低越好，红色柱越高代表多语言损伤越大

论文图 4。原论文 Figure 4:：“English accuracy hides what a multilingual fine-tune destroyed.”。

解释：像素显示前 3 组绿红都贴底，large-v3 绿约 0.035 红约 0.075，而后两组绿仍低但红柱拔到约 1.051 与 1.259。这支持英语准确率藏不住多语言崩坏的结论，未胜出项是 turbo 在 FLEURS 循环约 4.7% 对 large-v3 约 0.9%，野外循环本身很少动，配对表野外循环列几乎无变化。

下表把配对 headline 收成可核对的三行，含基线与可运行策略，数据与配置表不能替代它。

表后解释：最佳点同时改善发明与召回是全文最强证据，但代价是 FLEURS 从 0.305 升到 0.398，所有微调都比基线差，只是加正例把损伤中位数从约 0.607 压到约 0.46。反例是全量微调在 1000 步仍在下降，说明 1000 步约三分之 1 epoch 可能欠训练，FLEURS 回归是暂时还是真实成本待更长训练验证。统计上静音臂分辨率粗，野外 4421 条更稳，复现时应以野外与无语音标签验证臂为准。

哪些边界会让结论打折，复现时不能默认什么？

论文自列的限制必须原样保留。正例池过半是合成语音，约两成三是朗读散文，仅约 1/4 是真实对话的砂拉越方言，模型可能同时学到合成器痕迹。全部 16 kHz，无 8 kHz 电话窄带条件。中文与泰米尔正例接近缺席，分别仅十余条与个位数。静音臂仅 42 条，几个点差异是噪声。

音乐臂可能含唱歌，标签为未知，应优先看标签验证的无语音臂。带噪混合是合成混音，无 Lombard 效应与信道。合成过滤用 large-v3 强制语言，天然抬高该检查点对 large-v2 与 turbo 的优势，但解释不了与马来微调三十点的差距。还有两语言无 FLEURS 配置而用严门几乎不收，需另找基线再合成。此外训练仅 1000 步，全量仍在下降，多语言回归可能是欠训练而非数据本质。

复现时不能默认损失可选模型，不能默认英语不变等于多语言不变，不能默认注意力秩越大越安静，也不能把搜索最优当可部署收益，事后最优点需另标。

要复现先做什么，需要哪些数据与计算？

复现先从基准与权重对齐做起。按标识拉取 3 个原版与两个马来权重，用贪心解码、无强制语言、无温度回退跑八臂、合成正例三 framing、野外测试与 58 个语言 FLEURS，核对静音 61.9%、野外无语音 99.9%、召回 69.8% 3 个锚点。资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开，论文文字称发布在某仓库但本次未能确认可达，复现前需自行确认链接与版本。

然后重建词典与合成：合并 4 个许可来源并 vendoring，用频次至少 2 次与去循环规则筛到约 3800 条，再用测得最优的具名说话人模式合成并过按语言基线定的往返门。训练按配对混合重跑秩与学习率网格，保持有效批量 16、1000 步与损失掩码一致，重点比较同配置有无正例的配对差而非跨混合损失。硬件按单 GPU 每跑计，66 跑总量不小，先跑秩 64 学习率 5e-4 全混合与对应无正例两跑验证 headline，再扩展网格。部署前必须加 FLEURS 守卫与重复臂双极检查，否则会把做哑模型当改进。

何时值得尝试这种正负配对，还需补哪项验证？

当系统必须在无语音上输出空且不能依赖外部语音活动检测或解码阈值时值得尝试，例如换到不实现这些旋钮的服务栈，或教师伪标签正在把幻觉传给学生时。适用条件是幻觉可枚举且能合成目标语言的真语音，若目标语言合成质量门过低或正例极少，不应硬上。预期收益是野外无语音出词下降约 10% 量级且召回不降反升，代价是多语言字符错误率仍高于基线约 10% 以内，需评估是否可接受。

还需补的验证包括更长训练看 FLEURS 回归是否消失、对 turbo 的第二阶段验证、电话窄带与真实对话正例的泛化、以及按声学条件细分的幻觉率而非总体平均。常见误解是块列表已够用，论文显示它只在已知空白时有效；另一误解是加负例就够，测量显示那会学成 blanket 沉默。记住顶层判断：修教师权重且给双半信号，才能同时安静与准确，外挂与过滤只能删证据或换栈即失效。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-29 语音/音乐/音频论文速递