噪声下谁还听得清：经典与神经语音编码的可懂度对决

英文题目：Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs

会议身份：conference:interspeech:2026:conference-paper-id:behringer26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#众包评测 #鲁棒性 #语音可懂度评估 #语音编码 #语音增强

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Lyonel Behringer：机构信息未能从会议 PDF 纯文本可靠映射
• Anna Leschanowsky：机构信息未能从会议 PDF 纯文本可靠映射
• Anjana Rajasekhar：机构信息未能从会议 PDF 纯文本可靠映射
• Emily Kratsch：机构信息未能从会议 PDF 纯文本可靠映射
• Guillaume Fuchs：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作研究实时通信中语音编码在噪声下的句子可懂度保持问题，输入为干净、加噪与增强后语音，输出为转写可懂度分数与听努力评分，难点在于低码率神经编解码在噪声下可能幻觉且质量分无法反映内容丢失。方法链分四步衔接：先从Clarity语料选句并与DEMAND噪声按多信噪比混合，再用DeepFilterNet2做编码前增强，接着经6种经典与神经编解码处理，最后经众包转写与听努力打分并与客观指标关联。相对已有干净语音质量评估与词级可懂度测试，该链条以自然句开放集模拟真实通信，并用听努力缓解天花板效应。与EVS在5 dB信噪比下对比显示，未增强LPCNet可懂度显著更低，而增强带来显著改善，同时Whisper-B客观可懂度在条件级与主观分Pearson相关达0.973。结论限于英语小规模众测与4类噪声，低信噪比一致性下降且未验证多语言与真实部署链路。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要为研究生讲清这篇论文在解决什么通信问题？

这篇论文的输入是真实通话中必然遇到的带噪语音，目标是回答编码后还能听懂多少。作者开场就把底线讲得很直白：保持言语可懂度是语音编码在通信中的最低要求。初学者容易把注意力全放在音质好不好听上，但论文提醒，音质方法无论主观还是客观在神经编码评估里占主流，可懂度同样被推荐却做得很少。特别是生成式神经编码，即使在干净语音下也可能出现内容幻觉，也就是声音好听但词错了，这种错误在只看整体质量的无参考测试里不容易暴露。

目标读者是刚进入语音音频领域的研究生，所以要先建立学习依赖：先理解任务是句子级可懂度，再理解为什么要在噪声下测，最后才看增强是否有用。论文把场景锚定在实时通信，比如低时延、有环境噪声、可能带语音增强的链路。研究对象包括经典编码和极低码率神经编码，输出是人的转写正确率和听音努力评分，以及与客观指标的相关性。需要保留的关键信息是全部结论都依赖具体的噪声类型、信噪比、是否增强和众包听音条件，不能脱离这些条件谈谁好谁坏。

已有路线走到哪里：质量评价与可懂度评价有何分工？

相关工作可以按输入、目标和运行阶段分成 3 条线。第一条是神经编码的常规评价，大多只在干净语音下报告整体质量，用主观方法或客观方法，本文明确指出这类工作往往不区分干净与带噪性能，也不做显式的可懂度评估。第二条是噪声下神经编码可懂度的零星尝试，有的只用短时客观可懂度这类客观指标，有的用词级主观可懂度在干净和带噪下测提交系统，作者表示据其所知还没有在句子级主观评估神经编码的工作。句子级之所以重要，是因为它更接近真实通信，有上下文信息，属于开放回答集，难度高于封闭词汇表测试，但上下文线索又会降低难度。

第 3 条是句子级可懂度在编码之外领域的用法，比如语音增强、可懂度预测、近端听音增强，都面临天花板效应和开放回答评分难的问题。常用对策是采用开放回答集，以及加测听音努力等多维信息。本文正是把这两个对策搬过来。另一条对照是客观与主观可懂度的相关性，已有工作在干净条件下发现短时客观指标相关不错而识别词错率相关不好，但在噪声下还没有类似比较。单通道语音增强还可能恶化识别词错率，但缺乏与主观评价的对照。本文的定位就是补上噪声下主观句子级评估、增强前处理影响和客观指标对照这三块缺口。

问题如何定义：测什么、跟谁比、什么算变好？

论文把问题拆成 4 个可操作的子问题。第一，在多种噪声类别和多个信噪比下，不同神经和经典编码的句子级可懂度如何变化。第二，听音努力能否在可懂度饱和时拉开差距。第三，在编码前加语音增强的流水线是否有效。第四，主观结果与一系列客观指标的相关性如何。每个问题都有明确的比较对象和方向：可懂度分数越高越好，词错率越低越好，听音努力分数越高表示越省力，客观指标与主观分数的相关系数越高、误差越小越好。

举一个教学例子帮助理解流程，但例子不代表论文数据：假设一句参考文本有 10 个词，听者写对 9 个，则可懂度为 0.9，漏词、多写和错词会体现在词错率里。论文同时计算两者，并报告两者高度相关后正文只展示可懂度。统计上用线性混合效应模型，把编码器、噪声类型、信噪比和是否增强作为固定效应，加入编码器与增强的交互项，并为句子编号设随机截距，多重比较时做校正。这意味着判断显著与否已经考虑了句子之间的难度差异，而不是直接比平均数大小。

方法全景：一个句子从录音到分数要走过哪些关卡？

沿着一个样本走完全程最容易建立整体感。起点是从清晰语音库中选出的自然句，作者选了 4 位说话人男女各半、共 48 个不重复句子，并用算法近似保证每位说话人的音素覆盖。每个干净句子会混入 4 种代表性噪声，混音信噪比覆盖低中高 3 档。带噪句子再分成 2 路，一路直接送编码器，一路先过实时增强模型再送编码器。干净句子按原文说明不做增强，因为预实验显示几乎无差别。所有条目统一响度并重采样到 16 kHz，个别在 24 kHz 工作的编码器中间会再做 1 次重采样，最终共生成 2352 个待测条目。

听音阶段采用不完全区组设计，每个会话随机抽 48 个条目，保证同一听者不会听到重复句子以避免学习效应，每个会话还埋 3 道陷阱题，答错至少 1 道就剔除。听者要做 2 件事：听写听到的句子，以及按 5 级量表评价听音努力，允许重放，完全听不懂就填指定标记。转写文本要经过小写、去标点、去多余空格和数字转词形等归一化，再按正确词数除以参考词数算可懂度，同时算词错率。最后把主观分数与短时客观指标和多种识别模型的客观可懂度做映射后的相关分析，分为按样本和按条件聚合 2 个粒度。

编码器与增强模块各自负责什么：六种编码器如何选型？

被测编码器共 7 个条件，含未编码参考和 6 种编码器。经典侧选了两代蜂窝通信代表，分别工作在最低或接近最低码率，延续波形逼近的分析合成思路。神经侧选了研究时已开源、复杂度与因果性各不相同的极低码率代表：早期结合传统信号处理与神经网络的方案、面向手机实时运行的生成式方案、复杂度很高且非因果但质量很好的方案，以及带变换器瓶颈和语义解耦的低码率方案。增强侧用的是可在嵌入式设备实时运行的增强模型，复杂度约 0.7 吉浮点运算。

语音编码 × 言语可懂度： 语音编码负责把说话人波形压缩成低码率码流再重建，言语可懂度负责衡量听者能正确转写多少词，二者搭配的原因是码率再低也不能丢词义，组合意义在于把质量评价之外的底线通信能力显式拿出来检验。

神经语音编码 × 经典编码： 经典编码如基于码激励线性预测的方法靠波形逼近和分析合成保真，神经语音编码靠残差矢量量化和生成式解码器在极低码率下重建，二者搭配比较的原因是新方法码率低但训练多见干净语音，组合意义在于看低码率优势是否以噪声鲁棒性为代价。

语音增强 × 编码前处理： 语音增强负责在编码前压制背景噪声，编码前处理负责决定增强后的信号以何种采样和响度进入编码器，二者搭配的原因是模拟真实通信链路中先降噪再编码的流水线，组合意义在于检验增强是挽回可懂度还是引入新的失真。

下表提出比较问题：在相同句子和噪声下，不同码率和架构的编码器起点是否公平，指标方向是码率越低越好但可懂度越高越好。表前公平条件是所有条目都经过相同响度和采样处理，只是工作采样不同者多 1 次中间重采样。表中码率数字来自原文连续句，转写时保留 1 位小数与单位写法。

表后解释是码率不能单独决定可懂度，经典编码码率高但噪声稳健，神经编码码率低但对噪声更敏感，非因果与高复杂度不代表在噪声下自动更好。未胜出项的例子是最低码率并不等于最差体验，后文听音努力分析中会出现反例，因此需要结合噪声和增强条件一起看。

本研究训练了什么：无训练评价如何保证可重放？

本研究没有训练任何新的编码器或增强模型，这一点必须先说清，以免误以为结果来自新模型训练。所有编码器和增强模型都是调用已有公开实现或已有权重，论文的计算工作集中在数据构造、众包标注、转写归一化、分数计算和统计建模。没有梯度更新、没有参数冻结与解冻的对照，也没有为提升噪声鲁棒性而做的专用训练，因此不能从模型名字推定其训练数据或架构细节，原文未报告的训练缺项就明确记为缺项。

可重放的关键在于构造与筛选流程。句子选择、混噪比例、信噪比档位、增强开关、响度归一化和重采样顺序都有交代，听音会话的随机抽样、陷阱题剔除、英语能力初筛和主试后筛查也都有阈值。初筛要求在干净句上词错率不超过 10%，主试后要求干净部分词错率不超过 30%，并剔除乱码式转写。最终收集到 7670 条有效回答，来自 160 名参与者，每个条目至少 3 条有效回答以便考察标注者间一致性。复现时应先复刻这套筛选与聚合口径，再谈分数高低，否则同样的音频也可能得到不同的平均分。

实验条件如何控制：数据、噪声、听音者与指标是什么配置？

数据侧用清晰语音库的子集，强调自然句和在助听领域的既有使用。噪声侧用多环境噪声库中的 4 种代表：起居室、餐厅 babble、汽车引擎和地铁。每位说话人的干净条目与 4 种噪声等比例混合，每种噪声 12 个不同句子。混音、增强、重采样和编码的顺序固定，干净条目不增强。听音侧部署在众包平台，限制母语为英语国家的工人，每小时报酬 10.5 美元，采集知情同意和人口学信息。会话先做四句干净句的语言筛查，再进入主测试。

下表要回答的比较问题是不同信噪比与噪声是否覆盖从易到难，公平条件是同一句子只被同一听者听 1 次且每个条目至少 3 人作答。指标方向是可懂度越高越好，听音努力越高越省力，客观指标与主观的相关越高越好。

表后解释是条件设计兼顾广度与成本，不完全区组保证每人只听 48 条加陷阱题，代价是在极低信噪比下标注者间一致性下降。原文报告干净与 25 分贝参考条目一致性可接受，低信噪比下降既可能是任务变难，也可能是听者差异，原文明确说不能排除后者，这为后文限制讨论埋下依据。

主结果：噪声越大经典与神经编码的差距如何拉开？

主结果围绕可懂度随信噪比的变化展开。在干净和 25 分贝条件下，参考和所有编码器都接近天花板，拉不开差距。以整体最强的经典编码为锚点做两两对比，差异出现在 15 分贝和 5 分贝。在 15 分贝，该锚点显著高于无增强的两个神经编码。在 5 分贝，该锚点显著好于无增强的多个神经条件以及有无增强的另外两个神经条件。

与参考对比显示参考与经典编码无显著差异，但与无增强的全部神经编码有差异，而最弱的神经编码被其他所有编码显著超过。综合起来，论文报告经典编码比神经编码更抗噪，且差距随信噪比降低而扩大。

以下导读帮你进入主图：把横轴看成难度轴，纵轴看成正确率轴，重点看低信噪比块内点群是否下坠。

看图路径： 1. 先看横轴四个大块从左到右是噪声由重到轻再到干净；2. 再看纵轴是可懂度分数越高表示听写越准；3. 对比同一块内蓝色系无增强点与绿色系有增强点的上下关系；4. 注意最左侧低信噪比块内各类编码点位的分散程度与误差线长度

论文图 1。原论文 Figure 1：“Subjective mean intelligibility score for clean and noisy conditions with confidence intervals, with and without SE.”。

图中可见最左侧 5 分贝块内部分神经编码点明显下探且误差线拉长，而经典编码点仍靠近参考点。中间 15 分贝块内差距收窄，右侧 25 分贝和干净块内各点基本挤在顶部。这支持原文判断，但也要看到同一编码在不同噪声下并非一致，后文噪声热图会揭示反例。听音努力与可懂度的关系也在这里埋下伏笔：当分数顶到天花板，平均数看不出差别，需要换一个维度。

听音努力 × 可懂度饱和： 可懂度饱和指转写正确率顶到天花板后拉不开差距，听音努力指听者为听懂需要付出多少费力程度，二者搭配的原因是前者失效时后者仍能分出高下，组合意义在于用 5 级量表补充天花板条件下的听感差异。

客观可懂度 × 自动语音识别词错率： 客观可懂度指用算法预测人能听懂多少，自动语音识别词错率指识别转写与参考文本的差异，二者搭配的原因是主观听写太贵太慢，组合意义在于验证在按条件平均后识别结果能否代替人工打分。

天花板下看什么：听音努力如何分出高下？

为检验听音努力能否解决天花板效应，作者只取可懂度不低于 0.95 的子集重新拟合模型。此时可懂度已无显著差异，但听音努力仍能分出高下。结果显示某一高质量非因果神经编码所需努力显著少于除参考外的所有其他条件，而某一经典编码和某一早期神经编码所需努力相近且显著多于其他条件。听音努力是与可懂度不同的听感维度，但这一结果支持把它作为可懂度饱和时的补充评价。

以下导读帮你看补充维度的条形图：纵轴越高越省力，字母相同表示分不出差异。

看图路径： 1. 先看纵轴是听音努力平均意见分越高表示越省力；2. 再看横轴七个条形从参考到六种编码器的排列；3. 注意每个条形顶端的字母标记相同字母表示差异不显著；4. 对比最高条形与最低两个条形之间的高度差和误差线

论文图 3。原论文 Figure 3：“Listening effort MOS with compact letter display for subset where SI >= .95. Higher MOS means less effort re- quired.”。

图中可见最高的条形带有独立字母，最低的两个条形共享同一字母，参考条形横跨两个字母组。这意味着即使转写全对，听者仍能感到费力程度不同。客观指标对照也在条件级给出强相关：基于识别的客观可懂度在条件级的相关高于短时客观指标，其中较小的识别模型在条件级取得最好的两项相关和最高的样本级排序相关，较大的识别模型在样本级取得最好的线性相关。条件级远好于样本级，说明客观指标适合做条件级筛选，不适合逐条代替人工。

增强与噪声类型：什么条件下增强才真正帮忙？

把增强当作可插拔的前处理来做消融，比较问题是同一编码加增强前后是否显著变化。模型估计的增强主效应与交互项显示，无增强时受噪声影响大的 3 个神经编码获得显著可懂度提升，提升量分别为 0.060、0.082 和 0.036，对应的统计量与显著性在下表中给出，而经典编码、另一神经编码和参考的变化不显著。提升最大的位置正是低信噪比下神经编码恶化最严重处，说明增强缩小了经典与神经的差距，使低码率在恶劣条件下仍能保持高可懂度。听音努力方向一致，4 个条件显著改善，另一经典编码也有小幅显著改善，其余不显著。

下表先问增强收益是否只集中在少数编码器，公平条件是同一混合模型下的增强与无增强对比。指标方向是可懂度差值为正越好。

表后解释是收益与代价并存：增强对受损最重的编码帮助最大，但对本来就稳健的经典编码几乎无增益。噪声类型进一步揭示边界，最难的是餐厅和地铁噪声，两者频谱覆盖广。在 15 分贝，无增强的个别神经编码已在这两类噪声上相对参考下滑。到 5 分贝，神经编码恶化加重，经典编码也在一类噪声上出现轻微下滑。增强主要在这些难噪声上挽回分数，但也出现反例，即某一神经编码在起居室噪声 5 分贝下加增强反而变差。

以下导读帮你读噪声热图：先按行找最难的噪声，再按列对比增强前后。

看图路径： 1. 先看行标签区分四种噪声与两种信噪比共八行；2. 再看列标签左侧为无增强右侧为有增强的七种条件；3. 重点找颜色最深的格子集中在哪几行哪几列；4. 对比同一编码左右两侧增强前后格子数值的变化方向

论文图 2。原论文 Figure 2：“Noise-specific median SI. The x-axis indicates the codec and potential SE, the y-axis noise type and SNR.”。

图中可见餐厅 5 分贝行左侧深色格集中在神经编码列，右侧增强后颜色变浅，而汽车行无论左右都偏浅。起居室行的个别格在增强后反而变深，对应原文提到的下降反例。这说明总体趋势不等于每组都成立，复现时必须按噪声分开报告，不能只报平均信噪比。

边界与不确定性：哪些结论不能推广？

论文明确报告的限制首先是低信噪比下标注者间一致性下降。干净和 25 分贝参考条目的一致性系数在 0.67 到 0.75 之间属于可接受，低信噪比下降，作者同时保留两种解释：任务变难和听者不完全重叠带来的个体差异，明确说不能排除后者。这意味着 5 分贝附近的精确数值不宜过度解读，更稳妥的是看跨编码的排序和显著性。

其次是噪声与条目的覆盖有限。每种噪声每种信噪比的中位数只基于少量条目，热图只能强调大幅差异，细小差异可能是抽样波动。增强只用了一个实时模型，只增强带噪条目，换模型或增强干净条目可能得到不同结果。编码器只选了研究时的开源代表和特定码率，改码率、换训练数据或改架构都会改变噪声鲁棒性，原文未来工作也提到需要多语言评估和专用训练来严格归因。

最后是相关性不等于因果，客观指标在条件级高度相关不代表能逐样本替代人工，样本级相关明显更弱。未测量的误判率、延迟和算力成本也不能从可懂度改善中推定得到改善，推理开销与实际延迟要分开讨论。

复现先做什么：按什么顺序重建流水线？

复现应按数据构造、处理流水线、主观协议、分数计算、统计与客观对照的顺序推进。先准备清晰语音库子集，用算法选出 48 个不重复句子并记录说话人与音素覆盖，再准备 4 种噪声并按 5、15 和 25 dB 混音，保持每人每噪声 12 句的比例。响度归一化到 -24 dBov，首尾各留 2 s 静音，再统一到 16 kHz，个别编码器按需中间重采样。增强只作用于带噪条目，编码器覆盖参考与 6 种编码的有无增强组合。

主观部分先搭转写加听音努力界面，允许重放，听不懂填指定标记。会话按不完全区组抽 48 条，保证同句不重复，埋 3 道陷阱题。众包限制英语母语国家，先做 4 句干净句筛查，阈值为词错率不超过 10%，主试后按干净部分不超过 30% 和乱码规则再筛，保证每条至少 3 人作答。分数部分先做小写去标点去多余空格和数字转词形，再算正确词数占比和词错率。统计用带句子随机截距的混合模型并做多重校正，客观部分用 3 阶单调多项式映射后算 2 种相关与误差，区分样本级与条件级。资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开，一切以原文链接与实现版本为准。

何时值得尝试这条路线：给新生的行动清单

如果你的场景是实时通信且可能遇到餐厅、地铁这类宽频噪声，这篇论文的行动含义很直接：先保证可懂度底线，再谈音质上限。经典编码在噪声下更稳健，神经编码在低码率上有吸引力但噪声短板明显，编码前加实时增强是值得优先尝试的低成本补救，尤其当你观察到神经编码在低信噪比下明显掉字时。但要记住增强不是万能，它对本来稳健的条件几乎无增益，对个别噪声甚至可能变差，因此上线前必须按噪声类型分开评估。

当可懂度顶到天花板，不要只报正确率，加测听音努力能看到省力程度的差异，这对长通话体验更有指导意义。想用客观指标省钱时，只在按条件平均后信任识别类指标，逐条替代人工仍不可靠，且小模型也可能够用，不必一味求大。常见误解是把平均改善当成处处改善，或把客观相关当成因果保证，或把无训练评价误读为确定性求解。正确做法是固定句子、噪声、信噪比、增强开关和筛选口径，保留码率、延迟和算力等代价一起报告，再补做未覆盖噪声和多语言验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总