不用干净语音和 transcript，能否用端到端识别的不确定性估计每个词的可懂度

英文题目：BLIND, MICROSCOPIC METRICS OF HUMAN SPEECH INTELLIGIBILITY USING END-TO-END SPEECH RECOGNITION

会议身份：conference:eusipco:2026:conference-paper-id:0000161

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#Transformer #言语感知 #语音 #语音可懂度评估

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Wißmann, Alexander：机构信息未能从会议 PDF 纯文本可靠映射
• Riegel, Jasmin：机构信息未能从会议 PDF 纯文本可靠映射
• Zeiler, Steffen：机构信息未能从会议 PDF 纯文本可靠映射
• Reichenbach, Tobias：机构信息未能从会议 PDF 纯文本可靠映射
• Kolossa, Dorothea：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音可懂度预测需在无干净参考与无转录的盲条件下仅从退化语音估计人耳词识别率，难点是端到端识别缺乏帧级对齐且束搜索引入语言偏置，导致内部不确定性难以定位到词。该方法先在GRID语料上以混合CTC注意力架构训练端到端识别器，并以Musan环境噪声、双人巴布尔噪声与语音形噪声增强训练数据，输出编码后验与解码后验作为后续度量基础。接着从注意力解码步后验、CTC束搜索后验与CTC帧级后验三类内部表示抽取词元分布，前者的分布离散度进入下一步计算，后者的帧级后验保留时间对齐以支持微观切分。然后以熵、平均时间距离与离散度量化分布离散与时序不稳定，并按词或整句平均分别形成微观与宏观指标，直接以不确定性代理听辨难度。相对依赖干净参考的短时客观可懂度类侵入式指标与需转录的识别错误率基线，以及传统深度神经网络隐马尔可夫对齐方法，该差异使端到端模型在保持完全盲估计的同时兼顾开放词表与多语潜力，具有实时优化意义。在GRID语音形噪声任务评测设置下，低信噪比条件的信噪比指标为-14 dB，从低信噪比条件的信噪比指标-14 dB升至高信噪比条件的信噪比指标6 dB。该结论适用边界受限于封闭矩阵句、语音形噪声与正常听力受试者，尚未验证开放词表、真实混响与听损人群的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://doi.org/10.1109/TASLP.2018.2856374 → https://ieeexplore.ieee.org/document/8411476/ — 链接可访问（HTTP 202） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文在什么信息条件下工作？

本文的输入是一段可能被噪声污染的语音，目标是预测人能听懂多少。初学者可以这样理解任务：给系统一段带噪的英文矩阵句，让它输出一个数，这个数要能复现人耳在同样条件下的关键词识别正确率。论文把人工听音实验称为金标准，但人工实验慢、贵、费力，所以需要语音可懂度预测来替代部分人工评估，还可以用来指导语音增强或助听器实时选择处理策略。

必须保留的信息条件是本文做全盲预测。白话解释，全盲就是计算指标时不看干净语音，不看正确文本，也不看过去的人评分数。英文是 blind 或 non-intrusive。论文反复强调这一点，因为很多经典方法需要干净参考或正确文本，一旦进入实时优化就不可用。本文的基线是直接用端到端识别结果当可懂度，这条基线需要正确文本才能算对错，所以是半侵入的，而本文提出的不确定性指标不需要文本，信息条件更弱。

语音可懂度预测 × 盲估计： 语音可懂度预测负责把声学条件映射为人能听懂多少的分数，盲估计负责在没有干净参考信号、没有正确文本、没有历史分数的条件下完成这种映射，二者搭配的理由是实时选助听策略或在线优化增强时参考不可得，组合意义是只用带噪语音本身的识别器内部状态给出可懂度代理量。

宏观预测 × 微观预测： 宏观预测负责给较长一段话一个总体分数，微观预测负责给单个词或单个声学单元一个是否可懂的判断，二者分工不同是因为前者适合评估系统整体，后者能定位哪个关键词丢失，组合意义是本文先用宏观相关性验证指标有效，再把同一类不确定性下沉到词级做相关和分类。

本文的输出分两层。宏观层按句输出一个不确定性值，用它与人识别分数的排序相关性评价好坏。微观层按词输出一个不确定性值，先看它与人对错的排序相关和互信息，再把它当作逻辑回归的唯一输入特征，做每个关键词听懂或没听懂的二分类，用准确率评价。教学例子：GRID 句中的颜色词、字母词、数字词是关键词，人只转写这些词，机器也只在这些词位上被评价，这就是后文反复出现的按关键词分析。

已有路线按需要什么参考信息如何划分？

最早的可懂度预测多是侵入式宏观指标。发音指数、语音传输指数、语音可懂度指数按 psychoacoustically 加权的频带信噪比或调制度来量化，这类方法需要参考信号。短时客观可懂度用参考语音和带噪语音的谱包络在短时帧上的相关性做预测，论文把它归为微观但仍侵入，因为它要干净参考。初学者记住划分钥匙：要干净语音就是侵入，要正确文本就是弱侵入，什么都不要才是盲。

另一条路线是用语音识别模拟人耳。最早的做法是把识别错误直接当可懂度，这不需要干净语音，但需要正确文本才能算错，所以仍侵入。进一步的全盲做法是不看识别对错，只看识别器内部变量的不确定性，声学变难时人和机器的内部表示会同时变犹豫，用犹豫程度代理可懂度。已有不确定性包括离散度、熵和平均时间距离，也称 M 测度。

在识别器结构上，已有盲预测多基于深度神经网络加隐马尔可夫混合结构。这种结构天然有时间对齐，适合做帧级预测。现代识别多用基于注意力的编码器解码器结构，也称端到端结构，在数据充足时词错误率、词汇量和多语言支持更好。已有工作显示端到端内部状态在宏观尺度上也能预测可懂度，但其他内部表示、其他不确定性度量以及微观尺度尚未充分探索，这正是本文要补的位置。资源状态方面，文末参考文献给出一条第三方链接，RESOURCE_1 当前可用，状态码为 202，地址为 https://doi.org/10.1109/TASLP.2018.2856374，可用于核对侵入式指标综述的出处信息。

本文要回答的具体问题是什么？

本文要回答的问题是：注意力端到端识别器的哪些内部后验，用哪种不确定性算法，在宏观和微观两个尺度上与人识别结果最一致，能否在完全不看文本的条件下超过直接用识别对错的基线。问题限定在 GRID 矩阵句上，句式固定为命令词、颜色词、介词、字母、数字、副词，颜色类 4 个备选，字母类 25 个备选，数字类 10 个备选，人只评颜色、字母、数字 3 个关键词。

这个问题之所以值得做，是因为端到端模型同时产出逐帧和逐解码步两类后验，而束搜索只保留最可能路径，词边界需要额外估计。不同后验的时间分辨率不同，对空白符的处理不同，计算代价也不同。如果只看识别对错，会丢失犹豫信息，也摆脱不了对文本的依赖。本文把比较固定在同一识别器、同一评价数据、同一聚合方式下，只换内部表示和不确定性算法，这样相关性和分类准确率的差异才能归因到指标本身。

方法全景：一个样本如何从波形走到词级分数？

沿一个 3 秒 GRID 样本走一遍。输入是时域波形，先按 25 毫秒帧长、10 毫秒帧移提取 80 维梅尔系数加基频估计及其差分，得到声学特征矩阵。编码器先用 2 次 2 维卷积把时间分辨率压缩，再用 4 层多头自注意力得到编码后语音特征。解码侧并行有两个解码器：基于连接时序分类的解码器输出逐帧词符后验，基于注意力的解码器输出逐解码步词符后验，再加一个嵌入词汇和语法的静态语言模型给出语言分数。单遍束搜索综合这 3 路分数迭代产生最可能的词符序列。

得到序列后，方法分叉为两类表示。第一类是逐帧表示，记为 CTC 后验，维度是帧数乘以字母表大小。第二类是逐解码步表示，把束搜索每一步的注意力后验和 CTC 分数按解码步累积，得到两个步级后验矩阵。本文只取束搜索中最可能的假设，不展开多假设树。词边界按来源不同用两种方式估计：步级表示用束搜索给出的边界，帧级表示用维特比算法在后验图上找最可能路径。

最后把不确定性聚合到目标尺度。对句级，把全句所有步的熵或时间距离平均。对词级，只平均落在该词边界内的步，再把每个关键词的不确定性与该词被人听对还是听错对齐。这样每个词对应一个机器犹豫值和一个人对错标签，后续才能算相关和训练逻辑回归。

三种内部表示和三种不确定性各算什么？

先讲 3 种内部表示的分工。逐帧 CTC 后验保留完整的帧对齐，适合做需要起止时间的词级分析，但需要额外构造隐马尔可夫模型才能得到词边界。束搜索累积的注意力后验直接反映解码器在每一步的犹豫，天然是词或子词粒度的声学加语言混合信息，但时间上是抽象的解码步，没有帧对齐。束搜索累积的 CTC 分数则是把帧级 CTC 信息投影到解码步上，兼顾声学细节和解码上下文。论文的宏观和微观比较始终在这 3 个表示上平行展开。

再讲 3 种不确定性的计算目标。熵针对每一步的分布计算负概率乘以以 2 为底对数再求和，单位是比特，分布越平熵越高。实现上对词内所有步平均得到词熵，对全句所有步平均得到句熵。平均时间距离针对相隔固定步数的两个分布算库尔贝克散度再在全句平均，干净语音时分布随语音单元快速变化，距离大表示确信，噪声下分布变平且随时间不变，距离小表示犹豫。离散度针对一个词位，把声学观测给定不同备选词序列的似然两两做对数比再平均，备选越难分值越小或越大取决于实现方向，论文用它度量词级竞争。

编码器-解码器端到端识别 × 混合 CTC 注意力束搜索： 编码器-解码器端到端识别负责把梅尔特征加基频特征编码为高维语音表示并直接解码为词符序列，混合 CTC 注意力束搜索负责在每一步同时用注意力解码分数、CTC 分数和语言模型分数选最可能的下一个单元，二者搭配的理由是 CTC 给出逐帧可对齐的后验而注意力解码给出逐解码步的后验，组合意义是 1 次前向加搜索同时产出 3 种可算不确定性的内部表示。

信息熵 × 平均时间距离： 信息熵负责在单个时间步或解码步上度量后验分布有多平坦，平均时间距离负责度量相隔固定帧数的两个后验分布之间平均有多不相似，二者分工是前者看瞬时犹豫后者看分布随时间是否还跟得上语音变化，搭配原因是噪声会同时让分布变平和让时间变化变小，组合意义是提供两种互补的不确定性视角再分别在句级和词级平均。

离散度 × 维特比强制对齐： 维特比强制对齐负责在 CTC 逐帧后验图上找到每个词最可能的起止路径并为替换后的备选词重新打分，离散度负责把同一词位上多个备选词声学似然两两对数比的平均作为竞争激烈程度，二者搭配的理由是离散度需要每个备选词的可比分数而 CTC 后验本身没有词边界，组合意义是把声学竞争显式化，尤其适合字母这类备选项多的关键词。

需要特别说明空白符。CTC 需要空白符才能在无对齐条件下训练，所以逐帧后验中空白符常占主导。两个相隔多帧的分布可能都是高置信空白符，距离很小，会被误读为高不确定。论文明确指出平均时间距离没有专门处理空白符，这在词级多空白帧时偏差最明显，是理解后文熵优于时间距离的关键机制。

识别模型如何训练，预测器本身是否训练？

识别模型训练使用 GRID 语料。GRID 是英语视听语料，34 名母语者，每人 1000 句，每句 3 秒，共约 28.33 小时。论文取 70% 训练，15% 验证，15% 测试。训练时每句随机选一个信噪比，范围是负 9 分贝到 9 分贝，步进 3 分贝。数据增强在训练时加入 Musan 环境噪声、把两路 Musan 语音叠加的巴伯噪声，以及按 GRID 长时谱设计有限冲激响应滤波器过滤白噪声得到的言语形噪声。模型批量大小为 16，训练 100 轮，基于 ESPnet 框架改编混合 CTC 注意力结构，编码器有卷积下采样加 4 层 4 头自注意力，注意力维度为 1024，解码侧同时用 CTC 损失和标签平滑损失，语言模型是嵌入 GRID 词汇和语法的静态模型，以音素为声学单元。

预测器本身在相关性分析阶段不训练，只是把不确定性值与人分数算排序相关。在微观预测任务中，论文用逻辑回归把单个不确定性值映射为听懂或没听懂，用 5 折交叉验证训练和评估。训练数据来自所有关键词和所有条件，测试时按具体关键词和具体条件切分评估。原文没有报告识别器优化器类型、学习率、梯度如何在 CTC 与注意力分支之间加权、语言模型权重在束搜索中的具体数值，也没有报告逻辑回归的正则化系数，这些是复现时需要补看代码或按默认重建的缺项，不能从模型名称推定。

评价数据、划分与指标如何对应？

评价用人耳数据。数据来自 20 名正常听力受试者，听力水平在 250 到 8000 赫兹范围内优于 20 分贝听力级。每人听 100 句带加性言语形噪声的语音，信噪比覆盖负 14 分贝到 6 分贝再加干净语音，只转写颜色、字母、数字关键词。论文排除 17 号和 18 号受试者，原因是技术不一致。行为指标是人在关键词上的词错误率或识别正确率，机器侧是句级或词级不确定性，比较时按句或按词对齐。

为核对实验条件，把训练与测试的信噪比安排整理如下。训练用较宽的随机信噪比做增强，测试用人评数据的固定信噪比加干净条件，评价时既看跨所有信噪比的总体相关，也看按信噪比切分的预测准确率。

上表后需要说明聚合口径。宏观相关是跨所有信噪比按句聚合，用斯皮尔曼排序相关以容纳非线性。微观相关是按颜色、字母、数字分别聚合，用斯皮尔曼相关和互信息双视角。微观预测是每个关键词样本独立二分类，用准确率。原文未报告置信区间或显著性检验方法，因此不能把小数点后差异解读为统计显著，只能说数值高低和趋势。

宏观尺度上哪种表示与人的排序最一致？

宏观比较要回答的问题是：在整句尺度上，熵和平均时间距离谁更接近人的排序，直接用识别对错的基线又在哪里。公平条件是同一识别器、同一人评数据、同一跨信噪比聚合，指标方向是熵越小越确信所以与人正确率正相关，时间距离越大越确信所以方向相反，比较时看绝对值或符号一致的相关强度。

上表后的解释需要同时讲收益与代价。报告显示熵类指标在 3 个表示上都达到约 0.67 的排序相关，高于基线，也高于时间距离类。CTC 相关表示略强于注意力表示，帧级与步级 CTC 熵数值相同，说明声学信息的提取和整合更贴近人理解。代价是熵仍需可靠的词边界或句平均，帧级熵依赖维特比与隐马尔可夫构造，步级熵依赖束搜索边界。时间距离未胜出，论文给出的机制是空白符主导导致距离被压小，这与前文组件节的提醒一致。基线需要文本，在实时无文本场景不可部署，这是即使相关接近也不能选基线的理由。

微观尺度上词级犹豫能否复现每个词的对错？

微观比较把粒度下沉到词。比较问题是：对颜色、字母、数字 3 类词，熵、时间距离、离散度谁与人的对错更一致。公平条件是同一词边界估计流程，同一按词类切分，指标仍是斯皮尔曼相关绝对值和互信息，基线仍是端到端识别结果，用直线和虚线在图中标出。原文用文字总结了方向：基于 CTC 的熵和离散度在 3 类词上都超过基线和替代指标，在备选项多的字母和数字上优势更大。

这个结果支持一个判断：当词的声学竞争更激烈时，只看识别一-best 对错会丢失犹豫，而后验分布的平坦程度和备选似然的接近程度保留了竞争信息。字母有 25 个备选，数字有 10 个备选，颜色只有 4 个备选，因此后两类更需要显式建模备选竞争。离散度在字母上尤为突出，论文解释为它在计算时显式枚举每个位置的备选词并重新打分，相当于把声学竞争直接写进公式。代价是离散度要对每个备选做强制对齐和似然计算，计算量明显大于熵。

未胜出项也要点名。注意力步级后验的指标在微观上相对较弱，时间距离同样受空白符拖累。这说明不是任何内部表示都能用，声学对齐更直接的 CTC 系表示更适合词级可懂度。

把不确定性当唯一特征做预测，准确率如何随词类和信噪比变化？

预测任务把每个关键词样本当独立二分类，只用一个不确定性值经逻辑回归映射为听懂或没听懂。比较问题是：在可运行的盲特征中，谁的准确率最高，优势集中在哪些信噪比。公平条件是同一 5 折划分、同一跨词跨条件训练、按条件切分测试，指标方向是准确率越高越好。

上表后先讲总体收益再讲分布。总体上 CTC 系熵和离散度都超过基线约 3 到 5 个百分点，离散度最高，CTC 步级熵次之。注意这里是百分点差，不是相对百分比，不能写成提升百分之几。按词类和信噪比展开后，论文报告低信噪比最难，因为随机性主导人识别，声学属性的解释力下降。在可懂度阈值 50% 对应的约负 8 分贝附近，CTC 系指标对字母和数字的贡献更明显，离散度在字母上的曲线区分度最好。颜色词因备选少、本身较易，基线与各指标差距相对小。

反例是高信噪比和干净条件接近天花板，各方法都高，差距缩小，不能把总体准确率优势推广为每个条件都赢。时间距离整体准确率高于基线但低于熵和离散度，再次支持空白符偏差的解释。原文没有给出按条件的具体数字表，只有趋势描述，因此复述时只能定性说明低信噪比难、阈值附近增益大，不能编造每个信噪比的准确率。

哪些边界没有测，哪些结论不能推广？

第一个边界是词汇和语法。全文 deliberately 聚焦有限词汇的矩阵句，GRID 句式固定、备选项少，语言模型也是 GRID 专用的静态模型。这意味着开词汇、自然语义、自发语音上的表现待验证，论文在结论中明确把开词汇作为下一步，包括试开源预训练识别器和更贴近感知的专用识别器。

第二个边界是噪声与人群。训练增强用了 Musan、巴伯噪声和言语形噪声，人评只有加性言语形噪声加干净，信噪比和噪声类型覆盖有限，受试者是正常听力成人，没有听力损失、老年人、儿童或 cochlear 植入用户的数据。因此不能把结论推广为对所有听损人群有效。

第 3 个边界是成本与延迟。论文比较了离散度计算量更大，但没有报告训练耗时、推理延迟、参数量、帧率或内存，不能承诺实时助听器可直接部署。逻辑回归本身轻量，但前面的识别器前向、束搜索、维特比对齐和多备选打分才是主要开销，总体趋势不等于每一步都轻。相关性高也不等于因果，犹豫与人可懂度同步变化不证明机器用了与人相同的听觉机制。

要复现需要准备什么，先跑哪一步？

先准备数据与人评。下载 GRID 语料，按 70%、15%、15% 划分训练、验证、测试，注意说话人不重叠的细节原文未明确，复现时应记录自己的划分以便对照。向原作者或公开渠道获取 Barker 相关的人评数据，注意排除 17 号和 18 号受试者，每人 100 句，信噪比从负 14 分贝到 6 分贝加干净，只取颜色、字母、数字关键词。训练增强需要 Musan 语料，自行实现巴伯噪声叠加和按 GRID 长时谱过滤白噪声的言语形噪声，训练时每句随机从负 9 分贝到 9 分贝步进 3 分贝抽信噪比。

再搭建识别器。用 ESPnet 中混合 CTC 注意力结构，特征为 80 维梅尔系数加基频及其差分，帧长 25 毫秒、帧移 10 毫秒，编码器 2 次步长 2 的卷积下采样加 4 层 4 头自注意力，批量 16 训练 100 轮，同时优化 CTC 损失和标签平滑损失，语言模型按 GRID 词汇语法构建音素级静态模型。解码用单遍束搜索，只保留最可能假设，同时保存逐帧 CTC 后验和逐步注意力与 CTC 分数。

最后复现指标。熵按步内求和再按词或句平均，时间距离取间隔 9 到 20 帧平均并注意下采样后每帧约 40 毫秒，离散度用 GRID 专用隐马尔可夫模型做维特比转写，对每个词位枚举备选做强制对齐再按公式平均。宏观算斯皮尔曼排序相关，微观按词类算相关和互信息，再用逻辑回归做 5 折二分类。复现时先跑通熵基线，因为它无需多备选打分且在两层都强，再补离散度验证字母类增益。缺失的优化器、学习率、束宽、语言模型权重需在复现报告中明确写出自己的选择，不把默认当原文。

何时值得尝试这种盲微观指标，还需补哪项验证？

当系统在运行期拿不到干净语音也拿不到文本，又需要知道哪个关键词可能没被听懂时，这类指标值得尝试。典型例子是助听器实时选策略或语音增强按句调参，此时直接用识别对错不可行，而逐词熵或离散度只需带噪语音本身就能给出犹豫值。备选项越多、声学越易混，CTC 系熵和离散度的相对价值越大，阈值附近信噪比是重点验证区。

选择时要权衡代价。如果算力紧，先用 CTC 步级熵，它无需隐马尔可夫多备选打分，宏观微观都强且天然是解码步粒度。如果需要帧级对齐或要解释起止时间，再用 CTC 帧级熵并接受维特比与模型构建成本。如果字母类精度是瓶颈且能负担多假设打分，再加离散度。平均时间距离可作为对照，但要记住空白符偏差，词级多空白时不宜单独使用。

还需补的验证至少三项。一是在开词汇自然句和预训练大模型上重测，看结论是否超出 GRID。二是在更多噪声、混响、真实助听处理链和听损人群上重测，补误判率和延迟测量。三是公开划分、束宽、语言模型权重和逻辑回归配置，使他人能逐字复算相关性和准确率。只有补完这些，才能把相关性优势转化为可部署的预测收益。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

另有 2 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总