英文题目：Beyond Acoustic Sparsity and Linguistic Bias: A Prompt-Free Paradigm for Mispronunciation Detection and Diagnosis

会议身份：conference:interspeech:2026:conference-paper-id:geng26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #正则化 #语音 #语音属性识别

评分：6.8/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

  • Haopeng Geng：机构信息未能从会议 PDF 纯文本可靠映射
  • Longfei Yang：机构信息未能从会议 PDF 纯文本可靠映射
  • Xi Chen：机构信息未能从会议 PDF 纯文本可靠映射
  • Haitong Sun：机构信息未能从会议 PDF 纯文本可靠映射
  • Daisuke Saito：机构信息未能从会议 PDF 纯文本可靠映射
  • Nobuaki Minematsu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

误发音检测与诊断（Mispronunciation Detection and Diagnosis，MDD）输入为二语朗读语音，输出为实际发出的音素序列及相对标准音的接受/拒绝判定与错误类型，难点在于瞬时协同发音线索易被全局对齐平滑，且易被语言先验覆盖。本文提出免提示框架 CROTTC-IF，先由一致性正则化最优时间传输分类（Consistency-Regularized Optimal Temporal Transport Classification，CROTTC）声学模型输出逐帧稠密后验以保留细粒度偏差，再由编码器-解码器主干在训练期经误发音教师网络隐式内化标准音与错误模式，推理时仅用声学与轻量语言模型插值解码，不输入标准音文本。另设大语言模型（Large Language Model，LLM）分支定量对比多种标准音提示注入方式，以验证显式先验的危害。在 L2-ARCTIC 测试集上该框架检测 F1 达到 71.77%，在 Iqra’Eval2 阿拉伯语古兰经诵读榜单上 F1 为 71.70% 位列第2。该结论主要适用于朗读式英语与诵读式阿拉伯语，对自发语音与跟读场景的外推尚未验证。原文未披露训练时长与推理延迟成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务要解决什么：如实听出实际发音为何这么难？

输入是学习者的朗读音频，目标是先判断每个标准音素是否被读错，再指出实际读成了什么。举例来说，学习者想读 buy 对应的双元音，但起音读偏而滑音读对，系统不能因为整体可懂就直接输出标准答案，而要保留起音那几帧的偏离证据。输出因此是感知音素序列加逐音素的接受或拒绝判断，以及替换、删除、插入等诊断类型。必须保留的信息是声学保真度优先于语言合理性，实验条件是朗读场景下标准文本已知但推理时不允许依赖它，输出是无提示的独立诊断。

本文面向刚进入语音领域的研究生，默认只用论文原文证据写作。资源状态方面，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，只能按论文内报告的方法与数字复述。

误发音检测与诊断 × 自动语音识别： 误发音检测与诊断的分工是如实转写说话人实际发出的音素并指出与标准发音的偏离，自动语音识别的分工是在声学不完美时推断说话人的语义意图，二者搭配的问题在于直接沿用识别的声学与语言优化会抹掉诊断需要的细微证据，因此该研究主张把诊断作为独立任务重建声学保真度。

传统做法把该任务当作识别的副产品，一是用识别特征算发音质量分，二是用扩展识别网络捕捉预定义错误模式。进入端到端与自监督表示阶段后，任务在结构上独立，直接优化细粒度音素诊断，但方法仍沿用识别的声学与语言设计。论文认为这种沿用带来两个可核对的机制性矛盾，后文将分别展开为声学稀疏问题与语言偏置问题。

已有两条路线各卡在哪里？

第一条是听写式路线，同输入、同目标、同运行阶段的做法是只用声学相关特征识别实际音素序列。代表性工作包括用卷积循环网络加联结时序分类证明可从声学捕捉二语音素信息，用微调的自监督表示加分类解码器提升诊断精度，以及用伪标签、双路径方式、发音方式预测或声学到发音器官反演增强自由音素识别。论文肯定这类工作摆脱了对标准文本的依赖，但指出只要解码器仍是标准联结时序分类，就会继承稀疏与延迟发射的弱点。

第二条是文本提示式路线，在朗读场景下把标准音素序列作为已知先验融入模型。做法包括拼接声学、音素与语言嵌入，用门控与对比损失调节标准嵌入，用耦合交叉注意力做显式声学与标准融合，或用音素查找表与图网络建模高频误发音模式。进入大模型时代后，又有用可训练投影器连接声学前端与大模型主干，或把标准序列与预定义错误模式嵌入隐空间，甚至让大模型生成教学反馈。论文认为这类方法存在标准信息泄露的共性风险：无论是把标准信息放在输入中，还是用强语言模型做先验，都可能覆盖微弱声学信息，使模型对错误过度宽容。

两类路线都不是同条件胜负关系。听写式在开放基准上常比提示式更稳，但声学建模仍粗；提示式在私有数据上报告成功较多，在开放基准上常不如纯声学模型，且推理期需要标准文本，无法用于自发语音或跟读场景。论文因此提出既不要稀疏声学，也不要显式语言提示的第三条路线。

两个陷阱的机制是什么？

声学陷阱的输入是帧级声学序列，操作是对所有可坍缩到目标序列的路径求和取对数似然，目标是全局序列正确。论文用 buy 读成 boy 的例子说明机制：两个双元音共享相同的尾部滑音，延迟发射倾向把概率峰只对到共享滑音段，前段包含关键误发音证据的帧被空白符掩盖。对识别而言这种只选高判别帧是有益的，对诊断而言则是直接丢证据。

声学陷阱 × 语言陷阱： 声学陷阱的分工描述是全局序列优化平滑掉瞬时声学变化，语言陷阱的分工描述是显式标准提示与强语言模型把预测拉向最可能的标准序列，搭配讨论的原因是二者分别对应声学模型与语言模型对保真度的侵蚀，组合判断是必须同时解耦稠密声学建模与显式先验才能做客观诊断。

语言陷阱的输入是声学分数加标准文本或强语言模型分数，操作是调节声学与语言权重，目标原本是纠正声学错误。在诊断中，同样的操作会产生过度纠正：系统不再客观报告声学偏离，而是默认输出语言上最可能的标准序列。论文强调这不是简单的权重没调好，而是任务目标冲突，即识别要容忍不完美而诊断要记录不完美。

无提示框架如何走完一个样本？

先沿一个样本走完流程。输入为波形帧序列与训练期已知的感知音素序列，声学前端先用语音自监督表示与卷积增强模块输出帧级后验，语言端用编码器解码器主干做自回归建模，训练期另有一条教师分支同时看到标准音素与逐音素错误标注。推理时教师分支被丢弃，解码器在声学概率与语言概率之间做加权搜索，不输入任何标准提示。

该总览对应论文架构图的左中右三部分：左侧是带一致性约束的稠密声学模型，中间是轻量编码器解码器语言模型，右侧是融合标准与误发音线索的教师网络。学习依赖是先理解帧级对齐为何必须稠密，再理解教师信号如何通过梯度进入主干而不进入推理输入。

下图直接对比两类对齐策略，是理解后文所有消融的前提，请先看稀疏与稠密在同一帧序列上的连线差异。

看图路径： 1. 先看上排 CTC 如何用虚线空白符跳过部分帧并把标签对到少数判别帧；2. 再看下排 OTTC 如何去掉空白符并用多对一的传输线把每帧都连到标签；3. 对比同一语音帧序列下两类对齐的密度与单调性差异；4. 思考稀疏对齐为何会漏掉起始段的误发音证据

原论文 Figure 2：Comparison between CTC and OTTC, where φ is the blank token and γ(α, β) is the optimal transport…

论文图 1。原论文 Figure 2：“Comparison between CTC and OTTC, where φ is the blank token and γ(α, β) is the optimal transport plan.”。

图中上排每个标签只连到少数帧且中间插入空白符，下排每个标签通过传输计划连到连续多帧且没有空白主导。这种密度差异决定了瞬时发音线索能否被保留，也是后文引入一致性正则与间接融合的动机。

声学端如何做到逐帧对齐又不乱增插入？

声学端由两项组成。第一项是最优时序传输分类。记声学帧序列与感知音素序列分别为输入与目标，帧权重由神经网络经归一化预测，标签权重固定为均匀分布，两者的耦合即传输计划通过求解 1 维最优传输得到，损失是在交叉熵度量下的期望传输代价。与联结时序分类对所有有效单调路径求和不同，它只优化单一最优单调路径的概率，因此显式建模帧到标签的对应而不被稀疏路径边缘化。

联结时序分类 × 最优时序传输分类： 联结时序分类的分工是对所有合法对齐路径求边缘概率并用空白符实现无帧级标注训练，搭配理由是识别只需要全局序列正确，最优时序传输分类的分工是用 1 维最优传输求单一最优单调帧到标签映射，组合意义在于后者给出无空白主导的稠密帧级对齐，从而保留前者因稀疏峰值和延迟发射而丢掉的协同发音与起音替换线索。

第二项是一致性正则。对同一 utterance 做 2 次随机扰动得到两个增强视图，分别经共享编码器输出帧级后验分布，损失是两分布之间的对称散度平均。较长的时域掩蔽迫使模型利用未掩蔽上下文重构被遮挡帧，起到类似掩蔽语言建模的作用。训练准则是正则项加 2 分支传输损失之和，原文报告权重取 1.0。

一致性正则 × 最优时序传输分类： 最优时序传输分类的分工是提供稠密但对局部变化敏感的帧级对齐，一致性正则的分工是对同一 utterance 的两个随机增强视图的帧级后验分布施加对称散度约束并利用长时掩蔽引入上下文重构，搭配原因是稠密对齐需要稳定性约束，组合成 CROTTC 后在保留细节的同时减少伪插入并降低误拒。

下图是为验证显式标准提示危害而搭建的大模型诊断系统，需结合 4 种提示模板理解语言先验如何被逐步放大。

看图路径： 1. 先沿底部语音经音频编码器与投影器进入大模型嵌入的路径走一遍；2. 再看左侧四种文本提示框如何从基础版逐步加入标准音素与候选发音；3. 注意右侧训练用实际感知序列做自回归监督而推理用因果解码的标注；4. 对比冻结与可训练模块的图标区分语言先验放大的位置

原论文 Figure 3：Illustration of LLM-based MDD, with alternative prompts.

论文图 2。原论文 Figure 3：“Illustration of LLM-based MDD, with alternative prompts.”。

图中底部语音经冻结的音频编码器与全量微调的投影器进入大模型嵌入空间，左侧给出从基础版到标准注入、交错候选发音、带错误位置候选的 3 级提示，右侧用感知序列做监督。冻结声学、只调投影器与低秩适配器的安排，使语言容量的变化可被单独归因。

语言端如何在推理不见标准文本时仍学到误发音知识？

语言端主干是两层变换器解码器，输入为波形经编码器得到的声学表示与感知音素嵌入，输出为自回归的上下文概率。教师网络并行处理两路融合：编码器侧融合与解码器侧融合都以标准音素嵌入为查询、以声学或解码表示为记忆，其中编码器侧先做下采样改善对齐。融合表示经共享卷积主干后分出两个头，一个预测该位置是否误发音，另一个预测正确、替换、删除、插入的错误类型。

特权信息学习 × 间接融合： 特权信息学习的分工是只在训练期提供标准文本与误发音模式并通过反向传播塑造表示，间接融合的分工是用编码器侧与解码器侧两个融合网络加轻量检测头实现多视角监控，搭配原因是诊断语料少而显式提示在推理期会覆盖声学证据，组合后推理时丢掉教师分支仍保留误发音敏感的隐式语言指导。

关键在于梯度路径与收敛速度。教师头较浅且直接受错误序列监督，收敛快于深层序列到序列主干，其判别性梯度经融合网络回传到声学表示与解码表示，促使主干内化误发音敏感表示。推理时教师整体丢弃，只保留主干与声学分支做加权解码，因此标准文本属于训练期特权信息而不构成推理依赖。论文还用引导注意力损失约束融合中的单调性，相关权重分别取 0.3、1.0 与 10.0。

训练分几阶段、哪些参数更新？

声学模型训练以自监督大模型加两层卷积增强模块为骨干，隐层维度为 384，训练 300 轮，批量 32，自监督 backbone 学习率与后接模块学习率分别按原文设置。增强包括时间弯曲与时频掩蔽，掩蔽块数与掩蔽比例按原文区间设置，且强制最小掩蔽长度以避免退化为简单数据增强。

语言模型采用 2 阶段策略。第一阶段做联合的分类与变换器训练，第二阶段用预训练好的稠密声学模型替换原声学分支并微调语言模型至收敛。论文说明这样安排的原因是没有空白符的稠密模型缺少隐式切分边界，直接联合训练存在收敛困难。语言模型与教师网络训练 200 轮，批量 32，学习率按原文设置。大模型验证分支冻结声学模型，只优化低秩适配器与投影器，训练不超过 20 轮，推理用束搜索。

需要指出的缺项是原文未完整报告优化器类型与学习率衰减时刻，也未给出教师分支重置或早停的具体阈值，因此复现时只能按轮数与验证集最优 F1 选模型，不宜从模型名称推定未说明的实现细节。

在哪些数据与指标下比较、条件是否一致？

实验覆盖通用二语英语与古兰经诵读两个领域。英语部分用 L2-ARCTIC 做主基准，另用 speechocean762 与 ERJ 做补充与域外泛化验证。L2-ARCTIC 按原文划分使用混合母语的训练、验证与测试集，测试说话人为 6 人固定集合。speechocean762 原为发音评估语料，音素分低于阈值者判为误发音并提供专家标注的实际发音。ERJ 为日语口音英语，只用专家标注部分，其中一部分实验直接用 L2-ARCTIC 训练的模型零样本评估。词表采用类 ARPAbet 的 44 单元，含 39 音素与 5 个特殊符。

评估沿用层级协议。检测层统计正确接受、正确拒绝、错误接受与错误拒绝，诊断层统计正确诊断与错误诊断，主指标是把正确拒绝视为正类的 F1，另报告音素错误率与纠正率。方向是 F1 越高越好，误拒率与误接受率越低越好。硬件为单卡，模型选择以验证集最优 F1 为准。

古兰经任务用 IqraEval2 提供的母语参考、合成误发音与真实误发音数据，论文只用合成与真实误发音部分做声学基线训练与微调，并从真实部分留一成做本地测试。音 inventory 按引用的阿拉伯语音素表处理，词汇量为 71，推理采用高声学权重。

主结果在公平比较下说明了什么？

比较问题是无提示的稠密声学加隐式语言指导能否在不输入标准文本时超过听写式与提示式基线。公平条件是同为 L2-ARCTIC 测试集、同层级指标，指标方向是 F1 越高越好而误拒与误接受越低越好。下表整理论文报告的核心可运行策略数字，基线为常规识别衍生与提示式方法，本方法为所提框架。

条件指标常规基线范围本方法比较对象
L2-ARCTIC 测试集误拒与可用性基线误拒较高最低误拒与最高纠正率同上同指标方向越低越好

表后解释需要同时看到收益与代价。本方法在 L2-ARCTIC 上达到峰值 F1 并报告最低误拒与最高纠正率，支持声学保真优先的判断；在 IqraEval2 上以无显式标准提示取得第 2 名与更低音素错误率，支持跨领域泛化。但代价在消融中可见：稠密对齐的音素错误率高于稀疏模型，插入错误明显上升，论文明确音素错误率在诊断中次于 F1 与误拒，且高错误率部分来自不损害诊断的冗余插入。未胜出项是纯声学分支的 F1 低于完整框架，说明隐式语言指导仍必要；未评测边界包括自发语音与无标准文本的跟读场景的量化表现。

声学与语言权重如何平衡、泛化如何？

解码权重实验控制声学概率占比。纯语言端权重为零时 F1 降至三十余，证明仅靠上下文先验无法做检测；随声学权重增大 F1 单调上升，音素错误率最优点在中等权重附近而 F1 最优点在 0.8 以上高声学区。这与通用识别通常取中段权重的经验相反，支持诊断中声学保真比语言合理更关键的判断。超过阈值后联合解码超过纯声学分支，说明隐式语言指导提供了互补而非覆盖。

泛化方面，在 speechocean762 微调设置下完整框架取得有竞争力的 F1 且误接受与错误诊断率明显更优，且未使用细粒度发音分标签；在 ERJ 上微调与零样本均优于对应声学基线，零样本下仍保持较高 F1。这支持无提示架构的域外泛化，但需注意不同语料的误发音定义与聚合口径不同，数值跨表不可直接比较百分点。

拿掉稠密对齐、正则与教师分支后发生了什么？

声学消融比较联结时序分类、加正则的分类、最优传输分类与完整稠密模型。报告显示传输类方法 F1 显著高于分类基线，但音素错误率与插入错误同步上升；加入一致性正则后插入错误回落且误拒降至较低水平，F1 略有回落。论文因此选完整模型为主声学模型，理由是误拒是教学可用性的关键指标，宁可接受 F1 小幅权衡也要减少把正确发音判错。

语言消融以分类声学为 backbone，拿掉编码器侧融合、解码器侧融合或错误类型头都会使 F1 下降约 1 至 2 个百分点并推高错误诊断率；完全拿掉教师则退化为常规分类加变换器识别架构，F1 显著下降。这支持多视角监控与多视图正则的必要性，但属于有限解释而非因果证明。

下图用单样本的帧级后验分布展示机制差异，是理解插入与保真权衡的最直接证据。

看图路径： 1. 先确认四宫格分别为 CTC 与 OTTC 在上排、一致性正则版本在下排；2. 再沿帧轴观察柱状后验是稀疏尖峰还是逐帧稠密分布；3. 重点看红色虚线框标出的幻觉音素与绿色虚线框补回的尾部音素；4. 结合背景语谱图判断稠密模型是否对齐了真实声学变化

原论文 Figure 4：Comparison of frame-level probability distributions across different AMs (blank tokens omitted).

论文图 3。原论文 Figure 4：“Comparison of frame-level probability distributions across different AMs (blank tokens omitted).”。

图中左上稀疏模型只在少数帧出现尖峰并幻觉出不存在的音素且漏掉尾部音素，右下完整模型逐帧给出稠密分布并补回尾部音素。可执行观察是对比尖峰宽度、空白占比与虚线框位置，由此判断稠密加正则是否在保持对齐灵活性的同时抑制了伪插入。

显式标准提示为何反而损害诊断？

比较问题是在大模型容量下逐步增强语言先验会发生什么。公平条件是同一冻结声学、同一投影器结构与同一监督目标，只改变提示模板，指标方向仍是 F1 越高越好。下表整理论文报告的提示实验数字，均为实际可运行策略，带错误位置的设定属于事后提示上界而非可部署收益。

条件指标基础提示标准注入候选发音提示带位置上界
LLM 诊断测试误拒与误接受基线水平误拒下降但误接受大增部分恢复仍有限误拒 0.78% 但误接受仍高

表后解释先给反证。显式加入标准目标使 F1 从五十余降至 40.52%，给每个标准音素均匀分配候选发音仅回升至 42.63%，支持语言陷阱判断。只有当同时给出候选与明确错误位置时 F1 才跃升至 91.78%，但此时误拒已极低而错误诊断率与误接受仍高，说明瓶颈不只是检出位置，而是精细声学分辨不足导致替换类型仍默认文本先验。未胜出项是大容量问答模型并未超过轻量解码器，负结果是更强语言能力没有自动带来更好诊断。

哪些结论还不能下、边界在哪里？

论文直接报告的是检测 F1、误拒、误接受、错误诊断率与音素错误率的变化，有限解释是稠密对齐保留细节而隐式融合提供互补指导，待验证的是这些机制在自发语音、儿童语音或强噪声下的因果效应。缺失证据不是技术错误，但未测量延迟、实时因子与推理开销时，不应承诺系统更快或更省。

原文表头与算术存在可核对的冲突提示：稠密模型的 F1 与错误率同时上升，说明识别精度与诊断灵敏度并非单调一致；大模型带位置上界实验的高 F1 伴随高错误诊断率，说明检出与确诊是不同指标。复述时应保留这种分裂，不用平均趋势掩盖每组差异。显式提示实验还表明，标准文本在推理期的可用性本身就是部署边界，无提示的价值正在于覆盖朗读之外的场景，但该场景的量化评估仍是空白。

要复现应先做什么、保留哪些关键设置？

先复现声学端。按原文准备 44 单元词表与固定测试说话人划分，用自监督表示加两层卷积增强模块训练最优传输分支与一致性正则分支，正则权重取 1.0，增强用时间弯曲与限定比例的时频掩蔽并保证最小掩蔽长度。先验证帧级分布是否从稀疏尖峰变为稠密连续，再核对插入错误与误拒的变化方向。

再复现语言端。先做联合训练得到可收敛的变换器基线，再替换为预训练稠密声学并微调，教师分支用标准序列与错误序列监督，融合用两层解码器结构并在编码器侧加下采样，引导注意力权重按原文设置。推理时丢弃教师，用高声学权重做加权束搜索，束宽与温度按原文设置。

信息条件方面，训练需要标准文本与逐音素错误标注作为特权信息，推理只需要音频。代码与权重可达性本次未能确认，因此应以论文内超参数与划分为准记录缺项，不把冻结参数等同于输出确定，也不用模型名称推定优化器细节。

何时值得尝试这种无提示路线？

当任务要求客观记录实际发音而非输出最合理文本时，值得尝试稠密帧级声学加训练期隐式语言指导的组合。具体信号是基线系统误拒高、瞬时替换多，或加入标准提示后误接受上升。此时应优先检查对齐密度与延迟发射，而非继续增大语言模型。

当已有高质量标准文本且只做朗读评分时，显式提示仍可能提升接受率，但需用独立的检测 F1 与错误诊断率监控过度纠正，并保留无提示分支做对比。若目标是教学反馈，还需补做误判率、延迟与人工可用性评估，因为自动指标不能替代人评。论文特有的误解是把音素错误率下降等同于诊断变好，实际二者可能背离，应以 F1 与误拒为首要依据。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总