语音识别

针对二值目标粗糙、时序对齐易错和真类概率坍缩问题，论文提出结合排序分与分布距离的连续目标 RanD 并为四种解码结构训练词级置信度估计器，在印地语与英语实验中报告了更低的校准误差与更高的区分度，但删除词与低资源表征仍未解决。

该研究用合成语音控制发音变量，对比可读性与转写错误，发现现代端到端语音识别的字错率与全局可读性指数近乎正交，而人类感知难度仍与错误相关，内部不确定性也未随文本变难而上升。

该文用共享参数的块限制注意力加动态块卷积统一离线与流式 Transducer，并以全格点对称 KL 一致性正则在低延迟流式上缩小差距，主证据是 L 尺寸统一双模加 MCR 在 0.32s 延迟平均词错率 8.24 而离线保持 6.63，代价是每步需跑离线与流式两次前向并承担额外 KL 计算与延迟定义约束。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

针对自回归测试时自适应中熵最小化实现分裂的问题，论文推导出包含词元级策略梯度损失与词元级熵损失的完整梯度，并在 Whisper 语音识别上以 20 余个噪声口音多语域验证，最强的束搜索变体带来最低词错率，但代价是每步多采样与多步更新的计算开销。

论文研究噪声混响和重叠说话下的零前视流式识别，采用在线语音分离前端加只用干净语音训练的流式识别后端的解耦框架，最强证据是在 LibriSpeech 模拟噪声、CHiME-4 和 LibriCSS 上用 oTF-CrossNet 加干净后端超过同等数据量的多条件训练基线，代价是系统好坏高度依赖分离前端的强度。

针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题，论文用带连音容忍对齐的四维误差向量做诊断评估，并用大模型清洗管线训出印地语等三语丰富转写模型，最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著，代价是标点仍高达百分之十以上且本次未能确认代码权重可达。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对 L2 发音错误分布多变而标注难以覆盖的问题，SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块，使每个测试句都能触发内循环权重更新，最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1，代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。

论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题，用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动，在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右，代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。

针对语音大模型逐词元自回归推理慢的问题，该文用冻结 CTC 编码器的贪心假设做草稿，经熵门控与单次 LLM 似然校验加失败回退，在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%，代价是高速档有约 12% 相对词错率上升。

该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别，通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接，但绝对词错率仍受低秩微调与量化资源限制。

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练，最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右，人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍，但跨语言联合只带来微弱且不显著的提升。

针对纯文本对齐与声学解码接口不匹配且难度不可控的问题，TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督，在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强，代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。

针对高棉语无词空格与数字词嵌在普通词中的问题，Tha 用整行最短路分类加音节边界过滤器实现文本归一化与逆归一化，在谷歌基数测试与 2906 句真实语音提示上取得高一致率，代价是拼写变体与歧义仍需词表维护与上下文信息。

针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题，论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影，在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率，并把长句解码器额外开销从百秒量级降到数秒量级，代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。

该研究以人耳转写为基准比较多种现代语音识别模型在噪声与增强失真下的词正确率，报告显示大模型趋势更接近人类但绝对分数更高且会掩盖声学损伤，文本归一化等细节也会改变系统排序。

针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题，该文用通道级 k-means 聚类合并注意力头和前馈中间单元，并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降，代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。

针对稀有词和命名实体识别难的问题，该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错，在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。