语音识别

针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题，论文用带连音容忍对齐的四维误差向量做诊断评估，并用大模型清洗管线训出印地语等三语丰富转写模型，最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著，代价是标点仍高达百分之十以上且本次未能确认代码权重可达。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对 L2 发音错误分布多变而标注难以覆盖的问题，SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块，使每个测试句都能触发内循环权重更新，最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1，代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。

论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题，用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动，在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右，代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。

针对语音大模型逐词元自回归推理慢的问题，该文用冻结 CTC 编码器的贪心假设做草稿，经熵门控与单次 LLM 似然校验加失败回退，在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%，代价是高速档有约 12% 相对词错率上升。

该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别，通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接，但绝对词错率仍受低秩微调与量化资源限制。

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练，最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右，人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍，但跨语言联合只带来微弱且不显著的提升。

针对纯文本对齐与声学解码接口不匹配且难度不可控的问题，TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督，在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强，代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。

针对高棉语无词空格与数字词嵌在普通词中的问题，Tha 用整行最短路分类加音节边界过滤器实现文本归一化与逆归一化，在谷歌基数测试与 2906 句真实语音提示上取得高一致率，代价是拼写变体与歧义仍需词表维护与上下文信息。

针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题，论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影，在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率，并把长句解码器额外开销从百秒量级降到数秒量级，代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。

该研究以人耳转写为基准比较多种现代语音识别模型在噪声与增强失真下的词正确率，报告显示大模型趋势更接近人类但绝对分数更高且会掩盖声学损伤，文本归一化等细节也会改变系统排序。

针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题，该文用通道级 k-means 聚类合并注意力头和前馈中间单元，并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降，代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。

针对稀有词和命名实体识别难的问题，该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错，在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

针对构音障碍说话人差异大而单一全局模型建模不足的问题，该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均，在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%，代价是每轮要分步训练并额外计算相似度。

该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层，用辅助说话人头加 K-Means 质心驱散做表征级遗忘，在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%，同时保留保留集与未见说话人的转写能力，代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。

针对大词典直接偏置会引入无关词的问题，该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段，只用这些片段做音似检索再做第二遍重识别，在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率，但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。

针对同时有语音和文本时如何低成本得到实际读音的问题，该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择，在日语三语料上把字符错误率降到 0.04 到 0.17%，代价是仍依赖候选覆盖与按语言校准的阈值。

论文把逐字与意图两种转写策略显式为解码器前缀标签并配对监督，用监督交叉注意力做词级对齐、用转写提示做补全，在英语训练零样本德语上把不流畅事件 F1 从约 10% 提升到 90% 以上，代价是需要成对转写与词边界监督及两阶段微调。

针对北萨米语标注只有 20 小时的问题，论文比较大教师生成全部伪标签与大小模型一致过滤子集，并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率，而混合训练与反向顺序会退化。