语音识别

共分析 137 篇 ICML 2026 论文

本文针对竞争语音导致 CTC 识别器多吐词的问题，用冻结模型在配对干净语音上的期望折叠词元数作锚，只惩罚混合语音学生的超出部分，在 147456 参数的早期层适配下降低语音干扰词错误率，但长训练会在噪声和音乐上以删除增加为代价。

本文用约 4977 小时许可清晰的土耳其语音从零训练 31.6M 参数的 FastConformer 加 TDT 模型，在朗读测试上超过 Whisper base 和小模型但仍低于 large-v3，而对话语音错误率高得多且导出部署需要增益和补齐等补偿。

共分析 28 篇语音/AI 论文

针对语音大模型音频 KV 缓存过大带来的长上下文推理瓶颈，论文提出按 KV 头共享竞争与层次分裂合并自适应分配检索粒度的 C3 个方法，在四个语音大模型和识别翻译摘要任务上于相同检索预算下取得最强检索精度且在小预算下优势最大，但结论只在所测模型长度预算与贪婪解码条件下成立并伴随短上下文额外开销。

论文解决加性相对位置项与 FlashAttention 式分块不兼容导致的二次方显存与重复计算问题，用可达范围投影、常数偏移复用与按偏移无原子累加实现精确加速，8K 长度下前向 1.8–6.4 倍、反向 2.0–21 倍加速并大幅降显存，但增益高度依赖偏移分布与注意力占比。

针对方言标注语音稀缺但方言网络音频丰富的问题，论文用每方言约 60 小时人工标注训练偏向识别的自监督标注模型来转写方言匹配音频并经筛选与噪声学生精炼得到 39028 小时弱标注语料，独立训练的方言专用模型在 GigaSpeechBench 上达到 23.86% 平均词错误率并在外部语料上保持可迁移的提升，但多方言自动路由仍有可测量的误差代价。

本文把冻结 OWSM-CTC 的 50002 维后验作为八语共享接口，对比真实后验、启发式模拟和学习型模拟器，证明文本初始化加九分之一配对语音可达 9.19% 混合词错误率，但模拟与真实后验的差距仍是主要限制。

论文用 OmniVoice 零样本克隆训练集儿童声音合成儿童语音，再微调 Whisper-small，在 ENNI 上合成数据单独把词错误率从 19.8% 降到 16.4%，与真实数据合用则与纯真实数据相当，而跨语料泛化主要靠同一文本的多说话人声学多样性而非文本覆盖量。

共分析 48 篇语音/AI 论文

论文把语音识别从恢复唯一逐字稿改为在语音依据约束下按指令生成四级改写文本，并用 GSR-Bench 证明字面准确与可读改写之间存在权衡且弱语音下易出现无依据生成。

针对流式语音识别不知道未来语音内容和时机的困难，论文用一段拼在输入边界、可复用的短音频统一实现语义引导、指定文本劫持和整体降质三类操控，在数字域平均成功率 97.6% 和 93.4%、无目标词错误率 1.18，空中播放后仍保持 91.5% 和 89.5%，代价是需要白盒梯度离线优化且隐蔽性只靠模板约束和主观听感代理指标。

共分析 21 篇语音/AI 论文

该研究在 7 个未见过的在线西班牙语课堂会话上比较 6 种转写配置，发现用 38 个课堂会话做 LoRA 适配能把 MOSS 的词错误率相对降低约 38% 并接近商用 Muse，但学习者、英语独白和语码混合语音仍然明显更难，且转写最好不等于说话人归属最好。

论文针对端侧设备装不下深层语音识别模型的问题，用表示相似性分组把深编码器折叠成少数共享块循环执行，再用蒸馏和用户条件适配恢复精度，代价是循环次数决定的计算量仍需保留且极小块数下仍有残余误差。

本文在六种非洲语言上控制每语言数据量，对比三种语音识别模型，发现 Phi-4 整体字符错误率最低、数据饱和点因模型而异、领域数据对不同模型效果不同，而结论只在所测语言、数据来源和单次训练条件下成立。

针对多人混合语音中只对目标说话人做语义轮次判断的问题，SpeakerTurn 在冻结声学通路下用 LoRA 联合生成目标转写与轮次状态，在合成测试上五状态宏 F1 达 0.811、目标转写 CER 为 4.20%，而结构化思维链降低了转写错误却也降低了轮次判别分数。

论文把流式 Zipformer2 transducer 编码器压缩到 2 与 4 比特并用整数流水线在 ESP32-P4 上实时运行，在 LibriSpeech test-clean 上以 4.34% 词错率比原模型高 0.40 个百分点，而整数运算本身几乎不带来损失，代价集中在权重上。

论文用自动语音识别加自然语言处理加语音合成的级联把说话人声音和文本中的个人身份信息一起去掉，在保持可懂度和接近离线系统隐私水平的同时把 utterence 起始端到端延迟做到 717 ms 量级，代价是流式切分带来的字错率上升和对识别错误的敏感。

Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题，提出在波形上每次随机串联两种变换的固定策略，在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差，在 ASR 上基本持平，而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。