语音识别

共分析 137 篇 ICML 2026 论文

ASSET 针对语音大模型音频前缀过长的问题，用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token，以转录损失加保留比带惩罚为奖励训练切分，在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率，在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率，代价是依赖字符 …

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题，AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验，再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝，在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度，但高压缩下转写任务仍先退化且需一次校准确定交叉层。

论文在方言适应中同步跟踪损失与字错率，把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程，并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。

论文用 16 个 2021-2025 年语音识别系统在 8 个多口音数据集上对比主流美国英语与少数英语口音的词错误率，发现差距长期存在且少数口音更容易在换代时大幅退化，而主流口音始终被基准测试稳定保护。

把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时，同域两分区上都出现负遗忘，不加正则的微调取得最低词错误率，而需要正则时 mini-KFAC 比对角 EWC 更低更稳，但差异在 5 个种子下不显著。

论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式，发现只用合成远不如真实，真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失，其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。

论文在四个低资源语言和不同数据量的英语上比较改造音频与文本合成两类增强，发现 SpecAugment 总体错误率最稳但增加声调和腭化错误，而随机替换词的文本合成能提高稀有词频率并修复这两类错误，两者联用产生超可加改进但只在低资源区间成立。

论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练，并在相同参数量下比较四种编码器，Base 规模卷积增强结构域外优势最大，X-Large 规模差距缩小。

针对一句内中英交替难认准、稀有词和人名易错的问题，该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程，在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练和预先给定热词表。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

论文把 WAXAL、BibleTTS 与 Mina 三处埃维语资源去重拼成 174.82 小时固定评测基准，并在其上微调 Whisper 与 AfriHuBERT，最好的 Whisper-medium 在 1443 句固定测试集上词错误率为 37.98%，代价是仍有标点与变音符号带来的虚高误差和专有名词脆弱性。

Oído 把 13M 参数 Conformer-CTC 以整句整块加按帧动态 int8 的方式装进 ESP32-S3 并在 LibriSpeech 上做到 3.70%/8.23%，代价是单核约 2 倍实时、文本要在说话结束后数秒才出现。

COAX 在预训练选专家时按数据类别加软偏置，让低资源类别被引向更大的指定专家子集，在多语言与多模态混合上改善了低资源验证损失，而推理时可去掉偏置保持标准 MoE 流程，代价是小规模下可观的训练吞吐开销。

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统，发现呼吸与喘息最难、事件控制与字词保真存在权衡，自动评分与人工听感并不完全一致。

论文针对语音识别隐表示残留说话人痕迹的隐私问题，提出在第 6 层辅助嵌入上先聚类找质心再推离的 SAID 方法，在 VCTK 上以遗忘集成员推断 52.6% 接近重训练金模型 52.7% 为最强证据，代价是保留集词错误率高于微调类基线。

论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA，发现增益集中在基线错误大且集中的地方，而混合适配常能持平或超过分组适配，因此超过零样本不能直接当作个性化的证据。