语音识别

该研究用 740 段孟加拉语朗读语音做痴呆与非痴呆分类并用转写文本做补全，语音长短期记忆网络报告 97.30% 准确率、文本最好约 83.7%、补全测试约 59.74%，但结论只在朗读式小样本和转写校正条件下成立。

论文诊断投影类与 CKA 类特征蒸馏在强 logit 蒸馏下对英语与非英语的不同作用，用只走非英语适配器并截断共享编码器梯度的 CAFE 把平均词错误率从 8.55% 降到 8.02%，代价是需要已知或估计语种且增加约 0.5M 参数。

ELARSpeech 从濒危语言档案馆整理出 30202 小时、675 种语言的语音，用标注与非标注两部分支撑识别与合成的低资源适配，并用表征评测指出已有大规模多语模型的迁移局限，代价是异构档案噪声与跨语联合训练的干扰。

论文针对词错率不区分错误后果的问题，用配对缺口划分加三层情景严重度与有界递归累计得到统一目标，再把离线大模型标注蒸馏为单次前向的 DeBERTa 回归器，在三数据集与受控集上验证其跟踪能力趋势与细粒度诊断作用。

论文用 11 种语言各自训练的线性映射连接冻结语音编码器和冻结解码器，发现模型能按数字选项格式作答，但主题理解远低于直接读参考文本，差距指向映射的对齐不足。

共分析 69 篇语音/AI 论文

ASSET 针对语音大模型音频前缀过长的问题，用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token，以转录损失加保留比带惩罚为奖励训练切分，在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率，在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率，代价是依赖字符 …

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题，AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验，再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝，在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度，但高压缩下转写任务仍先退化且需一次校准确定交叉层。

论文在方言适应中同步跟踪损失与字错率，把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程，并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。

论文用 16 个 2021-2025 年语音识别系统在 8 个多口音数据集上对比主流美国英语与少数英语口音的词错误率，发现差距长期存在且少数口音更容易在换代时大幅退化，而主流口音始终被基准测试稳定保护。

把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时，同域两分区上都出现负遗忘，不加正则的微调取得最低词错误率，而需要正则时 mini-KFAC 比对角 EWC 更低更稳，但差异在 5 个种子下不显著。

论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式，发现只用合成远不如真实，真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失，其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。

论文在四个低资源语言和不同数据量的英语上比较改造音频与文本合成两类增强，发现 SpecAugment 总体错误率最稳但增加声调和腭化错误，而随机替换词的文本合成能提高稀有词频率并修复这两类错误，两者联用产生超可加改进但只在低资源区间成立。

论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练，并在相同参数量下比较四种编码器，Base 规模卷积增强结构域外优势最大，X-Large 规模差距缩小。

针对一句内中英交替难认准、稀有词和人名易错的问题，该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程，在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练和预先给定热词表。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

论文把 WAXAL、BibleTTS 与 Mina 三处埃维语资源去重拼成 174.82 小时固定评测基准，并在其上微调 Whisper 与 AfriHuBERT，最好的 Whisper-medium 在 1443 句固定测试集上词错误率为 37.98%，代价是仍有标点与变音符号带来的虚高误差和专有名词脆弱性。

Oído 把 13M 参数 Conformer-CTC 以整句整块加按帧动态 int8 的方式装进 ESP32-S3 并在 LibriSpeech 上做到 3.70%/8.23%，代价是单核约 2 倍实时、文本要在说话结束后数秒才出现。

COAX 在预训练选专家时按数据类别加软偏置，让低资源类别被引向更大的指定专家子集，在多语言与多模态混合上改善了低资源验证损失，而推理时可去掉偏置保持标准 MoE 流程，代价是小规模下可观的训练吞吐开销。