语音识别

论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题，构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型，发现第二语言儿童最难而分年龄与联合微调各有适用条件，代价是朗读体与分布不完全均衡且原始音频不公开。

本文综述 2006-2025 年僧伽罗语 ASR，问题是标注语料少、形态复杂导致词错误率高，对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降，而跨测试集的 WER 数字不可直接比较，且大模型微调仍需解决方言、噪声和代码混合问题。

论文研究在不知道下游任务和预训练数据时如何给语音基础模型植入后门，用固定无关表示拉偏触发样本、用自造聚类维持干净样本表示，在九个任务上保持干净性能并在触发时大幅降级，但彻底清洗需要大量标注和端到端微调。

针对日中语音识别在冻结 CTC 贪婪解码下按字符热词表加偏的问题，用字符级自动机暴露匹配深度做门控并叠加读音空间匹配，在 Aishell-1 难例上达到 66.5% 召回并在日语基准上提升约 25 个百分点，代价是随词表增大和权重设置需要权衡插入错误。

针对公开基座上算出的扰动能直接拖垮私有微调语音识别的问题，论文把防御集中到基座来源的可迁移方向上，用基座扰动训练、隐层位移约束和混合梯度扰动，把平均对抗词错误率从 92.6 降到 27.8，干净词错误率则从 16.4 升到 18.9。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

DyRA 针对稠密矩阵乘法太贵的问题，在静态结构化权重近似之外增加随输入变化的低秩残差修正，在视觉、语音和语言模型上用同等计算预算保留更多输出精度，但其加速主要适用于矩阵-矩阵乘法充足的场景。

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

针对多人口属性交叉说话人识别偏弱的问题，论文先在冻结语音编码器和大语言模型下为 18 个人口子组分别微调连接器再合并为全局模型，然后对跨轴交叉对估计修正向量并加回全局模型，在 Fair-Speech 上把总体词错误率从 7.38% 降到 5.13%，但平均提升并不总能缩小同轴内最大最小差距。

InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟，并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。

论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务，证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效，并给出全部统计检验与八个失败方向。

论文用配对干净与受干扰输入证明闲聊和背景语音会进入病历与答题，并在注意力头干预中发现抗干扰与临床推理共用同一批组件，代价是通用质量分几乎发现不了这种污染。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。

论文用自采的英国口音金融语音基准 CavaBench，测量流式与离线语音识别在不同口音和噪声下的词错误率及其向大模型工具调用准确率的传导，发现总体强相关但任务关键 token 的保真度更能决定成败，而针对性微调能以较小延迟内存代价缩小差距。

论文为无网或弱网的非洲语言社区设计了一套离线语音交互流水线与两档硬件清单，并用三款 2-5B 指令模型在四种量化精度下的吞吐、内存、功耗与多语言分类准确率证明 Q4_K_M 是最兼顾速度与质量的部署选择，但树莓派首字延迟与奥罗莫语识别仍是短板。

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音，论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造，在三种实时场景下把字符错误率大幅降低，但绝对误差仍高且高度依赖说话人自身数据与设备适配。

针对配对语音文本不足时语音大模型难以对齐声学与文本的问题，论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型，再端到端微调，在日语和中文上把字错率相对降低 27% 到 72%，代价是多两段预训练且在字母文字小语种上增益有限。

论文发现多语音素模型会按整句估计语种并覆盖局部音素判断，导致非共享音素大量丢失，并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。

论文固定声学编码器与训练数据只更换输出分词器，对比多语字符表、数据驱动 BPE 与音节音素分词在同域朗读和两种正交域偏移下的词错误率，发现小词表时音节先验占优而大词表时优势反转。

论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词，在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率，再用只由基频和能量重建的频谱做对照发现误差升至约 69%，说明低频与词内容联系比预想强但尚不能归因于纯韵律。