语音识别

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统，发现呼吸与喘息最难、事件控制与字词保真存在权衡，自动评分与人工听感并不完全一致。

论文针对语音识别隐表示残留说话人痕迹的隐私问题，提出在第 6 层辅助嵌入上先聚类找质心再推离的 SAID 方法，在 VCTK 上以遗忘集成员推断 52.6% 接近重训练金模型 52.7% 为最强证据，代价是保留集词错误率高于微调类基线。

论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA，发现增益集中在基线错误大且集中的地方，而混合适配常能持平或超过分组适配，因此超过零样本不能直接当作个性化的证据。

共分析 146 篇语音/AI 论文

论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题，构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型，发现第二语言儿童最难而分年龄与联合微调各有适用条件，代价是朗读体与分布不完全均衡且原始音频不公开。

本文综述 2006-2025 年僧伽罗语 ASR，问题是标注语料少、形态复杂导致词错误率高，对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降，而跨测试集的 WER 数字不可直接比较，且大模型微调仍需解决方言、噪声和代码混合问题。

论文研究在不知道下游任务和预训练数据时如何给语音基础模型植入后门，用固定无关表示拉偏触发样本、用自造聚类维持干净样本表示，在九个任务上保持干净性能并在触发时大幅降级，但彻底清洗需要大量标注和端到端微调。

针对日中语音识别在冻结 CTC 贪婪解码下按字符热词表加偏的问题，用字符级自动机暴露匹配深度做门控并叠加读音空间匹配，在 Aishell-1 难例上达到 66.5% 召回并在日语基准上提升约 25 个百分点，代价是随词表增大和权重设置需要权衡插入错误。

针对公开基座上算出的扰动能直接拖垮私有微调语音识别的问题，论文把防御集中到基座来源的可迁移方向上，用基座扰动训练、隐层位移约束和混合梯度扰动，把平均对抗词错误率从 92.6 降到 27.8，干净词错误率则从 16.4 升到 18.9。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

DyRA 针对稠密矩阵乘法太贵的问题，在静态结构化权重近似之外增加随输入变化的低秩残差修正，在视觉、语音和语言模型上用同等计算预算保留更多输出精度，但其加速主要适用于矩阵-矩阵乘法充足的场景。

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

针对多人口属性交叉说话人识别偏弱的问题，论文先在冻结语音编码器和大语言模型下为 18 个人口子组分别微调连接器再合并为全局模型，然后对跨轴交叉对估计修正向量并加回全局模型，在 Fair-Speech 上把总体词错误率从 7.38% 降到 5.13%，但平均提升并不总能缩小同轴内最大最小差距。

InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟，并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。

论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务，证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效，并给出全部统计检验与八个失败方向。

论文用配对干净与受干扰输入证明闲聊和背景语音会进入病历与答题，并在注意力头干预中发现抗干扰与临床推理共用同一批组件，代价是通用质量分几乎发现不了这种污染。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。

论文用自采的英国口音金融语音基准 CavaBench，测量流式与离线语音识别在不同口音和噪声下的词错误率及其向大模型工具调用准确率的传导，发现总体强相关但任务关键 token 的保真度更能决定成败，而针对性微调能以较小延迟内存代价缩小差距。