一个门控同时管三件事:Whisper 何时该转写、何时该闭嘴
该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头,在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下,代价是固定 10 秒英文合成数据与有限场景下的验证边界。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头,在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下,代价是固定 10 秒英文合成数据与有限场景下的验证边界。
针对客服通话中尾部命名实体易被流式识别错且错误会污染客户关系管理录入的问题,该研究用实时伴随界面收集人工确认修正并由反射子智能体离线更新上下文偏置表与事后替换规则,在英语评测上把命名实体错误率相对降低 17.1% 而代价是偏置表在 3 批内即触及 500 容量上限。
针对逐字转写中局部一两个字符的不确定性,论文把通配符旁路从词级下移到词元级并与熵调度的混合图结合,在 25 个任务上相对 CTC 平均降低 9.45% 词错误率,代价是需要按语料调旁路权重与验证集熵进度。
论文把 Fisher 白化后的输入误差互协方差用于构造语音模型的低秩适配子空间,并在相同可训练参数量下比较均匀秩、自适应秩与跨层共享,报告自适应秩分配在 Whisper 与 Qwen3-ASR 上对标准 FCCA 最稳定地降低词错误率,但仍落后于大预算 LoRA 与全量微调。
针对长音频中领域术语不一致和声学混淆问题,Agentic-GER 用全文转写做全局上下文来发现可疑片段并定点重转写核对,在 GigaSpeechBench 上中文 Whisper 基线最高获得 36.8% 术语相对误差下降,代价是思考模式大幅增加输出 token 与耗时。
论文以 100 余种语言的统一评测回答损失、预训练表示与数据规模如何影响通用音素识别,用 XEUS 加自条件 CTC 在 IPAPack++ 上得到多语言 17.7% 与口音英语 10.6% 的 PFER,代价是对时序性发音特征与极低资源语言仍有高误差。
Argmax Pro 针对离线可用的富功能语音识别问题,选择以 Parakeet v2 做转写、Canary v2 CTC 经 CTC-WS 做偏置、Streaming Sortformer v2 微调做说话人切分并全部部署到手机 NPU 上,论文报告自定义词表可扩至 3000 词而不影响运行时延迟,但未给出词错率、延迟与功耗的定量对照。
针对语音识别中 Mamba 用固定深度卷积做局部聚合而缺乏内容自适应的问题,论文把该位置换成因果卷积加通道内局部注意力来动态生成状态空间参数,在 LibriSpeech 和 TED-LIUM 上以更小参数量取得更低词错误率,代价是引入双向结构和注意力窗口等额外设计与解码依赖。
针对长时复用纠错历史会被大模型上下文窗口卡住且纯文本检索在触发词被误识时失效的问题,该文用音频关键词检出门控只取当前 utterance 相关的纠错记录,在约 70% 提示压缩下保持或提升词错误率与偏置词 F1,代价是过强的 Top-1 过滤会明显掉点且需维护关键词库与检出模块。
论文用田野 9 人约 4 小时加网络 51 人约 94 分钟拼成 60 人 7.5 小时语料,以 Silero 切分加 Wav2Vec2 转写按韵律短语计算莫拉每秒并人工补岛屿和 50 岁二分年龄,发现仅 Nga Pu Toru 年轻人显著快于年长者而另两岛无年龄差,但人脸年龄估计失败使流程只能半自动。
针对纯文本适配会冲掉语音投影对齐的问题,该文把适配重写为去噪任务并用四路混合批次保持对齐,在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降,代价是仍需保留源域音频与调目标比例。
论文在特维语、达格巴尼语和埃维语上先用圣经通用域与青少年性与生殖健康域对比五种语音识别系统,再把微调目标从算力不可行的 Gemma 4 转到可在 T4 上训练的 Qwen3-ASR-0.6B 并在严格隔离的人录域内音频上验证,最强证据是埃维语词错误率下降 44.5 个百分点,代价是残余错误仍高且依赖域内验证数据的持续投入。
针对说话人数未知时的联合多说话人识别与说话人归属加时间戳问题,论文采用先带思维链监督微调再用多维约束奖励做分组相对策略优化的两阶段路线,在 Libri3Mix 与 Dynamic-Mix 上报告 14.52%/9.24% 的 cpWER 和 1.95%/1.12% 的 WDER,代价是需要精细结构化输出与多采样强化探索。
该文先用英语量化把训练单元从 12.03 秒缩到 0.35 秒的代价,再用短语音训练的单音子模型去强制对齐长语音得到句子级语料,并在 5 种濒危语言上证明 CPU 可训练的 HMM 系统域外性能优于大模型,但 Jejueo 和 Mohawk 仍极难且 Hawaiian 只保留 23.20% 时长。
BranchShine-CR 用 25.39M 参数、log-mel 加 12 层旋转位置 E-Branchformer、中间自条件 CTC 与双视图一致性正则,在 16646 句共享测试上取得 4.47% 国际音标字符错,相对 ZIPA-CTC-NS 降低 22.3%,代价是整句完全正确率仍低于后者且大基线训练划分并不完全可比。
针对大模型语音识别只用文本适配会出现语音文本失配的问题,论文用混合批次把少量配对语音文本和大量文本放在一起训练,在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率,同时更好地保留了源域性能。
针对标注老年语音稀缺且直接解码伪标签不可靠的问题,该工作用置信度排序做课程式增量伪标签并结合说话人提示自适应,在 Pitt 与 JCCOCC MoCA 上相对半监督基线取得 1.45% 与 2.27% 绝对误差下降,但低置信度段仍保留较高误差且依赖说话人标识已知。
针对越南语—英语语码切换在语音助手链路中字错率与意图损失不一致的问题,该研究提出经大模型修复与问答探针计算的代码切换语义错误率并用商用与自研系统四集基准验证,显示音译策略虽推高词错率仍能保留意图,但语义评测带来更高的计算开销。
针对加噪监督微调改善噪声却损伤干净集并过拟合特定损坏的问题,DASH 增加无标签编码器自蒸馏阶段学习干净与噪声视图的一致性,在 LibriSpeech 上保持干净集的同时改善多种噪声条件,额外开销约为微调时间的 4%。
针对老年语音说话人差异大且测试时无目标说话人数据的难题,该文用历史语音加已解码文本经双向跨模态融合与 Q-Former 压缩生成在线说话人提示,在两套老年语料上相对说话人无关基线取得 0.61% 和 1.22% 绝对错误率下降,并以最高 9.83 倍实时率加速替代离线批量适配。