强基座不容覆盖:用稀疏贝叶斯适配把合成语码切换知识接进来
针对已很强的德英多语识别基座,论文用两步合成数据加贝叶斯低秩适配证明瓶颈在知识整合而非数据复杂度,以保持单语为代价换来语码切换词错误相对下降 32.87% 而标准微调则大幅退化。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对已很强的德英多语识别基座,论文用两步合成数据加贝叶斯低秩适配证明瓶颈在知识整合而非数据复杂度,以保持单语为代价换来语码切换词错误相对下降 32.87% 而标准微调则大幅退化。
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
针对非洲语言在朗读基准上被低估的部署误差问题,AfriVox-v2 用 14 种语言的自发野外对话加 10 个应用领域标注来重测现代模型,最强证据是区域优化的 Sahara-v2 在 AfriVox-v2 平均词错误率 20.49 仍显著低于通用大模型,但数字 20.32% 与命名实体 23.11% 的高误差说明关键信息转写仍不可靠。
该文用 228 篇文献的范围综述加 40 名口吃者与 30 名言语语言病理师问卷,报告研究集中于口吃辨识分类而用户更需要何时何地检测与可解释转写,并以英语中心与低开放共享为代价提出分类法与协作指南。
该文新建 14 口音 128.6 小时角色扮演客服对话只做评测,报告显示手动切分多为最优而固定长窗仅对 Qwen3-ASR 更优,且口音间绝对差距可超 10%,平均词错误率降低并不自动带来口音鲁棒性。
针对分块流式 Conformer 中因果卷积丢弃块内未来帧的问题,BACON 把深度卷积通道分成因果组与边界感知双向组,在参数量不变下扩大感受野,并在 LibriSpeech test-other 上 CHAT 相对降低 9.3% 词错误率且平均发射块序号不增加。
针对有限真实会议数据下的多人语音识别,论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词,在约 0.7B 参数下降低重复幻觉并改善说话人归属,代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。
针对多语种语音识别中共享解码器互相干扰的问题,BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层,在五个 CoVoST 2 语种上用词错误率验证收益,同时保留了小语种与高资源语种表现不一致等代价。
针对重度构音障碍语音与通用模型声学失配及数据稀缺问题,论文用先做词汇域适应再只微调编码器前端的个性化 Conformer 管线,在 UASpeech 平均词错误率 21.5% 与 TORGO 平均 12.7% 上报告优于此前序列到序列方法,并以移动端采集与持续重训闭环支撑儿童使用,但重度 76.4% 基线差距、儿童数据缺失与公开可用性仍受限。
针对人工嗓音采集存在交互偏差、标注分割繁琐与数据迁移不畅的问题,论文提出离线独立运行的 CalliOpeNLP 工具,用合成语音指令加 18 项临床嗓音任务与轻量语音转写合规检查实现自动采集,初步测试显示同任务采集约 18 分钟对比人工约 28 分钟且省去手动分割,但合规阈值与病理嗓音识别准确性仍待验证。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。
针对自监督编码器加 CTC 微调在非母语口音上退化的问题,该工作在不改推理结构和不加口音标注下引入话语级监督对比辅助损失,在 L2-ARCTIC 未见口音上把 W2V2-Large 的词错误率从 9.98% 降到 7.41%,代价是需要同文本多说话人的成组批次和仅训练期有效的投影头。
针对语码切换点附近集中出错的问题,该研究用只改切换点的近似错误文本做对比训练,在两个中英与越英基准上同时降低整体词错误率和切换点错误率,代价是离线依赖大模型扩写与三重过滤的额外构造流程。
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。
针对非典型语音数据少且差异大的问题,该研究用变分低秩适配估计认知不确定性并合成音素难度分来指导过采样,在英语和德语数据上降低了个性化误差,但加深个性化会带来通用语音上的遗忘代价。
论文把部分伪造 utterance 中合成词定位问题并入 Whisper 的下一词预测,用前后标记包住假词并用部分声码器重合成词降低数据成本,同域上检测与转写与专用 ResNet 相当,但跨合成器与跨域时明显退化。