深层说话人线索被稀释时,如何让专家选对人:GLAD 的全局局部动态路由
针对多人重叠语音转写中深层说话人特征稀释问题,GLAD 用浅层全局路由加中间层局部路由的逐帧动态融合来指导低秩专家选择,在 LibriSpeechMix 与 CH109 上报告了优于 SOT 基线的错误率,尤其在高重叠下更稳,但三说话人仍是零样本泛化且真实数据需再微调。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对多人重叠语音转写中深层说话人特征稀释问题,GLAD 用浅层全局路由加中间层局部路由的逐帧动态融合来指导低秩专家选择,在 LibriSpeechMix 与 CH109 上报告了优于 SOT 基线的错误率,尤其在高重叠下更稳,但三说话人仍是零样本泛化且真实数据需再微调。
该研究在 42 种语言的替换错误上直接测量语音、形态、句法和词义相似度,用混合效应贝塔回归证明句子语义保留来自跨维度交互而非单维度叠加,最强证据是形态句法联合保留的增益和系统差异,但代价是对插入删除不建模且依赖现有工具链的标注噪声。
针对中英会话语码切换数据稀缺问题,该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成,再把合成语音与真实语音混合微调 Whisper 等识别模型,在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%,代价是依赖伪帧语言标签与多模型打分流水线。
针对中英码切换识别中语言快速切换与稀有命名实体难认的问题,LLM-HB 用 Whisper 编码器加双专家 MoE 适配器加辅助语言头加 LLM 热词提示做联合建模,在 ASRU2019 码切换测试集 15 干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练与仔细权衡偏置损失权重。
针对只有目标域纯文本而无配对语音时的领域适配问题,该研究把与 ASR 同基座大模型微调得到的目标域语言模型以 LoRA 参数加减法直接合并进语音识别模型,在 CSJ 上把目标域字错率从 13.9 降到 13.3 且不增加推理参数与实时率,代价是提升幅度小于每步调用大模型的浅融合与密度比融合。
针对大语音基础模型顺序适配时的灾难性遗忘问题,论文提出只在低能量尾部子空间学习近似旋转并跨任务平均旋转的方法,在两组荷兰语系持续学习基准上把平均词错误率降到最低,但新方言任务的适配幅度仍受保留旧知识的约束。
该文针对带相对位置编码的 Conformer 在模拟忆阻器上执行时退化加剧的问题,确认编码后线性层的输出范围超出默认 ADC 量程是主因,用只放大位置编码层量程或去掉该线性层两种可运行方案分别将退化相对降低约 50% 和约 30%,代价是 ADC 面积功耗约束与基线小幅损失。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
针对噪声下自信但错误的强制转写问题,该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练,并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性,同时保留了可用转写内容。
针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。
该文解决流式语音识别词流需要即时转写为书面形式的问题,用预训练文本到文本模型加读标写策略把生成限制到完备跨度,在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%,代价是仍缺未来上下文且长跨度需等待完备。
针对普通话热词识别中过度偏置与同音误报的矛盾,UGPCB 在冻结的 Dolphin 模型上用解码时熵门控决定何时加偏置、用字形与拼音双通道交叉验证决定如何奖惩,在 SeACo 测试集上报告召回率从 68.15% 提升到 84.19%、F1 达到 90.81%,代价是背景错误率小幅上升与干扰词增多时误报增加。
UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上,在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果,代价是双任务共享参数带来自然度和说话人相似度的折中。
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型,证明全管线攻击在四类任务上均有效,而单个组件的暴露或冻结决定后门存留,且多任务嵌入让中毒样本不再直接可分,代价是防御常用的二分聚类假设失效。
该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头,在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下,代价是固定 10 秒英文合成数据与有限场景下的验证边界。
针对客服通话中尾部命名实体易被流式识别错且错误会污染客户关系管理录入的问题,该研究用实时伴随界面收集人工确认修正并由反射子智能体离线更新上下文偏置表与事后替换规则,在英语评测上把命名实体错误率相对降低 17.1% 而代价是偏置表在 3 批内即触及 500 容量上限。
针对逐字转写中局部一两个字符的不确定性,论文把通配符旁路从词级下移到词元级并与熵调度的混合图结合,在 25 个任务上相对 CTC 平均降低 9.45% 词错误率,代价是需要按语料调旁路权重与验证集熵进度。
论文把 Fisher 白化后的输入误差互协方差用于构造语音模型的低秩适配子空间,并在相同可训练参数量下比较均匀秩、自适应秩与跨层共享,报告自适应秩分配在 Whisper 与 Qwen3-ASR 上对标准 FCCA 最稳定地降低词错误率,但仍落后于大预算 LoRA 与全量微调。
针对长音频中领域术语不一致和声学混淆问题,Agentic-GER 用全文转写做全局上下文来发现可疑片段并定点重转写核对,在 GigaSpeechBench 上中文 Whisper 基线最高获得 36.8% 术语相对误差下降,代价是思考模式大幅增加输出 token 与耗时。