重叠多反而伤分离:合成对话数据为何对识别与日志任务给出相反配方
论文以 DiCoW 与 Sortformer 为载体系统改变轮次、源域、增强与混合策略,报告显示加大重叠把 NSF-1 上合成训练 DiCoW 推到 22.1% 而把 Sortformer 宏平均推差到 27.6%,多样源混合与噪声加混响组合则分别主导两任务,合成加真实联合训练取得最优。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文以 DiCoW 与 Sortformer 为载体系统改变轮次、源域、增强与混合策略,报告显示加大重叠把 NSF-1 上合成训练 DiCoW 推到 22.1% 而把 Sortformer 宏平均推差到 27.6%,多样源混合与噪声加混响组合则分别主导两任务,合成加真实联合训练取得最优。
针对级联多说话人识别中分离残留导致串话被转写的问题,该文用独立日志模型做声学验证并经三重一致才剪词,在高泄漏子集上报告最高约 29% 相对 cpWER 下降,代价是依赖词级时间戳与相似度门限且联合分离-日志结构泛化不稳。
针对口音导致识别错误上升而全量微调昂贵的问题,论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由,并用多任务与对抗去性别泄漏约束训练,在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率,最强增益依赖解码后确定性幻觉过滤配合。
针对多人重叠语音不知跨说话人词序的问题,该文用洗牌积与偏序有限状态自动机构造全部合法交错序列并以 CTC 式前向算法边缘化训练,实现单遍对齐与说话人归属转写,主要代价是图规模随重叠长度膨胀而必须用时间领约束剪枝。
论文把鲁棒性当作随分布漂移持续演化的能力,用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程,对比经验回放、表征正则与正交梯度三种持续学习策略,最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘,代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
针对智能眼镜佩戴者语音易被旁人声污染的问题,该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T,在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%,代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。
该研究用粤语声调外在归一化双任务加脑电时频分析回答负荷下如何维持知觉恒常,发现行为准确率不受视觉负荷影响,但顶枕 alpha 同步增强与高负荷前额 delta 去同步共同支撑主动控制,代价是视觉任务准确率下降与额外抑制资源投入。
该文针对英语短语音主导、长语音与多语言评测分散且准度与效率口径不一的问题,搭建覆盖 86 个系统与 11 个数据集的三轨评测流程并统一词错误率与逆实时因子计算,在当前结果中 Conformer 类编码器加大语言模型解码器平均词错误率最低而 CTC 与 TDT 解码器吞吐更高,但差异同时受训练数据与配置影响。
针对带切分前端中循环时间与跨频带模块的串行依赖问题,论文用并行时间—频带混合器替代循环展开并用可学习的观察信号加回抑制伪影,在冻结 Whisper 下降低词错误率,代价是仍需两阶段训练且为话语级非流式混合。
针对多语语音大模型中多任务混训导致语言区分度丢失的问题,PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略,在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU,代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。
该文为普什图语从界面本地化、维基句子抽取、易丢音素补句到广播动员建成 147 小时众包朗读库,并用 MCV20 微调 Whisper Base 在 MCV20 测试集上报告 13.4% 词错误率,但朗读口音、方言与性别缺失限制了外推。
针对长时多方对话中说话人活动不均衡与重叠导致归属困难的问题,论文提出以目标到来方向为空间先验的多通道目标说话人抽取前端 PATSE,在回放与真实对话上以词错率和 diarization 错误率衡量获得一致增益,代价是仍需已知目标方向且对极小角度间隔更敏感。
针对端到端语音识别中专有名词易被替换为高频近音词的问题,该文提出只读转写文本的多视角检索 grounding 框架,用 G2P 细粒度发音、Soundex 粗粒度编码与上下文语义嵌入做归一化融合排序,在 69542 个对齐药物实体上把 Whisper-large-v3 的 Recall@1 从 38.27% 提升到 74.67%,代价是依赖预定义闭集词典与实 …
论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差,报告搭嘴误差显著更低且单语 HuBERT 整体最优,但冻结基座与盲目增大规模或语言数都不能保证更好。
论文把自动语音识别中的幻觉定义为对齐后的编造插入词,用因果中介与注意力行为定位到偏向文本的多头自注意力,再用连接时序分类门控与跨注意力构建 AudioSLM,在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%,代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。
针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。
该研究在 Whisper-small 上用免微调的一次性幅度剪枝证明剪对位置可降低词错误率,解码器自注意力剪 50% 在 LibriSpeech test-other 上带来 2.38% 绝对增益,而 40.8% 稀疏度的敏感度感知压缩仅使词错误率恶化 0.20%
论文以同一对开源流式 ASR 与流式说话人日志模型为起点,比较级联、掩码输入、词级 SOT 与日志条件四种架构,报告显示日志条件的 SSA 在多说话人 cpWER 平均最低而词级 SOT 在单说话人上退化明显,代价是需要微调与多实例内存。
针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。