一个全局模型不够用:按说话人相似度分别平均构音障碍语音模型
针对构音障碍说话人差异大而单一全局模型建模不足的问题,该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均,在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%,代价是每轮要分步训练并额外计算相似度。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对构音障碍说话人差异大而单一全局模型建模不足的问题,该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均,在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%,代价是每轮要分步训练并额外计算相似度。
该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。
针对大词典直接偏置会引入无关词的问题,该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段,只用这些片段做音似检索再做第二遍重识别,在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率,但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。
针对同时有语音和文本时如何低成本得到实际读音的问题,该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择,在日语三语料上把字符错误率降到 0.04 到 0.17%,代价是仍依赖候选覆盖与按语言校准的阈值。
论文把逐字与意图两种转写策略显式为解码器前缀标签并配对监督,用监督交叉注意力做词级对齐、用转写提示做补全,在英语训练零样本德语上把不流畅事件 F1 从约 10% 提升到 90% 以上,代价是需要成对转写与词边界监督及两阶段微调。
针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。
针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。
针对多语联合微调容量不足导致的负迁移,论文把 Whisper 解码器前馈层复制为稀疏混合专家并只激活单个专家,硬路由在 10 语和 4 语上优于多语微调与 LoRA 混合专家,代价是总参数随专家数线性增长且需已知语种标识。
论文以口吃语音为案例提出意图转写与逐字转写是两种并存的正确答案,用 11 个模型证明最优排名随参考答案翻转,自回归模型偏向意图、CTC 模型偏向逐字,而 ISR 与 MUR 事件是两类任务共同的误差主力。
针对韩语临床中英语医学术语可用英文原形或韩文音译两种合法拼写导致单参考词错率低估性能的问题,该研究构建带多参考变体的 MultiClin 合成对话基准并提出局部动态选参考评测,显示多文字感知评测大幅降低误差、训练标签统一为 100% 本地文字时最优,而 50% 混排熵最高、收敛最差,但合成语音与受限领域是主要代价与边界。
在冻结文本大模型且固定 600 bits/s 信息率下,把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描,并用因子化 FSQ 加轻量非自回归音频头补足单帧容量,最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升,代价是过低帧率下生成侧词错率单调恶化。
针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题,该文用基频预测与掩码谱重建自监督训练不确定性感知模块,再以全局指令加帧级注意力偏置控制解码,在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%,代价是三阶段训练与引入附加接口参数。
论文比较模块化流水线、任务专用大语言模型与通用多模态大模型在多说话人长音频转写中的表现,提出时间受限语义错误率与重叠分解指标,最强证据是重叠段贡献约九成总误差而模块化多通道系统在复杂会话中仍最稳健,代价是语义指标仍依赖词级对齐且人工语义一致性尚未验证。
针对中文老年语音在自然场景下识别困难的问题,WildElder 从在线视频收集并人工标注 23701 条语音,用从零训练与预训练模型的字错率对比证明野外老年语音仍具挑战,而微调能显著降低误差但高龄与男性语音代价更高。
该研究用原住民主导的半结构访谈调查 39 名澳大利亚原住民英语使用者的语音技术体验,报告识别失败常被归因于种族并迫使向白人说话方式切换,代价是挫败、放弃使用和在家中也要持续语码转换的劳动。
针对 ASR 与语音情感识别目标冲突的问题,论文用冻结 WavLM-Large 加逐层可学习系数合并同域 ASR 与 SER 任务向量,在 MSP-Podcast 上报告双向量 UAR 为 38.94% 与 Macro-F1 为 35.20%,代价是仍需先分别微调得到任务向量且依赖域内转写。
针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题,论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练,并用统一罗马化和双码本缓解竞争,在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5,代价是需要目标域音频加文本和两阶段训练。
针对 6 月龄到 8 岁儿童音素识别难、标注少的问题,论文整理 TinyVox 并在儿童日常长录音预训练的 BabyHuBERT 上做带 20 秒上下文的 CTC 微调,验证集降到 43.5% 左右的音素错误率,测试集达 42.1% 且替代错误多留在大类内,代价仍是绝对错误率高且依赖粗粒度聚合才显出发育趋势。
针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题,论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程,在三档 Whisper 规模上报告了优于直接微调的词错误率,同时保留了翻译正则与 donor 数据等代价与边界条件。
论文用同一段医患对话配对干净与加噪音频并冻结下游大模型,报告平稳环境噪声仅让词错误率上升 0.71 个百分点却使不安全输出翻倍,并验证轻量证据审计能在 5 dB 重噪声下降低高风险幻觉但保留良性表述差异。