两个语音编码器为何比一个更稳:面向识别的编码器融合怎么做
该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别,通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接,但绝对词错率仍受低秩微调与量化资源限制。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别,通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接,但绝对词错率仍受低秩微调与量化资源限制。
针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题,论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影,在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率,并把长句解码器额外开销从百秒量级降到数秒量级,代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。
针对平均意见分测不出语法条件变体的问题,该文以阿萨姆语舌根前移元音和谐为探针,用人类语音训练声学到音系分类器并跨域审计 MMS 合成,最强证据是中元音/e/和/o/约三分之一被实现为[-ATR] 且欠生成与过生成呈约 7 比 1 不对称,代价是仅覆盖单个系统、单个现象与小规模不平衡合成集。
论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型,选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练,最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%,代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。
针对同时有语音和文本时如何低成本得到实际读音的问题,该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择,在日语三语料上把字符错误率降到 0.04 到 0.17%,代价是仍依赖候选覆盖与按语言校准的阈值。
论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题,最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本,代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。
论文用变换器自动检出填充停顿并以 Mundlak 校正的广义估计方程建模近四千小时四国议会语音,复现了年龄与语速的负关联、发现南斯拉夫议会中女性更高的性别反转与情感正关联,而政治倾向与执政在野效应只在部分议会成立且代价是自动情感与自动检出的噪声会进入发生率估计。
针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。
针对多语联合微调容量不足导致的负迁移,论文把 Whisper 解码器前馈层复制为稀疏混合专家并只激活单个专家,硬路由在 10 语和 4 语上优于多语微调与 LoRA 混合专家,代价是总参数随专家数线性增长且需已知语种标识。
论文研究约 1 万使用者的胡拉语如何做社区所有的文档化,方法是社区发起的众包翻译加长者审校平台 Vavanagi,最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%,代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。
针对大语言模型时代文本转语音与声音转换带来的分布漂移,VoxENES 2026 用英西双语 53628 个样本与 10 种后处理复现部署条件,不微调评测 8 个预训练检测器,最好的等错误率也只有 28.98%,多数接近随机猜测,代价是现有检测器依赖的细粒度伪影不再可靠。
针对韩语临床中英语医学术语可用英文原形或韩文音译两种合法拼写导致单参考词错率低估性能的问题,该研究构建带多参考变体的 MultiClin 合成对话基准并提出局部动态选参考评测,显示多文字感知评测大幅降低误差、训练标签统一为 100% 本地文字时最优,而 50% 混排熵最高、收敛最差,但合成语音与受限领域是主要代价与边界。
该研究用平行朗读语料和四项声学指标比较英汉嘎吱声生产,发现男性在 H1-H2c 与 HNR35 上更 creaky,且普通话性别差更大,但 CPP 无性别效应、朗读体与设备差异限制推广。
针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题,论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练,并用统一罗马化和双码本缓解竞争,在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5,代价是需要目标域音频加文本和两阶段训练。
针对 6 月龄到 8 岁儿童音素识别难、标注少的问题,论文整理 TinyVox 并在儿童日常长录音预训练的 BabyHuBERT 上做带 20 秒上下文的 CTC 微调,验证集降到 43.5% 左右的音素错误率,测试集达 42.1% 且替代错误多留在大类内,代价仍是绝对错误率高且依赖粗粒度聚合才显出发育趋势。
针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误,论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标,在 Kathbath 五语上把宏平均 WER 降到 19.85%,代价是引入双分支与两阶段调度等额外复杂度。
针对中英混语唇语数据稀缺问题,论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型,在 CSLR 上把混合错误率降到 16.48,代价是纯单语中文识别仍明显弱于原始多语基线。
该研究以词中相对词首的塞音弱化为问题,用跨语言统一的强度轮廓函数主成分分析加贝叶斯混合效应模型来度量弱化,最强证据是浊塞音在九种语言中几乎一致地更短且强度凹陷更浅,而鼻音和清塞音的实现方式因语言而异,代价是词重音混杂与强制对齐误差仍需补充检验。
针对非母语屈折变化导致端到端语音翻译显著掉点的问题,论文用对齐的语义空间把对抗文本嵌入直接注入语音流形做鲁棒微调,在四组翻译方向上平均提升约 3.4 个 BLEU 点而干净集仅下降约 0.6 个 BLEU 点,代价是仍需词级强制对齐和两阶段训练。
该研究以 12 语言 1386 人的元音共振峰估计声道长度并用因果中介分解性别对/s/峰值频率的直接与间接效应,最强证据是共振峰间距效应显著而性别直接效应不显著且间接效应更大,代价是朗读语体与纯声学估计带来解释边界。