动态块在线如何缓解孟加拉语—英语流式识别中的形态截断
论文针对低资源、黏着语形态与句内孟加拉语—英语代码切换在因果流式中的截断问题,用 VAD 对齐的动态块在线推理和脚本锚定借词注入,在相同 3 s 预算下把根词与形态边界误差进一步压低,但仍以略高的全局 WER、最多 3 s 的延迟和良好 VAD 为代价。
论文针对低资源、黏着语形态与句内孟加拉语—英语代码切换在因果流式中的截断问题,用 VAD 对齐的动态块在线推理和脚本锚定借词注入,在相同 3 s 预算下把根词与形态边界误差进一步压低,但仍以略高的全局 WER、最多 3 s 的延迟和良好 VAD 为代价。
论文针对尼泊尔语中混入英语且书写要求分脚本的问题,用 172.8 小时六领域语料在保留分词器下做数字双语口语化与全参数微调,把测试词错误率从 48.6% 降到 16.3%,代价是域外读写差异仍带来损失且数字标签需再核验。
论文针对现有零样本语音转换在阿拉伯语上发音失真的问题,用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC,在保持说话人不可辨认的同时保留可懂度、自然度和口音,并在方言和语码切换上做了客观与主观验证。
该研究在 7 个未见过的在线西班牙语课堂会话上比较 6 种转写配置,发现用 38 个课堂会话做 LoRA 适配能把 MOSS 的词错误率相对降低约 38% 并接近商用 Muse,但学习者、英语独白和语码混合语音仍然明显更难,且转写最好不等于说话人归属最好。
论文用 0.95 小时合成混说语音做监督微调实现到 15.45 小时真实播客的主要迁移,再用序列级策略优化做 173 句级别的小幅边界修正,同时发现脚本奖励在已收敛编码器-解码器上无额外增益,且单语能力基本保持。
论文针对真实语码切换语音稀缺而合成语音存在失配的问题,对每个语言对和每个预训练模型用合成语音做 Reptile 元训练得到易适应的初始化,再用 1 小时真实标注语音适配,并在四种架构上以持续微调为主要对照验证了词错误率的相对下降,但增益大小依赖模型与语言对且部分小样本结论仍待多种子验证。
本文系统梳理 1451 篇论文中母语资源如何支撑语码混合处理、混合数据又如何反哺母语建模,并用 SEAME 等证据说明数据匹配往往比新结构更关键。
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
针对一句内中英交替难认准、稀有词和人名易错的问题,该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程,在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练和预先给定热词表。
论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务,证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效,并给出全部统计检验与八个失败方向。
论文发现多语音素模型会按整句估计语种并覆盖局部音素判断,导致非共享音素大量丢失,并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。
本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。
共分析 16 篇语音/AI 论文
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。
共分析 93 篇语音/AI 论文