论文解读
用语音编码器里对语言敏感的维度直接发现语码转换
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
针对一句内中英交替难认准、稀有词和人名易错的问题,该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程,在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练和预先给定热词表。
论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务,证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效,并给出全部统计检验与八个失败方向。
论文发现多语音素模型会按整句估计语种并覆盖局部音素判断,导致非共享音素大量丢失,并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。
本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。
共分析 16 篇语音/AI 论文
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。
共分析 93 篇语音/AI 论文