野外网页音频上练多语表示:UPS 2026 用三任务逼出通用性短板
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
针对机场问询中口音英语可用性问题,LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程,最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任,代价是错配与视频增益有限且需以低置信回退到中性音来兜底。
论文用 8 个时长节奏指标加线性混合模型、分层聚类与线性支持向量机检验 5 种东北印度英语和 2 种印地语,再用 2048 维语种识别嵌入经主成分分析降至 42 维后做线性判别分析投影,发现英语内部高度重叠而印地语可分,且第一主成分与元音占比强相关 r=0.77,代价是英语变体分类准确率仅在 chance 附近且材料语言不同带来混淆。
针对口语语种识别在白盒梯度攻击下急剧退化的问题,论文提出自防御对抗重训练 SDART,用渐进式对抗样本挖掘加无教师动态在线标签平滑和语言一致性约束,在 VoxLingua-10 与 Common Voice 上同时改善干净与受攻击样本的等错误率和平均代价,但强迭代攻击与跨库绝对数值仍有明显残留误差。
以塞浦路斯希腊语延续升调为案例比较勒让德多项式与广义加性混合模型,两种方法共同报告 CYG-nh 与 ATG 及 CYG-nl 分离,前者刻画整体斜率降低与曲率增加,后者定位核高目标附近相对时间差异,代价是都需要先验分类且对边界与阶数选择敏感。
该研究以 Bangor Miami 自发对话为对象,用 103 维语言无关韵律特征检验语码转换句与单语句的分布差异,并以聚类与 Whisper 语言标识为诊断工具分离说话人熟练度与多语属性的影响,代价是结论限于单一语料与粗粒度话语级特征。
论文要解决希腊语混英语电话与会议转写同时过九道生产门的问题,选择不再找单一训练配比而是用路由加解码干预加组合绕行,最强证据是三模型词投票把门覆盖从单模型 4 到 7 项拉到 9 项并把重叠语音词错误率从 53.35% 降到 37.87%,代价是单模型在该规模下希腊噪声门与英语语种识别门所需步数相差近 6 倍而无交集。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读
该研究用 12 句自然叙述录音让 245 名听者做二选一变体判断,总准确率 64.7% 高于机遇,但单语和西班牙语主导者约 70% 而遗产双语者仅 58.8%,且回归显示听者画像效应稳健而熟练度和接触量不再显著。
该研究用去词汇化朗读检验双语听者仅凭韵律区分印地语和印度英语的能力,再对同一批话语的感知边界做基频、强度、时长和停顿的词级声学分析,最强证据是总体语言识别准确率为 63.5% 且印地语边界分类更依赖相对强度而英语更依赖时长,代价是朗读体、单一切分与小样本朗读者限制了推广。
该文把 CFPR 扩展为八类口音评测基准并做 87 人听辨实验,再用冻结的 MMS-LID-256 训练八分类器,报告在 CFPR 上整体准确率 40.98% 而人类多数投票为 70.4%,代价是中部与东部分类互相混淆且增强后大类反而下降。
该研究以马赛市议会 10 名说话人各 5 段录音和 49 名听众的 5 级口音等级判断为证据,显示说话人均值从 1.33 到 4.10 呈近连续分布且重测相关 R²=0.98,而听众地域与态度变量均不显著,代价是 30 分钟在线测试流失率高且语音内容未做音系控制。
该研究把多语言音素识别器输出的国际音标序列接上单语种 n 元音位组合模型做闭集语种识别,在 FLEURS 上达到与近期声学系统可比的准确率,但音素识别错误率和解码对照显示该序列并非真正与语言无关。
该研究把语种识别改写为二值语音属性上的独立伯努利似然,用二值自编码器加按频率估计的激活概率做闭集判分,在 FLEURS 上以 mms-lid-126 嵌入达到与 PLDA 相当的精度,同时保留按属性回看判分依据的能力,代价是在 ECAPA-TDNN 与未见语种上出现更明显的性能下降。
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
该文用 14 维说话人一致构音特征比较 VCTK 苏格兰、英格兰、爱尔兰口音,以 DTW 对齐达到 99% 分类准确并以最优传输扩展到非平行语料,但 OT 需要约 7.5 分钟语音和上百聚类点才稳定。
针对噪声混响等导致语言向量漂移的问题,该文冻结语种识别器并在其输出向量上学习流匹配变换,用五语种失真配对实验把 ECAPA 整体准确率从 0.6900 提升到 0.8672,代价是推理需 50 步常微分方程求解且法语等个别情形仍弱于波形前端。
针对同一说话人说多种语言导致声纹捷径失效的问题,该系统用声学分类器加语音大模型加零样本音位模型做识别、用双转写加推理大模型做验证,开发集识别 95.2% 宏准确率与验证 0.90% 等错误率,评估集为 96.78% 与 3.06%,但开发到评估存在明显落差且融合参数依赖开发集估计。
共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读