深层收缩不是丢失:Wav2Vec 2.0 方言几何的三段轨迹
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。
论文用同一 MMS 骨干的 126 至 4017 语言识别模型对比 49 种语言的质心聚类,显示只有 4K 规模在 K=18 处把系统发生恢复从 ARI 0.47 推到 0.74 并以 1.00 精度分离出太平洋宏簇,代价是仍有一个毛利语例外和一处未解释分支。
该文把语音编码器表示聚成系统发生树并与 Glottolog 标准树比较,报告词典统计上限仍明显优于所有神经表示,而 Whisper-LID 相对最好、XEUS 最差,且多数模型在未见语言上反而重建得更好。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
针对机场问询中口音英语可用性问题,LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程,最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任,代价是错配与视频增益有限且需以低置信回退到中性音来兜底。
论文用 8 个时长节奏指标加线性混合模型、分层聚类与线性支持向量机检验 5 种东北印度英语和 2 种印地语,再用 2048 维语种识别嵌入经主成分分析降至 42 维后做线性判别分析投影,发现英语内部高度重叠而印地语可分,且第一主成分与元音占比强相关 r=0.77,代价是英语变体分类准确率仅在 chance 附近且材料语言不同带来混淆。
针对口语语种识别在白盒梯度攻击下急剧退化的问题,论文提出自防御对抗重训练 SDART,用渐进式对抗样本挖掘加无教师动态在线标签平滑和语言一致性约束,在 VoxLingua-10 与 Common Voice 上同时改善干净与受攻击样本的等错误率和平均代价,但强迭代攻击与跨库绝对数值仍有明显残留误差。
以塞浦路斯希腊语延续升调为案例比较勒让德多项式与广义加性混合模型,两种方法共同报告 CYG-nh 与 ATG 及 CYG-nl 分离,前者刻画整体斜率降低与曲率增加,后者定位核高目标附近相对时间差异,代价是都需要先验分类且对边界与阶数选择敏感。
该研究以 Bangor Miami 自发对话为对象,用 103 维语言无关韵律特征检验语码转换句与单语句的分布差异,并以聚类与 Whisper 语言标识为诊断工具分离说话人熟练度与多语属性的影响,代价是结论限于单一语料与粗粒度话语级特征。
论文要解决希腊语混英语电话与会议转写同时过九道生产门的问题,选择不再找单一训练配比而是用路由加解码干预加组合绕行,最强证据是三模型词投票把门覆盖从单模型 4 到 7 项拉到 9 项并把重叠语音词错误率从 53.35% 降到 37.87%,代价是单模型在该规模下希腊噪声门与英语语种识别门所需步数相差近 6 倍而无交集。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读
该研究用 12 句自然叙述录音让 245 名听者做二选一变体判断,总准确率 64.7% 高于机遇,但单语和西班牙语主导者约 70% 而遗产双语者仅 58.8%,且回归显示听者画像效应稳健而熟练度和接触量不再显著。
该研究用去词汇化朗读检验双语听者仅凭韵律区分印地语和印度英语的能力,再对同一批话语的感知边界做基频、强度、时长和停顿的词级声学分析,最强证据是总体语言识别准确率为 63.5% 且印地语边界分类更依赖相对强度而英语更依赖时长,代价是朗读体、单一切分与小样本朗读者限制了推广。
该文把 CFPR 扩展为八类口音评测基准并做 87 人听辨实验,再用冻结的 MMS-LID-256 训练八分类器,报告在 CFPR 上整体准确率 40.98% 而人类多数投票为 70.4%,代价是中部与东部分类互相混淆且增强后大类反而下降。
该研究以马赛市议会 10 名说话人各 5 段录音和 49 名听众的 5 级口音等级判断为证据,显示说话人均值从 1.33 到 4.10 呈近连续分布且重测相关 R²=0.98,而听众地域与态度变量均不显著,代价是 30 分钟在线测试流失率高且语音内容未做音系控制。