用语音编码器里对语言敏感的维度直接发现语码转换
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
针对口音标签模糊、类别不均衡和跨语料库录音差异,AccentCL 先训练五类区域口音基座分类器再用回放与正则逐步加入西班牙和中国口音,新类与旧类取得平衡但仍依赖有限回放与两步验证。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。
本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
论文以语种识别为可控分类任务,研究仅由声学损坏引起的域偏移,构建 CWWS 小库并用 DomainBed 比较 ERM、MMD、DANN,发现域内性能不能预测跨域鲁棒性且显式域不变约束未稳定超越 ERM,并在 MMS-LID-126 大系统上验证了多样声学暴露主导鲁棒性但转移不对称、未知严重失真仍困难。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对行政标签掩盖真方言差异导致评测失真的问题,GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话,用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线,最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%,代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …
该研究用人工标注话语时长比较同一越南语接触项目第一年与第二年前八个片段,报告儿童总话语占比从 10.9% 升至 25.3%、师生比从 8.17 降至 2.94,但英语仍占主导且组织者越南语输入下降而儿童越南语输出仅获中等强度证据支持。
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。
论文用同一 MMS 骨干的 126 至 4017 语言识别模型对比 49 种语言的质心聚类,显示只有 4K 规模在 K=18 处把系统发生恢复从 ARI 0.47 推到 0.74 并以 1.00 精度分离出太平洋宏簇,代价是仍有一个毛利语例外和一处未解释分支。
该文把语音编码器表示聚成系统发生树并与 Glottolog 标准树比较,报告词典统计上限仍明显优于所有神经表示,而 Whisper-LID 相对最好、XEUS 最差,且多数模型在未见语言上反而重建得更好。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。