直接加在波形上的语音增强:Wav2Aug 如何一次调好到处复用
Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题,提出在波形上每次随机串联两种变换的固定策略,在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差,在 ASR 上基本持平,而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。
Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题,提出在波形上每次随机串联两种变换的固定策略,在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差,在 ASR 上基本持平,而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。
论文比较同一批学习者英语回答上的声音分类器与文本零样本分类,完整文本下音频总体更准但优势随水平和输入量变化,而两者融合明显更好,但结论只在六种母语、A1 到 C1 的平衡评测条件下成立。
共分析 80 篇语音/AI 论文
论文研究只用文本预训练的主干如何识别语音和非语音属性,通过比较音频与文本在前馈神经元上的重合再用转向与关闭做因果验证,在三个模型与四类任务上发现标签特异的对齐但强度因模型而异。
论文要解决印度 22 种 scheduled 语言加印度英语在短、噪声、窄带和混码语音下的首步语种判断问题,用 115.6M 参数的专用 Conformer 在 54643 小时上训练,在 37 个同 clip 条件下平均 macro-F1 达 0.914,代价是需要大规模多语训练和多轴评测设计。
共分析 69 篇语音/AI 论文
该论文要从整句语音直接判断是否出现语码转换,方法是只用单语语音找出对两种语言反应不同的编码器维度,再把这些维度上的帧级激活聚合成整句判决,在 CS-FLEURS 上 Whisper-small 平均 F1 为 0.798,但结论只在给定评测集和少量标注调参条件下成立,且未验证野外无标注挖掘流程。
共分析 146 篇语音/AI 论文
针对口音标签模糊、类别不均衡和跨语料库录音差异,AccentCL 先训练五类区域口音基座分类器再用回放与正则逐步加入西班牙和中国口音,新类与旧类取得平衡但仍依赖有限回放与两步验证。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。
本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。
CARDAMOM 用约 40 小时转写的 YouTube 自然语音覆盖 6 国 21 种微方言,最强零样本系统总体词错率为 43.47%,在训练集上适配后降至 35.21%,而 21 分类微方言辨识达到 85.57%。
在英法双语 HuBERT 等总时长对照下,增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%,但最终离散单元无改善且过晚干预会增加语言分隔。
论文以语种识别为可控分类任务,研究仅由声学损坏引起的域偏移,构建 CWWS 小库并用 DomainBed 比较 ERM、MMD、DANN,发现域内性能不能预测跨域鲁棒性且显式域不变约束未稳定超越 ERM,并在 MMS-LID-126 大系统上验证了多样声学暴露主导鲁棒性但转移不对称、未知严重失真仍困难。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对行政标签掩盖真方言差异导致评测失真的问题,GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话,用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线,最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%,代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …
该研究用人工标注话语时长比较同一越南语接触项目第一年与第二年前八个片段,报告儿童总话语占比从 10.9% 升至 25.3%、师生比从 8.17 降至 2.94,但英语仍占主导且组织者越南语输入下降而儿童越南语输出仅获中等强度证据支持。