按语系组织数据能否让自监督语音模型更好地泛化到低资源语言
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
该研究用母语语料的上下文相关音素类中心加截断奇异值分解建立母语参照坐标,把每条二语话语的同名音素类投影进去算距离,在自发口语上与综合熟练度呈负相关,在朗读上与发音质量呈负相关,但偏离中仍混有流利度和覆盖度因素。
针对儿童中心长录音中说话人类别难分的问题,论文用 13164 小时有效语音的 40 余种语言儿童中心数据做两轮 HuBERT 预训练再微调做声音类型分类,在留出集上平均 F1 达到 66.9% 接近第二标注者的 69.8%,代价是 32 块 H100 各 30 小时预训练与对其他儿童类的剩余差距。
该研究用 47.88M 参数的双向 Mamba2 编码器在 250 小时 67 语种无标注语音上做掩码离散单元预测,主检查点以 ARI 0.735 超过四个基线,但语种识别与识别错误率仍明显落后,代价是后期训练出现音素泛化退化与本地诊断失效。
该研究把对儿童说话检测放在 182 名儿童共 22 小时多语长程录音上,用儿童中心录音预训练的 BabyHuBERT 加 10 秒上下文窗口做三分类,最强证据是验证集平均 F1 从无上下文约 53.2% 提升到 10 秒约 67.0%,代价是训练时间从 22 分钟涨到 2 小时以上且自动切分下性能大幅回落。
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
论文用只在音乐上训练的神经音频指纹处理语音标注难题,一是去重将 50000 条语音留言减至 25017 条,二是用最远点采样在嵌入空间取多样子集,线性探测显示指纹在说话人上 F1 达 96.36%,代价是口音准确率不及 WavLM 且阈值与采样细节未完全公开。
该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。
针对跨语言时语言线索与说话人身份纠缠的问题,该工作用正交投影只取自监督特征中与监督嵌入互补的分量,并用流形约束的神经 PLDA 做判别优化,最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%,代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。
针对两阶段文本到音频中重建潜空间不一定好生成的问题,Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成,并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057,代价是 Flow-GRPO 后分布保真度 FD 有所回退。
该研究用发音属性序列代替音素直接建模,在母语数据训练后于学习者语料上做检测与诊断,报告显示误接受率与诊断错误率下降,但误拒绝率略有上升且声调细化带来灵敏度代价。
VoxKit 针对无桌面工具同时集成强制对齐与发音优度分析的问题,用可扩展的桌面流水线串起数据集注册、对齐器训练、双引擎对齐与声学优度打分,其最具体的可核对条件是 42 音素库存下 10 ms 分辨率的帧级后验打分,而代价是本文未报告对齐精度与评分有效性的定量实验。
论文把非语音幻觉当作编码器表示中线性可分的方向来检测,用原始激活转向和稀疏自编码器潜变量加性转向做免微调干预,最强证据是完整非语音测试集上 small 从 72.63% 降到 14.11%、large-v3 从 86.88% 降到 27.33%,代价是中文 CER 明显上升和语音 WER 小幅波动。
针对单句语音情绪识别忽略对话连续性的问题,论文提出只用前文音频做均值池化增强的 ACERT 模块,在 IEMOCAP 上以 25 秒前文将无上下文基线从 68.38% 提高到 79.08%,代价是情绪快速翻转的多人对话如 MELD 几乎无增益。
针对语音模型泛化不到环境音、频谱模型保不住语音时序的问题,JASPER 在共享 Transformer 上联合预测时域伪标签与频域块标签,原文报告 2000 小时下平均准确率 81.74% 与 XARES-LLM 两轨 0.66 和 0.50 的领先均值,但频谱权重极偏向 0.01 且推理仍只用波形输入。
针对约旦方言标注语音稀缺问题,论文用 Wav2Vec 2.0 自监督表示做起点,再以五轮噪声学生训练迭代利用未标注与增强语音,在 12.5 小时标注加五批各 2.5 小时未标注条件下把词错误率降到 51%,代价是多轮大模型迭代需要双卡 83 小时级训练开销。
针对单通道自监督音频编码器空间盲的问题,Bearings 用掩码重建方向场与双尺度扩散度学习可复用的声场嵌入,冻结拼接后在两个 SELD 数据集上把位置相关 F 值从 4 以下提升到 40 以上,代价是仍需轻量融合头训练且部分指标未超越联合训练模型。
PACE 针对非平行口音转换,用冻结 WavLM 上的口音预测子空间更新加检索融合实现推理时可调的转换强度,默认点以 16.0% 词错误率和 39.0% 分类器准确率优于复现基线,代价是说话人相似度降到 0.583。
针对标注少且跨天跨点易失效的动物声音时频框检测,MAST 用域内掩码预训练加适配检测器再加两阶段自训练,在雨林和鸟类两域的分布外评测上提升 F1 与 mAP,代价是第二轮后域内精度波动与更大计算量。
论文用可独立控制的 FormulaBank 把程序化规模拆成公式类覆盖 C 与类内渲染多样 I,在 FDSL 与 AudioMAE 对照中显示两者收益不同且依赖学习形式,匹配的 AudioMAE 实验显示程序化音频偏好 10–25% 低掩码而 AudioSet-28K 偏好 50–75% 掩码,代价是结论限于全量微调与特定模型流程。