EZ-Ar-VC:面向方言与语码切换的阿拉伯语语音匿名化
论文针对现有零样本语音转换在阿拉伯语上发音失真的问题,用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC,在保持说话人不可辨认的同时保留可懂度、自然度和口音,并在方言和语码切换上做了客观与主观验证。
论文针对现有零样本语音转换在阿拉伯语上发音失真的问题,用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC,在保持说话人不可辨认的同时保留可懂度、自然度和口音,并在方言和语码切换上做了客观与主观验证。
针对方言标注语音稀缺但方言网络音频丰富的问题,论文用每方言约 60 小时人工标注训练偏向识别的自监督标注模型来转写方言匹配音频并经筛选与噪声学生精炼得到 39028 小时弱标注语料,独立训练的方言专用模型在 GigaSpeechBench 上达到 23.86% 平均词错误率并在外部语料上保持可迁移的提升,但多方言自动路由仍有可测量的误差代价。
论文以 Newcastle English 使用者为对象,用模拟语音助手加半结构访谈研究他们如何评价地方口音与标准口音的合成语音,以及识别失败时如何调整发音、语速和用词,证据显示熟悉感与权威感的矛盾评价和向主流口音靠拢的应对同时存在,但结论只来自被试的自我报告而非声学实测。
本文针对整句说话人相似度无法定位口音差异的问题,提出整句打分加子词标注的分段评测流程,用 200 对内容匹配的苏格兰和澳大利亚语音实验证明局部标注能给出不同于整句打分的系统排序,而七种客观距离与听辨标注最多只有 0.22 的弱相关。
本文用 12.8 小时众包语音把不支持爱尔兰语的 Qwen3-TTS 适配成匿名单音色,再用词典编成的发音评价模型做一轮择优微调,把跨语料可懂度做到 CER 0.159,同时用同一评价模型量出语料中仅 229 段偏 Ulster 口音因而做不出少数口音。
论文在方言适应中同步跟踪损失与字错率,把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程,并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。
论文用 16 个 2021-2025 年语音识别系统在 8 个多口音数据集上对比主流美国英语与少数英语口音的词错误率,发现差距长期存在且少数口音更容易在换代时大幅退化,而主流口音始终被基准测试稳定保护。
论文用同一批日式英语做分析再合成以对齐口音强度,对比四种指示语和两类评测者并对照三种自动打分,说明笼统问自然度会把口音当缺陷,而问像人声程度并请熟悉该口音的人来听能更公平地比出系统差异。
论文以英语口音分类为对象,用 DistilHuBERT 做声学编码加分类头,在文件级与说话人隔离、平衡外部扩展和教师学生伪标签对照下,说明说话人重叠抬高库内成绩,而平衡外部训练只在部分折改善留出跨库表现且高置信伪标签并未带来提升。
针对口音标签模糊、类别不均衡和跨语料库录音差异,AccentCL 先训练五类区域口音基座分类器再用回放与正则逐步加入西班牙和中国口音,新类与旧类取得平衡但仍依赖有限回放与两步验证。
论文针对成人母语语音训练的识别模型在阿拉伯儿童青少年尤其是第二语言者上误差大的问题,构建 151.72 小时 286 人朗读语料并用未见说话人与提示是否见过的划分评测四种模型,发现第二语言儿童最难而分年龄与联合微调各有适用条件,代价是朗读体与分布不完全均衡且原始音频不公开。
针对方言语音缺数据导致翻译变差的问题,论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广,并用中间标准文本预测做语义桥,在日语德语中文方言到英语翻译上验证效果与代价。
论文用 500 人德语 RVG1 语料对比十种语音表示在朗读与自发两种风格下的地区分类与连续地理定位,发现 Whisper 同条件最强但跨风格下降最大,而跨风格说话人可检索性越好则地区信息保持越好。
论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务,证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效,并给出全部统计检验与八个失败方向。
论文用自采的英国口音金融语音基准 CavaBench,测量流式与离线语音识别在不同口音和噪声下的词错误率及其向大模型工具调用准确率的传导,发现总体强相关但任务关键 token 的保真度更能决定成败,而针对性微调能以较小延迟内存代价缩小差距。
针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。
论文固定声学编码器与训练数据只更换输出分词器,对比多语字符表、数据驱动 BPE 与音节音素分词在同域朗读和两种正交域偏移下的词错误率,发现小词表时音节先验占优而大词表时优势反转。
论文在三种非洲语音上固定识别与验证后端、只替换编解码器重建音频,显示参考型结构与基频误差比神经 MOS 更能跟踪下游退化,且中码率 RVQ 相对稳定而极低码率语义压缩在识别可用时仍可能丢失声纹,轻量 LoRA 适配可部分收回识别损失。
该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。
共分析 16 篇语音/AI 论文