预训练记得旧音素,为何学不会新音素:语音合成中音素增加的对照检验
论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。
论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。
论文只改变输入归一化来训练识别墨西哥西班牙语元音的多层感知机,再用美国英语元音测试其归类与不懂英语的西班牙听者数据的吻合度,最强证据是 Lobanov 在平均绝对误差、均方根误差、相关和首选类别一致数上全面最优,代价是它以抹平说话人与语言间差异为前提,只适用于初始态建模。
针对零样本跨语言语音情绪识别中语言失配与无目标标注问题,论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索,在九组零样本任务上平均 UAR 达 82.26%,代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。
针对印度语语音克隆掉词慢且部署重的问题,该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2,在印地语等四种语言上把可懂度和自然度做上去,同时把推理加速 53 倍,代价是说话人相似度略低于直接以参考音为条件的基线。
针对语音大模型中高资源语种翻译好而低资源与零样本语种差的表示不可比问题,POTSA 冻结编码器与大模型只训练 Q-Former 并用偏置补偿加令牌级最优传输做跨语言对齐,在 FLEURS 五语种平均提升 1.29 BLEU 且零样本平均提升 2.93 BLEU,代价是每语种需 10 小时平行语音并引入额外对齐损失与层调度。
针对跨语言和噪声下说话人确认易把语言当成身份的问题,该文先用弧面间隔损失在多语言数据上微调 ReDimNet-B6,再冻结主干训练轻量三元组投影网络,开发集等错误率从基线 3.07% 降到 1.58%,代价是最易条件出现 0.07 个百分点回退且盲测集仍明显高于开发集。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对韩语手术室 51 类组合口令,该研究用共享编码器加三路注意力分别预测方向、模式和步数,并以 CORAL 顺序回归学习 1-5 步幅,在留一说话人评估下达到 95.36% 联合成功率、0.0338 步 MAE 和 0.60% 灾难性错误率,代价是仅 5 人数据与预切分评测且最难说话人仍明显下滑。
针对病理嗓音数据稀缺与传统线性增广失效的问题,论文用临床状态词控制的 F5-TTS 合成持续元音,研究 100 到 100000 的合成规模律,最强证据是仅用 10 万合成样本训练的分类器在留存真数据上超过真数据基线并显著提升灵敏度,代价是特异度下降与远域过量合成出现非单调退化。
针对合成语音质量评估依赖人工 MOS 且跨语言跨系统泛化差的问题,TDScore 用 TTS 训练中的检查点轮次与训练损失作伪标签训练质量预测器,在法语训练、英法评测上显示轮次标签与人工 MOS 相关而损失标签更不稳定,但仍受 TTS 训练动态与饱和截断策略限制。
该研究用同一组乌尔都语录音让德语和匈牙利语听者做快速韵律转写,报告两组在重音感知上依赖不同基频走向、在语调短语边界上一致度仅为弱到中等且受发音人影响,从而不支持边界线索普遍通用的判断,其代价是样本仅四位发音人和两组听者且未纳入乌尔都语母语对照。
该研究用冻结线性探测在 26 个语料、49 层表示上做跨语料迁移,发现第 15 层跨语料 F1 最高为 0.392 而 45 层下降 24.6%,均值池化 wav2vec2 比 27 维声学特征高 41% 但后者保留 71% 性能且复杂度低 3.7×10 的 7 次方倍。
VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱,在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名,代价是码本放大后隐私下降。
针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题,WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口,并用全注意力教师蒸馏加课程收缩做单轮适配,在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟,而英文词错误率保持在基线 0.2% 以内。
论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移,用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证,最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%,代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。
针对跨语言时自监督表示混入语言结构导致帕金森病患者被大量漏检的问题,该研究用只从健康对照估计的质心平移做表示层语言归一化,在捷克语德语西班牙语口部轮替任务上把灵敏度和 F1 大幅拉回,代价是特异度下降且德语目标增益最小。
针对只用英语训练、直接在七个未见语言上做零样本音素识别时替换错误占主导的问题,论文把识别改写为向通用发音特征空间的预测并用信息瓶颈过滤语言特异变化,报告平均音素错误率相对降低 20.56%、发音特征错误率相对降低 7.01%,代价是仍需目标语言音素清单做向量对齐且推理依赖 CTC 分段质量。
针对自然语音难以手工刻画心衰失代偿的问题,该研究用 3 天内拉近、100 天以上拉远的对比预训练学习录音表征,在 68 例入院与出院排序任务上以跨中心稳定性为主要证据,代价是小样本下差异不显著且高分辨率预训练指标更好但临床迁移更差。
针对零样本跨语言语音阿尔茨海默检测,ORBIT 用双向交叉注意融合多语言语音与文本预训练表示并以多抽头对抗与球面-双曲共识聚类抑制语言信息,在 mHuBERT+Qwen3 组合上取得 LOLO 平均 86.98% 准确率与 85.29% 宏 F1,但希腊语转写依赖 Whisper-large-v3 生成且 LTLO 仍明显低于混合训练。
针对台语语音配繁体中文硬字幕的跨语言错位问题,该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架,把金标集字幕识别字符错误率从 36.8% 降到 9.3%,并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%,代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。