新词没有语音也能做好初始化:SEAM 如何拼出低资源 TTS 的词向量
SEAM 针对条件式 TTS 扩词时新词向量缺乏监督的问题,用子词序列的频谱低通滤波保留语序再以闭式岭回归对齐到预训练流形,在俄语、哈萨克语和法语上以更少微调数据达到接近基线的可懂度和主观偏好,但结论只在可分解、可转写且仍需微调的条件下成立。
SEAM 针对条件式 TTS 扩词时新词向量缺乏监督的问题,用子词序列的频谱低通滤波保留语序再以闭式岭回归对齐到预训练流形,在俄语、哈萨克语和法语上以更少微调数据达到接近基线的可懂度和主观偏好,但结论只在可分解、可转写且仍需微调的条件下成立。
X-MDD 把学习者语音、合成的标准语音和标准音素序列一起送入大模型来预测真实发音,只在中文和英文上训练,再靠标准参考和示例迁移到阿拉伯语,代价是召回和诊断精度仍明显低于有监督基线。
针对参考语音与待合成文本语言不同时无对齐模型按字节估计时长导致失配的问题,论文构建英语与九种印度语言双向评测基准,提出只在推理期引入语言平均每字符时长的修正策略,并在双语与多语 A-DMA 模型上用可懂度、相似度和自然度指标验证改进的范围与局限。
论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型,再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应,与只用汉语普通话从头训练对比,发现唤醒度只需 2 小时即可追平 100 小时单语模型,而效价需要 20 小时,代价是小数据下直接训练不稳定且效价与优势度整体更难预测。
本文综述 2006-2025 年僧伽罗语 ASR,问题是标注语料少、形态复杂导致词错误率高,对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降,而跨测试集的 WER 数字不可直接比较,且大模型微调仍需解决方言、噪声和代码混合问题。
针对注册与测试语言不一致时声纹会混入语言线索的问题,该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入,在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%,代价是 580M 以上参数与 58.43 GMACs 的计算量。
论文要解决英文 CLAP 无法理解印度语言描述的问题,只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间,最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。
该工作把合成语音归因做成基于样例比较的可解释分类,在 MLAAD 英语训练下用架构族标签达到 99.65% 平衡准确率并支持跨语种与开放集拒绝,但原型冗余与说话人覆盖不足仍是主要代价。
针对参考条件下的跨语言语音二选一诊断任务,论文用约 300 组人类偏好筛选并校准声学度量为非约束性概率提示以扩展出万级监督,再比较监督微调、在策略蒸馏与强化学习的不同分工,报告显示维度一致性提升 6.3 个百分点但强化学习主要改善高共识样本且可能降低维度诊断分。
针对标注稀缺且带声调和形态变化的 Basaà语,研究用多语言自监督表示 XLS-R 做微调,在 1671 条测试上报告词错误率 14.13% 和字错误率 3.51%,代价是方言覆盖窄且声调细节仍易错。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对无源域数据、只有多个预训练源分类器和极少量有标签目标数据的语音情感分类问题,MOCHEE 用软置换对齐加元学习合并权重构造靶向分类器,在 CAFÉ和 Oréau 上报告最高准确率与 Macro-F1,但对齐与内外层划分等细节仍有未验证边界。
针对边听边翻需要在等够信息与尽快输出之间抉择的问题,该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP,使离线训练的语音到文本模型无需再训练即可流式运行,在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量,但高延迟段优势收窄且 DCAP 随延迟增大而退化。
该文在统一录制协议的 18 人芬俄双语 FROST-EMA 上以留一说话人方式系统比较原始 EMA 与声道变量、自监督前端与 MFCC、BiLSTM 与轻量注意力反演器,最强证据是跨性别约降 0.05–0.10 而跨语言约降 0.10–0.20 且舌体收缩位置退化集中在音位活跃段,代价是俄语女性仅 2 人及唇突出维度本身难以从声学恢复。
该研究用 12 条合成声调连续统和辨认加区分双任务比较 27 名景颇母语者和 23 名普通话母语者,报告显示除二声与三声之间未形成范畴知觉外其余声调对均有边界,但景颇组在多对声调上的边界宽度更大而分辨峰更矮,且全程未训练神经网络模型。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。
针对注册与测试语言不一致时说话人确认性能下降的问题,该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练,在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%,代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。
针对低资源声调语言缺少专用声学模型的问题,CrossPhon-Tonal 在发音特征映射后增加自动声调映射,在六种声调语言上达到与专家人工映射可比、并在多组上超过 3600 小时 Global English 模型的一致率,但低训练量模型与克罗地亚语等边界条件仍暴露明显短板。
该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。