把口音减掉而把人留下:口音类比引导如何跳出同一条权衡曲线
跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音,本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去,在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度,代价是每步增加代理计算与每模型需小幅扫描去口音强度。
跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音,本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去,在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度,代价是每步增加代理计算与每模型需小幅扫描去口音强度。
该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题,用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现,在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线,但依赖嵌入空间对齐质量且摘要多为合成参考。
针对跨语言合成中口音不可控且易连带改变音色的问题,该文用 Neucodec 离散声学词元加 Qwen2.5 自回归解码器实现合成,以 Perceiver 瓶颈加梯度反转抑制口音残留再用加权语言嵌入连续调控口音强度,在 Indic 多语言 986 小时和 L2-ARCTIC 上显示口音相似度提升而说话人相似度和 UTMOS 基本保持,但主观 MOS 细节与强度 …
针对语音到语音翻译丢失笑声哭声的问题,论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决,在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据,代价是合成数据主导与英中范围验证。
该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。
针对跨语言时语言线索与说话人身份纠缠的问题,该工作用正交投影只取自监督特征中与监督嵌入互补的分量,并用流形约束的神经 PLDA 做判别优化,最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%,代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。
该文用英语预训练的视频 Conformer 在 OLKAVS 协议上把已见句式误差降到约 10% 上下,但人口普查显示个体误差从 1% 到 52% 不等,数分钟正面视频的低秩适配器能为高误差者挽回约 2 到 3 个点且可迁移到各视角,而嘴平面以上相机带来约 6 个点的固定加性损失。
论文提出以行归一化增益比度量供体语言对目标语言影响的跨语言迁移矩阵,并在 44 种语言上用同一 HuBERT 编码器对比性别识别与说话人验证,发现前者近乎语言无关而后者普遍负迁移且亲缘语言内才有正迁移,但结论依赖小样本动态区间与单轮微调条件。
针对音画伪造在未见篡改与跨语言下易失效的问题,Referee 用一次真实参考做生物特征锚点,经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定,在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP,但仍依赖同身份真实参考且对参考质量敏感。
该文构造只含合成语音的 2732 小时 66 语言语料 LRLspoof,用外部混合基准标定的等错误率阈值做零样本迁移评估,发现同一检测器在固定合成器下跨语言的伪造拒绝率可相差数十个百分点,但该结论只刻画伪造拒绝一侧,未测量目标域真人语音误拒。
该文用帧级二值语音活动掩码约束补画式语音合成以对齐源语言静音结构,在 mTEDx 上把帧对齐准确率从约 73% 提升到约 96%,而主观自然度无显著下降,代价是在翻译时长严重失配时出现可复述的删词、重复与重排。
针对音节级声调标注缺数据、句子级数据切分噪声大的问题,ToneCL 用保持声调的增强做对比预训练再用每调 1 到 10 个样本微调,在六说话人普通话 10-shot 达到 91.6%,跨语言预训练仍达 91.0%,代价是自然连续语音与声门特征仍未解决。
该研究用四种语音基础模型嵌入加四种浅层分类器做健康对照、轻度、重度三分类,在意大利语、英语、哥伦比亚西班牙语之间做零样本与每类 49 个目标片段的 k 样本适配,发现 k 样本一致提升目标语言 F1 且源语言基本稳定,但重度与轻度边界和预处理线索损失仍是主要代价。
针对自发语音中疾病效应被语言音系差异掩盖的问题,CL-DAF 在英孟 272 维公共声学空间中用符号秩二列效应与语言不变分数筛选出 26 个方向一致特征,使英译孟与孟译英 AUC 分别达到 0.825 和 0.722,而代价是需要双语标签估计对齐且目标全参与选择时会高估约 0.04 到 0.09。
针对推理时拿不到参考音频文本的跨语言克隆问题,该文用预训练 F5-TTS 合成同说话人提示做监督微调并配合静音鲁棒语速预测器,在 LibriSpeech-PC 上 WER 为 2.014% 且相似度提升,代价是自然度小幅下降。
该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成,报告编码器优于解码器而生成接近随机,并用样本自适应层聚合代替单层搜索,但跨语言绝对性能仍明显低于多语言混合训练。
针对训练中完全没有目标语言的跨语言伪造检测,该文用源语言真话拟合从连续语种表征到语音表征的岭映射并取残差,在六语六骨干上报告平均 9–17% 相对收益,远距离迁移收益更大,但近距离个别组合出现反例。
针对 Whisper 不支持的三种低资源语言,研究比较暖初始化、注意力融合与顺序适配器堆叠三种源适配器复用方式,最强证据是最近源上的顺序堆叠在全量数据上相对全量微调降低词错误率 5-8%,在一小时数据上降低 12-26%,代价是需先在约 120 小时源语言数据上训练并冻结源适配器。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读