论文解读

把口音减掉而把人留下:口音类比引导如何跳出同一条权衡曲线

跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音,本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去,在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度,代价是每步增加代理计算与每模型需小幅扫描去口音强度。

 · 更新于 2026-11-18 · 约 16 分钟 · 7789 字 阅读 →
论文解读

不转写、不翻译:用对齐的句向量直接生成法语摘要

该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题,用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现,在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线,但依赖嵌入空间对齐质量且摘要多为合成参考。

 · 更新于 2026-11-18 · 约 18 分钟 · 8706 字 阅读 →
论文解读

在保住音色的同时拧动口音旋钮:CrossAccent-TTS 如何解耦说话人与口音

针对跨语言合成中口音不可控且易连带改变音色的问题,该文用 Neucodec 离散声学词元加 Qwen2.5 自回归解码器实现合成,以 Perceiver 瓶颈加梯度反转抑制口音残留再用加权语言嵌入连续调控口音强度,在 Indic 多语言 986 小时和 L2-ARCTIC 上显示口音相似度提升而说话人相似度和 UTMOS 基本保持,但主观 MOS 细节与强度 …

 · 更新于 2026-11-18 · 约 22 分钟 · 10790 字 阅读 →
论文解读

笑声和哭声翻不过去:MoVE 用混合发声专家保留非言语声

针对语音到语音翻译丢失笑声哭声的问题,论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决,在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据,代价是合成数据主导与英中范围验证。

 · 更新于 2026-11-18 · 约 17 分钟 · 8303 字 阅读 →
论文解读

重音规则不同时,自监督表示与词内上下文能否跨语言复用

该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。

 · 更新于 2026-11-18 · 约 20 分钟 · 9568 字 阅读 →
论文解读

去掉语言干扰再认人:正交投影与流形约束 PLDA 的跨语言说话人确认

针对跨语言时语言线索与说话人身份纠缠的问题,该工作用正交投影只取自监督特征中与监督嵌入互补的分量,并用流形约束的神经 PLDA 做判别优化,最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%,代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。

 · 更新于 2026-11-18 · 约 18 分钟 · 8864 字 阅读 →
论文解读

基准分好看、个人用不好:韩语唇读在 OLKAVS 上拆开 wording、说话人与仰角

该文用英语预训练的视频 Conformer 在 OLKAVS 协议上把已见句式误差降到约 10% 上下,但人口普查显示个体误差从 1% 到 52% 不等,数分钟正面视频的低秩适配器能为高误差者挽回约 2 到 3 个点且可迁移到各视角,而嘴平面以上相机带来约 6 个点的固定加性损失。

 · 更新于 2026-11-18 · 约 18 分钟 · 8564 字 阅读 →
论文解读

同样是副语言任务,为何性别可跨语言迁移而说话人验证不行

论文提出以行归一化增益比度量供体语言对目标语言影响的跨语言迁移矩阵,并在 44 种语言上用同一 HuBERT 编码器对比性别识别与说话人验证,发现前者近乎语言无关而后者普遍负迁移且亲缘语言内才有正迁移,但结论依赖小样本动态区间与单轮微调条件。

 · 更新于 2026-11-18 · 约 16 分钟 · 7906 字 阅读 →
论文解读

不用百万条身份数据:用一次真实参考锚定音画身份的伪造检测

针对音画伪造在未见篡改与跨语言下易失效的问题,Referee 用一次真实参考做生物特征锚点,经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定,在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP,但仍依赖同身份真实参考且对参考质量敏感。

 · 更新于 2026-11-18 · 约 18 分钟 · 8994 字 阅读 →
论文解读

换了语言就换了破绽:66 种语言下伪造语音检测为何不再可靠

该文构造只含合成语音的 2732 小时 66 语言语料 LRLspoof,用外部混合基准标定的等错误率阈值做零样本迁移评估,发现同一检测器在固定合成器下跨语言的伪造拒绝率可相差数十个百分点,但该结论只刻画伪造拒绝一侧,未测量目标域真人语音误拒。

 · 更新于 2026-11-18 · 约 17 分钟 · 8508 字 阅读 →
论文解读

不改唇形只定静音时刻:用二值语音活动信号约束配音合成

该文用帧级二值语音活动掩码约束补画式语音合成以对齐源语言静音结构,在 mTEDx 上把帧对齐准确率从约 73% 提升到约 96%,而主观自然度无显著下降,代价是在翻译时长严重失配时出现可复述的删词、重复与重排。

 · 更新于 2026-11-18 · 约 19 分钟 · 9244 字 阅读 →
论文解读

音节不够一秒、标签只有十个:ToneCL 用保调增强做对比预训练

针对音节级声调标注缺数据、句子级数据切分噪声大的问题,ToneCL 用保持声调的增强做对比预训练再用每调 1 到 10 个样本微调,在六说话人普通话 10-shot 达到 91.6%,跨语言预训练仍达 91.0%,代价是自然连续语音与声门特征仍未解决。

 · 更新于 2026-11-18 · 约 18 分钟 · 8751 字 阅读 →
论文解读

跨语言帕金森严重程度分级:预训练语音嵌入能迁移什么,又在哪里混淆

该研究用四种语音基础模型嵌入加四种浅层分类器做健康对照、轻度、重度三分类,在意大利语、英语、哥伦比亚西班牙语之间做零样本与每类 49 个目标片段的 k 样本适配,发现 k 样本一致提升目标语言 F1 且源语言基本稳定,但重度与轻度边界和预处理线索损失仍是主要代价。

 · 更新于 2026-11-18 · 约 18 分钟 · 8858 字 阅读 →
论文解读

单语能分开慢阻肺,换语言就失灵:用疾病方向一致性筛出 26 个跨语言声学特征

针对自发语音中疾病效应被语言音系差异掩盖的问题,CL-DAF 在英孟 272 维公共声学空间中用符号秩二列效应与语言不变分数筛选出 26 个方向一致特征,使英译孟与孟译英 AUC 分别达到 0.825 和 0.722,而代价是需要双语标签估计对齐且目标全参与选择时会高估约 0.04 到 0.09。

 · 更新于 2026-11-18 · 约 19 分钟 · 9339 字 阅读 →
论文解读

去掉提示词文本:用合成同说话人提示做微调的跨语言克隆

针对推理时拿不到参考音频文本的跨语言克隆问题,该文用预训练 F5-TTS 合成同说话人提示做监督微调并配合静音鲁棒语速预测器,在 LibriSpeech-PC 上 WER 为 2.014% 且相似度提升,代价是自然度小幅下降。

 · 更新于 2026-11-18 · 约 21 分钟 · 10077 字 阅读 →
论文解读

语音大模型越靠近语言端病理线索为何越弱:编码器解码器与生成的分层核对

该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成,报告编码器优于解码器而生成接近随机,并用样本自适应层聚合代替单层搜索,但跨语言绝对性能仍明显低于多语言混合训练。

 · 更新于 2026-11-18 · 约 19 分钟 · 9051 字 阅读 →
论文解读

去掉语言方向:用残差做未见语言的音频伪造检测

针对训练中完全没有目标语言的跨语言伪造检测,该文用源语言真话拟合从连续语种表征到语音表征的岭映射并取残差,在六语六骨干上报告平均 9–17% 相对收益,远距离迁移收益更大,但近距离个别组合出现反例。

 · 更新于 2026-11-18 · 约 18 分钟 · 8787 字 阅读 →
论文解读

冻住源语言适配器再叠一层:跨语言低资源适配为何选择串行堆叠

针对 Whisper 不支持的三种低资源语言,研究比较暖初始化、注意力融合与顺序适配器堆叠三种源适配器复用方式,最强证据是最近源上的顺序堆叠在全量数据上相对全量微调降低词错误率 5-8%,在一小时数据上降低 12-26%,代价是需先在约 120 小时源语言数据上训练并冻结源适配器。

 · 更新于 2026-11-18 · 约 18 分钟 · 8808 字 阅读 →
会议总览

jep-2026 论文深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 238 分钟 · 118878 字 阅读 →
会议总览

speechprosody-2026 论文深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 360 分钟 · 180081 字 阅读 →