语音克隆

论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数，发现可懂度接近可达上限而音色相似度只走了一半路程，相同计算量下用说话人编码器做候选选择才能继续提升音色，但要付出词错误率和编解码器上限的代价。

针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题，该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式，母语人听辨显示口音明显下降，但掩码位置决定了口音抑制与音色保持的折中。

针对只需数秒语音即可克隆的 VC/TTS 滥用问题，STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位，仅优化扰动去逼近目标说话人嵌入，在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率，同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。

针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题，RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建，在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748，代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。

Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题，用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆，跨语言证据显示英文目标相似度 0.789 且词错率 0.10%，代价是中文指标与内容准确率仍低于教师模型。

DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度，在见过口音上口音探针准确率从 6.5% 提升到 19.6%，以单遍合成达到级联方案的口音转移并保留更高的说话人相似度，但 held-out 口音仍弱于级联且瓶颈在示例编码器。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对病理性语音的个性化语音重建，该文用带情景说明的最佳最差排序区分可懂度和整体重建，并用面向高可懂度分布与原始病理分布的双参照分布分数预测听感排序，代价是低可懂度重度组仍只有极少数零样本系统能超过原录音。

针对未授权语音克隆问题，FreqGuard 用可学习的频域特征先验生成不可感知扰动，在黑盒 TTS 上把攻击成功率压低，同时以多损失联合优化保留语音质量，代价是强净化与部分大模型上仍有残余攻击成功率。

针对零样本声音克隆的未授权冒用问题，该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性，在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%，代价是需要两阶段训练且黑盒迁移后防御率明显下降。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

NaVo 针对只需数秒语音即可克隆的威胁，用文本到音频扩散模型加性别与场景分组的 LoRA 模块生成可直接混合的环境声，在 17 dB 混合条件下报告了对商用克隆系统 76% 的防御成功率与跨编码器的迁移效果，代价是依赖性别分布假设与固定信噪比混合。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

论文以能否保留副语言信号为问题，用八个开源克隆模型在复述与固定文本下做下游分类对照，最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移，代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。

TriageSim 针对急诊分诊缺少真实护患语音的问题，用结构化病历加人物设定驱动多智能体对话与语音合成，生成约 800 段文本音频对齐语料，并在三模态分诊分类上只得到公平一致性，说明瓶颈在临床推理而非转写噪声。

针对大语言模型语音合成只看参考音频和目标文本而忽略已生成目标语音风格的问题，该文提出按音节交替预测韵律标记和语音标记的方法，在三套中文评测上提升了说话人相似度和韵律相关性，但自然度基本持平且大模型对比仍有限。

针对印度语语音克隆掉词慢且部署重的问题，该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2，在印地语等四种语言上把可懂度和自然度做上去，同时把推理加速 53 倍，代价是说话人相似度略低于直接以参考音为条件的基线。

该文指出把声音仅当作可去标识数据的一次性合同授权无法满足知情同意，转而主张借鉴生物伦理的动态同意做持续治理，但其仅在可识别声音且权利人有谈判力的受控部署中可行。

该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题，构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注，报告说话人相似与口音相似高度相关、客观指标可预测主观感受，但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。

跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音，本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去，在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度，代价是每步增加代理计算与每模型需小幅扫描去口音强度。