语音克隆

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话，用单一人类偏好奖励做强化学习，在多语克隆和按需修改上测得可复述的提升，代价是更大的总参数和更复杂的推理工程。

PACT 把语音到语音翻译分成语义文本、说话人音色和语用表达三路，把源语音的语用线索映射到目标语言表达空间并做成连续提示去引导冻结的合成器，在西班牙语英语双向 TOPI 评测里内容、音色和表达同时更好，但结论只在 30 对重演条件下成立。

论文用 0.6B 双自回归模型做零样本语音克隆，以多语言微调打底、用词错误率和说话人相似度稳住内容和音色，再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感，代价是需要配对真人参考并额外约束时长。

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题，用两层均衡语料加三步适配改造英语自回归语音基础模型，并用母语人评测证明自然度和克隆保真度的提升与适用边界。

论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数，发现可懂度接近可达上限而音色相似度只走了一半路程，相同计算量下用说话人编码器做候选选择才能继续提升音色，但要付出词错误率和编解码器上限的代价。

针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题，该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式，母语人听辨显示口音明显下降，但掩码位置决定了口音抑制与音色保持的折中。

针对只需数秒语音即可克隆的 VC/TTS 滥用问题，STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位，仅优化扰动去逼近目标说话人嵌入，在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率，同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。

针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题，RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建，在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748，代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。

Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题，用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆，跨语言证据显示英文目标相似度 0.789 且词错率 0.10%，代价是中文指标与内容准确率仍低于教师模型。

DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度，在见过口音上口音探针准确率从 6.5% 提升到 19.6%，以单遍合成达到级联方案的口音转移并保留更高的说话人相似度，但 held-out 口音仍弱于级联且瓶颈在示例编码器。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对病理性语音的个性化语音重建，该文用带情景说明的最佳最差排序区分可懂度和整体重建，并用面向高可懂度分布与原始病理分布的双参照分布分数预测听感排序，代价是低可懂度重度组仍只有极少数零样本系统能超过原录音。

针对未授权语音克隆问题，FreqGuard 用可学习的频域特征先验生成不可感知扰动，在黑盒 TTS 上把攻击成功率压低，同时以多损失联合优化保留语音质量，代价是强净化与部分大模型上仍有残余攻击成功率。

针对零样本声音克隆的未授权冒用问题，该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性，在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%，代价是需要两阶段训练且黑盒迁移后防御率明显下降。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

NaVo 针对只需数秒语音即可克隆的威胁，用文本到音频扩散模型加性别与场景分组的 LoRA 模块生成可直接混合的环境声，在 17 dB 混合条件下报告了对商用克隆系统 76% 的防御成功率与跨编码器的迁移效果，代价是依赖性别分布假设与固定信噪比混合。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

论文以能否保留副语言信号为问题，用八个开源克隆模型在复述与固定文本下做下游分类对照，最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移，代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。

TriageSim 针对急诊分诊缺少真实护患语音的问题，用结构化病历加人物设定驱动多智能体对话与语音合成，生成约 800 段文本音频对齐语料，并在三模态分诊分类上只得到公平一致性，说明瓶颈在临床推理而非转写噪声。