语音克隆

针对大语言模型语音合成只看参考音频和目标文本而忽略已生成目标语音风格的问题，该文提出按音节交替预测韵律标记和语音标记的方法，在三套中文评测上提升了说话人相似度和韵律相关性，但自然度基本持平且大模型对比仍有限。

针对印度语语音克隆掉词慢且部署重的问题，该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2，在印地语等四种语言上把可懂度和自然度做上去，同时把推理加速 53 倍，代价是说话人相似度略低于直接以参考音为条件的基线。

该文指出把声音仅当作可去标识数据的一次性合同授权无法满足知情同意，转而主张借鉴生物伦理的动态同意做持续治理，但其仅在可识别声音且权利人有谈判力的受控部署中可行。

该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题，构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注，报告说话人相似与口音相似高度相关、客观指标可预测主观感受，但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。

跨语言零样本合成中参考音频的源语言口音会泄漏到目标语音，本文用同一合成代理声音在两种语言下预测之差估计口音方向并在采样时减去，在 OmniVoice 等四个公开模型上实现等口音下更高的说话人相似度，代价是每步增加代理计算与每模型需小幅扫描去口音强度。

针对只有极少量目标说话人录音时直接混入大量零样本合成语音会提升可懂度却拉低说话人相似度的问题，ZeSTA 用轻量域嵌入区分真假域并对真实数据做小倍数过采样，在 LibriTTS 上把相似度从 0.765 恢复到 0.815 左右，同时保留可懂度增益，但额外合成数据的扩展仍会带来相似度轻微回落。

针对缅甸语和老挝语缺少人工标注配对数据的问题，该研究先用固定音色合成语音建立文本到语音的对应，再用真人录音加双识别器一致性加权恢复目标音色控制，证据显示内容准确率得到保持而相似度被拉回，但逆序训练仍在发音准确率上占优且一致性只是不可靠程度的代理指标。

针对推理时拿不到参考音频文本的跨语言克隆问题，该文用预训练 F5-TTS 合成同说话人提示做监督微调并配合静音鲁棒语速预测器，在 LibriSpeech-PC 上 WER 为 2.014% 且相似度提升，代价是自然度小幅下降。

针对自回归语音模型在长提示下跳过与幻觉导致的最坏词错率飙升，论文提出只在检测到失败时回滚并临时加硬注意力掩码的 LACI，用 10 种子最坏值在 1500 词以上把 35.2% 降到 3.4%，代价是需要保留对齐头与设置重试上限。

针对连续隐变量自回归扩散在长句和难句上的发音错误与语义幻觉，DiTAR+ 用扩张上下文采样扩大历史视野、用分层声学遮蔽先对齐语义再渲染声学，在 ZH-Hard 上把词错误率从 12.478% 降到 9.893%，在 25 到 35 秒长句上把说话人相似度从 0.741 提升到 0.759，同时词错误率从 2.778% 降到 2.173%，代价是质量主观分相对 …

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

该研究以保留原说话人听感为前提替换语音中的敏感词，对比直接波形剪贴与经神经编解码器重建的插入路径以及克隆嗓音与合成语境的选择，用自然度、可懂度和信号质量自动指标报告编解码器路径更优，其中自然度倾向于带原句嵌入的编解码器与克隆嗓音，而信号质量倾向于通用嗓音与孤立词合成。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

该研究以英语参考音频为输入对比四种零样本跨语种克隆系统，报告了以 VoxCPM2 在阿拉伯语上同时取得 0.25 词错误率和 0.72 说话人相似度为代表的权衡证据，而代价是多数系统仍在可懂度与身份保留之间此消彼长且仅两套系统支持阿拉伯语。

针对延续式语言模型把提示音色和韵律一起复制而无法独立控制的问题，DisCo-Speech 用三因子解耦编码器加内容韵律融合重建实现韵律延续与音色注入，消融显示软约束兼顾自然度与音色一致，代价是单阶段自回归的克隆相似度仍弱于多阶段流匹配系统。

针对中法跨语言音色克隆，该工作用 Qwen3-TTS-12 Hz-1.7B-Base 做零样本批量合成，配合 10 秒窗 5 秒步长的滑动切分与 ECAPA-TDNN 余弦选优，在中文 CER 低至 1.39% 至 2.25%、法语 WER 多为 4.40% 至 8.52% 的条件下得到中文最高 0.7052 与法语最高 0.7173 的余弦相似度，代价是保 …

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

KALL-E 针对离散语音切分的信息损失与高帧率不稳定问题，用 Flow-VAE 提取 512 维 12.5 Hz 连续隐分布并让自回归 Transformer 逐帧预测均值方差，以 KL 散度为目标在 Seed-TTS 上取得 0.96 中文 CER 与 1.94 英文 WER，代价是保留强 KL 约束与单样本测试时微调的额外开销。

该工作以 FishAudio-S2-Pro 为基座研究英语参考到法语阿拉伯语汉语的跨语种克隆，用母语文字语言标签减少口音泄漏并以 GRPO 强化微调改善可懂度，再用推理时参考检索做词项匹配以稳住领域词发音，代价是汉语基线一度波动且说话人相似度与自然度总体保持稳定而非大幅提升。