语音克隆

TTSonic 要解决用同一套语音分词器、语义语言模型和声学流匹配模型组合出零样本合成、克隆、转换和指令控制等任务的问题，关键做法是把语义韵律规划和音色声学渲染分开，实验在多个中英文基准上显示内容准确率和说话人相似度具有竞争力，但英文指令跟随仍弱于最强基线。

论文用 OmniVoice 零样本克隆训练集儿童声音合成儿童语音，再微调 Whisper-small，在 ENNI 上合成数据单独把词错误率从 19.8% 降到 16.4%，与真实数据合用则与纯真实数据相当，而跨语料泛化主要靠同一文本的多说话人声学多样性而非文本覆盖量。

本文针对整句说话人相似度无法定位口音差异的问题，提出整句打分加子词标注的分段评测流程，用 200 对内容匹配的苏格兰和澳大利亚语音实验证明局部标注能给出不同于整句打分的系统排序，而七种客观距离与听辨标注最多只有 0.22 的弱相关。

论文追问自回归零样本克隆 TTS 表示了什么声音属性、能否用少数特征预测和在生成时调控，用 SAE、PCA 与随机方向做稀疏探测与转向对比，并在 Qwen3-TTS 上做定量自动解释，最强证据是 SAE 在人工标注概念稀疏预测和 684 个自动验证新特征上的优势，代价是转向效果因概念和模型而异且伴随可懂度和自然度损失。

共分析 47 篇语音/AI 论文

论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音，提出 STIA 跨话语条件流匹配生成方法，在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%，代价是需大量辅助数据与 110 小时双卡训练。

LeanTTS 把中文发音前端、流匹配声学模型和 Vocos 声码器一起压缩到 18.9M 参数，用参考音频做零样本克隆、用说话人标签做固定音色定制，在 Seed-TTS-Eval 上验证了质量、相似度和 CPU 实时率之间的取舍。

共分析 80 篇语音/AI 论文

针对跨语言零样本克隆把源语言口音带入目标语的问题，该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史，在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%，同时取得最低词错误率和最高发音评分。

论文用位置对齐的探针与等范数干预证明，VoxCPM2 中说话人信息处处可解码，但只有早期参考音频位置的成对对齐改写能稳定地把合成语音推向目标说话人，而这还依赖下游可达的合成通路。

HeyGen Voice 要解决用一段日常录音为说话视频配音时保留说话人而让语气和房间声跟随画面走的问题，用图像加两段文字描述加参考音频共同控制的自回归声学模型和五阶段跨场景训练实现，并在 331 个跨场景样本、十语种内容保真、245 例五语种听感对比和 43 人自评视频中验证了两种克隆策略在场景贴合与录音保真之间的取舍。

共分析 58 篇语音/AI 论文

本文比较 Qwen3-TTS 的两种参考用法在朗读、会议、情感和空管四个领域中的拟真度、声学得分与失效条件，发现领域差异远大于模型差异，且短参考配错文本最容易引发幻觉。

共分析 25 篇语音/AI 论文

论文针对只有一对参考文本语音时固定目标监督微调导致推理提前结束的问题，提出在当前策略采样轨迹上学习的 GRPO 和 OPSD，在 LLaSA-1B 与 Seed-TTS-Eval 英文子集上提高说话人相似度并保持可懂度，但 GRPO 每步耗时远高于 OPSD。

Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话，用单一人类偏好奖励做强化学习，在多语克隆和按需修改上测得可复述的提升，代价是更大的总参数和更复杂的推理工程。

PACT 把语音到语音翻译分成语义文本、说话人音色和语用表达三路，把源语音的语用线索映射到目标语言表达空间并做成连续提示去引导冻结的合成器，在西班牙语英语双向 TOPI 评测里内容、音色和表达同时更好，但结论只在 30 对重演条件下成立。

论文用 0.6B 双自回归模型做零样本语音克隆，以多语言微调打底、用词错误率和说话人相似度稳住内容和音色，再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感，代价是需要配对真人参考并额外约束时长。

共分析 146 篇语音/AI 论文

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题，用两层均衡语料加三步适配改造英语自回归语音基础模型，并用母语人评测证明自然度和克隆保真度的提升与适用边界。