把说什么和谁说的分开:Facto 因式分解语音分词器
Facto 用线性分解把自监督特征拆成共享内容与说话人变换,再用最小二乘估计器推广到未见说话人并聚类成单码本令牌,以更稳定的令牌在文本转语音上取得优势,同时保持重建与变换能力,代价是仍需传输说话人嵌入且验证集中在朗读英语上。
Facto 用线性分解把自监督特征拆成共享内容与说话人变换,再用最小二乘估计器推广到未见说话人并聚类成单码本令牌,以更稳定的令牌在文本转语音上取得优势,同时保持重建与变换能力,代价是仍需传输说话人嵌入且验证集中在朗读英语上。
ProSing 研究零样本细粒度演唱技巧转换,用帧级标签加连续音高轨迹适配预训练流匹配声学模型,配对训练减少条件走捷径,在未见歌手上提升技巧可控性并保持自然度和音色相似,代价是额外演唱数据会部分回落技巧跟随分数。
共分析 50 篇语音/AI 论文
AccentCanvas 用一个离散扩散模型同时做口音规范化和母语到二语口音转换,靠跨配对真人口音数据和帧级语音活动条件来保证请求口音相似度和源端语速暂停同步,但更强的口音贴合伴随更高的词错误率。
针对检索式口音转换中匹配池覆盖不全、固定近邻数不适应局部几何、粗粒度风格调制损失细节的问题,AA-kkNN-AC 用音素覆盖选池、各向异性自适应近邻数和渐进式 AdaIN 解码器改进检索与重建,在 L2-ARCTIC 与 VCTK 上以固定美音匹配池实现更高可懂度和说话人相似度。
论文要解决表达力翻译中内容、韵律、时长和音色四方面难以同时对齐的问题,用专业配音加多语种声音转换构造训练对,并用直接预测目标语音的 DirectS2ST 验证,在英德、英西上提升了韵律和说话人相似性,但结论只在配音数据和所用评测条件下成立。
共分析 66 篇语音/AI 论文
TTSonic 要解决用同一套语音分词器、语义语言模型和声学流匹配模型组合出零样本合成、克隆、转换和指令控制等任务的问题,关键做法是把语义韵律规划和音色声学渲染分开,实验在多个中英文基准上显示内容准确率和说话人相似度具有竞争力,但英文指令跟随仍弱于最强基线。
论文针对现有零样本语音转换在阿拉伯语上发音失真的问题,用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC,在保持说话人不可辨认的同时保留可懂度、自然度和口音,并在方言和语码切换上做了客观与主观验证。
针对跨语言零样本克隆把源语言口音带入目标语的问题,该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史,在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%,同时取得最低词错误率和最高发音评分。
StyleStream 2.0 用去风格的内容提取加少步数生成重建解决流式整体风格转换延迟高且只能用参考音频指定目标的问题,用自回归微调保流式质量、用文字控制器实现风格向量设计与编辑,在参考音频转换上风格相似度最强但可懂度和情感编辑仍有代价。
共分析 58 篇语音/AI 论文
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式,发现只用合成远不如真实,真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失,其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。
LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换,并用截断的残差量化延迟同时控制隐私、情感保留和延迟,代价是仍依赖编码器分块带来的数百毫秒算法延迟。
针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题,论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法,在两个小规模日语患者数据集上优于纯语音和普通多模态基线,但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。
Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。
该文把人声强度转换定义为按连续 dB SPL 目标改写 frozen 特征,再用条件循环 GAN 训练轻量转换器,WavLM 上实现约 83% 的目标强度变化,但绝对感知水平仍依赖源录音且韵律频谱改变量小于自然差异。
共分析 146 篇语音/AI 论文
SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。