论文解读

用跳读和复读的失败样子教流匹配走稳:RobustSpeechFlow 的对齐鲁棒训练

针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …

 · 更新于 2026-10-15 · 约 18 分钟 · 8922 字 阅读 →
论文解读

不在混响里硬捞声音:把语义和音色拆开再做增强

针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。

 · 更新于 2026-10-15 · 约 18 分钟 · 9000 字 阅读 →
论文解读

干目标加流匹配:StuPASE 如何在不编造内容的前提下做干净语音

针对生成式增强容易幻觉且强混响强噪声下质量不足的问题,StuPASE 用干声微调修正目标分布并把声学模块换成流匹配,在保持低词错率的同时把主观质量做到最高,代价是客观说话人相似度略降且依赖两阶段训练。

 · 更新于 2026-10-15 · 约 17 分钟 · 8027 字 阅读 →
论文解读

固定块长走不稳难音区:用轨迹直不直来动态截断再生成

针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。

 · 更新于 2026-10-15 · 约 17 分钟 · 8411 字 阅读 →
论文解读

去掉时间步还能增强语音吗:自洽整流流如何只看当前位置推断去噪方向

针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。

 · 更新于 2026-10-15 · 约 16 分钟 · 7914 字 阅读 →
论文解读

歌曲生成与歌声转换为何难兼得:用课程掩码统一音色与伴奏

针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题,UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务,在发音错误率和音色相似度上取得最优,但伴奏联合建模仍带来可测的基线指标下降。

 · 更新于 2026-10-15 · 约 19 分钟 · 9130 字 阅读 →
论文解读

把重活交给解码器:ZipCodec 用 4.4M 编码器做单阶段语音分词

ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题,采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则,在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果,代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。

 · 更新于 2026-10-15 · 约 18 分钟 · 8605 字 阅读 →
论文解读

不用时长标签也能对准歌词:分块流匹配如何兼顾长歌连贯与效率

DiffRhythm 2 用块内并行、块间自回归的分块流匹配解决长歌曲词声对齐难题,以 5 Hz 音乐变分自编码器支撑 210 秒建模,并用随机块表示对齐与跨对偏好优化提升结构与综合偏好,最强证据是 Mulan-T 0.40 与 PER 0.13,代价是低帧率压缩限制重建上限与人声精细度仍弱于商业系统。

 · 更新于 2026-10-15 · 约 20 分钟 · 9720 字 阅读 →
论文解读

把水印藏进音节时长里:DuraMark 用可控时长对抗生成式抹除

针对信号级水印易被神经编解码器和声码器重建抹除的问题,DuraMark 选择在音节时长这一信息级载体上嵌入奇偶水印,最强证据是在多种生成式攻击下保持 TPR 大于 95% 且平均达 0.993,代价是依赖文本转录与时长提取精度并需要时长可控的合成流水线。

 · 更新于 2026-10-15 · 约 17 分钟 · 8033 字 阅读 →
论文解读

把情感强度学成从中性出发的轨迹:ETC-TTS 如何稳定控制合成情感

针对推理时缩放或插值情感向量导致中间强度不稳定的问题,ETC-TTS 用残差向量量化情感原型锚定起点与终点并以流匹配学习中性到情感的连续速度场,在韩语 AIHub 与英语 ESD 上改善了单调可控性与情感表达并保持可比的自然度与可懂度,代价是三阶段训练与分层流预测器的额外设计与调参负担。

 · 更新于 2026-10-15 · 约 19 分钟 · 9284 字 阅读 →
论文解读

补回丢失信息时,发音内容为何会被改写:发音合成中的特征与生成建模

论文以语音经发音再到语音的闭环为问题,用发音特征加声源与说话人特征以及确定性合成与流匹配生成的对照,显示附加特征与采样步数能提升自然度与说话人相似度,但会削弱发音保真并在噪声与特征替换下暴露依赖。

 · 更新于 2026-10-15 · 约 17 分钟 · 8419 字 阅读 →
论文解读

不猜语义、先守住谐波:HFMSE 用显式结构先验约束流匹配生成

针对生成式语音增强中条件信息不可靠的问题,HFMSE 用轻量谐波编码器提取基频与谐波掩码作为持久条件约束流匹配模型,在 DNS Challenge 2020 上提升感知质量与说话人相似度,但推理仍需 ODE 求解与声码器级联。

 · 更新于 2026-10-15 · 约 18 分钟 · 9006 字 阅读 →
论文解读

先保真再压缩:两阶段潜在分片如何把低帧率语音编码拆成可复现的步骤

针对低帧率低码率下保真与可训练性的矛盾,论文用高帧率对抗变分自编码器先吸收波形建模难度,再在潜在空间做分片流匹配压缩与语义监督,并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据,但流式与非英语泛化仍未验证。

 · 更新于 2026-10-15 · 约 17 分钟 · 8486 字 阅读 →
论文解读

小块也稳、低延迟可播:MeanVC 2 用有限未来看与全局音色令牌改造流式转换

针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。

 · 更新于 2026-10-15 · 约 18 分钟 · 8590 字 阅读 →
论文解读

一步转换很快,但内容编码器很慢:MeanVoiceFlow2 把两者一起蒸馏重训

针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题,MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习,以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段,在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。

 · 更新于 2026-10-15 · 约 18 分钟 · 8791 字 阅读 →
论文解读

把一步生成放在压缩隐空间:语义 Token 到波形如何又快又稳

针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。

 · 更新于 2026-10-15 · 约 17 分钟 · 8248 字 阅读 →
论文解读

在线试错补上离线偏好的缺口:Resonate 用大音频语言模型做奖励训流匹配

针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题,该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励,在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064,代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。

 · 更新于 2026-10-15 · 约 18 分钟 · 8586 字 阅读 →
论文解读

韩语字形写音不准时:只标鼻音韵尾的 SALT-N 为何更稳

针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。

 · 更新于 2026-10-15 · 约 17 分钟 · 8231 字 阅读 →
论文解读

既要修准音节奏,又要留住原唱味道:整流流如何做风格一致的美化

针对业余歌声跑调与节奏不稳且不能丢失歌词和本人音色的问题,SRF-SVB 用整流流做梅尔谱修复式生成并以业余谱作上下文约束,最强证据是中英文集上音高准确率与音色相似度同时领先,但生成重构在英文集上带来略高的字错率代价。

 · 更新于 2026-10-15 · 约 17 分钟 · 8311 字 阅读 →
论文解读

先洗掉风格再重上风格:StyleStream 如何做实时零样本音色口音情感转换

StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容,再用非自回归扩散变换器重上目标风格,在 3000 对测试上把可懂度和三种风格相似度做到最高,代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。

 · 更新于 2026-10-15 · 约 19 分钟 · 9477 字 阅读 →