论文解读

科学口音难克隆:用三教师蒸馏加单语 LoRA 补学术域数据

针对 IWSLT 2026 跨语言克隆学术演讲到阿拉伯语、法语和汉语的任务,该工作用 OmniVoice、VoxCPM 和 Chatterbox 三教师做 Best-of-N 合成蒸馏再对 OmniVoice 按语言做 LoRA 微调,在完整盲测上阿拉伯语 WER 由 0.244 降到 0.228、法语和汉语说话人相似度分别升到 0.760 和 0.732, …

 · 更新于 2026-10-15 · 约 17 分钟 · 8174 字 阅读 →
论文解读

时长定多久才好听:DMOSpeech 2 把时长预测也纳入指标优化

针对扩散零样本语音合成中时长预测长期游离于感知指标优化之外的问题,DMOSpeech 2 用分组相对策略优化对时长预测器做强化学习并引入教师引导采样,在 Seed-TTS 上把英文 WER 降到 1.752、相似度提到 0.698,代价是教师引导模式需同时保存师生参数并增加采样步数。

 · 更新于 2026-10-15 · 约 17 分钟 · 8292 字 阅读 →
论文解读

口吃语音先转文字再修语义:STEAMROLLER 为何用多智能体绕开直接语音转换

针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难,STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线,在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义,代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。

 · 更新于 2026-10-15 · 约 20 分钟 · 10004 字 阅读 →
论文解读

扩散克隆打的是多步去噪,VoiceCloak 就从身份与轨迹两端同时设障

针对扩散语音克隆的先验防御梯度消失与动态条件问题,VoiceCloak 用异性中心引导加注意力上下文发散做身份混淆、用分数幅值放大加噪声引导语义破坏做质量降级,在相同扰动预算下报告了更高的防御成功率,但保护音频本身仍需付出可感知性代价。

 · 更新于 2026-10-15 · 约 18 分钟 · 8686 字 阅读 →
论文解读

不对齐文本、直接生成双声道:Text-Audiobox 如何做配音与对话

针对跨语言配音与双人全双工对话,Text-AB 用 DAC-VAE 潜变量上的流匹配 DiT 加 mT5 交叉注意力学对齐,经 480k 小时预训练与三路微调,在配音可分享性上领先内部系统约 0.38-0.40 分,短对话接近真值,但长音频依赖多扩散拼接与多候选重排带来额外推理代价。

 · 更新于 2026-10-15 · 约 19 分钟 · 9093 字 阅读 →
论文解读

一句里换一种口音:用帧级掩码把全局引导切开

语音合成 | 8.2/10

 · 更新于 2026-10-15 · 约 26 分钟 · 12956 字 阅读 →
论文解读

一句里装不下两种心情:HybridEmo 如何让 TTS 先走完轨迹再调好混合

语音合成 | 7.5/10

 · 更新于 2026-10-15 · 约 26 分钟 · 12777 字 阅读 →
论文解读

Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care

语音合成 | 7.6/10

 · 更新于 2026-10-15 · 约 10 分钟 · 4765 字 阅读 →
论文解读

Does Listening Matter? Backchanneling and Nodding in AI Clone

语音交互 | 5.2/10

 · 更新于 2026-10-15 · 约 12 分钟 · 5992 字 阅读 →
论文解读

Aslema at NADI 2026: Augmentation through Fewshot for SLU

语音交互 | 8.0/10

 · 更新于 2026-10-15 · 约 9 分钟 · 4468 字 阅读 →
论文解读

FireRedTTS3: Unified Speech Generation and Editing with Semantically Enriched Speech Representations

语音合成 | 9.0/10

 · 更新于 2026-10-15 · 约 9 分钟 · 4189 字 阅读 →
论文解读

A survey of AI-generated voices and their detection

语音伪造检测 | 6.1/10

 · 更新于 2026-10-15 · 约 10 分钟 · 4920 字 阅读 →
论文解读

Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

语音克隆 | 6.4/10

 · 更新于 2026-10-15 · 约 16 分钟 · 7652 字 阅读 →
论文解读

VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation

语音合成 | 6.8/10

 · 更新于 2026-10-15 · 约 20 分钟 · 9642 字 阅读 →
论文解读

Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

语音合成 | 7.7/10

 · 更新于 2026-10-15 · 约 12 分钟 · 5681 字 阅读 →
论文解读

CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation

语音合成 | 6.0/10

 · 更新于 2026-10-15 · 约 14 分钟 · 6735 字 阅读 →
论文解读

CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis

语音合成 | 6.4/10

 · 更新于 2026-10-15 · 约 15 分钟 · 7332 字 阅读 →
论文解读

Extracting Voice Styles from Frozen TTS Models via Gradient-Based Inverse Optimization

语音克隆 | 7.9/10

 · 更新于 2026-10-15 · 约 12 分钟 · 5923 字 阅读 →
论文解读

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

语音情感识别 | 6.2/10

 · 更新于 2026-10-15 · 约 14 分钟 · 6667 字 阅读 →
论文解读

X-Translator: A Real-Time Multilingual Speaker-Aware Speech-to-Speech Translation System

语音翻译 | 7.8/10

 · 更新于 2026-10-15 · 约 16 分钟 · 7793 字 阅读 →