论文解读

把说什么和谁说的分开:Facto 因式分解语音分词器

Facto 用线性分解把自监督特征拆成共享内容与说话人变换,再用最小二乘估计器推广到未见说话人并聚类成单码本令牌,以更稳定的令牌在文本转语音上取得优势,同时保持重建与变换能力,代价是仍需传输说话人嵌入且验证集中在朗读英语上。

 · 更新于 2026-11-18 · 约 17 分钟 · 8514 字 阅读 →
论文解读

在保留原唱的基础上按区域施加演唱技巧

ProSing 研究零样本细粒度演唱技巧转换,用帧级标签加连续音高轨迹适配预训练流匹配声学模型,配对训练减少条件走捷径,在未见歌手上提升技巧可控性并保持自然度和音色相似,代价是额外演唱数据会部分回落技巧跟随分数。

 · 更新于 2026-11-18 · 约 21 分钟 · 10409 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-17

共分析 50 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 103 分钟 · 51240 字 阅读 →
论文解读

AccentCanvas:兼顾发音转换与语速暂停对齐的双向口音转换

AccentCanvas 用一个离散扩散模型同时做口音规范化和母语到二语口音转换,靠跨配对真人口音数据和帧级语音活动条件来保证请求口音相似度和源端语速暂停同步,但更强的口音贴合伴随更高的词错误率。

 · 更新于 2026-11-18 · 约 14 分钟 · 7006 字 阅读 →
论文解读

检索代替生成:AA-kkNN-AC 如何做口音转换

针对检索式口音转换中匹配池覆盖不全、固定近邻数不适应局部几何、粗粒度风格调制损失细节的问题,AA-kkNN-AC 用音素覆盖选池、各向异性自适应近邻数和渐进式 AdaIN 解码器改进检索与重建,在 L2-ARCTIC 与 VCTK 上以固定美音匹配池实现更高可懂度和说话人相似度。

 · 更新于 2026-11-18 · 约 17 分钟 · 8447 字 阅读 →
论文解读

用配音加声音转换造出内容韵律兼顾的翻译训练数据

论文要解决表达力翻译中内容、韵律、时长和音色四方面难以同时对齐的问题,用专业配音加多语种声音转换构造训练对,并用直接预测目标语音的 DirectS2ST 验证,在英德、英西上提升了韵律和说话人相似性,但结论只在配音数据和所用评测条件下成立。

 · 更新于 2026-11-18 · 约 15 分钟 · 7377 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-11-09

共分析 66 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 139 分钟 · 69235 字 阅读 →
论文解读

TTSonic:用同一组模块组合出多种语音生成任务

TTSonic 要解决用同一套语音分词器、语义语言模型和声学流匹配模型组合出零样本合成、克隆、转换和指令控制等任务的问题,关键做法是把语义韵律规划和音色声学渲染分开,实验在多个中英文基准上显示内容准确率和说话人相似度具有竞争力,但英文指令跟随仍弱于最强基线。

 · 更新于 2026-11-18 · 约 20 分钟 · 10002 字 阅读 →
论文解读

EZ-Ar-VC:面向方言与语码切换的阿拉伯语语音匿名化

论文针对现有零样本语音转换在阿拉伯语上发音失真的问题,用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC,在保持说话人不可辨认的同时保留可懂度、自然度和口音,并在方言和语码切换上做了客观与主观验证。

 · 更新于 2026-11-18 · 约 16 分钟 · 7791 字 阅读 →
论文解读

双参考闭环引导如何控制跨语言克隆的口音

针对跨语言零样本克隆把源语言口音带入目标语的问题,该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史,在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%,同时取得最低词错误率和最高发音评分。

 · 更新于 2026-11-18 · 约 16 分钟 · 7787 字 阅读 →
论文解读

StyleStream 2.0:又快又能用文字控制的流式声音风格转换

StyleStream 2.0 用去风格的内容提取加少步数生成重建解决流式整体风格转换延迟高且只能用参考音频指定目标的问题,用自回归微调保流式质量、用文字控制器实现风格向量设计与编辑,在参考音频转换上风格相似度最强但可懂度和情感编辑仍有代价。

 · 更新于 2026-11-18 · 约 18 分钟 · 9009 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-23

共分析 58 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 124 分钟 · 62091 字 阅读 →
论文解读

噪声下语音条件生成为何退化:AlignAudio 的双重对齐思路

针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。

 · 更新于 2026-11-18 · 约 18 分钟 · 8773 字 阅读 →
论文解读

合成语音能替代真实录音训练识别吗:TTS 与声音转换增广的土耳其客服实验

论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式,发现只用合成远不如真实,真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失,其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。

 · 更新于 2026-11-18 · 约 18 分钟 · 8625 字 阅读 →
论文解读

流式说话人匿名化如何在保留情感的同时隐藏身份

LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换,并用截断的残差量化延迟同时控制隐私、情感保留和延迟,代价是仍依赖编码器分块带来的数百毫秒算法延迟。

 · 更新于 2026-11-18 · 约 18 分钟 · 8835 字 阅读 →
论文解读

用语音加文本的两阶段对比学习改善电子喉语音转换

针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题,论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法,在两个小规模日语患者数据集上优于纯语音和普通多模态基线,但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。

 · 更新于 2026-11-18 · 约 17 分钟 · 8264 字 阅读 →
论文解读

把情感做进条件里:Prime-EVC 如何用一步完成富有表现力的情感语音转换

Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。

 · 更新于 2026-11-18 · 约 18 分钟 · 8639 字 阅读 →
论文解读

用人声音量大小本身做控制:连续声压级人声强度转换

该文把人声强度转换定义为按连续 dB SPL 目标改写 frozen 特征,再用条件循环 GAN 训练轻量转换器,WavLM 上实现约 83% 的目标强度变化,但绝对感知水平仍依赖源录音且韵律频谱改变量小于自然差异。

 · 更新于 2026-11-18 · 约 20 分钟 · 9988 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-10-15

共分析 146 篇语音/AI 论文

 · 更新于 2026-11-18 · 约 299 分钟 · 149424 字 阅读 →
论文解读

为人工耳蜗语音挑选合适的情感模板:SEER 怎么做检索增强

SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。

 · 更新于 2026-11-18 · 约 17 分钟 · 8283 字 阅读 →