论文解读

只改推理条件怎么做语音匿名:随机目标重构与投影制导

该文把已训练好的 Seed-VC v2 只在推理时改造,用随机说话人上下文重构内容条件再投影抑制源说话人方向,在 VoicePrivacy 2026 英语评测上提升隐私并保持可比的字错率与情感效用,但结论只在该协议与所选阈值下成立。

 · 更新于 2026-11-18 · 约 17 分钟 · 8344 字 阅读 →
论文解读

从一次采样到八次采样:用波形挑选为口音转换选出更可用的合成监督

该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。

 · 更新于 2026-11-18 · 约 10 分钟 · 4834 字 阅读 →
论文解读

不配对帧也能做音色转换:用共享状态做局部平移的 StateVC

针对一次参考且内容不一致时无法可靠配对帧的问题,StateVC 用源与参考混合拟合的共享高斯状态估计每个状态内的均值平移并以后验加权更新源帧,在 LibriSpeech 一次转换协议上以 8.01% 词错误率和 3.22% 字错误率为内容保持最优,代价是说话人相似度并非全部最高且评估限于英语朗读语料。

 · 更新于 2026-11-18 · 约 18 分钟 · 8882 字 阅读 →
论文解读

一步走完转换:把内容编码器也装进平均流蒸馏里

针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题,MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络,再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦,在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。

 · 更新于 2026-11-18 · 约 22 分钟 · 10743 字 阅读 →
论文解读

不用单独声纹编码器:从内容编码器中间层直接取说话人表示做流式转换

针对流式语音转换中说话人验证嵌入抑制帧级发音差异的问题,VOSSA 冻结内容编码器并从其中间层聚合说话人嵌入,与重建加转换双路径联合训练,在保持可比质量与可懂度的条件下减少约 19% 参数并改善音高与共振峰保持。

 · 更新于 2026-11-18 · 约 22 分钟 · 10606 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-18 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

噪声下耳语转正常语音:不动转换器,只修复输入的内容特征

针对带噪耳语转正常语音内容丢失问题,论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块,在 MUSAN 六档信噪比和三套识别系统下均降低字错率,0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%,代价是推理需要同步唇部视频和同说话人正常语音注册。

 · 更新于 2026-11-18 · 约 18 分钟 · 8565 字 阅读 →
论文解读

把音色抽出来、把冗余帧并起来:DySTCodec 如何做低码率双流语音离散化

针对单码本语音 token 同时建模内容与音色且固定帧率浪费码率的问题,DySTCodec 用 32 个固定长度全局说话人 token 加相似度动态聚合语义帧,在 LibriSpeech 上以 0.7 kbps 固定帧率和 0.57 kbps 动态帧率保持可懂度和音色相似度,但 25 Hz 激进压缩仍出现可懂度下降。

 · 更新于 2026-11-18 · 约 20 分钟 · 9570 字 阅读 →
论文解读

鼻式电子喉语音更难转清:为何梅尔谱守住鼻腔共振而自监督特征偏向颈式喉

针对新型鼻式电子喉数据稀缺与声学特殊问题,论文在统一序列到序列框架下比较梅尔谱与 WavLM 特征并用局部线性嵌入合成配对数据预训练,最强证据是梅尔谱 ETN-VC 把可懂度字错率从 72.0% 降到 63.0%,代价是主观自然度评分仍落后于 WavLM 系统。

 · 更新于 2026-11-18 · 约 18 分钟 · 9014 字 阅读 →
论文解读

用三种增强输入拆开语音:AugCodec 如何把语义、音色和韵律分开压缩

AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题,用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌,并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质,代价是依赖外部语音转换模型和固定低频分界等构造选择。

 · 更新于 2026-11-18 · 约 20 分钟 · 9571 字 阅读 →
论文解读

训练只见过同一个人说话,测试却要换音色:CFLOW-VC 用可逆流做循环训练

针对非平行语音转换中训练与测试的内容音色组合不一致问题,CFLOW-VC 在 VITS 与 FreeVC 骨干上用归一化流的可逆变换加 StarGAN 式循环一致性训练,并引入梅尔风格编码器与波形增广,在干净、噪声与口音三组测试上提升音色相似度与自然度,代价是干净条件下词错误率略高于个别基线且需两阶段训练。

 · 更新于 2026-11-18 · 约 18 分钟 · 8827 字 阅读 →
论文解读

不用蒸馏也能解耦:CycleCodec 用换说话人再换回来约束内容流

针对无可靠教师模型的低资源语言因式分解编码问题,CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏,在英语训练、中越零样本测试中提升了解耦稳定性,重建 WER 仍弱于有 WavLM 教师的 LSCodec。

 · 更新于 2026-11-18 · 约 19 分钟 · 9199 字 阅读 →
论文解读

切断声学捷径又拉直轨迹:统一引导如何让流匹配又快又不串音

针对流匹配语音生成的音色泄漏与推理慢问题,论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销,在 3 步推理下实现约 3.25 倍加速并提升说话人相似度,代价是极端拉直带来轻微可懂度波动。

 · 更新于 2026-11-18 · 约 18 分钟 · 8743 字 阅读 →
论文解读

先造伪源再学回真目标:回文合成支撑的零样本变声

针对非平行语料无法直接做有监督变声的问题,该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标,并以波形级说话人验证损失约束身份,在仅英文训练下报告了英文身份指标优势与多语言可懂度优势,但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。

 · 更新于 2026-11-18 · 约 16 分钟 · 7708 字 阅读 →
论文解读

训练时硬离散省时间,推理时软分布补信息:只改推理赋值的离散语音 token 用法

针对自监督语音离散化会丢信息的问题,论文在训练保持硬聚类、推理改用簇后验加权嵌入,在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳,代价是推理要算全簇距离并为每任务调温度参数。

 · 更新于 2026-11-18 · 约 17 分钟 · 8449 字 阅读 →
论文解读

只用 13 分钟电喉语音:先学会合成电喉声,再学着把它变回自然声

针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。

 · 更新于 2026-11-18 · 约 22 分钟 · 10536 字 阅读 →
论文解读

说话人嵌入太紧了反而不利生成:用多子中心保留同一人的多样性

针对说话人识别训练压制同一人差异而损害语音生成表现力的问题,该文提出每人学多个子中心的判别训练,并在零样本声音转换上显示高方差配置提升可懂度和自然度,同时保持验证性能,但低方差配置在说话人相似度上更有优势。

 · 更新于 2026-11-18 · 约 19 分钟 · 9155 字 阅读 →
论文解读

不在混响里硬捞声音:把语义和音色拆开再做增强

针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。

 · 更新于 2026-11-18 · 约 18 分钟 · 9000 字 阅读 →
论文解读

录音不像自己:用可感知的低维滑块逼近自然自语音

针对录音自语音不自然问题,论文用浏览器交互系统 SELFIX 把搜索约束到音高、声道长度和两种滤波器共四个可感知维度,在 25 人概念验证中发现一致的低频提升和男性特有的降调加长声道,而多滑块组合进一步提高了匹配评分。

 · 更新于 2026-11-18 · 约 21 分钟 · 10138 字 阅读 →
论文解读

从一条全局直线到多块局部仿射:SSL-GMMVC 在自监督空间做可解释音色搬移

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题,该文用联合高斯混合的后验加权仿射变换做语音转换,在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据,代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

 · 更新于 2026-11-18 · 约 20 分钟 · 9804 字 阅读 →