论文解读

一个扩散模型同时看七种机器:条件引导如何替代一机一模型

针对异常声音检测中一机一模型部署成本高的问题,UD-ASD 用条件投影器加条件扩散重建加高斯混合打分实现统一建模,在 DCASE2022 Task2 上报告了相对基线的 AUC 与 pAUC 提升,但仍依赖准确机器标签且推理需要多步采样。

 · 更新于 2026-11-05 · 约 19 分钟 · 9193 字 阅读 →
论文解读

改词不改调:无标注旋律引导的歌声重唱如何同时保住歌词与旋律

针对保留原旋律重唱改写后歌词的编辑任务,YingMusic-Singer 用旋律片段加目标歌词直接合成,并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性,代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。

 · 更新于 2026-11-05 · 约 18 分钟 · 8895 字 阅读 →
论文解读

用可控振荡建模急促韵律:OscillaTTS 如何改写扩散 TTS 解码器的激活函数

针对富有表现力语音中音高与能量突变难以建模的问题,该工作在 StyleTTS2 解码器中把固定周期激活换成 x+tanh(αsin2(x)) 的可自适应振荡激活,在 LJSpeech 上主观质量达 86.67、MCD 降至 6.59,并在 ESD 三种情感上保持韵律相似度和可懂度提升,代价是仅验证单说话人与有限情感且未报告延迟与算力开销。

 · 更新于 2026-11-05 · 约 16 分钟 · 7834 字 阅读 →
论文解读

双向连接不等于双向约束:用强方向注意力校准弱方向的 RecCAR

论文发现联合视频生成中视频到伴随模态的对应强而反向弱,提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR,在视频-动作上把人体解剖学得分从 0.69 提升到 0.75,在视频-音频上把绝对失同步从 0.804 降到 0.752,代价是只微调 LoRA 且需保留原生成损失权重。

 · 更新于 2026-11-05 · 约 18 分钟 · 8988 字 阅读 →
论文解读

锚定一侧再学另一侧:AV-GRPO 把音视频联合偏好拆成条件单模子问题

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题,AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习,基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升,但不同训练方式与指标间仍存在权衡。

 · 更新于 2026-11-05 · 约 20 分钟 · 9566 字 阅读 →
论文解读

不再先定死时长:用跳变管结构、用扩散修内容的一次联合生成

针对两阶段扩散语音合成中固定对齐导致平均化韵律与单阶段对齐不稳的矛盾,该文用离散插入跳变管时长结构、用连续扩散修频谱内容,最强证据是单发变体在相同总时长下以 3.37% 词错率优于 Grad-TTS 的 4.38%,代价是需要冻结的编码器与扩散主干并增加位置与内容两个预测器及变长迭代开销。

 · 更新于 2026-11-05 · 约 19 分钟 · 9231 字 阅读 →
论文解读

留住多少口音自己定:用离散扩散重写口音相关的语音单元

针对口音归一化缺少口音强度控制的问题,论文用掩码离散扩散重写自监督语音单元,并以公共单元预测器复用源端单元实现可控保留,实验报告显示自由时长下词错误率为 11.19% 且随复用阈值降低口音度单调回升,但重度口音下的内容保持仍受识别与合成链路限制。

 · 更新于 2026-11-05 · 约 20 分钟 · 9533 字 阅读 →
论文解读

把重建当难题:用扩散重建逼出更能泛化的音频深伪检测

针对未知语音伪造泛化难的问题,该研究用包含扩散重建在内的重建样本构造难样本,并结合多层特征聚合与正则化辅助对比学习提升泛化,最强证据是五集平均等错误率从基线 15.789% 降到 8.247%,代价是在个别集上出现小幅回退且依赖重建与增强配置。

 · 更新于 2026-11-05 · 约 16 分钟 · 7837 字 阅读 →
论文解读

不做解耦做残差:ProsoCodec 把韵律当成文本与音色解释不了的部分

针对声音转换要换音色但留住原文内容与韵律的问题,ProsoCodec 以文本与说话人嵌入为条件让离散瓶颈只编码残差韵律,并用双话语训练与低频输入减轻提示风格泄露,在合并评测上报告了更低的词错误率与基频误差,但高码率仍会带来源音色泄露的代价。

 · 更新于 2026-11-05 · 约 17 分钟 · 8422 字 阅读 →
论文解读

只练适配器:扩散大模型为何更能扛住语音到文本的潜桥瓶颈

论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐,在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子,代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。

 · 更新于 2026-11-05 · 约 17 分钟 · 8115 字 阅读 →
论文解读

把无条件分支换成可学习的向量:语音合成中更稳的引导基线

该研究把固定零向量换成每个条件各学一个无条件嵌入,并在相同训练步数与数据下比较固定与可学习两种做法,最强证据是可学习基线在大引导权重下更稳定,代价是说话人保真提升时绝对质量分可能下降且需要分别调节两个权重。

 · 更新于 2026-11-05 · 约 21 分钟 · 10440 字 阅读 →
论文解读

不看配对样本,如何学到从退化到干净的随机输运

SE-MSB 用扩散薛定谔桥在干净与退化语音分布之间学习双向随机输运,并以端到端 Mamba 波形模型实现,在去混响与混合退化上报告可比拟配对方法的效果,同时保持少步采样与低计算量。

 · 更新于 2026-11-05 · 约 18 分钟 · 8882 字 阅读 →
论文解读

训练走解析路径、推理走自生轨迹:纠正性强制如何统一后训练扩散与流

针对解析训练态与自生 rollout 态的暴露偏差,纠正性强制用动态 rollout 纠正加反事实转移一致性统一后训练 SB-VE 与 OT-CFM,在 VoiceBank 上把 SB-VE 的 PESQ 从 3.07 提升到 3.21 并稳定多步 SI-SDR,代价是 UTMOS 提升有限且需额外 rollout 开销。

 · 更新于 2026-11-05 · 约 23 分钟 · 11351 字 阅读 →
论文解读

混响下高阶缺失难定解:把上采样做成条件生成的取舍

该文把一阶到三阶上采样定义为给定低阶信号生成缺失高阶通道的条件分布,用流匹配与得分扩散同骨干对比,在混响语音上流匹配信号与听感占优但参数与采样代价明显更大。

 · 更新于 2026-11-05 · 约 17 分钟 · 8343 字 阅读 →
论文解读

先看听者再说话:用回应前一秒表情规划下一句怎么说

针对对话语音只看文本历史会漏掉听者即时非言语线索的问题,用回应前 1 秒听者人脸时序做显式回应规划,在严格双人 MELD 协议上时序模型宏平均 F1 和 VAD 一致性略高于纯文本而准确率基本不变,合成阶段仅证明可端到端连通而未改善可懂度。

 · 更新于 2026-11-05 · 约 18 分钟 · 8603 字 阅读 →
论文解读

混合不分离直接估计合成参数:扩散先验如何压住时间抖动

针对和声乐器混合的逐帧合成参数估计易出现时间抖动的问题,该文用乐谱条件扩散模型学习参数轨迹分布并以多尺度频谱重构误差引导逆扩散,在木管与弦乐合奏上改善了响度与音色特征并保留可复述的实验条件。

 · 更新于 2026-11-05 · 约 24 分钟 · 11741 字 阅读 →
论文解读

把笑声叹息放进指定位置:连续隐变量、长尾补数据与多指标选样的可控语音

为在指定文本位置可靠生成 16 类非言语发声,该工作用连续隐变量 DiTAR 加专用标签与停顿判别建模,以双语预训练加针对性合成与频率重采样补长尾,再用解码参数搜索与五选一多指标选样提升鲁棒性,最终以双语加权 62.786 获 Track 2 总分第一,代价是额外推理计算与英文控制仍待加强。

 · 更新于 2026-11-05 · 约 20 分钟 · 9653 字 阅读 →
论文解读

长语音越说越飘、难句反复打转:DiTAR+ 用扩张视野与分层遮蔽稳住自回归扩散

针对连续隐变量自回归扩散在长句和难句上的发音错误与语义幻觉,DiTAR+ 用扩张上下文采样扩大历史视野、用分层声学遮蔽先对齐语义再渲染声学,在 ZH-Hard 上把词错误率从 12.478% 降到 9.893%,在 25 到 35 秒长句上把说话人相似度从 0.741 提升到 0.759,同时词错误率从 2.778% 降到 2.173%,代价是质量主观分相对 …

 · 更新于 2026-11-05 · 约 20 分钟 · 9543 字 阅读 →
会议总览

icmc-2026 论文深度解读

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-05 · 约 123 分钟 · 61526 字 阅读 →
论文解读

年轮作穹顶:把生态录音与语言痕迹做成同心的时间尺度

该作品以树木年轮为结构隐喻,用颗粒与频谱处理、VBAP 穹顶空间化与文本到三维扩散生成,把约八分半钟的微观到宏观生态时间做成穹顶声像层,其代价是垂直声像不如水平声像清晰且缺乏可量化的听众评估。

 · 更新于 2026-11-05 · 约 21 分钟 · 10513 字 阅读 →