论文解读

去掉参考文本还要更快:Tacit-TTS 用掩码并行替代自回归克隆

Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。

 · 更新于 2026-11-05 · 约 20 分钟 · 9724 字 阅读 →
论文解读

本地学斜率、全局排步骤:少步语音流映射如何避开教师轨迹积分

针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。

 · 更新于 2026-11-05 · 约 16 分钟 · 7760 字 阅读 →
论文解读

跨模态蒸馏没有教会听觉分辨行人,只是把判定点推向多数类

该研究在 ASPED 上以视频教师蒸馏音频学生,比较十种蒸馏配置,发现宏准确率小幅上升主要来自无行人类准确率上升与行人召回下降的操作点移动,PR-AUC 几乎不变,而选择性屏蔽行人样本的信任过滤蒸馏强化了这一权衡而未提升平均排序能力。

 · 更新于 2026-11-05 · 约 19 分钟 · 9026 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-05 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

在同一压缩预算下兼顾速度、保真与语义:SAGE 如何重排音频自编码器的三难

SAGE 用复数 STFT 上的三阶段 SwinV2 变分自编码器加延迟蒸馏 CLAP 语义,在 105M 参数和 Stable Audio Open 同级推理成本下达到 SAME-L 的主观质量并在客观重建与十九个探测任务上领先,代价是两阶段大算力训练与对 SDR 类样本精确指标的让步。

 · 更新于 2026-11-05 · 约 20 分钟 · 9826 字 阅读 →
论文解读

靠得太近就分不清:用单通道老师管住双通道学生的空间依赖

针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。

 · 更新于 2026-11-05 · 约 17 分钟 · 8075 字 阅读 →
论文解读

边听边写再删录音:用听音空隙把声学缓存换成文字记忆

针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题,该研究在听音空隙内增设转写旁路并驱逐旧声学状态,在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理,但反通道接管率有所上升。

 · 更新于 2026-11-05 · 约 15 分钟 · 7404 字 阅读 →
论文解读

用全局带局部学真伪:ADD-DINO 以两阶段自蒸馏缓解标注稀缺

针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。

 · 更新于 2026-11-05 · 约 20 分钟 · 9758 字 阅读 →
论文解读

没有干净语音可学时,为何让模型先把混响加重再去掉

针对单通道无监督去混响缺少干净参考的问题,ARTT 先用随机合成混响构造可训练的加重混响到观测混响映射,再用均值教师非对称蒸馏提纯,并在 WSJ0CAM-DEREVERB 上以 7.3 dB 的 SI-SDR 和 2.61 的 PESQ 超过已有无监督基线,代价是两阶段流程与仿真参数依赖。

 · 更新于 2026-11-05 · 约 20 分钟 · 9704 字 阅读 →
论文解读

不靠闭源模型抄答案:用同一模型自己生成推理过程的 Audio-Cogito

针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。

 · 更新于 2026-11-05 · 约 18 分钟 · 8553 字 阅读 →
论文解读

多人有声书为何断裂:用解耦上下文与指令蒸馏同时保住连贯与可控

针对多角色长篇有声书语义连贯与情感可控难兼得的问题,Audiobook-CC 用前后文建模加风格解耦加自蒸馏,在章节级取得 M-MOS 为 4.25 分与对话 S-MOS 为 4.11 分,代价是三阶段大数据训练与章节边界后文缺失时的空标记回退。

 · 更新于 2026-11-05 · 约 23 分钟 · 11148 字 阅读 →
论文解读

声音互相遮掩时,如何留住老类又发现新类

针对持续广义类别发现中声音频谱重叠与基类偏置问题,论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定,在 ShipsEar 上累计平均精度报告 74.14%,代价是新类精度仍低于 Happy。

 · 更新于 2026-11-05 · 约 19 分钟 · 9059 字 阅读 →
论文解读

文本想哭、指令要笑时:用文本情感做基线来放大引导的情感语音合成

针对目标情感与文本语义冲突时情感表达下降的问题,该研究用文本情感替代无条件分支并按不一致程度动态调整引导强度,再把引导信号蒸馏回模型,最强证据是在中性参考下情感识别准确率从 50.63% 提升到 59.55% 且词错误率降到 3.76%,代价是推理期曾需要外部大模型判断和双路解码。

 · 更新于 2026-11-05 · 约 19 分钟 · 9488 字 阅读 →
论文解读

把大模型的语义留在训练端:只用编码器解码重叠语音

针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题,该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器,并用话者计数头路由到两话者或三话者串行 CTC 分支,在 LibriMix 上实现推理全编码器化,三话者条件显著优于同类大模型系统且实时率大幅降低。

 · 更新于 2026-11-05 · 约 18 分钟 · 8814 字 阅读 →
论文解读

训练时说清为什么错,推理时只给答案:用拒绝式推理拉开相邻意图

针对语音意图分类中语义相邻类别难分的问题,该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则,在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。

 · 更新于 2026-11-05 · 约 18 分钟 · 8637 字 阅读 →
论文解读

对不准就念错:用注意力对齐分数与教师对齐路径消除大模型语音幻觉

针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。

 · 更新于 2026-11-05 · 约 18 分钟 · 8913 字 阅读 →
论文解读

固定随机量化不够用时:用在线投影与蒸馏修伪标签

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题,论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进,在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%,代价是增加一个小码本与相似矩阵损失的计算。

 · 更新于 2026-11-05 · 约 18 分钟 · 8631 字 阅读 →
论文解读

不等整句到齐就开口:FlashTTS 如何把自回归与声学解码同时加速

针对对话式语音合成既要流式进文本又要低首包延迟的问题,FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码,在 Minimax 子集上把首包延迟降到 325 ms,代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。

 · 更新于 2026-11-05 · 约 19 分钟 · 9303 字 阅读 →
论文解读

高分辨率歌声打假:全带保全局、子带抓局部如何协同

针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。

 · 更新于 2026-11-05 · 约 21 分钟 · 10374 字 阅读 →
论文解读

线性效率与全局语义不可兼得?MamTra 用混合替换加蒸馏保住合成质量

针对自回归 Transformer 语音合成二次复杂度导致长序列显存与延迟过高的问题,MamTra 把预训练 Transformer 的部分层替换为 Mamba 并用多级蒸馏恢复性能,最强证据是在仅用约 2% 英文数据下推理显存降低可达 34%,代价是 1:1 配置词错误率绝对上升 0.25% 且激进替换会明显损伤可懂度。

 · 更新于 2026-11-05 · 约 17 分钟 · 8270 字 阅读 →