去掉参考文本还要更快:Tacit-TTS 用掩码并行替代自回归克隆
Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。
Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
该研究在 ASPED 上以视频教师蒸馏音频学生,比较十种蒸馏配置,发现宏准确率小幅上升主要来自无行人类准确率上升与行人召回下降的操作点移动,PR-AUC 几乎不变,而选择性屏蔽行人样本的信任过滤蒸馏强化了这一权衡而未提升平均排序能力。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
SAGE 用复数 STFT 上的三阶段 SwinV2 变分自编码器加延迟蒸馏 CLAP 语义,在 105M 参数和 Stable Audio Open 同级推理成本下达到 SAME-L 的主观质量并在客观重建与十九个探测任务上领先,代价是两阶段大算力训练与对 SDR 类样本精确指标的让步。
针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。
针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题,该研究在听音空隙内增设转写旁路并驱逐旧声学状态,在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理,但反通道接管率有所上升。
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对单通道无监督去混响缺少干净参考的问题,ARTT 先用随机合成混响构造可训练的加重混响到观测混响映射,再用均值教师非对称蒸馏提纯,并在 WSJ0CAM-DEREVERB 上以 7.3 dB 的 SI-SDR 和 2.61 的 PESQ 超过已有无监督基线,代价是两阶段流程与仿真参数依赖。
针对音频推理数据少且依赖闭源模型生成的问题,论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking,在 MMAR 上平均准确率达到 71.70% 并提升推理质量,但混合域与强闭源模型的差距与评测单一性仍是代价与限制。
针对多角色长篇有声书语义连贯与情感可控难兼得的问题,Audiobook-CC 用前后文建模加风格解耦加自蒸馏,在章节级取得 M-MOS 为 4.25 分与对话 S-MOS 为 4.11 分,代价是三阶段大数据训练与章节边界后文缺失时的空标记回退。
针对持续广义类别发现中声音频谱重叠与基类偏置问题,论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定,在 ShipsEar 上累计平均精度报告 74.14%,代价是新类精度仍低于 Happy。
针对目标情感与文本语义冲突时情感表达下降的问题,该研究用文本情感替代无条件分支并按不一致程度动态调整引导强度,再把引导信号蒸馏回模型,最强证据是在中性参考下情感识别准确率从 50.63% 提升到 59.55% 且词错误率降到 3.76%,代价是推理期曾需要外部大模型判断和双路解码。
针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题,该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器,并用话者计数头路由到两话者或三话者串行 CTC 分支,在 LibriMix 上实现推理全编码器化,三话者条件显著优于同类大模型系统且实时率大幅降低。
针对语音意图分类中语义相邻类别难分的问题,该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则,在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。
针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。
针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题,论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进,在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%,代价是增加一个小码本与相似矩阵损失的计算。
针对对话式语音合成既要流式进文本又要低首包延迟的问题,FlashTTS 用滞后多轨道输入加并行多词元预测与两步 X 预测平均流解码,在 Minimax 子集上把首包延迟降到 325 ms,代价是五路并行时相似度和主观分下降且部分语言可懂度仍落后离线大模型。
针对 44.1 kHz 歌声伪造检测,论文用全带专家保全局加子带专家抓局部伪影,对比四种融合后在 WildSVDD 上以蒸馏再聚合达到 Test A 最低 1.58% 与 Test B 8.77%,代价是多专家训练与推理结构更复杂。
针对自回归 Transformer 语音合成二次复杂度导致长序列显存与延迟过高的问题,MamTra 把预训练 Transformer 的部分层替换为 Mamba 并用多级蒸馏恢复性能,最强证据是在仅用约 2% 英文数据下推理显存降低可达 34%,代价是 1:1 配置词错误率绝对上升 0.25% 且激进替换会明显损伤可懂度。