不用教师蒸馏怎么做少步语音合成:DriftTTS 解读
DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题,用梅尔域分布匹配漂移力加同策略展开训练四步解码器,在 LJSpeech 上以相近客观指标和盲听自然度接近基线,代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。
DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题,用梅尔域分布匹配漂移力加同策略展开训练四步解码器,在 LJSpeech 上以相近客观指标和盲听自然度接近基线,代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。
针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。
DyRA 针对稠密矩阵乘法太贵的问题,在静态结构化权重近似之外增加随输入变化的低秩残差修正,在视觉、语音和语言模型上用同等计算预算保留更多输出精度,但其加速主要适用于矩阵-矩阵乘法充足的场景。
论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题,用等待概率加原词表分布的因子化结构,在日语和英语上取得更低错误率,并用等待步跳过大词表计算降低训练显存和推理开销,但纯文本困惑度仍高于原始模型。
针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。
GS-Codec 把编码器隐变量拟合成加权一维高斯基函数之和再做标量量化,用单检查点实现基元数与位深控制的码率调节,在 3 到 6 kbps 附近达到与 EnCodec 和 DAC 可比的重建质量,代价是迭代拟合的编码耗时需用预测网络摊销。
针对多人口属性交叉说话人识别偏弱的问题,论文先在冻结语音编码器和大语言模型下为 18 个人口子组分别微调连接器再合并为全局模型,然后对跨轴交叉对估计修正向量并加回全局模型,在 Fair-Speech 上把总体词错误率从 7.38% 降到 5.13%,但平均提升并不总能缩小同轴内最大最小差距。
论文针对隐式神经表示中固定激活难以组合多谐波的问题,提出每层共享的残差截断傅里叶激活,在音频、图像与神经场实验中提升重建质量,但以更高的激活计算与显存为代价。
论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题,提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架,在两种自回归合成器上无攻击时比特准确率达 0.999,重建攻击下平均约 87.6%,代价是需要两阶段训练与双专家恢复结构。
针对英语语音到德日中文本的同传任务,论文用完整语音自译作锚点从部分波形合成单调前缀监督,对比单轮强制前缀与多轮追加解码,并用置信度阈值调节质量延迟,最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。
该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。
论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。
针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。
论文用匹配内容合成与固定提示回放在冻结 GLM-4-Voice 中检验请求式副语言是否跨内容复现,以 16 维共享坐标刻画结构,最强表示证据是内容留出下 9.49% 对 1.25% 与余弦 0.285 对 0.017,而生成干预只在部分属性与层组有效并伴随文本保真代价。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
该文针对日语正字法与发音不是一一对应的问题,用输出片假名的识别模型计算假名域误差作为强化学习奖励,在相同分组相对策略优化条件下把目标汉字读音误差相对降低约 26%,同时保持了相近的正字法误差、说话人相似度和客观音质,但无约束时会引起输出明显变长,需要 KL 正则抑制。
论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词,在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率,再用只由基频和能量重建的频谱做对照发现误差升至约 69%,说明低频与词内容联系比预想强但尚不能归因于纯韵律。
SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。
SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。