论文解读

不用教师蒸馏怎么做少步语音合成:DriftTTS 解读

DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题,用梅尔域分布匹配漂移力加同策略展开训练四步解码器,在 LJSpeech 上以相近客观指标和盲听自然度接近基线,代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。

 · 更新于 2026-10-15 · 约 16 分钟 · 7859 字 阅读 →
论文解读

同时看频谱和时间如何一起变化:DuRe-ST 的语音伪造检测

针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。

 · 更新于 2026-10-15 · 约 18 分钟 · 8865 字 阅读 →
论文解读

DyRA:用输入相关的残差修正加速大模型的矩阵乘法

DyRA 针对稠密矩阵乘法太贵的问题,在静态结构化权重近似之外增加随输入变化的低秩残差修正,在视觉、语音和语言模型上用同等计算预算保留更多输出精度,但其加速主要适用于矩阵-矩阵乘法充足的场景。

 · 更新于 2026-10-15 · 约 20 分钟 · 9828 字 阅读 →
论文解读

把等待和选词分开:流式语音识别的因子化延迟流建模

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题,用等待概率加原词表分布的因子化结构,在日语和英语上取得更低错误率,并用等待步跳过大词表计算降低训练显存和推理开销,但纯文本困惑度仍高于原始模型。

 · 更新于 2026-10-15 · 约 16 分钟 · 7555 字 阅读 →
论文解读

GAANet:用非对称时间尺度和全局语义引导做视听语音分离

针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。

 · 更新于 2026-10-15 · 约 19 分钟 · 9482 字 阅读 →
论文解读

GS-Codec:用一维高斯溅射代替量化器的神经语音编码

GS-Codec 把编码器隐变量拟合成加权一维高斯基函数之和再做标量量化,用单检查点实现基元数与位深控制的码率调节,在 3 到 6 kbps 附近达到与 EnCodec 和 DAC 可比的重建质量,代价是迭代拟合的编码耗时需用预测网络摊销。

 · 更新于 2026-10-15 · 约 21 分钟 · 10495 字 阅读 →
论文解读

人口交叉情况下的语音识别模型合并与修正:InterCorrect 解读

针对多人口属性交叉说话人识别偏弱的问题,论文先在冻结语音编码器和大语言模型下为 18 个人口子组分别微调连接器再合并为全局模型,然后对跨轴交叉对估计修正向量并加回全局模型,在 Fair-Speech 上把总体词错误率从 7.38% 降到 5.13%,但平均提升并不总能缩小同轴内最大最小差距。

 · 更新于 2026-10-15 · 约 18 分钟 · 8638 字 阅读 →
论文解读

可学习的谱激活:让隐式表示自己调整谐波组合

论文针对隐式神经表示中固定激活难以组合多谐波的问题,提出每层共享的残差截断傅里叶激活,在音频、图像与神经场实验中提升重建质量,但以更高的激活计算与显存为代价。

 · 更新于 2026-10-15 · 约 17 分钟 · 8174 字 阅读 →
论文解读

在模型重建攻击下为自回归语音合成加多比特水印

论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题,提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架,在两种自回归合成器上无攻击时比特准确率达 0.999,重建攻击下平均约 87.6%,代价是需要两阶段训练与双专家恢复结构。

 · 更新于 2026-10-15 · 约 23 分钟 · 11056 字 阅读 →
论文解读

从部分语音学会何时落笔:端到端同声传译的前缀自学

针对英语语音到德日中文本的同传任务,论文用完整语音自译作锚点从部分波形合成单调前缀监督,对比单轮强制前缀与多轮追加解码,并用置信度阈值调节质量延迟,最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

 · 更新于 2026-10-15 · 约 18 分钟 · 8609 字 阅读 →
论文解读

噪声下让合成语音更清楚:动态激活 steering 的做法与证据

该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。

 · 更新于 2026-10-15 · 约 21 分钟 · 10252 字 阅读 →
论文解读

从肌肉电信号合成语音:混沌约束与轻量状态空间如何分工

论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。

 · 更新于 2026-10-15 · 约 19 分钟 · 9415 字 阅读 →
论文解读

口音英语为何被认成母语:只用母语语音估计偏置方向并投影去除

针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。

 · 更新于 2026-10-15 · 约 21 分钟 · 10161 字 阅读 →
论文解读

ParaGeo:把副语言变化拆进共享低维坐标

论文用匹配内容合成与固定提示回放在冻结 GLM-4-Voice 中检验请求式副语言是否跨内容复现,以 16 维共享坐标刻画结构,最强表示证据是内容留出下 9.49% 对 1.25% 与余弦 0.285 对 0.017,而生成干预只在部分属性与层组有效并伴随文本保真代价。

 · 更新于 2026-10-15 · 约 19 分钟 · 9144 字 阅读 →
论文解读

提示一致推理如何修正零样本流匹配语音合成的采样输入

针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。

 · 更新于 2026-10-15 · 约 18 分钟 · 8935 字 阅读 →
论文解读

提示词与规则:语音用户模拟器自然度行为的审计与控制

论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。

 · 更新于 2026-10-15 · 约 16 分钟 · 7707 字 阅读 →
论文解读

用假名域识别误差做奖励,优化日语合成的汉字读音

该文针对日语正字法与发音不是一一对应的问题,用输出片假名的识别模型计算假名域误差作为强化学习奖励,在相同分组相对策略优化条件下把目标汉字读音误差相对降低约 26%,同时保持了相近的正字法误差、说话人相似度和客观音质,但无约束时会引起输出明显变长,需要 KL 正则抑制。

 · 更新于 2026-10-15 · 约 16 分钟 · 7923 字 阅读 →
论文解读

只剩低频还能读出文字吗:韵律到文本的初探

论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词,在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率,再用只由基频和能量重建的频谱做对照发现误差升至约 69%,说明低频与词内容联系比预想强但尚不能归因于纯韵律。

 · 更新于 2026-10-15 · 约 18 分钟 · 8741 字 阅读 →
论文解读

SEAL:混合闭合加性重建与细化感知专家路由的紧凑语音分离

SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。

 · 更新于 2026-10-15 · 约 18 分钟 · 8651 字 阅读 →
论文解读

为人工耳蜗语音挑选合适的情感模板:SEER 怎么做检索增强

SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。

 · 更新于 2026-10-15 · 约 17 分钟 · 8283 字 阅读 →