在插值随机微分方程里把线性部分算准:十步恢复语音的求解器
论文把含噪观测插值的条件扩散统一为插值随机微分方程并给出指数龙格库塔求解器 iSDE-2S-κ,在去噪等五项语音恢复任务上用 10 次网络评估达到自适应 RK45 数十次评估的水平,而 κ 过大则残留噪声需要更多步数消除。
论文把含噪观测插值的条件扩散统一为插值随机微分方程并给出指数龙格库塔求解器 iSDE-2S-κ,在去噪等五项语音恢复任务上用 10 次网络评估达到自适应 RK45 数十次评估的水平,而 κ 过大则残留噪声需要更多步数消除。
针对冻结且结构失配的编码器与解码器无法直接互通的问题,BridgeCodec 用薛定谔桥学习源潜变量到目标潜变量的最优传输并以 Mamba 增强 U-Net 建模长时依赖,在 8 kHz、1 kbps 输入到 48 kHz 重建的极端条件下把 STOI 从 0.23 提升到 0.88、SIM 提升到 0.96,代价是高频生成内容使 WER 略升至 2.11 …
针对仿真与真实远场语音分布不一致导致轻量模型失效的问题,该研究用 70 小时真实配对数据训练两阶段框架,先由冻结 GTCRN 粗增强再由轻量映射模块对齐到干净近场隐空间,在仅 0.8 GMAC/s 下取得 P.835 OVRL 2.94 与 P.808 3.35,但代码与权重当前不可用。
针对耳戴设备模数转换器功耗高的问题,CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电,再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音,直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电,代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。
针对已知无变音文本加语音恢复阿拉伯语变音符号的问题,论文用无自回归 CTC 声学模型加字符级变音格约束解码,在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率,代价是仍依赖基字符序列正确且需已标注变音的语音做微调。
针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题,CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道,在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms,但高剪枝率与单次剪枝加微调仍是主要代价与边界。
针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题,论文用轻量学生做块级束扩展、原教师模型做树形评估与选择,并加硬重复约束,报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%,代价是仍需蒸馏训练与多超参数配合。
针对单麦克风无人机自噪声语音增强,DroFiT 用全带与子带并行压缩加频率维 Transformer 建模,在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ,代价是仍需验证更广泛机型与实时延迟。
针对端到端神经语音编码模型过大难以部署的问题,该工作用说话人分组训练组专用小模型,在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量,代价是发送端需增加说话人分组与组索引传输且错分会带来损失。
针对音频超分辨率中扩散模型参数大、训练久、推理步数多的问题,FastWave 沿 NU-Wave 2 引入 EDM 去噪范式与 ConvNeXtV2 轻量化结构,在 VCTK 任意到 48 kHz 基准上以 1.3M 参数和更少训练资源达到可比重建质量,代价是低频谱距离仍弱于充分训练的 NU-Wave 2 与 FlowHigh。
针对单声部音频基频估计要在噪声下保持准确同时可实时运行的问题,FCPE 用对数梅尔谱输入加深度可分离卷积主干做 360 类音高分类,在 MIR-1K 上报告 96.79% 粗音高准确率并以 0.0062 实时因子运行,代价是在极低信噪比白噪声等极端条件下仍明显掉点且依赖增强策略补泛化。
针对语音命令与脑电情绪等时序信号全长推理浪费算力的问题,论文提出以输出层谁先发放脉冲就判为哪类的内禀早退机制,并用竞争抑制与混合时序训练加速收敛,在 GSC V2 上以 92.89% 准确率、63.68 平均决策步长和 2.75 微焦能耗取得报告的最优权衡,但代价是增加小规模抑制矩阵与三项损失超参数。
针对窄带语音缺失高频的问题,HWB-plus 用双路加权高斯混合分别建模周期与非周期成分并引入梅尔尺度初始化,在保持 194K 参数和 12.39M MACs/s 量级开销下报告了 DNSMOS P.808 达到 3.55 与 PESQ 达到 3.83 的感知质量提升,代价是 LSD 未取得最低且高采样与特定滤波构造下的结论边界需要复核。
该研究只用超音段基频与时长变化做普通话五类声调识别,用核心轮廓编码器加可拆卸辅助分支训练,报告在自建语料上核心分支推理精度达 97.5%,代价是需要强制对齐的音节词块边界与基频跟踪质量。
针对印度语语音克隆掉词慢且部署重的问题,该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2,在印地语等四种语言上把可懂度和自然度做上去,同时把推理加速 53 倍,代价是说话人相似度略低于直接以参考音为条件的基线。
针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。
针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题,MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习,以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段,在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。
针对脉冲神经网络做语音增强时相位难恢复、时频建模割裂的问题,GSU-DBNet 用双路门控脉冲单元同时估计幅度掩蔽与复数滤波系数,在 VoiceBank+DEMAND 上以 394K 参数达到 PESQ 3.04,代价是幅度分支的参数增加与频率双向建模带来的非因果约束。
针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题,DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权,在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%,代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …
针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。