把语言身份移出逐词循环:用一次计算的 utterance 级表示替代解码器逐步神经模块
针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题,论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影,在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率,并把长句解码器额外开销从百秒量级降到数秒量级,代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。
针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题,论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影,在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率,并把长句解码器额外开销从百秒量级降到数秒量级,代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。
针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题,该文用通道级 k-means 聚类合并注意力头和前馈中间单元,并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降,代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。
针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。
针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题,VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练,在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离,代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。
论文把含噪观测插值的条件扩散统一为插值随机微分方程并给出指数龙格库塔求解器 iSDE-2S-κ,在去噪等五项语音恢复任务上用 10 次网络评估达到自适应 RK45 数十次评估的水平,而 κ 过大则残留噪声需要更多步数消除。
针对冻结且结构失配的编码器与解码器无法直接互通的问题,BridgeCodec 用薛定谔桥学习源潜变量到目标潜变量的最优传输并以 Mamba 增强 U-Net 建模长时依赖,在 8 kHz、1 kbps 输入到 48 kHz 重建的极端条件下把 STOI 从 0.23 提升到 0.88、SIM 提升到 0.96,代价是高频生成内容使 WER 略升至 2.11 …
针对仿真与真实远场语音分布不一致导致轻量模型失效的问题,该研究用 70 小时真实配对数据训练两阶段框架,先由冻结 GTCRN 粗增强再由轻量映射模块对齐到干净近场隐空间,在仅 0.8 GMAC/s 下取得 P.835 OVRL 2.94 与 P.808 3.35,但代码与权重当前不可用。
针对耳戴设备模数转换器功耗高的问题,CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电,再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音,直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电,代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。
针对已知无变音文本加语音恢复阿拉伯语变音符号的问题,论文用无自回归 CTC 声学模型加字符级变音格约束解码,在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率,代价是仍依赖基字符序列正确且需已标注变音的语音做微调。
针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题,CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道,在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms,但高剪枝率与单次剪枝加微调仍是主要代价与边界。
针对语言模型语音合成中束搜索易时间坍缩且延迟高的问题,论文用轻量学生做块级束扩展、原教师模型做树形评估与选择,并加硬重复约束,报告在保持基线实时率的同时相对传统束搜索最高加速 5.1 倍、相对采样解码最高降低词错误率 50%,代价是仍需蒸馏训练与多超参数配合。
针对单麦克风无人机自噪声语音增强,DroFiT 用全带与子带并行压缩加频率维 Transformer 建模,在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ,代价是仍需验证更广泛机型与实时延迟。
针对端到端神经语音编码模型过大难以部署的问题,该工作用说话人分组训练组专用小模型,在主观听感上以 96% 参数量削减和从 2 kbps 到 1 kbps 的码率减半维持了大模型质量,代价是发送端需增加说话人分组与组索引传输且错分会带来损失。
针对音频超分辨率中扩散模型参数大、训练久、推理步数多的问题,FastWave 沿 NU-Wave 2 引入 EDM 去噪范式与 ConvNeXtV2 轻量化结构,在 VCTK 任意到 48 kHz 基准上以 1.3M 参数和更少训练资源达到可比重建质量,代价是低频谱距离仍弱于充分训练的 NU-Wave 2 与 FlowHigh。
针对单声部音频基频估计要在噪声下保持准确同时可实时运行的问题,FCPE 用对数梅尔谱输入加深度可分离卷积主干做 360 类音高分类,在 MIR-1K 上报告 96.79% 粗音高准确率并以 0.0062 实时因子运行,代价是在极低信噪比白噪声等极端条件下仍明显掉点且依赖增强策略补泛化。
针对语音命令与脑电情绪等时序信号全长推理浪费算力的问题,论文提出以输出层谁先发放脉冲就判为哪类的内禀早退机制,并用竞争抑制与混合时序训练加速收敛,在 GSC V2 上以 92.89% 准确率、63.68 平均决策步长和 2.75 微焦能耗取得报告的最优权衡,但代价是增加小规模抑制矩阵与三项损失超参数。
针对窄带语音缺失高频的问题,HWB-plus 用双路加权高斯混合分别建模周期与非周期成分并引入梅尔尺度初始化,在保持 194K 参数和 12.39M MACs/s 量级开销下报告了 DNSMOS P.808 达到 3.55 与 PESQ 达到 3.83 的感知质量提升,代价是 LSD 未取得最低且高采样与特定滤波构造下的结论边界需要复核。
该研究只用超音段基频与时长变化做普通话五类声调识别,用核心轮廓编码器加可拆卸辅助分支训练,报告在自建语料上核心分支推理精度达 97.5%,代价是需要强制对齐的音节词块边界与基频跟踪质量。
针对印度语语音克隆掉词慢且部署重的问题,该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2,在印地语等四种语言上把可懂度和自然度做上去,同时把推理加速 53 倍,代价是说话人相似度略低于直接以参考音为条件的基线。
针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。