不重建干净语音:用混合一致性把说话人线索和噪声分开
针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题,该研究用双解码器加混合一致性约束做面向确认的分解,在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%,代价是干净与高信噪比下不占优且依赖受控仿真条件。
针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题,该研究用双解码器加混合一致性约束做面向确认的分解,在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%,代价是干净与高信噪比下不占优且依赖受控仿真条件。
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。
该研究以 60 名认知正常的粤语老年人自然听故事脑电为对象,用声学、分段、音位战术三套编码模型比较皮层追踪强度,发现主观认知抱怨越重,对亚音节语言特征和平淡语体的追踪越弱,而对声学包络的追踪相对保留,但丰富韵律的代偿解释仍待验证。
MSR-Codec 用语义、音色、韵律与残差四路级联残差结构在 62.5 tokens 每秒下做高保真重建,并用两阶段语言模型做文本到语音,其代价是信号级细节指标仍受码率限制且部分实现细节未完全报告。
该文针对语音痴呆检测中机器窃听转录与人类窃听声纹两类威胁,用关键词对齐的累积信号对抗混淆破坏转录、用梯度反转加互信息选维加噪抑制声纹,在 Pitt 语料上报告痴呆 F1 约 0.78 而说话人识别近机会水平,代价是信号级信噪比明显为负。
针对说话人切换次数超出训练范围时多说话人识别会跳过整段话的问题,论文用说话人切换标记掩码加随机文本掩码切断解码器对切换次数的计数依赖,在仅见过至多 2 次切换的训练下把 3 次切换非重叠语音的字错率从 13.5% 降到 5.9%,代价是随机掩码率过大时训练变难且时间戳类标记越多时与上限差距越大。
针对多模态情绪识别标注贵、模态缺失和噪声多的问题,MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权,冻结编码器后用轻分类器迁移,CMU-MOSEI 七分类达 55.31% 且跨库接近全监督,但仍依赖固定特征抽取器和轻微分布相似性。
该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件,显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持,小聚类下语言监督才有附加增益,但大聚类下附加语言条件可能无益甚至轻微损伤。
针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题,论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比,主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持,代价是短语音上 BLEU 与 COMET 略低于基线。
针对脉冲神经网络做语音增强时相位难恢复、时频建模割裂的问题,GSU-DBNet 用双路门控脉冲单元同时估计幅度掩蔽与复数滤波系数,在 VoiceBank+DEMAND 上以 394K 参数达到 PESQ 3.04,代价是幅度分支的参数增加与频率双向建模带来的非因果约束。
针对低码率低信噪比下神经语音编码器重建失真问题,FocalSE 在 DAC 连续嵌入空间中用聚焦掩码去噪、分离噪声嵌入并做噪声分类,在 LibriTTS 加 ESC-50 混合数据上重建指标优于 SECE 与 FD-CBR,代价是推理参数增至 159M、含识别分支时达 222M。
针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题,DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权,在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%,代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …
针对大音频语言模型链式思考不稳定问题,论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入,在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %,而纯文本导出的向量也能迁移到语音任务,但实例级方法对缩放强度更敏感。
该研究针对语音语言模型同时接收文本与音频时的越狱鲁棒性问题,提出同时优化文本后缀与音频扰动的联合攻击 JAMA 与分步近似 SAMA,在四个模型上报告联合攻击比单模态高 1.5 至 20 倍而分步版本快 4 至 6 倍,但长音频候选评估与可微特征提取等条件限制了其适用范围。
论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题,发现中等偏大的 N 在更低比特率下仍保持可懂与连贯,而自动指标与人评的相关仍有限且评估方法需改进。
论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献,发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化,但引导模型把激活集中到了舌区,代价是结构更复杂而客观指标没有提升。
针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。
该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别,用跨模态蒸馏得到因果轻量视觉前端,再配因果分离器,在最低乘加运算量下取得可比或更好的分离质量,但跨域时仍受视觉前端训练域限制。
针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难,论文用多步未来预测约束在线寄存器并分离层归一化参数,在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%,代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。