不用注册音频也能做引导增强:用干净先验把 noisy 嵌入拉回正轨
针对无注册音频时噪声嵌入不可靠的问题,G-MaP-SE 用离线拟合的干净嵌入高斯混合先验对噪声嵌入做软匹配修正,再经门控融合注入 MP-SENet,在 VoiceBank+DEMAND 训练并在 DNS2020 跨域验证,最强证据是跨域条件下缩小与 oracle 干净条件差距,代价是先验质量受干净数据规模限制且部分样本仍可能匹配到次优原型。
针对无注册音频时噪声嵌入不可靠的问题,G-MaP-SE 用离线拟合的干净嵌入高斯混合先验对噪声嵌入做软匹配修正,再经门控融合注入 MP-SENet,在 VoiceBank+DEMAND 训练并在 DNS2020 跨域验证,最强证据是跨域条件下缩小与 oracle 干净条件差距,代价是先验质量受干净数据规模限制且部分样本仍可能匹配到次优原型。
针对干净与多种增强梯度方向冲突和幅值失衡问题,论文提出以干净梯度为参考的对齐加指数滑动平均幅值归一化,在保持干净锚不变下用可运行的多增强训练在域外集上降低等错误率,但冲突裁剪阈值与参考选择仍需更多验证。
针对呼吸音中短时局部的爆裂音与哮鸣音易被全局自注意平滑掉的问题,论文用蒸馏音频状态空间模型保留中高空间频率,再以高斯平滑约束中间层与双轴切块混合对比学习提升鲁棒性,在 ICBHI 上报告 4 分类 64.48% 与 2 分类 72.57%,代价是引入温度、核尺寸与施加阶段等超参数选择。
针对自监督语音模型随机掩码会打断稀疏病理线索的问题,PAN-Mask 用六维声学描述子加端到端注意力估计帧级病理显著性并优先衰减高显著帧,在六个数据集上比随机掩码平均提高 13.82 个百分点,代价是增加轻量检测器与掩码超参数的联合优化复杂度。
该研究在 Whisper-small 上用免微调的一次性幅度剪枝证明剪对位置可降低词错误率,解码器自注意力剪 50% 在 LibriSpeech test-other 上带来 2.38% 绝对增益,而 40.8% 稀疏度的敏感度感知压缩仅使词错误率恶化 0.20%
该文用共享参数的块限制注意力加动态块卷积统一离线与流式 Transducer,并以全格点对称 KL 一致性正则在低延迟流式上缩小差距,主证据是 L 尺寸统一双模加 MCR 在 0.32s 延迟平均词错率 8.24 而离线保持 6.63,代价是每步需跑离线与流式两次前向并承担额外 KL 计算与延迟定义约束。
针对自回归语音理解中强制意图前缀仍可恢复槽位的能力残留问题,论文提出两阶段绑定子空间遗忘方法,在 SLURP 上把强制前缀下的 BRR@10 从 92.64 降到 22.10、语义相似度从 90.14 降到 24.80,同时保留集性能基本稳定。
针对连续隐表示在重建保真与合成可懂度之间的权衡,论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE,在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线,而重建质量与普通变分自编码器基本持平。
针对隐式身份泄漏导致的跨说话人泛化失败,论文用样本级余弦正交加批量级交叉协方差的双粒度几何约束配合课程式加权做说话人伪影分离,在 ASVspoof 2019 LA、2021 DF 和 In-the-Wild 上报告 1.35%、7.88% 和 21.58% 等错误率,代价是对解耦强度与训练节奏更敏感且最难攻击仍有残留误差。
针对语音命令与脑电情绪等时序信号全长推理浪费算力的问题,论文提出以输出层谁先发放脉冲就判为哪类的内禀早退机制,并用竞争抑制与混合时序训练加速收敛,在 GSC V2 上以 92.89% 准确率、63.68 平均决策步长和 2.75 微焦能耗取得报告的最优权衡,但代价是增加小规模抑制矩阵与三项损失超参数。
针对自条件端到端日志中逐层独立选排列导致的层次排列不一致,论文提出硬约束的组式与软约束的连续影响两种训练目标,在 CALLHOME 上连续影响在 2 说话人与 3 说话人均降低日志错误率,而组式在 3 说话人上反而变差。
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对口语评估中等级有序却被当作独立类别的问题,该文用冻结 Whisper 多层路由加有序原型正则做回归,在 Speak & Improve 2025 评估集上达到 RMSE 0.361,代价是仍需分题型训练且依赖人工半分制标签。
针对呼吸音分类中录音质量不一与重度类别不平衡问题,QLung 用无参考音频质量间隔与对数缩放类别间隔组成双因子角度间隔并配合角度分类器,在 ICBHI 上将 AST 基线分数从 59.55% 提升到 62.01%,在 SPRSound 分布外测试上达到 59.80% 的最好分数,代价是裂音单类准确率下降且对超参数与预处理依赖较强。
针对解耦后内容与韵律流中残留的说话人属性,该工作在训练好的匿名框架上加针孔损失微调以压低同源匿名话语的可聚类性,在三种基线与四种伪说话人策略上一致提升等错误率而词错误率与情感召回仅小幅波动。
针对无监督域自适应下伪标签噪声与过自信问题,论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤,在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%,代价是需要多轮扰动推理与精细的掩蔽超参数。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对误发音检测与诊断需要如实转写实际发音的问题,该研究用强制单调帧级对齐的声学模型保留瞬时发音线索并用训练期特权信息隐式注入语言知识,在 L2-ARCTIC 上报告 F1 为 71.77%,代价是插入错误上升与识别率和诊断率之间的权衡。
针对音频语言模型中提示学习提升基类却损伤新类的问题,ZEBRA 把零样本对数与提示学习对数加权融合再做自熵正则,在 11 个数据集平均上把新类准确率从低于零样本拉回到零样本之上,同时基类保持在 80% 左右,代价仅是训练测试时间增加数秒且不增加可学习参数。
论文发现联合视频生成中视频到伴随模态的对应强而反向弱,提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR,在视频-动作上把人体解剖学得分从 0.69 提升到 0.75,在视频-音频上把绝对失同步从 0.804 降到 0.752,代价是只微调 LoRA 且需保留原生成损失权重。