财报电话语音还需要持续学习正则吗:EWC 与 mini-KFAC 的对照解读
把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时,同域两分区上都出现负遗忘,不加正则的微调取得最低词错误率,而需要正则时 mini-KFAC 比对角 EWC 更低更稳,但差异在 5 个种子下不显著。
把 Whisper-small 从 TED 演讲语音调到 Earnings22 财报语音时,同域两分区上都出现负遗忘,不加正则的微调取得最低词错误率,而需要正则时 mini-KFAC 比对角 EWC 更低更稳,但差异在 5 个种子下不显著。
论文针对开放词汇音视事件定位中手工模板敏感与可学习提示偏向已见类的问题,用跨音频视觉的连续提示调优加语义拓扑一致性正则保持类间相似结构,在 OV-AVEBench 上已见平均 71.2% 与未见平均 61.7% 的条件下取得提升,代价是仍依赖冻结编码器与合成类别代理。
论文针对语音识别隐表示残留说话人痕迹的隐私问题,提出在第 6 层辅助嵌入上先聚类找质心再推离的 SAID 方法,在 VCTK 上以遗忘集成员推断 52.6% 接近重训练金模型 52.7% 为最强证据,代价是保留集词错误率高于微调类基线。
论文针对句子重读检测受子词切分影响而概率分散的问题,用冻结 Whisper 加句子级与音素级两个分支和词跨度正则项,在 TinyStress-15K 合成语料上把句子重读 F1 做到 0.934,代价是只在合成朗读条件下验证且两分支仍无直接交互。
针对联合训练中某一模态主导而其他模态欠优化的问题,论文用相对函数进度校准跨模态比较,并通过重分配响应预算与张量级学习率进行闭环调节,在六个数据集上报告了准确率提升,但额外参考构造与探测开销需要分开评估。
论文揭示合法神经编解码压缩会让现有音频伪造检测大幅退化且基于编解码重合成训练的模型更脆弱,并用成对一致性微调在保持编解码生成检测的同时把压缩下的平均等错误率从 28.67% 降到 12.77%,代价是需多编解码增强训练与推理前只用单次前向。
论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标,提出只在训练时使用的局部原型重建约束,用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关,低资源翻译上提升最明显。
论文把查询半径以内的说话人累加和作为直接目标,用连续半径调制和相邻半径一致性约束实现单模型连续区域提取,在实测混响上给出 29.25 dB 等结果,结论限定在两说话人训练和 0 到 4 米查询范围内。
AudioJev 把波形、问题与调用方候选直接映射为候选分布,用随机错排配对与语义对齐对称 KL 训练顺序校准,在完整 MMAU 与 MMAR 上报告 68.88% 与 55.33% 平均准确率并降低乱序 SKL,推理保持单次前向。
论文研究语音自监督是否必须构造精细预测目标,提出直接预测当前编码器连续表示并只用高斯正则防塌缩的 GLaS-JEPA,在 960 小时 LibriSpeech 上以 57M 参数取得冻结编码器 SUPERB 语音识别 6.89% 词错误率和槽填充 25.87% 概念错误率,但情绪识别等副语言任务仍落后且大模型扩展尚未验证。
针对复数谱对数幅度难以直接求近端算子的问题,论文提出经指数耦合辅助变量间接施加倒谱稀疏等先验的 EPILOG 正则,给出分量近端算子与交替极小 ADMM 流程,去混响实验显示倒谱稀疏版本取得最高平均指标,但收敛性证明留待后续工作。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用矩形房间大量仿真房间脉冲响应做预训练,再只用 10 个 L 形与不规则房间微调解码器,在未见过的 40 个目标房间上把均方误差降低 56%,但代价是仍依赖仿真数据与固定采样设置且未验证真实测量房间。
针对脉冲噪声下函数链接型非线性有源降噪被盲目展开拖累的问题,该工作在最小输出方差约束的滤波-s 最小 p 幂框架上加入重加权零吸引稀疏项,在 α=1.6 仿真中把稳态误差压低 1–2 dB 并把稳定步长上界从约 0.022 推到约 0.034,代价是每步乘法量从约 2L 升到约 5L 但仍保持 O(L)。
针对微型扬声器低频重放不足导致固定有源降噪滤波器易机械过冲的问题,论文提出先只约束低频增益再扩展为全目标频段约束加正则的方法,仿真与消声室列车噪声和白噪声实验显示其在保低频限幅的同时恢复了目标频段降噪量,但低频段本身降噪仍明显低于无约束维纳解。
针对持续广义类别发现中声音频谱重叠与基类偏置问题,论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定,在 ShipsEar 上累计平均精度报告 74.14%,代价是新类精度仍低于 Happy。
针对多人标注不一致的模糊语音情感,该工作把预测目标从单标签改为情感分布,并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程,在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进,但高维分布下不同策略的优劣会变化。
针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。
论文在英日德三语 MELD-ST 上量化语音大模型情绪识别的语言依赖性别差距,并用经验风险加最坏语言内男女损失差距正则与自适应权重训练,在单模态提升约 5.5% 且多模态提升约 5.0% 的同时把总体性别差距分别缩小 0.1% 和 1.4%,代价是固定大权重会明显损伤识别性能。
针对麦克风数不少于说话人数的到达方向已知分离任务,论文用冯米塞斯加权的方向图正则约束 FastMNMF 的联合对角化矩阵,在 1 人和 2 人混响仿真中提升分离质量,而 3 人和 4 人拥挤条件下增益受限。