噪声转写打歪语义时,用冻结教师把学生拉回干净流形
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对多模态情绪识别标注贵、模态缺失和噪声多的问题,MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权,冻结编码器后用轻分类器迁移,CMU-MOSEI 七分类达 55.31% 且跨库接近全监督,但仍依赖固定特征抽取器和轻微分布相似性。
针对只有话语级标签却要输出帧级情绪起止的问题,P-SED 用可学习情绪原型加正交约束建度量空间,再用包级非对称对比与帧级 Top-K 显著挖掘联合训练并在推理用全变分去噪保边界,在 ZED 上报告 EDER 为 47.00%,代价是固定比例挖掘对快速变化情绪仍显僵硬且帧标注测试集很小。
针对跨语言和噪声下说话人确认易把语言当成身份的问题,该文先用弧面间隔损失在多语言数据上微调 ReDimNet-B6,再冻结主干训练轻量三元组投影网络,开发集等错误率从基线 3.07% 降到 1.58%,代价是最易条件出现 0.07 个百分点回退且盲测集仍明显高于开发集。
针对音频与文本多对多、粗细粒度共存的问题,ProLAP 把每个输入表示为高斯分布并用包含损失约束层级,在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好,但遮挡构造与合成评测带来适用边界。
针对鼾声四分类的类别不平衡与黑盒问题,该工作用半难三元组加类别平衡交叉熵学习单位超球嵌入,以类质心做主推理并用支撑样本加时频激活做解释,在干净条件下宏召回从 0.401 提升到 0.638,代价是强噪声下优势消失且固定窗与 E 类分散仍存局限。
针对带噪低分辨率输入的噪声鲁棒带宽扩展问题,VeRe-Flow 在流匹配骨干上同时引入速度对比正则和中间表示对齐,并在 Valentini-Botinhao 带噪测试集上报告了生成式基线中最低的频谱距离和最高的整体感知分数,其代价是需要配对干净高分辨率监督与冻结的噪声鲁棒自监督特征。
该工作把二分类 deepfake 检测与开集来源归属统一为层次度量学习加小样本原型注册,用 WavLM-Large 加 LoRA 在 MLAAD v9 时间划分上训练并在 ASVspoof 5 Track 1 开放条件上报告 0.49% 等错误率与 99.0%/97.0% 归属精度,代价是余弦分数校准偏差与对原型覆盖度的依赖。
该研究以单通道去混响为对象,先证实扩散式与判别式 NCSN++ 深层都学到房间脉冲响应可分的表示,再用对比预训练房间编码器经 FiLM 注入扩散模型,在 N=15 到 100 上提升 PESQ 与 DNSMOS 并加快收敛,代价是需要额外编码器与关闭 EMA 才能稳定训练。
针对呼吸音自监督编码器缺乏临床语义锚点而无法零样本推理的问题,REACH 用医学大模型由元数据合成结构化报告并以 Sigmoid 对比对齐加掩码重构正则和远距离负采样做桥接,在 9 任务 6 数据集上以 43% 公开数据取得 61.3% 平均零样本 AUC 和 71.6% 线性探测 AUC,但细粒度咳嗽变体与五级严重度分级仍接近随机。
论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分,在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降,但线性加 Softmax 在部分相对间隙指标上仍有残留。
针对语音增强语言模型受上下文窗口限制、难以从大规模偏置名单中识别多目标罕见词的问题,COALA 用判别投影做偏置打分并提出 MPD 与 DPD 损失,在 LibriSpeech 上把过滤后识别的偏置词错误率明显压低,代价是仍需两阶段训练与 Top-K 截断。
针对自然语音难以手工刻画心衰失代偿的问题,该研究用 3 天内拉近、100 天以上拉远的对比预训练学习录音表征,在 68 例入院与出院排序任务上以跨中心稳定性为主要证据,代价是小样本下差异不显著且高分辨率预训练指标更好但临床迁移更差。
针对多模态意图识别中实例级对比缺少语义锚定、扁平融合忽略层次冗余的问题,MVCL-DAF++ 引入类原型对比与粗到细动态融合,在 MIntRec 上取得 76.18% 准确率与 75.66% 加权 F1、在 MIntRec2.0 上取得 60.40% 准确率与 59.23% 加权 F1,代价是三项损失联合训练与双分支融合的更高复杂度。
为解决离散音素表示难以做平滑语音编辑的问题,论文提出给每个音素类学习一个高斯先验并用监督对比损失拉紧推开隐空间,在 LibriSpeech 训练并在 LJSpeech 与 CMU ARCTIC 上验证插值可听辨且编辑语音质量接近原始录音,代价是依赖强制对齐与仅限英语验证。
针对脑电与语音包络的时间对齐分类问题,SCANS 用扩张卷积前端加跨模态注意做双向融合,并以交叉熵加有监督对比损失联合训练,在 SParrKULee 上 N 为 2、t 为 3 秒时总分报告为 86.1,但长窗与多候选条件下的方差与泛化代价仍需对照原文条件理解。
该文在匹配主干与数据轮次预算下比较全局分类锚定与成对验证做开放集语音合成源头追溯,报告域内全局锚定 8.61% 等错误率优于成对变体的 12–15%,并以瓶颈对照与 k99 分析支持差距来自目标函数对嵌入方向的塑造而非单纯维度降低。
针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题,OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间,再用条件流匹配为同一提示采样多样声学风格向量,在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88,代价是下游仍用轻量 DiT 骨干且自然度提升有限。
针对语音语言模型偏向语言先验而忽视声学证据的问题,CAAD 用元数据锚定的伪真值同步生成教师双路径对比分布并蒸馏给单路径学生,在 Dynamic-SUPERB 上相对标准蒸馏提升约 8% 并在 MCR-BENCH 上把 Shift 降到 79.03,代价是仍需调对比权重 α 并受限于小模型自身能力。
针对语音大模型能识别情绪却回不对情绪方向的问题,CE-CoT 把一次回答拆成情绪识别、中性回答与情绪对齐改写三步做隐式对照训练,在四个数据集上把情绪一致性最高提升 19.1 个百分点相对普通对齐与 35.2 个百分点相对预训练基线,代价是仍只验证单轮与自动裁判打分。