从离散缺失到连续可靠度:QA-MoE 用质量分数压住不可靠专家的路由
针对文本、音频、视觉在噪声与缺失连续变化时情感分析退化的问题,论文用连续可靠度谱统一三种退化协议并提出以偶然不确定性驱动路由的 QA-MoE,在 CMU-MOSI 等基准上保持领先,代价是需要谱感知的数据增强与双分支不确定性建模。
针对文本、音频、视觉在噪声与缺失连续变化时情感分析退化的问题,论文用连续可靠度谱统一三种退化协议并提出以偶然不确定性驱动路由的 QA-MoE,在 CMU-MOSI 等基准上保持领先,代价是需要谱感知的数据增强与双分支不确定性建模。
针对中文多轮语音任务对话缺乏真实口语评测的问题,RealTalk-CN 用 5400 段真人录音与不流利标注和跨模态切换任务,测出槽填充比意图分类更怕口语化,而流水线与端到端各有胜负且老年与方言口音存在可测差距。
针对推理时音频或视觉缺失的音视问答,论文提出先检索真实特征再做上下文净化的 R2ScP 路线,报告在 Music-AVQA 平均 71.54% 与 AVQA 平均 76.35% 的准确率,代价是对检索库质量敏感且只处理推理阶段缺失。
论文用四种真实声景按 1 到 4 个干扰源叠加构造十万级评测,报告高阶推理在户外强干扰下功能性崩溃而性别感知相对稳定,且常用去噪反而加重词错误率等代价。
针对实时通信中未知增强与编解码耦合失真问题,论文用真机穿越七个主流平台构建约 600 小时配对数据并提出音素引导一致性学习,在离线与在线混合评估上把平均等错率降到 5.81%,代价是对极端噪声与激进非线性失真仍有差距。
论文针对大音频语言模型在噪声下语义推理不稳定的问题,提出在模型内部嵌入空间度量噪声投影能量的 SEE 并用减去噪声子空间分量的 SEEN 做免训练缓解,最强证据是 SEE 与生成成功率呈约 0.98 负相关,而代价是需要对齐的干净与纯噪声标定数据且只能去除可分离干扰不能补回已丢失语义。
论文研究主用户与第三方同处一室时的打断处理,用可定制的应答策略加声学优先训练解决语义走捷径问题,最强证据是合成与真实录音上策略跟随与有用性同步提升,而代价是需要大量合成双说话人数据与难负样本约束。
论文把电话传输拆成降带宽与过编码分别测量,发现未见过的编码是退化主因,并用窄带重采样加随机量化加 RawBoost 加 G711 仿真在未见真实 VoIP/PSTN 上把 EERc 从 18.9% 降到 15.1%,代价是训练条件变多且干净宽带上的匹配性能不再是最优。
针对 Transformer 伪造语音检测器深层冗余且域外泛化差的问题,论文用 XLS-R 加 1 到 4 层 MTLA 分类器并以角距离把浅层向末层对齐,在 19LA 训练、多域评测下以 479.11K 分类器参数取得域外增益,但过强对齐与过深堆叠仍会退化。
AfriVox 用 20 种非洲语言与 100 多种非洲英语口音同时考转写与到英语翻译,对比单模态识别翻译模型与多模态语音大模型,发现转写仍是单模态更准而翻译是多模态占优,且用约每语言 280 小时微调 Qwen2.5-Omni 可大幅降低三门尼日利亚语言的错误率,但代价是噪声与自发口语下全系模型仍明显退化。
针对大音频语言模型对同义指令敏感而不稳定的问题,论文用只训练注意力头开关的声学注意力头掩码替代文本指令,在 7 个单任务和 ASR 与性别识别组合任务上达到与指令相当或更好的表现,代价是每个任务需单独训练一张掩码且掩码不可跨模型复用。
针对潜扩散文本生成音频的归属问题,该文把水印映射为初始隐向量这一支点锚,用无引导扩散生成锚序列并以软动态时间规整优化反演轨迹,在保持生成流程不变下报告了更强的鲁棒性,但每步多轮优化带来了可观的提取时间代价。
针对 Whisper 类模型在噪声与口音下置信度不可靠的问题,论文用可学习解码器提示加温度采样产生候选并以 CLAP 音频文本相似度做奖励做单样本强化更新,在 LibriSpeech 加噪与 L2-Arctic 上把平均词错误率降到 28.64% 与 28.21%,代价是每次推理需多轮采样打分并在样本后恢复参数。
针对播报式基准低估真实对话难度的问题,该工作把 1656 段双人视频会议转成 713.5 hours 训练加 60.1 hours 测试的视听识别基准,报告显示纯音频错误率从 LRS3 的 0.74–1.95% 升至 16.83–24.32%,而混合训练可把对话测试集视听错误率压到 9.83% 与干净条件下 8.48%,代价是必须自备原数据许可并复刻多步清洗 …
论文指出当前音频-视觉分割模型依赖视觉显著性而忽视音频,用 AVSBench-Robust 的正负音频对照和分类器引导的相似度学习把单源 G-mIoU 做到 87.672 并把负样本误激活压到近零,代价是正样本分割分数略有回落。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
该文研究冻结语音编码器加冻结大语言模型、只训练轻量连接器的多语言识别中按单语言还是按语系组织训练数据的问题,在近四十种语言上报告家族级连接器多数更低更稳但在内部差异大的语系会失效,并以通用连接器对照说明增益来自亲缘性而非单纯数据量。
针对 Whisper 在噪声下出现流畅但错误转写的幻觉问题,论文用自适应层注意力融合编码器分块表征再用多目标蒸馏对齐干净教师,印地语 -10 dB 等低信噪比下同时降低词错误率并提升语义分,同时增加约 0.98% 参数和约 8% 推理延迟。
针对语音到文本翻译在真实噪声下不稳定的问题,论文用可解释环境模拟器加功率谱模板原型约简与 27 组小规模超参数搜索组织鲁棒训练,在相同数据预算下使模拟噪声训练与真实噪声训练表现接近,代价是混响与精细调度需另行取舍且最优配置只在搜索范围内成立。
针对文本音频视频缺失与传感器噪声并存导致情感预测失效的问题,TMDC 先在完整数据上学习去噪的特有与共享表示再用可见模态补全缺失模态,在 MOSI、MOSEI 和 IEMOCAP 的七种缺失组合及加噪条件下报告了优于所列基线的平均准确率,代价是两阶段训练与共享表示冗余。