音频大模型

针对同时训练多种音频理解技能时互相干扰的问题，SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合，在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点，代价是增加不到 4% 的参数和两阶段训练。

针对音频大语言模型能听懂内容却难分辨说话人的问题，论文提出先在音频编码器做说话人监督、再冻结编码器训练语言模型做成对判断的两阶段低秩适配方法，在 VoxCeleb 同域上把等错率从 7.01% 降到 4.37%，但跨域到 CN-Celeb 时未带来额外增益。

AudioJev 把波形、问题与调用方候选直接映射为候选分布，用随机错排配对与语义对齐对称 KL 训练顺序校准，在完整 MMAU 与 MMAR 上报告 68.88% 与 55.33% 平均准确率并降低乱序 SKL，推理保持单次前向。

针对部署后新伪造攻击占主导而旧攻击仍残留的问题，SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督，在六个演变环境中把未见攻击上的等错误率大幅降低，但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。

该文研究精神科双人对话中按角色删除一方语音后的漏删核验问题，用四种开源权重模型在推理模式下扫描删减后音频与转写文本，最强证据是 14 个转写引导配置的或集成达到合并 F1 0.478，代价是精度仅 0.330 而召回 0.870。

针对文本链条与音频证据脱节的问题，JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT，在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%，代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。

论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题，提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法，在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点，而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。

该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断，但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。

该研究用典型性与干扰相似度双因子控制的 sounding actions 基准探测约 30 个大音频语言模型，发现典型样本到非典型样本与近干扰下的准确率系统性坍缩到接近随机，而层级分解有助、事件显式 grounding 普遍有害，人类仍大幅领先。

针对双声源下声音事件与其方向距离对应关系易丢失的问题，SAIL 用解耦声学空间编码与双流查询对齐保持声源级对应，在单声源基本持平的代价下提升双声源感知与空间推理，但双源间距估计与多于两源场景仍未解决。

该研究用时间定位解释截出影响判定的音频段，再用大音频语言模型描述并用大语言模型聚成类级别概念，在受控的干净与虚假相关数据集上报告出对掌声加笑声等三组明确捷径的检出与一组模糊检出，代价是依赖解释阈值与模型集成来压制幻觉。

论文研究音频大模型能否预判自身转写是否可靠，发现解码器自评严重高估而冻结音频编码器表示可支撑四分类预测，在域内宏 F1 达 81.10% 且跨域保持 78.09%，代价是需按模型实测构建标签库并做边界对齐。

论文用 1018 项 VGBench 诊断语音大模型在文字相同时能否按声学语境决定静默或调用工具，发现现成模型最高仅静默 14% 的切换指令，而联合监督训练 VoxGate 在保持正向控制全对下静默 91.3%，但该门控依赖声源与距离多线索组合且跨场景不稳定。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释，在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡，句子级解释自洽但词音素级定位仍不可靠。

针对八种英语口音的识别退化问题，该工作把口音差建模为编码器激活空间中的可加均值偏移方向，先做逐层敏感性定位再在中间层做无参数推理时干预，最强证据是在平衡评测集上原生口音词错误率下降约 19.92 至 33.80 个百分点，代价是尾层干预会引起严重崩溃且非原生口音增益较小。

论文把说话人确认改写为音频问答，用零样本评测暴露短板，再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%，代价是整体仍落后专用模型且依赖成对构造与打分换算。

针对音频问答在测试时遇到新分布而无标注可用的问题，AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习，在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%，代价是测试时需要多轮采样和 500 步左右的参数更新开销。

论文用显式与隐式问法加语音注入构造 6.5K 评测揭示 Audio Flamingo 3 等模型高达 95.35% 攻击成功率，再以 120K 偏好对做 DPO 对齐把隐式攻击成功率从 79.19% 降到 40.24% 但仍残留显著幻觉。

针对文本提示主导导致音频编码器适配不足的问题，论文提出同时优化音频专用、文本专用与共享提示的 MALP，在 11 个数据集 16 样本设置下报告平均准确率 78.35%，代价是需要为每个新任务单独优化三组轻量提示参数。