音频大模型

该工作以音频为唯一证据检验蕴含、一致、合理、口音漂移与口音克制五类推理，报告显示生成式模型优于对比式模型但普遍过度蕴含，而转写加推理的级联系统在医疗蕴含上取得更高宏平均 F1 并伴随明显的模型偏向代价。

针对大音频语言模型在事件遗漏、身份误判、时序关系与定量时间四类细粒度推理上依赖语言先验的问题，论文以共享音频问题池同时构造偏好对齐数据与诊断基准并用直接偏好优化对齐 Qwen2.5-Omni-7B，报告在诊断集上定量与关系错误率大幅下降并在公开基准上小幅提升，代价是依赖字幕代理、人工筛选与自动裁判误差等条件约束。

该文用每幕重采样的九任务诊断音频任务学习，显示最强模型在非语音模式绑定上可学、但在时长测量与多规则组合上崩溃，而代价是人工构造任务与小样本精确匹配评估的生态距离。

论文把自动语音识别为中心的监督视为感知弱的原因，用转写、副语言、非语言事件三部分的结构化统一音频模式组织监督，在保持推理的同时把 MMSU 感知从 44.8% 提升到 55.7%，代价是需要多阶段对齐与合成标注的质量控制。

论文用固定文字、只改声音的合成对照测音频语言模型能否把可听症状用于分诊，最强证据是高风险声音配安心文字时多数模型仍跟文字走，而代价是大量平局与无效输出且声学敏感度随疾病和模型剧烈波动。

针对语音条件推理弱于语义等价文本条件推理的问题，CORD 用同一模型内文本分支做教师并沿音频采样轨迹做标记级加权反向 KL 与序列级裁判奖励 GRPO 优化，在仅 8 万条合成数学训练样本下把两 backbone 的平均模态差距缩小约四成，但训练域集中数学且未报告延迟与人工误判率等代价。

针对 Qwen2-Audio-7B 语音翻译压缩到 4 GB 磁盘的问题，Diet-KIT 用 HQQ 分组量化打底、嵌入低比特加敏感度选层补足、AWQ 校准收尾，在 ACL 60/60 上以 3.98 GB 取得 en→de COMET 74.4、en→zh 77.1，代价是全模型统一 3 比特会使 BLEU 与 COMET 断崖式下跌。

DIFFA-2 针对自回归音频大模型数据贵、串行解码慢的问题，选择冻结 Whisper-Large-V3 加语义与声学双适配器加 LLaDA-8B 扩散主干与四阶段课程，在 MMSU 总体 60.45 分等公开基准上追平同级自回归模型，代价是第一阶段词错误率略高于自回归对照且三元混合音频仍偏弱。

该研究以语音情绪识别为探针比较四种神经元选择器，用失活与放大的自对交叉对照验证情绪敏感神经元的存在，其中均值偏离与对比间隔选择器显示约 11–15 个准确率点的自效应而交叉影响接近零，但标签无关的联合放大效果不稳定且存在跨数据集部分迁移的代价与边界。

针对音频语言模型提示调优在基类上过拟合、新类上掉点的问题，论文提出用大模型生成语义邻居并以带间隔的拉近推远损失约束文本空间，在 11 个数据集平均上把 CoOp 新类准确率从 34.09% 提升到 42.98%，代价是训练时每个类要多编码 10 个邻居文本。

论文提出只用声纹推断八类隐私属性的 HearSay 基准，用 22,064 段真实音频证明模型在性别上平均达到 92.89% 准确率且几乎不拒绝，而思维链推理在强模型上进一步放大泄露，轻量提示防御难以根治生理属性泄露。

针对录音室训练的专用检测器在野外自发语音上泛化崩塌的问题，论文提出免训练的比较引导上下文学习框架，用成对证据生成与对账过滤幻觉，并用分布外路由把难样本交给音频语言模型，在三个野外数据集上报告了高于基线的宏平均 F1，但以录音室数据性能下降和依赖闭源模型生成证据为代价。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

针对语音、音乐、环境声混在一起导致共享适配器梯度互相打架的问题，论文用稀疏混合专家适配器把音频令牌分流到不同专家，在总参数约 94.4M、激活约 70.8M 的受控预算下把 MMSU 音频准确率从 35.03% 提升到 38.19%、OBQA 从 50.10% 提升到 53.85%、MMAU 从 59.79% 提升到 61.50%，代价是需要负载均衡约束来维 …

论文把可回答性做成输入属性，用语义-声学掩蔽构造配对问答并以不可补偿的 EAR 分数同时考核答题与修复，报告显示多模型答题强但修复弱，而掩蔽加宽能提升修复检出。

论文针对需综合多个独立音频才能作答的多音频推理问题，选择在 Audio Flamingo 3 上做交错多音频指令微调，最强证据是 PolyAudio-Bench 上从 32.9% 提升到 73.5%，代价是依赖合成管线构造数据并把组合范围限制在最多 5 段。

论文针对音频大模型会无意收录并回答旁观者语音的问题，提出只听主说话人的选择性听觉任务与 SH-Bench 评测和 SE 统一指标，并用旁观者隐私微调 BPFT 在保持主说话人理解的同时学会拒答，最强证据是微调后选择模式下旁观者准确率与 SE 大幅超过 Gemini 2.5 Pro，代价是主说话人准确率轻微波动且仅覆盖单主说话人场景。

论文研究如何用极小子集替代上万条音频评测并对齐真人语音助手体验，用 50 条达到 0.93 以上基准相关、用 100 条回归达到 0.978 人类偏好相关，代价是仅 7 个模型的人评与英语对话场景限制。

论文用四种真实声景按 1 到 4 个干扰源叠加构造十万级评测，报告高阶推理在户外强干扰下功能性崩溃而性别感知相对稳定，且常用去噪反而加重词错误率等代价。

针对转写文本丢失语气与环境线索且难以拆解分层话术的问题，SAFE-QAQ 用端到端音频大模型加三阶段规则奖励强化学习做慢思考推理，在 TeleAntiFraud-Bench 上以 SAFE-LS 取得场景 84.64、欺诈 89.61、类型 88.23 的加权 F1，代价是仍依赖单一数据集且实时版类型精度有所下降。