同时听五个音频为什么变难:MUGEN 用音频当选项考查大音频语言模型
MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务,在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率,并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益,但多次生成带来明显计算代价。
MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务,在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率,并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益,但多次生成带来明显计算代价。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。
SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干,以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE,并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。
论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据,语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好,代价是需要格式奖励维持思考长度与中等难度数据筛选。
在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上,结构化提示以 72.6% 准确率比基线提高 5.5 个百分点,而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线,代价是提示只重组推理流程而不增加可迁移的权重知识。
论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题,最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本,代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。
针对需要在混合声源和时间变化上做多步取证的音频问答,VISA 选择不做重编排智能体而是把大音频语言模型当工具,辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出,最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二,代价是多模型多次采样与视觉分析带来的系统复杂度。
在冻结文本大模型且固定 600 bits/s 信息率下,把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描,并用因子化 FSQ 加轻量非自回归音频头补足单帧容量,最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升,代价是过低帧率下生成侧词错率单调恶化。
针对粤语语用资源稀缺且纯文本评测掩盖语音线索的问题,该研究把英文语用题转写为粤语并配对录音构建问答基准,报告显示文本加语音拼接优于纯文本而纯语音落后,但先进融合与说话人多样性仍受限。
论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。
该研究从 71174 段音频描述中抽取归一化来源属性事件并用音频对齐嵌入过滤语义相近的缺席查询,以四个音频大模型与十二种提示词的大规模是否问句测量复杂度影响,发现事件数从 1 增至 5 时在场真阳性率系统下降而缺席假阳性率系统上升,且换措辞会在召回与误报之间形成权衡。
针对最长 120 分钟音频的可验证时间定位问题,论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练,在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2,代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。
该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型,发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名,而全排列多数投票能在增加测试计算量的代价下缓解偏置。
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。
针对大音频语言模型链式思考不稳定问题,论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入,在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %,而纯文本导出的向量也能迁移到语音任务,但实例级方法对缩放强度更敏感。
针对音频大模型在噪声与细粒度混淆下的感知幻觉,RAISE 用免训练的三阶段路由加两种外部声学证据在 MMAR 与 MMAU 上带来最高 12.4 个百分点的提升,代价是被路由到的少数困难样本需承担 20 秒以上的工具与推理耗时。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
Samsone 针对端侧音频问答任务,采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝,在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩,代价是语言通用能力下降且未做硬件级优化。
针对大音频语言模型在问答中编造不存在声音事件的问题,论文用等长静音作负例构造声学转向向量并按层加权干预,在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%,在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%,且不训练任何参数。
该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。