打乱时间保住音色:用反事实音频逼模型听证据再选答案
针对多项选择音频问答中模型依赖文本先验的模态偏置问题,论文提出免训练的测试时重打分方法 CoRE,用块置换加块内反转构造反事实音频并做自适应门控融合,在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升,最强增益在生物声学子集但复杂推理子集增益较小,且每样本需多一次反事实前向带来推理开销。
针对多项选择音频问答中模型依赖文本先验的模态偏置问题,论文提出免训练的测试时重打分方法 CoRE,用块置换加块内反转构造反事实音频并做自适应门控融合,在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升,最强增益在生物声学子集但复杂推理子集增益较小,且每样本需多一次反事实前向带来推理开销。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题,论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取,Dixtral 在四套转写集上宏平均 cpWER 为 15.4%,代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。
针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题,论文用语音感知的因果追踪定位再做单层与多层编辑,最强证据是音频层编辑总体优于文本层与微调,但多层累积更新会带来分布偏移与特异性代价。
针对大音频语言模型在中间层重文本轻音频的注意力失衡,MATA 在推理时只放大末位查询对音频键的原始注意力分,MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%,代价是增强强度与层位需手工选定且对极小混合子集仍有波动。
MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测,用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈,闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。
MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务,在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率,并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益,但多次生成带来明显计算代价。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。
SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干,以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE,并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。
论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据,语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好,代价是需要格式奖励维持思考长度与中等难度数据筛选。
在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上,结构化提示以 72.6% 准确率比基线提高 5.5 个百分点,而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线,代价是提示只重组推理流程而不增加可迁移的权重知识。
论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题,最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本,代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。
针对需要在混合声源和时间变化上做多步取证的音频问答,VISA 选择不做重编排智能体而是把大音频语言模型当工具,辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出,最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二,代价是多模型多次采样与视觉分析带来的系统复杂度。
在冻结文本大模型且固定 600 bits/s 信息率下,把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描,并用因子化 FSQ 加轻量非自回归音频头补足单帧容量,最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升,代价是过低帧率下生成侧词错率单调恶化。
针对粤语语用资源稀缺且纯文本评测掩盖语音线索的问题,该研究把英文语用题转写为粤语并配对录音构建问答基准,报告显示文本加语音拼接优于纯文本而纯语音落后,但先进融合与说话人多样性仍受限。
论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。
该研究从 71174 段音频描述中抽取归一化来源属性事件并用音频对齐嵌入过滤语义相近的缺席查询,以四个音频大模型与十二种提示词的大规模是否问句测量复杂度影响,发现事件数从 1 增至 5 时在场真阳性率系统下降而缺席假阳性率系统上升,且换措辞会在召回与误报之间形成权衡。
针对最长 120 分钟音频的可验证时间定位问题,论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练,在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2,代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。
该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型,发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名,而全排列多数投票能在增加测试计算量的代价下缓解偏置。
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。