音频大模型

针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题，论文用语音感知的因果追踪定位再做单层与多层编辑，最强证据是音频层编辑总体优于文本层与微调，但多层累积更新会带来分布偏移与特异性代价。

针对大音频语言模型在中间层重文本轻音频的注意力失衡，MATA 在推理时只放大末位查询对音频键的原始注意力分，MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%，代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务，在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率，并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益，但多次生成带来明显计算代价。

针对音频推理中大模型幻觉与工具误差并存的问题，该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答，在 MMAR 上以推理质量 69.8 分居首，代价是单样本 8 到 10 分钟的流水线延迟。

论文把自动语音识别中的幻觉定义为对齐后的编造插入词，用因果中介与注意力行为定位到偏向文本的多头自注意力，再用连接时序分类门控与跨注意力构建 AudioSLM，在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%，代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。

论文用混合访谈音频考查音频语言模型能否只总结儿童语义并保留口吃特征，最强证据是端到端模型在蕴含判断上偏向肯定类而级联基线用准确转写可恢复矛盾检测，代价是重度不流畅与成人干扰下忠实度明显下降。

SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干，以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE，并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

StanceBench 用 Seamless Interaction 即兴子集的角色提示构造 9 个人际立场两极对照，在统一音频裁判流程下报告鲁棒性与可分性，最强证据是共情与礼貌最易分而诚实最难分，代价是弱标签有效性与短片段证据不足带来的阈值敏感和高方差。

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上，结构化提示以 72.6% 准确率比基线提高 5.5 个百分点，而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线，代价是提示只重组推理流程而不增加可迁移的权重知识。

针对音频预填充随主干增大而变贵与音频微调损伤文本能力的问题，论文用与主干同层数的窄卷积注入器直接生成层相关键值缓存，在冻结 Qwen3-0.6B 下以音频预填充激活参数从 1108M 降至 552M 为代价逼近微调基线，并用噪声旋转位置编码与键值尺度匹配解决长句泛化。

针对大音频语言模型能听懂内容却卡不准事件起止的问题，论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练，最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7，代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。

UG-Bench 针对大音频语言模型理解与生成割裂评价的问题，用解耦的四能力框架统一测 11 个开源大音频语言模型和 5 个专用语音生成模型，最强证据是 Qwen2-Audio 以 78.18 分居首而生成能力仍落后于专用合成模型，代价是中文标注样本不计入排名且生成只比平均意见分。

针对分散在医院且无专家标注的临床音频诊断问题，论文提出联邦自上下文化 FSC，用聚类产生的语义空洞伪标签训练音频语言模型的上下文推理技能，2-way 2-shot 达到 71.6% 准确率并超出最强基线 9 个百分点以上，代价是更长上下文会稀释注意力且三分类明显下降。

针对需要在混合声源和时间变化上做多步取证的音频问答，VISA 选择不做重编排智能体而是把大音频语言模型当工具，辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出，最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二，代价是多模型多次采样与视觉分析带来的系统复杂度。

针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题，该文用基频预测与掩码谱重建自监督训练不确定性感知模块，再以全局指令加帧级注意力偏置控制解码，在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%，代价是三阶段训练与引入附加接口参数。

论文用 1657 题的三任务受控基准诊断时间推理失败，行为与因果干预显示模型在有文本时欠用音频，而重分配音频注意力比单纯增大音频注意力更有效，但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。

该研究从 71174 段音频描述中抽取归一化来源属性事件并用音频对齐嵌入过滤语义相近的缺席查询，以四个音频大模型与十二种提示词的大规模是否问句测量复杂度影响，发现事件数从 1 增至 5 时在场真阳性率系统下降而缺席假阳性率系统上升，且换措辞会在召回与误报之间形成权衡。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。