音频大模型

针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题，提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio，在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优，代价是最多三轮的多模型重复调用与大语言模型主持开销。

针对多项选择音频问答中模型依赖文本先验的模态偏置问题，论文提出免训练的测试时重打分方法 CoRE，用块置换加块内反转构造反事实音频并做自适应门控融合，在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升，最强增益在生物声学子集但复杂推理子集增益较小，且每样本需多一次反事实前向带来推理开销。

针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败，该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化，在分布内最高相对降低 89.6% 混合错误率，在分布外 SEAME 上最高降低 20.0%，代价是仅覆盖翻译类拒答且未验证其他能力是否退化。

针对多人标注不一致的模糊语音情感，该工作把预测目标从单标签改为情感分布，并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程，在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进，但高维分布下不同策略的优劣会变化。

针对音频编码器在分类与理解任务上各有所长的问题，论文以 Whisper 保语音语义、Dasheng 补声学信息，用逐帧 softmax 门控残差融合加 STFT 支路做稳定骨干，对比隐式 LoRA 适配与显式残差解耦两种注入方式，最强证据是隐式在 Track-A 总体达 0.712 而显式在更多子任务登顶，代价是部分语音任务仍不如单编码器或基线。

针对复杂音频问答中模型只看显著片段、推理链不可核查的问题，EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程，在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分，代价是依赖外部工具粒度和多步调用。

针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题，该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异，再以归一化熵引入共享专家缓解边界不确定，最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%，代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …

针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题，论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取，Dixtral 在四套转写集上宏平均 cpWER 为 15.4%，代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。

论文把连续监听下的何时提醒形式化为四态决策，用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助，在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回，在 Epic-Sounds 零样本下保持 96.7% 起始召回，代价是噪声域静默召回偏低且平均延迟约 3.5 秒。

针对多事件缺失与时序颠倒问题，该工作用音频大模型分别核验事件存在与事件顺序来构造偏好对并做直接偏好优化，在 AudioCaps 与多事件叙事基准上提升联合指令跟随准确率，同时保持可比的音频质量与分布指标。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题，论文用语音感知的因果追踪定位再做单层与多层编辑，最强证据是音频层编辑总体优于文本层与微调，但多层累积更新会带来分布偏移与特异性代价。

针对大音频语言模型在中间层重文本轻音频的注意力失衡，MATA 在推理时只放大末位查询对音频键的原始注意力分，MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%，代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务，在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率，并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益，但多次生成带来明显计算代价。

针对音频推理中大模型幻觉与工具误差并存的问题，该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答，在 MMAR 上以推理质量 69.8 分居首，代价是单样本 8 到 10 分钟的流水线延迟。

论文把自动语音识别中的幻觉定义为对齐后的编造插入词，用因果中介与注意力行为定位到偏向文本的多头自注意力，再用连接时序分类门控与跨注意力构建 AudioSLM，在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%，代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。

论文用混合访谈音频考查音频语言模型能否只总结儿童语义并保留口吃特征，最强证据是端到端模型在蕴含判断上偏向肯定类而级联基线用准确转写可恢复矛盾检测，代价是重度不流畅与成人干扰下忠实度明显下降。

SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干，以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE，并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

StanceBench 用 Seamless Interaction 即兴子集的角色提示构造 9 个人际立场两极对照，在统一音频裁判流程下报告鲁棒性与可分性，最强证据是共情与礼貌最易分而诚实最难分，代价是弱标签有效性与短片段证据不足带来的阈值敏感和高方差。