音频大模型

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上，结构化提示以 72.6% 准确率比基线提高 5.5 个百分点，而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线，代价是提示只重组推理流程而不增加可迁移的权重知识。

针对音频预填充随主干增大而变贵与音频微调损伤文本能力的问题，论文用与主干同层数的窄卷积注入器直接生成层相关键值缓存，在冻结 Qwen3-0.6B 下以音频预填充激活参数从 1108M 降至 552M 为代价逼近微调基线，并用噪声旋转位置编码与键值尺度匹配解决长句泛化。

针对大音频语言模型能听懂内容却卡不准事件起止的问题，论文提出把时间戳向量交错插入音频特征的音频侧时间提示并在监督微调后加一组强化后训练，最强证据是 Qwen2.5-Omni 音频定位 R@0.9 从 34.1 到 39.8、密集字幕 Eb-F1 从 35.2 到 40.7，代价是 750 个时间词、交错输入结构和额外的分组采样奖励计算。

UG-Bench 针对大音频语言模型理解与生成割裂评价的问题，用解耦的四能力框架统一测 11 个开源大音频语言模型和 5 个专用语音生成模型，最强证据是 Qwen2-Audio 以 78.18 分居首而生成能力仍落后于专用合成模型，代价是中文标注样本不计入排名且生成只比平均意见分。

针对分散在医院且无专家标注的临床音频诊断问题，论文提出联邦自上下文化 FSC，用聚类产生的语义空洞伪标签训练音频语言模型的上下文推理技能，2-way 2-shot 达到 71.6% 准确率并超出最强基线 9 个百分点以上，代价是更长上下文会稀释注意力且三分类明显下降。

针对需要在混合声源和时间变化上做多步取证的音频问答，VISA 选择不做重编排智能体而是把大音频语言模型当工具，辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出，最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二，代价是多模型多次采样与视觉分析带来的系统复杂度。

针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题，该文用基频预测与掩码谱重建自监督训练不确定性感知模块，再以全局指令加帧级注意力偏置控制解码，在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%，代价是三阶段训练与引入附加接口参数。

论文用 1657 题的三任务受控基准诊断时间推理失败，行为与因果干预显示模型在有文本时欠用音频，而重分配音频注意力比单纯增大音频注意力更有效，但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。

该研究从 71174 段音频描述中抽取归一化来源属性事件并用音频对齐嵌入过滤语义相近的缺席查询，以四个音频大模型与十二种提示词的大规模是否问句测量复杂度影响，发现事件数从 1 增至 5 时在场真阳性率系统下降而缺席假阳性率系统上升，且换措辞会在召回与误报之间形成权衡。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

针对大音频语言模型只说安全中性话的问题，论文用大语言模型做多维语义漂移提出情感假设，再用听原声的判别模型做声学验证与重排，报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%，代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。

针对可解释语音质量评估只给平均意见分而说不清噪声、失真与时间位置的问题，该文用校准加分组相对策略优化的两段后训练改造 Audio Flamingo 3，在 QualiSpeech 上以 0.71 平均 PCC 和 0.76 的 MOS PCC 达到最优，代价是需解冻音频编码器并依赖预定义伪影分类。

论文把序数情绪识别改写为双语音比较任务，用语义描述加 GeMAPS 声学证据生成比较推理轨迹，再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B，在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线，而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型，发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名，而全排列多数投票能在增加测试计算量的代价下缓解偏置。

该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理，在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏，代价是强退化下接地显著下降。

针对大音频语言模型链式思考不稳定问题，论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入，在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %，而纯文本导出的向量也能迁移到语音任务，但实例级方法对缩放强度更敏感。

该研究把副语言评判拆成风格、语速、重音、年龄、性别五个可控成对任务，用 5175 个音频对和 Tie 弃权条件测出最强模型仍比人类低 17.7 个百分点，且在 Tie 上几乎不弃权，代价是位置偏置与文本依赖同时暴露。

针对音频大模型在噪声与细粒度混淆下的感知幻觉，RAISE 用免训练的三阶段路由加两种外部声学证据在 MMAR 与 MMAU 上带来最高 12.4 个百分点的提升，代价是被路由到的少数困难样本需承担 20 秒以上的工具与推理耗时。