音频大模型

针对自然语言查询在音频中所有出现位置都要找全找准的问题，RefTAG 让模型先写草稿区间再做数量与边界诊断并给出修订，并用最终定位质量与修订效果的联合奖励做强化学习，在 8228 条查询上把平均定位精度做到 51.01%，代价是一次回答要走完草稿加诊断加修订的完整结构。

UA-Bench 用 375,051 条参数可追溯的合成水下音频考查通用音频语言模型，九个开源模型细粒度准确率仅 2.0%–13.1%，波形主要帮助粗粒度路由而对细分类提升至多 4.7 个百分点。

论文针对音频语言模型评价生成音乐时相关性无法说明依据的问题，用去掉音频、同提示替换、成对调序和改写指令四个带对照探针检验五个公开评判模型，发现对齐评分都跟随实际播放的音频而质量评分只有部分跟随，且小模型的成对选择跟随位置而指令措辞的影响可达更换模型量级。

针对音频语言模型感知细节弱且所有问题都用同样计算深度的问题，AdaLoop 在音频编码器与语言模型之间插入共享权重的循环精炼模块并按音频与问题自适应停机，在三个模型与三个基准上平均准确率提升 2.9 到 3.8 个百分点，代价是最多 8 步循环与不足 3% 的额外参数。

论文研究只给语音波形时大音频语言模型难以直接判断构音障碍的问题，提出把用 OpenSMILE 算出的音高、响度、谐噪比和语速等数值连同性别语言信息写进提示词再做监督微调，在 PC-GITA 西班牙语料上以说话人级准确率超过 wav2vec2 与 XLS-R 基线，但增益依赖微调与特定划分且特征顺序是事后按单特征效果排定的。

CARES 先把声音显著性定义为说话人是否可听地做出反应，再用受控流程生成 10000 个双人场景，证明六个音频语言模型能认出声音和地点，却在判断反应类型上不超越只看文字的对照系统，且总结时很少提及未被说出的声音。

针对音频大模型偏向文本先验而幻觉的问题，该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio，在 DCASE 问答与 AH 存在性验证上提升准确率，但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。

论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题，用语义分支加空间分支的双分支编码器和分层语义到空间调制，在大规模合成双耳场景上训练，实测在真实空间推理上大幅领先且通用单耳任务基本不下降，但细粒度轨迹和多源计数仍明显变难。

针对文字可解但配了无关音频时大音频语言模型会改变答案的问题，论文用配对漂移度量暴露不稳定，用后期音频通路缩放定位可控点，再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计，同时在所测语音识别任务上保持原有词错误率，代价是单次生成加一次路由判断。

针对同时训练多种音频理解技能时互相干扰的问题，SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合，在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点，代价是增加不到 4% 的参数和两阶段训练。

针对音频大语言模型能听懂内容却难分辨说话人的问题，论文提出先在音频编码器做说话人监督、再冻结编码器训练语言模型做成对判断的两阶段低秩适配方法，在 VoxCeleb 同域上把等错率从 7.01% 降到 4.37%，但跨域到 CN-Celeb 时未带来额外增益。

AudioJev 把波形、问题与调用方候选直接映射为候选分布，用随机错排配对与语义对齐对称 KL 训练顺序校准，在完整 MMAU 与 MMAR 上报告 68.88% 与 55.33% 平均准确率并降低乱序 SKL，推理保持单次前向。

针对部署后新伪造攻击占主导而旧攻击仍残留的问题，SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督，在六个演变环境中把未见攻击上的等错误率大幅降低，但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。

该文研究精神科双人对话中按角色删除一方语音后的漏删核验问题，用四种开源权重模型在推理模式下扫描删减后音频与转写文本，最强证据是 14 个转写引导配置的或集成达到合并 F1 0.478，代价是精度仅 0.330 而召回 0.870。

针对文本链条与音频证据脱节的问题，JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT，在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%，代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。

论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题，提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法，在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点，而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。

该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断，但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。

该研究用典型性与干扰相似度双因子控制的 sounding actions 基准探测约 30 个大音频语言模型，发现典型样本到非典型样本与近干扰下的准确率系统性坍缩到接近随机，而层级分解有助、事件显式 grounding 普遍有害，人类仍大幅领先。

针对双声源下声音事件与其方向距离对应关系易丢失的问题，SAIL 用解耦声学空间编码与双流查询对齐保持声源级对应，在单声源基本持平的代价下提升双声源感知与空间推理，但双源间距估计与多于两源场景仍未解决。

该研究用时间定位解释截出影响判定的音频段，再用大音频语言模型描述并用大语言模型聚成类级别概念，在受控的干净与虚假相关数据集上报告出对掌声加笑声等三组明确捷径的检出与一组模糊检出，代价是依赖解释阈值与模型集成来压制幻觉。