音频大模型

本文以 Qwen2-Audio-7B-Instruct 为对象，先证明零样本提示无法可靠预测 MOS，再用 SOMOS 数据诊断其语速与表现力感知盲区，最后用 4 比特量化下单卡 LoRA 微调把 Pearson 相关从接近 0 提升到 0.6506 并超过 UTMOSv2，代价是结论只在英语合成语音的域内测试上成立。

论文用疼痛这一词汇中性但声音有变化的任务，比较七个音频大模型在只听声音与听明示评分时的表现，并用探测、感知和文本化线索回填定位信息在编码器早期存在但到语言层不可用的瓶颈， pairwise 加文本线索最多提升 32 个点。

AudioRSI 让同一音频大模型既生成推理又两两比较推理质量，并每隔一段时间用新策略替换旧 cirtic，以结果正确加自我评价的组合奖励做 GRPO 训练，在四个与训练分布 disjoint 的基准上提升分布外推理，且代价是每题 56 次 critic 前向的训练开销。

本文用同一位置、同一编辑流程的同类替换做对照，检验音频语言模型在局部事件类别被换掉时是否改答案并指向新类，三模型上异类比同类多 49.7 到 60.9 个百分点的答案改变，但结论只在 600 条合成声景和给定声学条件下成立。

论文把部分伪造检测做成带伪造标记的语音识别，用受保护子空间融合补充伪造线索并用参照锚定的策略优化同时改进转写和词级定位，在五个数据集的平均词错误率和词级 F1 上优于所比较的基线，但域外词级定位仍有明显下降且多任务设置并非处处有益。

针对大音频语言模型推理不足且难用人工标注扩展的问题，Audio-R1 把三种自监督音频任务的构造答案转为可验证奖励做 GRPO 后训练，在四个基座和三个基准上取得一致增益，多任务联合优于单任务，而代价是奖励只看最终答案且增益依赖基座已有能力。

论文研究大音频语言模型把熟悉的声音能力重组成没见过任务形式的问题，用指令逐词元生成 LoRA 适配器的超网络 T2L-ICAG 来应对，在两种骨干上组合任务平均相对性能最高，但复杂组合仍有明显差距且依赖受控评测条件。

论文用同一段音频配对的状态查询与变化查询考查七个冻结大音频语言模型，发现窗口逐段打分能验证局部配器状态并在短分段编码器中随前文恢复对乐器离开的判断，而直接说出起止时间的提示几乎不能暴露这些信息，但绝对分数仍然不高且结论只在配器查询与受控构造下成立。

针对长录音中目标很短且查询约束多的问题，该文用查询调制加连续时间时序建模先产生多个候选，再由冻结大音频语言模型选优并做局部边界修正，在 LAT-Bench 英文子集上提升定位精度但严格阈值下仍有选择瓶颈。

SKAD 针对长推理偏离音频证据的问题，先生成声学证据草图再做音频对比解码，在 MMAR、MMAU 和 MMSU 上对两个大音频语言模型都提升了平均准确率，代价是推理时要多生成草图并同步运行两个分支。

论文用静音对照和去掉选项的问法检验音频大模型后训练，发现选择题涨分大多不依赖音频且换成开放问答就消失，真正靠声音修正的例子极少。

针对自然语言查询在音频中所有出现位置都要找全找准的问题，RefTAG 让模型先写草稿区间再做数量与边界诊断并给出修订，并用最终定位质量与修订效果的联合奖励做强化学习，在 8228 条查询上把平均定位精度做到 51.01%，代价是一次回答要走完草稿加诊断加修订的完整结构。

UA-Bench 用 375,051 条参数可追溯的合成水下音频考查通用音频语言模型，九个开源模型细粒度准确率仅 2.0%–13.1%，波形主要帮助粗粒度路由而对细分类提升至多 4.7 个百分点。

论文针对音频语言模型评价生成音乐时相关性无法说明依据的问题，用去掉音频、同提示替换、成对调序和改写指令四个带对照探针检验五个公开评判模型，发现对齐评分都跟随实际播放的音频而质量评分只有部分跟随，且小模型的成对选择跟随位置而指令措辞的影响可达更换模型量级。

针对音频语言模型感知细节弱且所有问题都用同样计算深度的问题，AdaLoop 在音频编码器与语言模型之间插入共享权重的循环精炼模块并按音频与问题自适应停机，在三个模型与三个基准上平均准确率提升 2.9 到 3.8 个百分点，代价是最多 8 步循环与不足 3% 的额外参数。

论文研究只给语音波形时大音频语言模型难以直接判断构音障碍的问题，提出把用 OpenSMILE 算出的音高、响度、谐噪比和语速等数值连同性别语言信息写进提示词再做监督微调，在 PC-GITA 西班牙语料上以说话人级准确率超过 wav2vec2 与 XLS-R 基线，但增益依赖微调与特定划分且特征顺序是事后按单特征效果排定的。

CARES 先把声音显著性定义为说话人是否可听地做出反应，再用受控流程生成 10000 个双人场景，证明六个音频语言模型能认出声音和地点，却在判断反应类型上不超越只看文字的对照系统，且总结时很少提及未被说出的声音。

针对音频大模型偏向文本先验而幻觉的问题，该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio，在 DCASE 问答与 AH 存在性验证上提升准确率，但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。

论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题，用语义分支加空间分支的双分支编码器和分层语义到空间调制，在大规模合成双耳场景上训练，实测在真实空间推理上大幅领先且通用单耳任务基本不下降，但细粒度轨迹和多源计数仍明显变难。

针对文字可解但配了无关音频时大音频语言模型会改变答案的问题，论文用配对漂移度量暴露不稳定，用后期音频通路缩放定位可控点，再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计，同时在所测语音识别任务上保持原有词错误率，代价是单次生成加一次路由判断。