音频大模型

针对对比式音频语言模型少样本分类中只调文本侧而音频表示冻结的问题，该文提出在音频编码器早期三处做共享仿射调制的即插即用模块 ASPL，在 11 个数据集 16 样本平均上相对 CoOp、CoCoOp、PALM 带来约 1 个百分点以上增益，而新增参数仅 320 与 704 量级。

论文追问音频越狱成功是认不出有害意图还是认出后未触发拒绝，用逐层探测定位到后者并提出中层风险门控加后层安全适配的先检测后干预方法，在六个大音频语言模型和三类异构音频越狱上把平均不安全率从 17.9% 降到 0.4%，代价是良性过拒绝平均上升 6.3 个百分点。

针对大音频语言模型音频序列过长导致逐词元解码延迟高的问题，论文用只改监督微调数据的半自回归块并行加模态感知的动态截断，在保持质量的同时报告最高 3.42 倍的每步词元加速，但语音合成任务加速更保守且资源当前不可用。

该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号，发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用，而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。

该文把静音替换作为破坏基线，用干净隐藏状态回填来测量恢复率，在四个听觉属性上追踪五个模型，发现融合深度分化与末 token 瓶颈，但未给出可部署精度的数值增益与开销测量。

针对大音频语言模型中思维链变长后注意力偏离音频的推理差距问题，SPARE 在推理起点插入对齐最终结论语义的寄存器标记做训练期正则，在 MMAU 上达到 58.03%、MMAR 上达到 40.32%，代价是需要带结论标签的微调和对齐权重选择，且推理时丢弃辅助头以保持零额外开销。

针对端到端说话人日志与识别中说话人判别不足的问题，该文用全局聚类加簇内重编码的分层分类与日志识别联合训练，在 AliMeeting 等三套会议数据上降低了归属误差，代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。

针对挖掘语音翻译数据又吵又错位的问题，论文用排序加蒸馏两步得到保留或丢弃伪标签并微调音频大模型直接听原声做判断，在法英上达到 22.72 分 ASR-BLEU、比不过滤高约 1.4 分，代价是需要先算声学与语义信号并训练排序器和微调模型。

该文针对大音频语言模型的样本级成员推断提出先用多模态盲基线排除分布偏移再审计的流程，发现在分布匹配的数据上攻击降到接近随机，而残余信号只在特定人声与特定文本配对时出现，但跨数据集的高分主要由录音与切分差异带来。

Mizar 针对 200M 参数以下本地音频理解问题，用 CED-Small 加频率合并映射器连接 SmolLM2-135M，并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督，在 MMAU 等三项基准上报告超越同规模 Mellow 的结果，代价是仍需三阶段调参与教师模型辅助筛选。

PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题，测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点，而并发判断的高分多来自标签偏置走捷径。

针对音频语言模型靠文本捷径答题的问题，论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标，在两个 3B 学生和三个基准上超过普通同策略蒸馏，代价是训练时每步要多做一次无音频教师前向。

论文把欺骗检测改写为固定指令下比较 bonafide 与 spoof 标签序列似然的生成式任务，报告冻结大语言模型层会削弱声学可分性，而用 DoRA 轻量适配后的 Spooftral 在 ASVspoof5 评估集上报告等错误率为 4.25%，代价是仍需任务训练且特定攻击明显更难。

针对多人轮替与重叠会议转写，STAM-ASR 在冻结 Qwen2.5-Omni-7B 编码器上加内部说话人日志、残差 FiLM 调制与说话人/会话双记忆，在参考与预测说话人活动对比中显示时间证据与记忆互补，但预测跟踪误差仍是主要瓶颈。

针对大音频语言模型把不存在的声音判为存在的肯定偏置，论文提出免训练的静音对照加首步门控解码 TAD，在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117，代价是更保守的是否边界和部分真阳性召回下降。

论文用 3879 条语音声明研究文本到语音的事实核查迁移，发现语音输入带来一致的准确率下降，单用检索只能小幅回升，而检索加显式推理在思考调优模型上达到 86.1% 准确率，但仍低于纯文本检索上限。

针对音频语言模型能懂语义却听不准声学细节的问题，EvoAudio 用当前模型的弱项决定下一轮练什么、工具合成波形保证答案可验证、GRPO 训练加留出集晋级做 13 轮递归进化，最强证据是五个不同骨干平均最高且总体最高提升 6.3 点，代价是工具覆盖不到的语义文化推理提升有限且后期收益变平。

针对多轮语音任务中对话与执行时间尺度不一致的问题，论文用前台对话加后台委托的编排运行时分离两者，并在 134 例座舱基准上以混合路由实现 91.04% 任务成功率，代价是需要维护任务状态、投递调度和跨会话记忆等额外机制。

针对大音频语言模型在字幕中提到输入中不存在声音事件的问题，REVE 复用目标模型已算出的编码器帧状态做两尺度验证，在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及，只增加 3.38M 参数和 0.57 ms 完整验证延迟。

针对转写链式思维在有监督微调中用参考转写做前缀而推理用自生成转写的不一致，论文用 GRPO 同时奖励自生成转写和以其为条件的翻译，在相同 CoVoST 2 训练样本下 CoT GRPO 在两套测试上 BLEU 领先并把 WER 相对降低 8.8% 和 7.2%，代价是需要多样本 rollout 和显式调 ASR 权重。