音频大模型

针对音频语言模型能懂语义却听不准声学细节的问题，EvoAudio 用当前模型的弱项决定下一轮练什么、工具合成波形保证答案可验证、GRPO 训练加留出集晋级做 13 轮递归进化，最强证据是五个不同骨干平均最高且总体最高提升 6.3 点，代价是工具覆盖不到的语义文化推理提升有限且后期收益变平。

针对多轮语音任务中对话与执行时间尺度不一致的问题，论文用前台对话加后台委托的编排运行时分离两者，并在 134 例座舱基准上以混合路由实现 91.04% 任务成功率，代价是需要维护任务状态、投递调度和跨会话记忆等额外机制。

针对大音频语言模型在字幕中提到输入中不存在声音事件的问题，REVE 复用目标模型已算出的编码器帧状态做两尺度验证，在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及，只增加 3.38M 参数和 0.57 ms 完整验证延迟。

针对转写链式思维在有监督微调中用参考转写做前缀而推理用自生成转写的不一致，论文用 GRPO 同时奖励自生成转写和以其为条件的翻译，在相同 CoVoST 2 训练样本下 CoT GRPO 在两套测试上 BLEU 领先并把 WER 相对降低 8.8% 和 7.2%，代价是需要多样本 rollout 和显式调 ASR 权重。

该研究在 316 个按说话人划分的多语联邦客户端上比较四种语音大模型与 FedAvg 和 FedProx，最强证据是 Whisper 加 EuroLLM 在解冻编码器并调低其学习率时取得 0.1170 词错率，而 FedProx 只在该多语解码器上有效，代价是联邦仍远差于集中训练且对编码器预训练类型高度敏感。

论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习，用多数票伪标签乘以声学支撑权重更新策略，在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点，代价是每步需额外做遮蔽前向与分组投票计算。

针对复杂风格指令一次合成难以兼顾音高、语速与情感的问题，该工作用同一大音频语言模型做草稿生成加文本批评加二次精修，并以组相对策略优化训练精修能力，在 InstructTTSEval 上精修输出相对零样本平均风格一致性提升约 6.5% 至 7.2%，代价是两遍推理与奖励建模依赖。

论文用分组留出的方向消融检验语音有害请求的拒绝边际，发现 Qwen2.5-Omni 在 L16 处消融使边际下降约 7.10 而投影器处仅约 0.013，代价是良恶提示的措辞差异使该方向只能读作拒绝相关而非纯粹有害性。

针对显式思维链导致注意力偏离音频的推理落差，SPARE 在推理起点插入寄存器令牌并用结论语义做余弦对齐，在 SALMONN 13B 上把 MMAU 提升到 58.03%、MMAR 提升到 40.32%，代价是微调阶段增加一个训练期对齐分支而推理零新增开销。

针对音频大模型能转写却听不懂说话方式与声学环境的问题，论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM，在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升，代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。

论文把连续音频监护形式化为四态打断或静默决策，用两个特殊词嵌入解码，在 ESC-50 上报告 99.6% 中断 F1 与 100.0% 去重召回，在未训练的 Epic-Sounds 上保持 96.7% 起始召回，代价是嘈杂域静默召回仅 10.1% 与平均 3.5 秒流式延迟。

Samsone 针对端侧音频问答，用 Whisper-Tiny 编码器加 SmolLM2 解码器与非线性映射器做单阶段训练，在 MMAU 与 MMAU-Pro 上超过同级小模型并接近部分大模型，代价是通用语言能力下降且未做移动端硬件级优化。

针对先判场景再判是否欺诈、欺诈才判类型的闭集链式任务，FRAUDSkill 冻结音频语言模型、只优化外部技能程序并用投影加归一加多路选择做结构化部署，在 TeleAntiFraud 上报告 Macro-F1 为 73.50% 且无效输出降至 1.94%，代价是保留多程序与选择器并依赖验证集拟合。

论文把音乐幻觉定义为五层感知接地失败，用矛盾判定加三范式诊断九个模型，发现人声误听普遍而调性感知分化架构，两种免训练干预在辨别式探针有效却常不能迁移到自由生成。

针对多编码器大音频语言模型靠直觉或穷举选编码器的问题，论文提出只用单编码器成绩算类别级与任务级相关性的 CUES 规则，在 XARES-LLM 上 Track A 选出三编码器提升 4.3% 而 Track B 主动只留双编码器提升 6.3%，代价是选择依赖开发集打分且仅在单 135M 骨干上验证。

针对只检内容而忽略说话人的不足，论文用文本查内容加参考语音定说话人的混合查询，构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架，在语义基准和混合基准上报告了可复现的召回与排序提升，但重排带来额外推理开销且多说话人仍明显更难。

针对大音频语言模型时间定位不准的问题，论文冻结大模型只取查询语义表示并外挂帧级定位模型，在多个接地基准上提高严格阈下召回与平均交并比，并在推理阶段把定位结果作为外部时间证据回填给大模型。

口语讽刺检测难分词汇与韵律贡献，CLASH 用同一句话的四条件配对变换固定模型做反事实审计，最强证据是目标句 Qwen3-Omni 在时长平衡后词汇保留领先韵律保留 0.135 至 0.148 的 AUROC，代价是声学分数移动常不带来判别增益与二值判决变化。

该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成，报告编码器优于解码器而生成接近随机，并用样本自适应层聚合代替单层搜索，但跨语言绝对性能仍明显低于多语言混合训练。

论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法，报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持，但压到接近零泄露时非隐私准确率必然明显下滑。