音频大模型

该研究在 316 个按说话人划分的多语联邦客户端上比较四种语音大模型与 FedAvg 和 FedProx，最强证据是 Whisper 加 EuroLLM 在解冻编码器并调低其学习率时取得 0.1170 词错率，而 FedProx 只在该多语解码器上有效，代价是联邦仍远差于集中训练且对编码器预训练类型高度敏感。

论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习，用多数票伪标签乘以声学支撑权重更新策略，在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点，代价是每步需额外做遮蔽前向与分组投票计算。

针对复杂风格指令一次合成难以兼顾音高、语速与情感的问题，该工作用同一大音频语言模型做草稿生成加文本批评加二次精修，并以组相对策略优化训练精修能力，在 InstructTTSEval 上精修输出相对零样本平均风格一致性提升约 6.5% 至 7.2%，代价是两遍推理与奖励建模依赖。

论文用分组留出的方向消融检验语音有害请求的拒绝边际，发现 Qwen2.5-Omni 在 L16 处消融使边际下降约 7.10 而投影器处仅约 0.013，代价是良恶提示的措辞差异使该方向只能读作拒绝相关而非纯粹有害性。

针对显式思维链导致注意力偏离音频的推理落差，SPARE 在推理起点插入寄存器令牌并用结论语义做余弦对齐，在 SALMONN 13B 上把 MMAU 提升到 58.03%、MMAR 提升到 40.32%，代价是微调阶段增加一个训练期对齐分支而推理零新增开销。

针对音频大模型能转写却听不懂说话方式与声学环境的问题，论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM，在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升，代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。

论文把连续音频监护形式化为四态打断或静默决策，用两个特殊词嵌入解码，在 ESC-50 上报告 99.6% 中断 F1 与 100.0% 去重召回，在未训练的 Epic-Sounds 上保持 96.7% 起始召回，代价是嘈杂域静默召回仅 10.1% 与平均 3.5 秒流式延迟。

Samsone 针对端侧音频问答，用 Whisper-Tiny 编码器加 SmolLM2 解码器与非线性映射器做单阶段训练，在 MMAU 与 MMAU-Pro 上超过同级小模型并接近部分大模型，代价是通用语言能力下降且未做移动端硬件级优化。

针对先判场景再判是否欺诈、欺诈才判类型的闭集链式任务，FRAUDSkill 冻结音频语言模型、只优化外部技能程序并用投影加归一加多路选择做结构化部署，在 TeleAntiFraud 上报告 Macro-F1 为 73.50% 且无效输出降至 1.94%，代价是保留多程序与选择器并依赖验证集拟合。

论文把音乐幻觉定义为五层感知接地失败，用矛盾判定加三范式诊断九个模型，发现人声误听普遍而调性感知分化架构，两种免训练干预在辨别式探针有效却常不能迁移到自由生成。

针对多编码器大音频语言模型靠直觉或穷举选编码器的问题，论文提出只用单编码器成绩算类别级与任务级相关性的 CUES 规则，在 XARES-LLM 上 Track A 选出三编码器提升 4.3% 而 Track B 主动只留双编码器提升 6.3%，代价是选择依赖开发集打分且仅在单 135M 骨干上验证。

针对只检内容而忽略说话人的不足，论文用文本查内容加参考语音定说话人的混合查询，构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架，在语义基准和混合基准上报告了可复现的召回与排序提升，但重排带来额外推理开销且多说话人仍明显更难。

针对大音频语言模型时间定位不准的问题，论文冻结大模型只取查询语义表示并外挂帧级定位模型，在多个接地基准上提高严格阈下召回与平均交并比，并在推理阶段把定位结果作为外部时间证据回填给大模型。

口语讽刺检测难分词汇与韵律贡献，CLASH 用同一句话的四条件配对变换固定模型做反事实审计，最强证据是目标句 Qwen3-Omni 在时长平衡后词汇保留领先韵律保留 0.135 至 0.148 的 AUROC，代价是声学分数移动常不带来判别增益与二值判决变化。

该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成，报告编码器优于解码器而生成接近随机，并用样本自适应层聚合代替单层搜索，但跨语言绝对性能仍明显低于多语言混合训练。

论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法，报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持，但压到接近零泄露时非隐私准确率必然明显下滑。

针对开放回答口语缺少准确度、流利度、韵律逐句标注的问题，OpenEnded 用 1000 条三人标注测试集加 6109 条训练与 2673 条开发伪标签支撑评估，并以冻结骨干加三头评分的 VoxPA 为更强基线，但伪标签偏向中间分且低分常与无语音绑定。

针对未见伪造攻击泛化难的问题，CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合，在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192，但攻击间差异与门控依赖仍是代价。

论文研究长音频中分散证据的定位与整合问题，采用离线结构化元数据加按需音频片段的混合检索智能体路线，最强证据是混合检索加多模态证据比单模态平均答案准确率提高约 10 个百分点、理由准确率提高约 6 个百分点，代价是声学任务仍需灵活选择证据模态且答案正确会高估真实 grounding 能力。

论文报告六说话人描述任务基线低于随机猜测，用 100 个头的注意力对数偏置把输出转向目标到 90% 以上，而纯文本任务选出的头可原样迁移，但饱和强度下增益多来自提示与汇点且随机对照本身波动极大。