音频大模型

针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题，该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励，在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064，代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。

该研究固定音频只改文字，量化选择题评测中的语言偏置与措辞敏感性，最强证据是干扰项改写可带来高达 13.7% 的准确率标准差，而代价是需要多版本扰动与全对才算对的严格统计。

Samsone 针对端侧音频问答任务，采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝，在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩，代价是语言通用能力下降且未做硬件级优化。

针对大音频语言模型在问答中编造不存在声音事件的问题，论文用等长静音作负例构造声学转向向量并按层加权干预，在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%，在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%，且不训练任何参数。

该挑战针对音频问答只看最终答案而掩盖推理虚假的问题，用单模型轨与智能体轨对比内化推理与工具编排两条路线，最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势，代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型，发现无音频仍保留六至七成满音频准确率，且音频需求项中仅约百分之三至四需跨片段信息，代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。

针对大音频语言模型推理链脱离声学证据的问题，Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链，在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%，代价是依赖参考链质量与大模型评判开销。

针对音频描述中声学证据不足却被语言先验补足的幻觉问题，论文用检索到的宽带噪声保守描述做上下文校准，在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%，代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。

论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型，证明全管线攻击在四类任务上均有效，而单个组件的暴露或冻结决定后门存留，且多任务嵌入让中毒样本不再直接可分，代价是防御常用的二分聚类假设失效。

针对对比式音频语言模型少样本分类中只调文本侧而音频表示冻结的问题，该文提出在音频编码器早期三处做共享仿射调制的即插即用模块 ASPL，在 11 个数据集 16 样本平均上相对 CoOp、CoCoOp、PALM 带来约 1 个百分点以上增益，而新增参数仅 320 与 704 量级。

论文追问音频越狱成功是认不出有害意图还是认出后未触发拒绝，用逐层探测定位到后者并提出中层风险门控加后层安全适配的先检测后干预方法，在六个大音频语言模型和三类异构音频越狱上把平均不安全率从 17.9% 降到 0.4%，代价是良性过拒绝平均上升 6.3 个百分点。

针对大音频语言模型音频序列过长导致逐词元解码延迟高的问题，论文用只改监督微调数据的半自回归块并行加模态感知的动态截断，在保持质量的同时报告最高 3.42 倍的每步词元加速，但语音合成任务加速更保守且资源当前不可用。

该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号，发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用，而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。

该文把静音替换作为破坏基线，用干净隐藏状态回填来测量恢复率，在四个听觉属性上追踪五个模型，发现融合深度分化与末 token 瓶颈，但未给出可部署精度的数值增益与开销测量。

针对大音频语言模型中思维链变长后注意力偏离音频的推理差距问题，SPARE 在推理起点插入对齐最终结论语义的寄存器标记做训练期正则，在 MMAU 上达到 58.03%、MMAR 上达到 40.32%，代价是需要带结论标签的微调和对齐权重选择，且推理时丢弃辅助头以保持零额外开销。

针对端到端说话人日志与识别中说话人判别不足的问题，该文用全局聚类加簇内重编码的分层分类与日志识别联合训练，在 AliMeeting 等三套会议数据上降低了归属误差，代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。

针对挖掘语音翻译数据又吵又错位的问题，论文用排序加蒸馏两步得到保留或丢弃伪标签并微调音频大模型直接听原声做判断，在法英上达到 22.72 分 ASR-BLEU、比不过滤高约 1.4 分，代价是需要先算声学与语义信号并训练排序器和微调模型。

该文针对大音频语言模型的样本级成员推断提出先用多模态盲基线排除分布偏移再审计的流程，发现在分布匹配的数据上攻击降到接近随机，而残余信号只在特定人声与特定文本配对时出现，但跨数据集的高分主要由录音与切分差异带来。