音频大模型

针对大音频语言模型只说安全中性话的问题，论文用大语言模型做多维语义漂移提出情感假设，再用听原声的判别模型做声学验证与重排，报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%，代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。

针对可解释语音质量评估只给平均意见分而说不清噪声、失真与时间位置的问题，该文用校准加分组相对策略优化的两段后训练改造 Audio Flamingo 3，在 QualiSpeech 上以 0.71 平均 PCC 和 0.76 的 MOS PCC 达到最优，代价是需解冻音频编码器并依赖预定义伪影分类。

论文把序数情绪识别改写为双语音比较任务，用语义描述加 GeMAPS 声学证据生成比较推理轨迹，再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B，在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线，而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型，发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名，而全排列多数投票能在增加测试计算量的代价下缓解偏置。

该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理，在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏，代价是强退化下接地显著下降。

针对大音频语言模型链式思考不稳定问题，论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入，在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %，而纯文本导出的向量也能迁移到语音任务，但实例级方法对缩放强度更敏感。

该研究把副语言评判拆成风格、语速、重音、年龄、性别五个可控成对任务，用 5175 个音频对和 Tie 弃权条件测出最强模型仍比人类低 17.7 个百分点，且在 Tie 上几乎不弃权，代价是位置偏置与文本依赖同时暴露。

针对音频大模型在噪声与细粒度混淆下的感知幻觉，RAISE 用免训练的三阶段路由加两种外部声学证据在 MMAR 与 MMAU 上带来最高 12.4 个百分点的提升，代价是被路由到的少数困难样本需承担 20 秒以上的工具与推理耗时。

针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题，该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励，在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064，代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。

该研究固定音频只改文字，量化选择题评测中的语言偏置与措辞敏感性，最强证据是干扰项改写可带来高达 13.7% 的准确率标准差，而代价是需要多版本扰动与全对才算对的严格统计。

Samsone 针对端侧音频问答任务，采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝，在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩，代价是语言通用能力下降且未做硬件级优化。

针对大音频语言模型在问答中编造不存在声音事件的问题，论文用等长静音作负例构造声学转向向量并按层加权干预，在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%，在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%，且不训练任何参数。

该挑战针对音频问答只看最终答案而掩盖推理虚假的问题，用单模型轨与智能体轨对比内化推理与工具编排两条路线，最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势，代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型，发现无音频仍保留六至七成满音频准确率，且音频需求项中仅约百分之三至四需跨片段信息，代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。

针对大音频语言模型推理链脱离声学证据的问题，Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链，在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%，代价是依赖参考链质量与大模型评判开销。

针对音频描述中声学证据不足却被语言先验补足的幻觉问题，论文用检索到的宽带噪声保守描述做上下文校准，在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%，代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。

论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型，证明全管线攻击在四类任务上均有效，而单个组件的暴露或冻结决定后门存留，且多任务嵌入让中毒样本不再直接可分，代价是防御常用的二分聚类假设失效。