音频大模型

论文针对大音频语言模型在噪声下语义推理不稳定的问题，提出在模型内部嵌入空间度量噪声投影能量的 SEE 并用减去噪声子空间分量的 SEEN 做免训练缓解，最强证据是 SEE 与生成成功率呈约 0.98 负相关，而代价是需要对齐的干净与纯噪声标定数据且只能去除可分离干扰不能补回已丢失语义。

论文以多轮对话中同一说话人是否保持声学一致为问题，用检测、定位、判别三任务与 1818 个人审实例检验 12 个大音频语言模型与 6 种嵌入基线，最强证据是判别可达 81.5% 而检测仅 64.7% 且加文本上下文后不一致检出崩塌，代价是绝对判断阈值不稳与文本压过声学。

针对同时有内部听觉与外部转写建议时朴素融合反而变差的问题，论文用可学习的内部、外部、重写三种动作先裁决再生成，在七个语音识别集与多域音频问答上报告了可运行策略的改进，但重写类样本稀少仍是主要代价。

论文把音频地理定位做成音频语言模型基准，用四步声学过滤加正负类别加权的定位性分数筛出 1444 段录音，最强闭源模型仍只在部分样本上精确定位且高度依赖语言线索。

论文针对音频问答中统一长度推理导致的简单题冗余和难题推理不足，提出随模型感知难度调节长度奖励的 GRDR 与 GA2DR，在保持准确率的同时报告平均推理长度下降至少 50%，代价是 GRDR 在强噪声与高难度集上更易出现奖励投机与不稳定。

该研究用分布外海洋哺乳动物叫声构造感知与认知两类选择题，测低层听觉，最强证据是人类 Remember 达 97.1% 而模型仅 57.1% 左右，代价是题型限于单选题且只覆盖单一生态域。

针对大音频语言模型对同义指令敏感而不稳定的问题，论文用只训练注意力头开关的声学注意力头掩码替代文本指令，在 7 个单任务和 ASR 与性别识别组合任务上达到与指令相当或更好的表现，代价是每个任务需单独训练一张掩码且掩码不可跨模型复用。

论文以白盒 Qwen2-Audio 为对象，用梯度优化构造定向唤醒与有害指令噪声和非定向降质噪声，并用平移、加噪与 SpecAugment 增强实现经 Chromebook 播放、iPhone 录音的空中攻击，最强证据是数字定向 12 组条件 100% 成功与真实录制定向 100% 成功，代价是对采样率扰动敏感且可被 EnCodec 压缩大幅抑制。

针对音频问答中显式推理不稳定、提示词无法自适应开关思考的问题，Audio-Thinker 用自适应思考准确率奖励加一致性和思考质量奖励在 GRPO 下训练，只用约 4 万条后训练样本就在 MMAU、MMAR 和 AIR 上超过同基座的显式推理基线，代价是依赖外部 Qwen3-8B 做推理裁判并增加强化学习采样开销。

该文研究用大音频模型直接做成对语音评测是否可行，发现基础提示在副语言细粒度判断上接近随机猜测，而测试音频拼接加 4 样本上下文与多方面集成可在系统排名上达到 0.91 左右的人类偏好相关，但冗长与位置偏置仍需处理。

针对大音频语言模型只看准确率会把猜对误判为真推理的问题，论文提出免人工标注金链的六指标 ARIA-Rubrics 做过程评估，在 9 个模型与 2 个基准上显示准确率与过程质量系统性偏离，而完整 ARIA 与人评 Spearman 达 0.671，代价是仍需冻结的轻量打分模型与外部对齐模型。

DIFFA 针对语音理解仍依赖自回归解码的问题，选择冻结 Whisper-small 与 LLaDA-8B-Instruct、只训练语义与声学双适配器的两阶段路线，在 960 小时 ASR 加 127 小时合成指令数据下 MMAU 平均 49.71% 与 MMSU 平均 56.04%，代价是音系与副语言细粒度感知仍弱于语义推理。

论文用词义中性、对齐、冲突和无词四种条件对照文本、音频和图文三种输入，测六个大音频语言模型，发现中性词下音频分仅三成左右、冲突时塌缩到少数类别、非言语接近猜测，说明模型主要依赖词义而非声学线索。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对统一输入空间大音频语言模型音频窗短的问题，论文提出只改音频区旋转位置编码的部分 YaRN 与训练时随机虚拟长度的位置增强虚拟长音频训练，在 1 至 10 分钟问答上用免训练与微调对照验证长音频泛化收益与调参代价。

论文提出以语速、情感、噪声、口音、音量等声学特征为触发器的后门攻击框架 HIN 与 AudioSafe 评测，在 5% 投毒下语速与情感触发达到 100% 攻击成功率而音量触发不足 6.2%，且训练损失几乎不波动，代价是防御仍需在安全性与可用性之间权衡。

该文研究冻结语音编码器加冻结大语言模型、只训练轻量连接器的多语言识别中按单语言还是按语系组织训练数据的问题，在近四十种语言上报告家族级连接器多数更低更稳但在内部差异大的语系会失效，并以通用连接器对照说明增益来自亲缘性而非单纯数据量。

论文把同一恶意叙事分别用文本、中性语音和五种心理风格语音送入端到端音频大模型，用三数据集攻击成功率证明讲法改变服从性，在 Gemini 上达到 98.26% 而代价是小模型解码不稳定与手工风格难优化。

针对会议幻灯 OCR 等长而 noisy 的上下文导致识别偏置词困难的问题，论文用两阶段剪枝加语音驱动池化先筛关键词再做识别，在 SlideSpeech 上报告 WER 7.71% 并在 LibriSpeech 上报告 WER 1.12%，代价是两阶段流水线与池化压缩带来的实现复杂度。

论文针对大音频语言模型的黑盒音频越狱问题，用两阶段语言与声学风格变换加查询自适应策略搜索 70 种风格组合，在 4 个开源模型和 2 个商用模型上验证了情感、年龄、性别扰动能提升越狱成功率，代价是需要可控 TTS 与多次查询评估。