音频大模型

论文研究音频大模型能否预判自身转写是否可靠，发现解码器自评严重高估而冻结音频编码器表示可支撑四分类预测，在域内宏 F1 达 81.10% 且跨域保持 78.09%，代价是需按模型实测构建标签库并做边界对齐。

论文用 1018 项 VGBench 诊断语音大模型在文字相同时能否按声学语境决定静默或调用工具，发现现成模型最高仅静默 14% 的切换指令，而联合监督训练 VoxGate 在保持正向控制全对下静默 91.3%，但该门控依赖声源与距离多线索组合且跨场景不稳定。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释，在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡，句子级解释自洽但词音素级定位仍不可靠。

针对八种英语口音的识别退化问题，该工作把口音差建模为编码器激活空间中的可加均值偏移方向，先做逐层敏感性定位再在中间层做无参数推理时干预，最强证据是在平衡评测集上原生口音词错误率下降约 19.92 至 33.80 个百分点，代价是尾层干预会引起严重崩溃且非原生口音增益较小。

论文把说话人确认改写为音频问答，用零样本评测暴露短板，再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%，代价是整体仍落后专用模型且依赖成对构造与打分换算。

针对音频问答在测试时遇到新分布而无标注可用的问题，AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习，在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%，代价是测试时需要多轮采样和 500 步左右的参数更新开销。

论文用显式与隐式问法加语音注入构造 6.5K 评测揭示 Audio Flamingo 3 等模型高达 95.35% 攻击成功率，再以 120K 偏好对做 DPO 对齐把隐式攻击成功率从 79.19% 降到 40.24% 但仍残留显著幻觉。

针对文本提示主导导致音频编码器适配不足的问题，论文提出同时优化音频专用、文本专用与共享提示的 MALP，在 11 个数据集 16 样本设置下报告平均准确率 78.35%，代价是需要为每个新任务单独优化三组轻量提示参数。

针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题，提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio，在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优，代价是最多三轮的多模型重复调用与大语言模型主持开销。

针对多项选择音频问答中模型依赖文本先验的模态偏置问题，论文提出免训练的测试时重打分方法 CoRE，用块置换加块内反转构造反事实音频并做自适应门控融合，在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升，最强增益在生物声学子集但复杂推理子集增益较小，且每样本需多一次反事实前向带来推理开销。

针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败，该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化，在分布内最高相对降低 89.6% 混合错误率，在分布外 SEAME 上最高降低 20.0%，代价是仅覆盖翻译类拒答且未验证其他能力是否退化。

针对多人标注不一致的模糊语音情感，该工作把预测目标从单标签改为情感分布，并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程，在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进，但高维分布下不同策略的优劣会变化。

针对音频编码器在分类与理解任务上各有所长的问题，论文以 Whisper 保语音语义、Dasheng 补声学信息，用逐帧 softmax 门控残差融合加 STFT 支路做稳定骨干，对比隐式 LoRA 适配与显式残差解耦两种注入方式，最强证据是隐式在 Track-A 总体达 0.712 而显式在更多子任务登顶，代价是部分语音任务仍不如单编码器或基线。

针对复杂音频问答中模型只看显著片段、推理链不可核查的问题，EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程，在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分，代价是依赖外部工具粒度和多步调用。

针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题，该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异，再以归一化熵引入共享专家缓解边界不确定，最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%，代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …

针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题，论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取，Dixtral 在四套转写集上宏平均 cpWER 为 15.4%，代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。

论文把连续监听下的何时提醒形式化为四态决策，用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助，在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回，在 Epic-Sounds 零样本下保持 96.7% 起始召回，代价是噪声域静默召回偏低且平均延迟约 3.5 秒。

针对多事件缺失与时序颠倒问题，该工作用音频大模型分别核验事件存在与事件顺序来构造偏好对并做直接偏好优化，在 AudioCaps 与多事件叙事基准上提升联合指令跟随准确率，同时保持可比的音频质量与分布指标。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。