音频问答

论文发现视觉等多模态大模型合并可提升音频与视频模型的本模态成绩，提出只用 256 个校准样本求闭式权重更新的方向性跨模态对齐迁移方法，在音频平均提升 29.55%、视频平均提升 24.92%，代价是视觉端性能可能受损且结论限于共享基座的权重可合并结构。

论文用短时傅里叶域遮蔽加对照审计 AdvWave-P 在 Qwen2-Audio 上的表现，发现八频段排序几乎被扰动能量解释，深层音频表示差异与遮蔽必要性正相关但不能定位因果层。

针对音频语言模型怕噪声、怕遮挡、怕注入文本误导的问题，AnchorPrompt 冻结模型只训练解码器输入处的 8 个软提示向量，用干净输入的教师答案做自蒸馏目标并在证据不足时学拒答，报告显示九组干净准确率中有六组提升且重度破坏下幻觉回答大幅下降，代价是拒答目标的零样本外推仍有两组混响一致性下降。

AudioJev 把波形、问题与调用方候选直接映射为候选分布，用随机错排配对与语义对齐对称 KL 训练顺序校准，在完整 MMAU 与 MMAR 上报告 68.88% 与 55.33% 平均准确率并降低乱序 SKL，推理保持单次前向。

该研究用 1636 个问答和 20 组多轮对话检验语音智能体按文档作答的能力，发现级联系统接地最稳而端到端实时系统在长上下文和多轮后出现断崖与遗忘，且重注文档只对部分架构有效。

RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题，采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段，并用实测房间脉冲响应合成训练加真实录制验证测试的组合，证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链，但并发声源、远场与仿真到真实差距仍是主要瓶颈。

针对一分钟语音变成 750-1500 个音频 token 且语言模型浅层仍高度关注音频的问题，用编码器输出的闭式线性映射预测全层注意力排序并在模型前剪枝，转录用分箱覆盖、选择题再在第 2 层做精度融合校正，保守预算下与全音频差距控制在小范围内，激进预算下全面领先可运行基线，代价是线性先验在两类 Qwen-Audio 模型上失效且需用漂移筛查区分。

针对文本链条与音频证据脱节的问题，JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT，在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%，代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。

HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答，报告语音条件偏见是随模型而异、可被个性化指令放大的特性，而开放任务中个性化更多降低回答有用性。

论文把双片段线索选择与下游执行拆开测量，发现四模型在近全数组合条件下问答与转写都大幅退化，而格式与思维链只能解释部分失败。

针对多方多会话语音长记忆问题，论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系，并用按轮奖励新增证据的检索智能体自适应取证，在 VoxPolyBench 上报告 85.0 分，代价是依赖合成语音与标注证据训练且真实声学泛化待验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准，在 15 个大音频语言模型上显示 32K 时无人超过 40%，且词汇语义远好于说话人、韵律与环境声，并随历史变长持续下降。

论文把说话人确认改写为音频问答，用零样本评测暴露短板，再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%，代价是整体仍落后专用模型且依赖成对构造与打分换算。

针对语音语言模型中语音 token 过长且时域冗余的问题，论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS，用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样，代价是阈值过低与只在对齐阶段压缩会明显掉点。

针对音频问答在测试时遇到新分布而无标注可用的问题，AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习，在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%，代价是测试时需要多轮采样和 500 步左右的参数更新开销。

论文用显式与隐式问法加语音注入构造 6.5K 评测揭示 Audio Flamingo 3 等模型高达 95.35% 攻击成功率，再以 120K 偏好对做 DPO 对齐把隐式攻击成功率从 79.19% 降到 40.24% 但仍残留显著幻觉。

针对音频推理数据少且依赖闭源模型生成的问题，论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking，在 MMAR 上平均准确率达到 71.70% 并提升推理质量，但混合域与强闭源模型的差距与评测单一性仍是代价与限制。

针对多部位听诊需要整病人作答的问题，AuscuTSLM 用轻量声学编码加 Perceiver 压缩与门控交叉注意力接入冻结 LLM，在 CaReSound 上取得 0.865 F1-macro 和 0.952 BERTScore，代价是 30 秒长上下文与多实例聚合缺一不可。

针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题，提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio，在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优，代价是最多三轮的多模型重复调用与大语言模型主持开销。