音频问答

针对一分钟语音变成 750-1500 个音频 token 且语言模型浅层仍高度关注音频的问题，用编码器输出的闭式线性映射预测全层注意力排序并在模型前剪枝，转录用分箱覆盖、选择题再在第 2 层做精度融合校正，保守预算下与全音频差距控制在小范围内，激进预算下全面领先可运行基线，代价是线性先验在两类 Qwen-Audio 模型上失效且需用漂移筛查区分。

针对文本链条与音频证据脱节的问题，JELAR 用冻结 WavJEPA 波形表示构造连续潜推理目标替代文本 CoT，在受控对比中 MMAU-mini 从 59.70% 到 62.40%、MMAR 从 43.70% 到 52.80%，代价是训练需非因果专家且推理仍需固定 20 步潜嵌入。

HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答，报告语音条件偏见是随模型而异、可被个性化指令放大的特性，而开放任务中个性化更多降低回答有用性。

论文把双片段线索选择与下游执行拆开测量，发现四模型在近全数组合条件下问答与转写都大幅退化，而格式与思维链只能解释部分失败。

针对多方多会话语音长记忆问题，论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系，并用按轮奖励新增证据的检索智能体自适应取证，在 VoxPolyBench 上报告 85.0 分，代价是依赖合成语音与标注证据训练且真实声学泛化待验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准，在 15 个大音频语言模型上显示 32K 时无人超过 40%，且词汇语义远好于说话人、韵律与环境声，并随历史变长持续下降。

论文把说话人确认改写为音频问答，用零样本评测暴露短板，再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%，代价是整体仍落后专用模型且依赖成对构造与打分换算。

针对语音语言模型中语音 token 过长且时域冗余的问题，论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS，用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样，代价是阈值过低与只在对齐阶段压缩会明显掉点。

针对音频问答在测试时遇到新分布而无标注可用的问题，AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习，在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%，代价是测试时需要多轮采样和 500 步左右的参数更新开销。

论文用显式与隐式问法加语音注入构造 6.5K 评测揭示 Audio Flamingo 3 等模型高达 95.35% 攻击成功率，再以 120K 偏好对做 DPO 对齐把隐式攻击成功率从 79.19% 降到 40.24% 但仍残留显著幻觉。

针对音频推理数据少且依赖闭源模型生成的问题，论文用四阶段全开源流水线 Cogito-Pipe 构造 545k 条推理数据并以自蒸馏微调 Qwen3-Omni-Thinking，在 MMAR 上平均准确率达到 71.70% 并提升推理质量，但混合域与强闭源模型的差距与评测单一性仍是代价与限制。

针对多部位听诊需要整病人作答的问题，AuscuTSLM 用轻量声学编码加 Perceiver 压缩与门控交叉注意力接入冻结 LLM，在 CaReSound 上取得 0.865 F1-macro 和 0.952 BERTScore，代价是 30 秒长上下文与多实例聚合缺一不可。

针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题，提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio，在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优，代价是最多三轮的多模型重复调用与大语言模型主持开销。

针对多项选择音频问答中模型依赖文本先验的模态偏置问题，论文提出免训练的测试时重打分方法 CoRE，用块置换加块内反转构造反事实音频并做自适应门控融合，在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升，最强增益在生物声学子集但复杂推理子集增益较小，且每样本需多一次反事实前向带来推理开销。

针对复杂音频问答中模型只看显著片段、推理链不可核查的问题，EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程，在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分，代价是依赖外部工具粒度和多步调用。

针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题，论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取，Dixtral 在四套转写集上宏平均 cpWER 为 15.4%，代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。

针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题，论文用语音感知的因果追踪定位再做单层与多层编辑，最强证据是音频层编辑总体优于文本层与微调，但多层累积更新会带来分布偏移与特异性代价。

针对大音频语言模型在中间层重文本轻音频的注意力失衡，MATA 在推理时只放大末位查询对音频键的原始注意力分，MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%，代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测，用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈，闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。