音频问答

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。

该挑战用约 2100 小时 14 语言双人对话同时考 diarization 加识别与整场理解，基线显示长时说话人对齐与语义推理是主要瓶颈，而参赛系统靠域内 diarization 适配与音频依赖监督把误差与准确率推到新水平。

论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习，用多数票伪标签乘以声学支撑权重更新策略，在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点，代价是每步需额外做遮蔽前向与分组投票计算。

MuLA-Bench 用 5038 个开放问题检验 16 语言长音频理解，发现语言难度随领域和任务变化、声学证据差距随操作变化、找对事件不等于对准时钟，而代价是声学单元稀疏不均且长尾结论受限。

针对多语言双人长对话口语问答中不同问题依赖不同证据的问题，该工作用带说话人时间戳的转写做主干、按问题动态挂接局部或全局音频，开发集任务二达到 94.84% 准确率，但消融无法完全分离标签质量与证据分配的因果。

论文用分组留出的方向消融检验语音有害请求的拒绝边际，发现 Qwen2.5-Omni 在 L16 处消融使边际下降约 7.10 而投影器处仅约 0.013，代价是良恶提示的措辞差异使该方向只能读作拒绝相关而非纯粹有害性。

针对显式思维链导致注意力偏离音频的推理落差，SPARE 在推理起点插入寄存器令牌并用结论语义做余弦对齐，在 SALMONN 13B 上把 MMAU 提升到 58.03%、MMAR 提升到 40.32%，代价是微调阶段增加一个训练期对齐分支而推理零新增开销。

针对音频大模型能转写却听不懂说话方式与声学环境的问题，论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM，在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升，代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。

SEABED 针对印尼语、泰语和马来语真实语音构造必须听音频才能推理的问答，用准确率加推理接地审计测六个音频大模型，最好的 Gemini 3.5 Flash 也只答对约一半，且区域模型的正确回答中多达四分之一缺少音频依据。

Vox-Infinity 沿轮数与每轮时长拉长语音历史并以最早证据到提问的跨度分组，在七个语音语言模型上报告随证据变远准确率下降的近因效应，以及文本历史保语义而音频历史保韵律的互补代价。

论文研究给定话题标题查询在语音转写中预测连续句子区间的问题，用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合，在两个主数据集上以轻量定位器验证严格边界指标的提升，同时报告自发会议上增益有限的代价。

Samsone 针对端侧音频问答，用 Whisper-Tiny 编码器加 SmolLM2 解码器与非线性映射器做单阶段训练，在 MMAU 与 MMAU-Pro 上超过同级小模型并接近部分大模型，代价是通用语言能力下降且未做移动端硬件级优化。

针对泰卢固语语音事实问答缺少基准与评测不可靠问题，VākQA 用 2001 对真人 quiz 语音与双语转写先校准自动评测再测问答，发现 Gemini 作答与做裁判均领先但仍受语言、模态与级联误差影响且文化域最敏感。

针对大音频语言模型时间定位不准的问题，论文冻结大模型只取查询语义表示并外挂帧级定位模型，在多个接地基准上提高严格阈下召回与平均交并比，并在推理阶段把定位结果作为外部时间证据回填给大模型。

论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法，报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持，但压到接近零泄露时非隐私准确率必然明显下滑。

论文发现相同语音输入下交错语音文本生成的内部文本准确率大幅低于纯文本回答，提出联合输出在策略蒸馏用冻结的语音到文本策略监督学生自己的联合轨迹，在 Step-Audio-2-mini 上把输出模式差距从 42.87 降到 16.26 个百分点而语音到文本基本不变，代价是仍残留十余点差距且口语答案增益小于内部文本增益。

论文研究长音频中分散证据的定位与整合问题，采用离线结构化元数据加按需音频片段的混合检索智能体路线，最强证据是混合检索加多模态证据比单模态平均答案准确率提高约 10 个百分点、理由准确率提高约 6 个百分点，代价是声学任务仍需灵活选择证据模态且答案正确会高估真实 grounding 能力。

论文报告六说话人描述任务基线低于随机猜测，用 100 个头的注意力对数偏置把输出转向目标到 90% 以上，而纯文本任务选出的头可原样迁移，但饱和强度下增益多来自提示与汇点且随机对照本身波动极大。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

该研究以法语问答诱发的半自发语料检验喉化与信息焦点的关联，再用交叉拼接只插入喉塞音的感知实验验证听者是否据此作窄焦点解读，最强证据是插入喉塞音使窄焦点判定的胜算比变为约 4.97 倍，代价是仅覆盖句末焦点与人工插入的自然度限制。