音频问答

针对语音、环境声、音乐三域音频幻觉缺少大规模可诊断评测的问题，HalluAudio 用 5720 对人工校验问答与对抗诱发设计做零样本评测，报告显示结构与感知幻觉普遍存在而准确率无法代替可靠性判断。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

针对单轨音乐问答无法考察跨轨比较的问题，该研究用四阶段流水线构造每对三问的比较问答集，并用统一评测显示句子级比较解释是当前模型的主要瓶颈，而其代价是严格过滤后保留高精度子集与依赖文本中间表示。

针对大音频语言模型感知错误主导问答失败的问题，论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA，再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练，在保持可核查声学证据的同时以多目标奖励提升复杂音频问答，且额外暂停计算带来训练与推理开销。

MCGA 用 119 小时真人朗读与六项语音任务检验多模态大模型理解古典文学的能力，最强模型在情感描述上仍不足 60 分，但用该语料微调可带来大幅提升，代价是曲类样本偏少且暂缺图文声三对齐图像。

针对多语言多模态模型的文化感知碎片化问题，MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实，并以口音线索增益与整合失败等代价界定其适用边界。

该工作把短语音语料拼接成最长 15 分钟的长指令数据并覆盖六任务四语言，用温度采样和端到端加级联两种结构参赛，最强证据是似然加最小贝叶斯风险重排在英语上把词错率从 37.65 降到 21.39 而语义任务仅小幅波动，代价是似然重排会误选切分候选并损害问答与摘要。

论文用配对文本图像音频乘法题证明感知近乎完美但计算随算术负载 C 急剧失效，并用强制续写损失探针与 LoRA 正交性揭示模型偏好分配式分解而强加单一启发式反而破坏原有路由。

针对英语语音输入并按多语指令完成识别翻译问答的问题，该工作用只用识别数据训练的语音映射器对接冻结语言模型并加入合成科学演讲数据，在更小语言模型下追平上届最优并用跨域基准揭示识别与问答的权衡。

针对阿拉伯语语音指令数据稀缺与评测缺失问题，Nuha-Speech 用约 150 万条统一问答式语料对 Qwen-Omni 系列做两阶段 LoRA 微调，并在七任务评测中报告语义与副语言能力的全面提升，但合成数据占比与评测合成偏置仍是主要代价与限制。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

论文把可回答性做成输入属性，用语义-声学掩蔽构造配对问答并以不可补偿的 EAR 分数同时考核答题与修复，报告显示多模型答题强但修复弱，而掩蔽加宽能提升修复检出。

针对 10 分钟到 540 分钟音频中说话内容、说话人、情感与声音事件交织推理难的问题，PlanRAG-Audio 先把音频离线转成时间对齐的结构化库，再按问题规划检索并只取相关片段生成答案，以检索把推理代价与原始长度解耦，代价是受上游感知精度约束并需承担离线预处理开销。

论文针对需综合多个独立音频才能作答的多音频推理问题，选择在 Audio Flamingo 3 上做交错多音频指令微调，最强证据是 PolyAudio-Bench 上从 32.9% 提升到 73.5%，代价是依赖合成管线构造数据并把组合范围限制在最多 5 段。

论文针对音频大模型会无意收录并回答旁观者语音的问题，提出只听主说话人的选择性听觉任务与 SH-Bench 评测和 SE 统一指标，并用旁观者隐私微调 BPFT 在保持主说话人理解的同时学会拒答，最强证据是微调后选择模式下旁观者准确率与 SE 大幅超过 Gemini 2.5 Pro，代价是主说话人准确率轻微波动且仅覆盖单主说话人场景。

针对流式语音大模型边听边推理容易出错且不能回滚重说的问题，RetroThinker 用三阶段事后反思微调让 Moshi 在文本内心独白中自验自改，在 TTS 版 GSM8K 上以相近延迟取得 11 个百分点的绝对准确率提升，代价是反思会先拉长推理链，需再用 Early Reasoning 和 LengthDPO 压回延迟。

针对多轮多语言对话选择题中文本先验掩盖听觉依赖的问题，该工作用事件级切分加语义与声学双分支合成 359825 题，再把文本可答的弱题用于监督微调、必须听音频的强题用于 GSPO 强化学习，以 90.92% 的终测准确率为证据，代价是依赖大模型判断与多阶段验证流水线。

论文针对大音频语言模型在噪声下语义推理不稳定的问题，提出在模型内部嵌入空间度量噪声投影能量的 SEE 并用减去噪声子空间分量的 SEEN 做免训练缓解，最强证据是 SEE 与生成成功率呈约 0.98 负相关，而代价是需要对齐的干净与纯噪声标定数据且只能去除可分离干扰不能补回已丢失语义。

针对同时有内部听觉与外部转写建议时朴素融合反而变差的问题，论文用可学习的内部、外部、重写三种动作先裁决再生成，在七个语音识别集与多域音频问答上报告了可运行策略的改进，但重写类样本稀少仍是主要代价。

论文针对句子重音改变语义这一被忽视的能力，提出 StressTest 基准与 Stress-17k 合成训练管线，微调得到的 StresSLM 在真实录音上显著超过现有语音模型，同时基本保留原有识别能力。