音频问答

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文针对多模态大模型缺乏统一计数评测的问题，构建覆盖图像文本音频与三级能力三级难度的问答式基准并用固定提示与解析做 45 个模型的标准化评测，最强证据是基础感知尚可但推理与高密度长尾误差显著增大，代价是闭源接口与长上下文带来的评测成本与覆盖偏差。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对大音频语言模型在事件遗漏、身份误判、时序关系与定量时间四类细粒度推理上依赖语言先验的问题，论文以共享音频问题池同时构造偏好对齐数据与诊断基准并用直接偏好优化对齐 Qwen2.5-Omni-7B，报告在诊断集上定量与关系错误率大幅下降并在公开基准上小幅提升，代价是依赖字幕代理、人工筛选与自动裁判误差等条件约束。

针对音频问答依赖短线索和文本捷径的问题，AUDITA 用 9690 个人类撰写的真实音频 trivia 题加项目反应理论分析，显示人类自由作答 32.13% 而模型平均仅 8.86%，代价是题源偏英语 trivia 且人类基线为非专家抽样而非能力上限。

该工作用翻译导向大模型加语音编码器处理英文语音并执行英中意德指令，以先转写后作答的思维链复用纯文本监督，在 IWSLT 2025 评测上翻译与问答达到可比最优，代价是语音编码器只训练约 0.8 轮且依赖后编辑修正格式。

针对语音输入推理明显弱于文本的模态推理鸿沟，论文提出非对称奖励的在线轨迹对齐框架 TARS，用表示对齐约束层间隐状态、用行为对齐约束输出语义，在 MMSU 与 OBQA 上把语音恢复率提升到 98.89 到 100.45 区间，代价是约 27.5 小时基线之上的在线强化学习与约 4.4% 额外奖励计算开销。

针对语音条件推理弱于语义等价文本条件推理的问题，CORD 用同一模型内文本分支做教师并沿音频采样轨迹做标记级加权反向 KL 与序列级裁判奖励 GRPO 优化，在仅 8 万条合成数学训练样本下把两 backbone 的平均模态差距缩小约四成，但训练域集中数学且未报告延迟与人工误判率等代价。

DIFFA-2 针对自回归音频大模型数据贵、串行解码慢的问题，选择冻结 Whisper-Large-V3 加语义与声学双适配器加 LLaDA-8B 扩散主干与四阶段课程，在 MMSU 总体 60.45 分等公开基准上追平同级自回归模型，代价是第一阶段词错误率略高于自回归对照且三元混合音频仍偏弱。

针对长会议中声学线索缺失与上下文碎片化问题，论文把会议建成多维异构图并用计划执行反思智能体检索生成，在 LongAudioQA 三套数据上以语义准确率为证据取得领先，但迭代规划带来更高推理开销且依赖上游识别与说话人分离质量。

该研究用同一套语音大模型先做短语音指令跟随再扩展到长语音，比较三种切分策略，最强证据是固定 30 秒切分取得 2.0663 的 HIFS 分数，代价是长摘要与章节任务仍不稳定且幻觉以重复插入为主。

针对构音障碍等病理语音与常态语音声学失配问题，该研究在冻结 Voxtral-Mini 全部权重下用 x-vector 驱动的逐层 FiLM 做说话人条件化，在 TORGO 和 NeuroVoz 上以约 1.6% 可训练参数获得接近微调的识别与问答保持能力，但原始识别输出更依赖后处理纠错。

针对语音、环境声、音乐三域音频幻觉缺少大规模可诊断评测的问题，HalluAudio 用 5720 对人工校验问答与对抗诱发设计做零样本评测，报告显示结构与感知幻觉普遍存在而准确率无法代替可靠性判断。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

针对单轨音乐问答无法考察跨轨比较的问题，该研究用四阶段流水线构造每对三问的比较问答集，并用统一评测显示句子级比较解释是当前模型的主要瓶颈，而其代价是严格过滤后保留高精度子集与依赖文本中间表示。

针对大音频语言模型感知错误主导问答失败的问题，论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA，再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练，在保持可核查声学证据的同时以多目标奖励提升复杂音频问答，且额外暂停计算带来训练与推理开销。

MCGA 用 119 小时真人朗读与六项语音任务检验多模态大模型理解古典文学的能力，最强模型在情感描述上仍不足 60 分，但用该语料微调可带来大幅提升，代价是曲类样本偏少且暂缺图文声三对齐图像。

针对多语言多模态模型的文化感知碎片化问题，MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实，并以口音线索增益与整合失败等代价界定其适用边界。

该工作把短语音语料拼接成最长 15 分钟的长指令数据并覆盖六任务四语言，用温度采样和端到端加级联两种结构参赛，最强证据是似然加最小贝叶斯风险重排在英语上把词错率从 37.65 降到 21.39 而语义任务仅小幅波动，代价是似然重排会误选切分候选并损害问答与摘要。