音频问答

针对大音频语言模型逐词生成答案在高频决策中延迟高且需解析的问题，论文在 Qwen-Audio-3.1-ASR-Flash-Next 解码器后加决策头，用 Choice、Noul、Score 三种类型直接输出概率或期望分数，在 18 组配置上验证并报告约 20 倍推理加速。

论文把纯文本微调后打字能答对、语音问却答错的问题定义为更新后语音接入修复，用冻结已获知识检查点并只改一个解码器隐状态的可拆算子 Affirm 来修，在合成语音上与同类单状态方法相当，在无重拟合的真人录音迁移上取得提升，但合成语音内部并未证明明显优势且附带严格适用条件。

论文用静音对照和去掉选项的问法检验音频大模型后训练，发现选择题涨分大多不依赖音频且换成开放问答就消失，真正靠声音修正的例子极少。

论文用 11 种语言各自训练的线性映射连接冻结语音编码器和冻结解码器，发现模型能按数字选项格式作答，但主题理解远低于直接读参考文本，差距指向映射的对齐不足。

共分析 69 篇语音/AI 论文

AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝，用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力，说明更新优势在什么录音与历史条件下出现以及擦除的作用。

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题，AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验，再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝，在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度，但高压缩下转写任务仍先退化且需一次校准确定交叉层。

论文用定位去除与等大随机去除的配对比较检验断言是否依赖特定音频区域，发现空白基线的优势主要来自删除时长，而定位是否有效与解码纠正能否起作用都随模型而变化。

HMU-Bench 用 1029 对乐谱问答和 460 对音频问答考查同一批全模态模型，最强系统乐谱得分接近 3.9 而音频最高仅 1.33，且两类排名几乎无关，局部困难音频与移调八度错误进一步暴露了评分与定位短板。

论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾，比较它是否像真人一样保持沉默或接话，最强证据是托管 API 几乎从不沉默而全双工模型才会沉默，代价是历史输入通道不同且标注和触发方式影响结论适用范围。

论文把保留内容与韵律的单码本语音单元同时用作统一模型的输入与生成目标，在相同框架和数据下比较识别、判别与合成，并在问答微调后检验保留情况，但合成只用自动指标且局限于英语朗读语音。

论文要解决演唱录音缺专家诊断配对的问题，把 Reddit 评论整理成 Focused QA 和 Overall Feedback 来微调音频语言模型，在 VocalCoachBench 上把有效诊断加纠正的比例从 21.3% 提高到 61.0%，代价是严格匹配专家诊断仍很低且识别类辅助任务没有带来开放式指导增益。

针对重叠与运动下指定声源在指定时刻位置难定位的问题，SonicWorld 用持续声源状态组织声学证据，在 Sonic-Bench 上把单声源方向准确率从 43.75% 提升到 50.00%，代价是需要完整片段离线推理与两阶段微调。

针对 16 kHz 音频语言模型看不见 8 kHz 以上信号的问题，论文用搬移频带加同时刻双视图融合复用冻结编码器，在高频决定答案的对照测试上取得明显提升，但结论依赖特定的构造评测与微调预算。

共分析 146 篇语音/AI 论文

针对音频语言模型感知细节弱且所有问题都用同样计算深度的问题，AdaLoop 在音频编码器与语言模型之间插入共享权重的循环精炼模块并按音频与问题自适应停机，在三个模型与三个基准上平均准确率提升 2.9 到 3.8 个百分点，代价是最多 8 步循环与不足 3% 的额外参数。

针对全双工语音智能体每轮要做的多个封闭式小决策，DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布，一次前向批量回答 80 个决策约 0.1 秒，内容理解接近读文本，而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%，代价是情感数据会拉低部分内容问答。

针对音频大模型偏向文本先验而幻觉的问题，该文用完整与扰动音频对比的多模态偏好优化微调 Qwen2-Audio，在 DCASE 问答与 AH 存在性验证上提升准确率，但结论只在给定划分、提示与扰动配置下成立且伴随三倍数据等代价。

论文针对单耳大模型丢掉双耳方位线索、专用空间模型又缺乏通用理解的问题，用语义分支加空间分支的双分支编码器和分层语义到空间调制，在大规模合成双耳场景上训练，实测在真实空间推理上大幅领先且通用单耳任务基本不下降，但细粒度轨迹和多源计数仍明显变难。

针对同时训练多种音频理解技能时互相干扰的问题，SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合，在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点，代价是增加不到 4% 的参数和两阶段训练。