论文解读

不用训练也能让语音模型想清楚:以隐状态差值增强链式思考

针对大音频语言模型链式思考不稳定问题,论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入,在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %,而纯文本导出的向量也能迁移到语音任务,但实例级方法对缩放强度更敏感。

 · 更新于 2026-11-04 · 约 18 分钟 · 8799 字 阅读 →
论文解读

听不清就别硬猜:用想象出参照、用抽取出干净信号再判

针对音频大模型在噪声与细粒度混淆下的感知幻觉,RAISE 用免训练的三阶段路由加两种外部声学证据在 MMAR 与 MMAU 上带来最高 12.4 个百分点的提升,代价是被路由到的少数困难样本需承担 20 秒以上的工具与推理耗时。

 · 更新于 2026-11-04 · 约 17 分钟 · 8467 字 阅读 →
论文解读

选项一换就变脸:大音频语言模型的选择题高分有多稳

该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。

 · 更新于 2026-11-04 · 约 17 分钟 · 8069 字 阅读 →
论文解读

小参数做音频问答:Samsone 用裁剪与数据配比换端侧可用性

Samsone 针对端侧音频问答任务,采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝,在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩,代价是语言通用能力下降且未做硬件级优化。

 · 更新于 2026-11-04 · 约 17 分钟 · 8111 字 阅读 →
论文解读

以静音为锚:用分层加权转向把音频幻觉拉回声音证据

针对大音频语言模型在问答中编造不存在声音事件的问题,论文用等长静音作负例构造声学转向向量并按层加权干预,在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%,在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%,且不训练任何参数。

 · 更新于 2026-11-04 · 约 17 分钟 · 8452 字 阅读 →
论文解读

只看答对不够:用实例级细则逼音频推理说出每一步依据

该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。

 · 更新于 2026-11-04 · 约 17 分钟 · 8204 字 阅读 →
论文解读

小参数如何听清混合声音:按意图过滤再做全局缩放的音频推理

针对资源受限下音频推理难部署的问题,论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤,在 MMAR 上以 1.5 B 取得 46.40 准确率,但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

 · 更新于 2026-11-04 · 约 16 分钟 · 7593 字 阅读 →
论文解读

高分不等于听见:文本先验与局部音频线索如何抬高音频语言评测

该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。

 · 更新于 2026-11-04 · 约 16 分钟 · 7843 字 阅读 →
论文解读

不只答对,还要想对:用混合相似奖励把推理链拽回声音证据

针对大音频语言模型推理链脱离声学证据的问题,Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链,在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%,代价是依赖参考链质量与大模型评判开销。

 · 更新于 2026-11-04 · 约 18 分钟 · 8933 字 阅读 →
论文解读

同形不同意:一开口就分晓的普通话语音消歧数据集 DEBATE

针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。

 · 更新于 2026-11-04 · 约 19 分钟 · 9230 字 阅读 →
论文解读

语音推理掉链不是听不清,而是没绑住:实体绑定失败与显式枚举修复

论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。

 · 更新于 2026-11-04 · 约 17 分钟 · 8374 字 阅读 →
论文解读

只用 ASR 数据做多语言语音指令跟随:用语言相关的查询库缓解共享投影器的干扰

针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题,论文用查询库加门控做语言相关的蒸馏,在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升,但合成评测与判分器依赖构成主要代价与边界。

 · 更新于 2026-11-04 · 约 19 分钟 · 9273 字 阅读 →
论文解读

不测听阈、只让人亲身听难:用空间音频把诊室变成咖啡馆的咨询演示系统

针对听力图难解释真实交流困难的问题,该工作在 Apple Vision Pro 上构建咖啡馆、火车站与客厅三场景的空间语音加噪声演示流程,用 20–30 秒对话加理解问答和 Easy/Medium/Hard 预设呈现难度变化,8 人临床初步演示显示可用但尚未在听损人群验证。

 · 更新于 2026-11-04 · 约 18 分钟 · 8996 字 阅读 →
论文解读

回答对了没有:为什么音频问答需要同时看文字和声音

针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。

 · 更新于 2026-11-04 · 约 17 分钟 · 8417 字 阅读 →
论文解读

音频问答的不确定性更依赖音频证据:首词概率为何能胜过十次采样

该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。

 · 更新于 2026-11-04 · 约 19 分钟 · 9215 字 阅读 →
论文解读

声音在第几层变成答案:对大音频语言模型做因果追踪

该文把静音替换作为破坏基线,用干净隐藏状态回填来测量恢复率,在四个听觉属性上追踪五个模型,发现融合深度分化与末 token 瓶颈,但未给出可部署精度的数值增益与开销测量。

 · 更新于 2026-11-04 · 约 18 分钟 · 9014 字 阅读 →
论文解读

推理越长反而越不听音频:用结论语义把模型拉回声音

针对大音频语言模型中思维链变长后注意力偏离音频的推理差距问题,SPARE 在推理起点插入对齐最终结论语义的寄存器标记做训练期正则,在 MMAU 上达到 58.03%、MMAR 上达到 40.32%,代价是需要带结论标签的微调和对齐权重选择,且推理时丢弃辅助头以保持零额外开销。

 · 更新于 2026-11-04 · 约 18 分钟 · 8852 字 阅读 →
论文解读

重建越好识别越好吗:连续音频编码器中隐宽度与帧率的联合权衡

论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。

 · 更新于 2026-11-04 · 约 19 分钟 · 9153 字 阅读 →
论文解读

小参数也要听懂声音:Mizar 用频率合并与三阶段训练补齐音频证据

Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。

 · 更新于 2026-11-04 · 约 19 分钟 · 9210 字 阅读 →
论文解读

说不要却照做:文本到音频生成的否定失效与百万级否定基准

论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。

 · 更新于 2026-11-04 · 约 19 分钟 · 9292 字 阅读 →