论文解读

小参数如何听清混合声音:按意图过滤再做全局缩放的音频推理

针对资源受限下音频推理难部署的问题,论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤,在 MMAR 上以 1.5 B 取得 46.40 准确率,但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

 · 更新于 2026-10-15 · 约 16 分钟 · 7593 字 阅读 →
论文解读

高分不等于听见:文本先验与局部音频线索如何抬高音频语言评测

该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。

 · 更新于 2026-10-15 · 约 16 分钟 · 7843 字 阅读 →
论文解读

不只答对,还要想对:用混合相似奖励把推理链拽回声音证据

针对大音频语言模型推理链脱离声学证据的问题,Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链,在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%,代价是依赖参考链质量与大模型评判开销。

 · 更新于 2026-10-15 · 约 18 分钟 · 8933 字 阅读 →
论文解读

同形不同意:一开口就分晓的普通话语音消歧数据集 DEBATE

针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。

 · 更新于 2026-10-15 · 约 19 分钟 · 9230 字 阅读 →
论文解读

语音推理掉链不是听不清,而是没绑住:实体绑定失败与显式枚举修复

论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。

 · 更新于 2026-10-15 · 约 17 分钟 · 8374 字 阅读 →
论文解读

只用 ASR 数据做多语言语音指令跟随:用语言相关的查询库缓解共享投影器的干扰

针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题,论文用查询库加门控做语言相关的蒸馏,在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升,但合成评测与判分器依赖构成主要代价与边界。

 · 更新于 2026-10-15 · 约 19 分钟 · 9273 字 阅读 →
论文解读

不测听阈、只让人亲身听难:用空间音频把诊室变成咖啡馆的咨询演示系统

针对听力图难解释真实交流困难的问题,该工作在 Apple Vision Pro 上构建咖啡馆、火车站与客厅三场景的空间语音加噪声演示流程,用 20–30 秒对话加理解问答和 Easy/Medium/Hard 预设呈现难度变化,8 人临床初步演示显示可用但尚未在听损人群验证。

 · 更新于 2026-10-15 · 约 18 分钟 · 8996 字 阅读 →
论文解读

回答对了没有:为什么音频问答需要同时看文字和声音

针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。

 · 更新于 2026-10-15 · 约 17 分钟 · 8417 字 阅读 →
论文解读

音频问答的不确定性更依赖音频证据:首词概率为何能胜过十次采样

该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。

 · 更新于 2026-10-15 · 约 19 分钟 · 9215 字 阅读 →
论文解读

声音在第几层变成答案:对大音频语言模型做因果追踪

该文把静音替换作为破坏基线,用干净隐藏状态回填来测量恢复率,在四个听觉属性上追踪五个模型,发现融合深度分化与末 token 瓶颈,但未给出可部署精度的数值增益与开销测量。

 · 更新于 2026-10-15 · 约 18 分钟 · 9014 字 阅读 →
论文解读

推理越长反而越不听音频:用结论语义把模型拉回声音

针对大音频语言模型中思维链变长后注意力偏离音频的推理差距问题,SPARE 在推理起点插入对齐最终结论语义的寄存器标记做训练期正则,在 MMAU 上达到 58.03%、MMAR 上达到 40.32%,代价是需要带结论标签的微调和对齐权重选择,且推理时丢弃辅助头以保持零额外开销。

 · 更新于 2026-10-15 · 约 18 分钟 · 8852 字 阅读 →
论文解读

重建越好识别越好吗:连续音频编码器中隐宽度与帧率的联合权衡

论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。

 · 更新于 2026-10-15 · 约 19 分钟 · 9153 字 阅读 →
论文解读

小参数也要听懂声音:Mizar 用频率合并与三阶段训练补齐音频证据

Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。

 · 更新于 2026-10-15 · 约 19 分钟 · 9210 字 阅读 →
论文解读

说不要却照做:文本到音频生成的否定失效与百万级否定基准

论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。

 · 更新于 2026-10-15 · 约 19 分钟 · 9292 字 阅读 →
论文解读

不只听懂说什么:ParA-LLM 用两阶段课程补上副语言与声学理解

针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。

 · 更新于 2026-10-15 · 约 16 分钟 · 7623 字 阅读 →
论文解读

重叠声越多越数不清:PolyBench 检验复调音频中的组合推理

PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。

 · 更新于 2026-10-15 · 约 19 分钟 · 9209 字 阅读 →
论文解读

别只学老师说什么,更要学它因听到音频才改口的部分

针对音频语言模型靠文本捷径答题的问题,论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标,在两个 3B 学生和三个基准上超过普通同策略蒸馏,代价是训练时每步要多做一次无音频教师前向。

 · 更新于 2026-10-15 · 约 16 分钟 · 8006 字 阅读 →
论文解读

只在第一步纠偏肯定回答:用静音对照压住音频幻觉

针对大音频语言模型把不存在的声音判为存在的肯定偏置,论文提出免训练的静音对照加首步门控解码 TAD,在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117,代价是更保守的是否边界和部分真阳性召回下降。

 · 更新于 2026-10-15 · 约 18 分钟 · 8738 字 阅读 →
论文解读

先找全证据再算时间:TEMA 在多轮多音频对话里做可核对的时间问答

针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。

 · 更新于 2026-10-15 · 约 19 分钟 · 9044 字 阅读 →
论文解读

语音能听懂,事实却判不准:VeriSpeak 揭示的跨模态核查断层

论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。

 · 更新于 2026-10-15 · 约 18 分钟 · 8734 字 阅读 →