论文解读

小参数也要听懂声音:Mizar 用频率合并与三阶段训练补齐音频证据

Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。

 · 更新于 2026-11-05 · 约 19 分钟 · 9210 字 阅读 →
论文解读

重叠声越多越数不清:PolyBench 检验复调音频中的组合推理

PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。

 · 更新于 2026-11-05 · 约 19 分钟 · 9209 字 阅读 →
论文解读

别只学老师说什么,更要学它因听到音频才改口的部分

针对音频语言模型靠文本捷径答题的问题,论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标,在两个 3B 学生和三个基准上超过普通同策略蒸馏,代价是训练时每步要多做一次无音频教师前向。

 · 更新于 2026-11-05 · 约 16 分钟 · 8006 字 阅读 →
论文解读

语义越强伪造线索越淡:Voxtral 做欺骗检测为何必须任务适配

论文把欺骗检测改写为固定指令下比较 bonafide 与 spoof 标签序列似然的生成式任务,报告冻结大语言模型层会削弱声学可分性,而用 DoRA 轻量适配后的 Spooftral 在 ASVspoof5 评估集上报告等错误率为 4.25%,代价是仍需任务训练且特定攻击明显更难。

 · 更新于 2026-11-05 · 约 19 分钟 · 9486 字 阅读 →
论文解读

谁在何时说话:STAM-ASR 用内部说话人时间锚与双记忆改造 AudioLLM

针对多人轮替与重叠会议转写,STAM-ASR 在冻结 Qwen2.5-Omni-7B 编码器上加内部说话人日志、残差 FiLM 调制与说话人/会话双记忆,在参考与预测说话人活动对比中显示时间证据与记忆互补,但预测跟踪误差仍是主要瓶颈。

 · 更新于 2026-11-05 · 约 17 分钟 · 8200 字 阅读 →
论文解读

只在第一步纠偏肯定回答:用静音对照压住音频幻觉

针对大音频语言模型把不存在的声音判为存在的肯定偏置,论文提出免训练的静音对照加首步门控解码 TAD,在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117,代价是更保守的是否边界和部分真阳性召回下降。

 · 更新于 2026-11-05 · 约 18 分钟 · 8738 字 阅读 →
论文解读

语音能听懂,事实却判不准:VeriSpeak 揭示的跨模态核查断层

论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。

 · 更新于 2026-11-05 · 约 18 分钟 · 8734 字 阅读 →
论文解读

听不清细节的音频大模型:用可验证的合成音频一轮轮自己出题

针对音频语言模型能懂语义却听不准声学细节的问题,EvoAudio 用当前模型的弱项决定下一轮练什么、工具合成波形保证答案可验证、GRPO 训练加留出集晋级做 13 轮递归进化,最强证据是五个不同骨干平均最高且总体最高提升 6.3 点,代价是工具覆盖不到的语义文化推理提升有限且后期收益变平。

 · 更新于 2026-11-05 · 约 19 分钟 · 9393 字 阅读 →
论文解读

边说话边做事:用前后台分离让语音中断不再取消任务

针对多轮语音任务中对话与执行时间尺度不一致的问题,论文用前台对话加后台委托的编排运行时分离两者,并在 134 例座舱基准上以混合路由实现 91.04% 任务成功率,代价是需要维护任务状态、投递调度和跨会话记忆等额外机制。

 · 更新于 2026-11-05 · 约 17 分钟 · 8482 字 阅读 →
论文解读

不重编音频也能验声:复用编码器状态删掉无据事件提及

针对大音频语言模型在字幕中提到输入中不存在声音事件的问题,REVE 复用目标模型已算出的编码器帧状态做两尺度验证,在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及,只增加 3.38M 参数和 0.57 ms 完整验证延迟。

 · 更新于 2026-11-05 · 约 16 分钟 · 7925 字 阅读 →
论文解读

先转写再翻译为何在训练时作弊:用联合奖励把生成的前缀拉回推理分布

针对转写链式思维在有监督微调中用参考转写做前缀而推理用自生成转写的不一致,论文用 GRPO 同时奖励自生成转写和以其为条件的翻译,在相同 CoVoST 2 训练样本下 CoT GRPO 在两套测试上 BLEU 领先并把 WER 相对降低 8.8% 和 7.2%,代价是需要多样本 rollout 和显式调 ASR 权重。

 · 更新于 2026-11-05 · 约 7 分钟 · 3185 字 阅读 →
论文解读

联邦多语语音大模型:编码器与解码器谁更怕客户端漂移

该研究在 316 个按说话人划分的多语联邦客户端上比较四种语音大模型与 FedAvg 和 FedProx,最强证据是 Whisper 加 EuroLLM 在解冻编码器并调低其学习率时取得 0.1170 词错率,而 FedProx 只在该多语解码器上有效,代价是联邦仍远差于集中训练且对编码器预训练类型高度敏感。

 · 更新于 2026-11-05 · 约 19 分钟 · 9442 字 阅读 →
论文解读

先听清再推理:用声音证据校准无标签测试时更新

论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习,用多数票伪标签乘以声学支撑权重更新策略,在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点,代价是每步需额外做遮蔽前向与分组投票计算。

 · 更新于 2026-11-05 · 约 20 分钟 · 9639 字 阅读 →
论文解读

先说一遍再改一遍:让语音模型听见自己的草稿并真正改好

针对复杂风格指令一次合成难以兼顾音高、语速与情感的问题,该工作用同一大音频语言模型做草稿生成加文本批评加二次精修,并以组相对策略优化训练精修能力,在 InstructTTSEval 上精修输出相对零样本平均风格一致性提升约 6.5% 至 7.2%,代价是两遍推理与奖励建模依赖。

 · 更新于 2026-11-05 · 约 19 分钟 · 9272 字 阅读 →
论文解读

能解码不等于在用:语音拒绝的因果落点在文本主干的中后段

论文用分组留出的方向消融检验语音有害请求的拒绝边际,发现 Qwen2.5-Omni 在 L16 处消融使边际下降约 7.10 而投影器处仅约 0.013,代价是良恶提示的措辞差异使该方向只能读作拒绝相关而非纯粹有害性。

 · 更新于 2026-11-05 · 约 19 分钟 · 9116 字 阅读 →
论文解读

先锁定结论语义再推理:SPARE 如何把长思维链拉回音频

针对显式思维链导致注意力偏离音频的推理落差,SPARE 在推理起点插入寄存器令牌并用结论语义做余弦对齐,在 SALMONN 13B 上把 MMAU 提升到 58.03%、MMAR 提升到 40.32%,代价是微调阶段增加一个训练期对齐分支而推理零新增开销。

 · 更新于 2026-11-05 · 约 18 分钟 · 8867 字 阅读 →
论文解读

不只听懂说了什么:用 22 个副语言特征和两阶段课程统一说话方式与声学环境理解

针对音频大模型能转写却听不懂说话方式与声学环境的问题,论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM,在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升,代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。

 · 更新于 2026-11-05 · 约 17 分钟 · 8324 字 阅读 →
论文解读

只给一次提醒意图,让音频大模型自己决定何时开口:中断与静默建模

论文把连续音频监护形式化为四态打断或静默决策,用两个特殊词嵌入解码,在 ESC-50 上报告 99.6% 中断 F1 与 100.0% 去重召回,在未训练的 Epic-Sounds 上保持 96.7% 起始召回,代价是嘈杂域静默召回仅 10.1% 与平均 3.5 秒流式延迟。

 · 更新于 2026-11-05 · 约 18 分钟 · 8551 字 阅读 →
论文解读

小参数做音频问答:Samsone 用裁词表与减层数换端侧可运行

Samsone 针对端侧音频问答,用 Whisper-Tiny 编码器加 SmolLM2 解码器与非线性映射器做单阶段训练,在 MMAU 与 MMAU-Pro 上超过同级小模型并接近部分大模型,代价是通用语言能力下降且未做移动端硬件级优化。

 · 更新于 2026-11-05 · 约 18 分钟 · 8844 字 阅读 →
论文解读

冻结大模型不动,只改外部技能:FRAUDSkill 如何把开放生成压进三段式反诈闭集决策

针对先判场景再判是否欺诈、欺诈才判类型的闭集链式任务,FRAUDSkill 冻结音频语言模型、只优化外部技能程序并用投影加归一加多路选择做结构化部署,在 TeleAntiFraud 上报告 Macro-F1 为 73.50% 且无效输出降至 1.94%,代价是保留多程序与选择器并依赖验证集拟合。

 · 更新于 2026-11-05 · 约 23 分钟 · 11147 字 阅读 →