小参数如何听清混合声音:按意图过滤再做全局缩放的音频推理
针对资源受限下音频推理难部署的问题,论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤,在 MMAR 上以 1.5 B 取得 46.40 准确率,但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。
针对资源受限下音频推理难部署的问题,论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤,在 MMAR 上以 1.5 B 取得 46.40 准确率,但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。
该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。
针对大音频语言模型推理链脱离声学证据的问题,Audio-DeepThinker 用混合推理相似奖励加两阶段纯强化学习课程诱发思维链,在 MMAR 达 74.0% 和 MMAU-Test-Mini 达 78.5%,代价是依赖参考链质量与大模型评判开销。
针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。
论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。
针对仅用 ASR 标注训练多语言语音大模型时共享查询投影器出现语言干扰的问题,论文用查询库加门控做语言相关的蒸馏,在冻结编码器和大模型下报告了开放式指令平均 14% 增益和 Audio-MLQA 上 32% 提升,但合成评测与判分器依赖构成主要代价与边界。
针对听力图难解释真实交流困难的问题,该工作在 Apple Vision Pro 上构建咖啡馆、火车站与客厅三场景的空间语音加噪声演示流程,用 20–30 秒对话加理解问答和 Easy/Medium/Hard 预设呈现难度变化,8 人临床初步演示显示可用但尚未在听损人群验证。
针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。
该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。
该文把静音替换作为破坏基线,用干净隐藏状态回填来测量恢复率,在四个听觉属性上追踪五个模型,发现融合深度分化与末 token 瓶颈,但未给出可部署精度的数值增益与开销测量。
针对大音频语言模型中思维链变长后注意力偏离音频的推理差距问题,SPARE 在推理起点插入对齐最终结论语义的寄存器标记做训练期正则,在 MMAU 上达到 58.03%、MMAR 上达到 40.32%,代价是需要带结论标签的微调和对齐权重选择,且推理时丢弃辅助头以保持零额外开销。
论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。
Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。
论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。
针对音频语言模型靠文本捷径答题的问题,论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标,在两个 3B 学生和三个基准上超过普通同策略蒸馏,代价是训练时每步要多做一次无音频教师前向。
针对大音频语言模型把不存在的声音判为存在的肯定偏置,论文提出免训练的静音对照加首步门控解码 TAD,在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117,代价是更保守的是否边界和部分真阳性召回下降。
针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。
论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。