不只听懂说什么:ParA-LLM 用两阶段课程补上副语言与声学理解
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。
针对音频语言模型靠文本捷径答题的问题,论文用同一冻结教师有音频与无音频的对数概率差重塑蒸馏目标,在两个 3B 学生和三个基准上超过普通同策略蒸馏,代价是训练时每步要多做一次无音频教师前向。
针对大音频语言模型把不存在的声音判为存在的肯定偏置,论文提出免训练的静音对照加首步门控解码 TAD,在 AudioCaps-Hallucination 上相对固定强度 AAD 把 Qwen2 的 F1 提高 0.059 到 0.117,代价是更保守的是否边界和部分真阳性召回下降。
针对多轮多音频时间问答中实例漏检会改变计数与总时长的问题,TEMA 用 Route 定音频范围、Span 记全全部实例区间再推理作答,在 Test253 上 Qwen2.5-Omni 基座的问答准确率达到 69.81%,代价是需要三阶段训练与完整逐轮证据监督,且跨音频比较仍有波动。
论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。
针对语音语言模型做自动语音识别特化后语音问答能力下降的问题,论文用特化前模型做问答老师、特化后模型做识别老师,让学生按任务分别采样轨迹并只接受对应老师的监督,在 500 小时蒸馏数据上提升识别的同时保住问答,但全文特化模型本身的识别上限仍未被完全追平。
该挑战用约 2100 小时 14 语言双人对话同时考 diarization 加识别与整场理解,基线显示长时说话人对齐与语义推理是主要瓶颈,而参赛系统靠域内 diarization 适配与音频依赖监督把误差与准确率推到新水平。
论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习,用多数票伪标签乘以声学支撑权重更新策略,在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点,代价是每步需额外做遮蔽前向与分组投票计算。
MuLA-Bench 用 5038 个开放问题检验 16 语言长音频理解,发现语言难度随领域和任务变化、声学证据差距随操作变化、找对事件不等于对准时钟,而代价是声学单元稀疏不均且长尾结论受限。
针对多语言双人长对话口语问答中不同问题依赖不同证据的问题,该工作用带说话人时间戳的转写做主干、按问题动态挂接局部或全局音频,开发集任务二达到 94.84% 准确率,但消融无法完全分离标签质量与证据分配的因果。
论文用分组留出的方向消融检验语音有害请求的拒绝边际,发现 Qwen2.5-Omni 在 L16 处消融使边际下降约 7.10 而投影器处仅约 0.013,代价是良恶提示的措辞差异使该方向只能读作拒绝相关而非纯粹有害性。
针对显式思维链导致注意力偏离音频的推理落差,SPARE 在推理起点插入寄存器令牌并用结论语义做余弦对齐,在 SALMONN 13B 上把 MMAU 提升到 58.03%、MMAR 提升到 40.32%,代价是微调阶段增加一个训练期对齐分支而推理零新增开销。
针对音频大模型能转写却听不懂说话方式与声学环境的问题,论文用 22 维特征定义、120 万音频问答对与先单属性后多属性的两阶段课程训练 ParA-LLM,在 ParA-Bench 总体上报告 43.53% 准确率并在外部语音基准上同步提升,代价是声学单项仍弱于 GPT-4o-Audio 且绝对准确率仍远低于人类。
SEABED 针对印尼语、泰语和马来语真实语音构造必须听音频才能推理的问答,用准确率加推理接地审计测六个音频大模型,最好的 Gemini 3.5 Flash 也只答对约一半,且区域模型的正确回答中多达四分之一缺少音频依据。
Vox-Infinity 沿轮数与每轮时长拉长语音历史并以最早证据到提问的跨度分组,在七个语音语言模型上报告随证据变远准确率下降的近因效应,以及文本历史保语义而音频历史保韵律的互补代价。
论文研究给定话题标题查询在语音转写中预测连续句子区间的问题,用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合,在两个主数据集上以轻量定位器验证严格边界指标的提升,同时报告自发会议上增益有限的代价。
Samsone 针对端侧音频问答,用 Whisper-Tiny 编码器加 SmolLM2 解码器与非线性映射器做单阶段训练,在 MMAU 与 MMAU-Pro 上超过同级小模型并接近部分大模型,代价是通用语言能力下降且未做移动端硬件级优化。
针对泰卢固语语音事实问答缺少基准与评测不可靠问题,VākQA 用 2001 对真人 quiz 语音与双语转写先校准自动评测再测问答,发现 Gemini 作答与做裁判均领先但仍受语言、模态与级联误差影响且文化域最敏感。
针对大音频语言模型时间定位不准的问题,论文冻结大模型只取查询语义表示并外挂帧级定位模型,在多个接地基准上提高严格阈下召回与平均交并比,并在推理阶段把定位结果作为外部时间证据回填给大模型。