音频大模型

论文把音乐幻觉定义为五层感知接地失败，用矛盾判定加三范式诊断九个模型，发现人声误听普遍而调性感知分化架构，两种免训练干预在辨别式探针有效却常不能迁移到自由生成。

针对多编码器大音频语言模型靠直觉或穷举选编码器的问题，论文提出只用单编码器成绩算类别级与任务级相关性的 CUES 规则，在 XARES-LLM 上 Track A 选出三编码器提升 4.3% 而 Track B 主动只留双编码器提升 6.3%，代价是选择依赖开发集打分且仅在单 135M 骨干上验证。

针对只检内容而忽略说话人的不足，论文用文本查内容加参考语音定说话人的混合查询，构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架，在语义基准和混合基准上报告了可复现的召回与排序提升，但重排带来额外推理开销且多说话人仍明显更难。

针对大音频语言模型时间定位不准的问题，论文冻结大模型只取查询语义表示并外挂帧级定位模型，在多个接地基准上提高严格阈下召回与平均交并比，并在推理阶段把定位结果作为外部时间证据回填给大模型。

口语讽刺检测难分词汇与韵律贡献，CLASH 用同一句话的四条件配对变换固定模型做反事实审计，最强证据是目标句 Qwen3-Omni 在时长平衡后词汇保留领先韵律保留 0.135 至 0.148 的 AUROC，代价是声学分数移动常不带来判别增益与二值判决变化。

该工作在西班牙语德语捷克语帕金森语音上对比语音大模型的编码器表示解码器表示与零样本生成，报告编码器优于解码器而生成接近随机，并用样本自适应层聚合代替单层搜索，但跨语言绝对性能仍明显低于多语言混合训练。

论文在语音问答大音频语言模型上对比梯度上升、任务算术与两种拒答对齐遗忘方法，报告在中度记忆检查点上可把隐私泄露率降低约 80% 且非隐私问答基本保持，但压到接近零泄露时非隐私准确率必然明显下滑。

针对开放回答口语缺少准确度、流利度、韵律逐句标注的问题，OpenEnded 用 1000 条三人标注测试集加 6109 条训练与 2673 条开发伪标签支撑评估，并以冻结骨干加三头评分的 VoxPA 为更强基线，但伪标签偏向中间分且低分常与无语音绑定。

针对未见伪造攻击泛化难的问题，CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合，在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192，但攻击间差异与门控依赖仍是代价。

论文研究长音频中分散证据的定位与整合问题，采用离线结构化元数据加按需音频片段的混合检索智能体路线，最强证据是混合检索加多模态证据比单模态平均答案准确率提高约 10 个百分点、理由准确率提高约 6 个百分点，代价是声学任务仍需灵活选择证据模态且答案正确会高估真实 grounding 能力。

论文报告六说话人描述任务基线低于随机猜测，用 100 个头的注意力对数偏置把输出转向目标到 90% 以上，而纯文本任务选出的头可原样迁移，但饱和强度下增益多来自提示与汇点且随机对照本身波动极大。

StepAudio 3 Realtime 针对实时语音交互中深度推理与低延迟的矛盾，用听-说-想-做循环组织感知、双工话轮管理、边说边想与异步工具调用，在 MMSU 90.6、全双工 98.9 等报告结果上保持领先，但多轮约束保持与零售工具任务仍有明显短板。

针对音频多模态大模型自由描述中每个词缺乏时频依据的问题，STAG 用词条件内部激活做时间定位、用频带遮挡做频谱定位再做可分融合，在四个时序标注基准上取得最佳事件定位，并在反事实删除中以目标置信下降和事件消失支持其忠实性，代价是可分假设与缺少频率真值。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对音频文本对少、少样本适配易过拟合的问题，MUKA 用 Pengi 细粒度相似与 CLAP 全局相似的乘积核做免训练的核岭回归适配，在 11 个音频数据集 16 样本设置下平均准确率达到 80.90%，但在部分数据集上仍不敌线性探测且依赖超参数迁移。

论文在五个语音情绪数据集上零样本评测 Qwen2-Audio 并用多组多类公平指标审计，发现其总体预测分布较均衡但总体准确率平等性差距大，且解码温度超过 0.7 会同时损害准确率与公平性。

针对基座会话与增量会话都只有极少标注音频的全少样本类增量音频分类问题，TAPE 冻结 CLAP 音频编码器并学习任务适配投影与推理期低熵原型演化，在三套音频任务上报告平均准确率与性能下降率的同步改善，代价是每类需维护推理期优先队列并按会话重置原型。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读