音频理解

共分析 137 篇 ICML 2026 论文

论文用同一套声学分组比较鲸 coda 与三组音乐，发现序列可预测相近但重复更高、单元内组成有效而原位排序无额外增益、再往前一个单元仍提供预测信息，并据此提出包含波形、组成、序列、 timing 与情感相关变异的声学蓝图，合成检验显示 WhAM 可听辨但声学分布仍可区分。

共分析 80 篇语音/AI 论文

Spark-Audio 1.0 要解决从只转写到真正理解语音的问题，用表示增强的掩码预训练加三阶段音频编码器与三阶段音频语言模型训练，在 1300 万小时音频下在多语种识别和真实场景对话上接近更大数据量模型，但复杂音频推理和指令遵循仍有差距。

论文把声音设计评价变成先学视觉加声音的联合表示再冻结策略只微调声音编码器的问题，在三种游戏上用只听声音的智能体成绩区分设计好坏，并以更少样本和更少总浮点运算换来可比的区分能力，但退化设计下绝对成绩会低于从头训练。

共分析 34 篇语音/AI 论文

论文把音频到解码器的接口限定为冻结文本词嵌入的凸组合，用 C-Gate 路由实现，并在 VoiceBench 十一任务平均 75.36 分的语音知识推理优势与转写和非语音理解上存在取舍的条件下验证其可行性。

论文把声学感知压缩为单一声学因素随时间增强还是减弱的二分类，用 21600 条受控语音和人类 94.4% 对比模型约 50% 的结果证明瓶颈在感知与读出，并用线性探测区分了两种失效模式。

共分析 25 篇语音/AI 论文

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

共分析 146 篇语音/AI 论文

针对野外难以测量水琴窟几何尺寸的问题，论文用同一套频谱与时域描述子对关西 9 处录音做归一化比较，发现整体音色高度相似但各有可测差异，且同地点多次录音相似度高于跨地点，代价是环境噪声无法分离、结论只限录音层面的探索性描述。

论文用四层任务分类同时做评测集 BEANS-Next 和训练集 ROOTS，证明按层补充整理元数据、语言模型合成文本和合成音频能提升已有基座在声学感知、类别识别、场景理解和示例学习上的表现，但计数和开放描述仍弱且结论只在给定划分和指标下成立。

论文固定结构和评测，只把蒸馏损失从 DistilHuBERT 损失换成相关性损失，比较权重插值和激活排列两种合并，发现后者在语音侧更稳、需要搬动的通道更少，但在标准宽度音乐侧仍是旧损失更好。

论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数，用单材质加混合材质合成数据训练集合聚合模型，在合成测试上误差和单查询耗时低于可比基线，并能把真实录音转成新网格的重渲染声音。

针对文字可解但配了无关音频时大音频语言模型会改变答案的问题，论文用配对漂移度量暴露不稳定，用后期音频通路缩放定位可控点，再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计，同时在所测语音识别任务上保持原有词错误率，代价是单次生成加一次路由判断。

针对通用智能体能推理却做不出跨模态多产物的问题，论文用分层技能加声明式执行图与资产注册表做编排，在 UniM-90 上把两类宿主的输入支持率提到 100% 并把相对语义质量分提到 74.94 与 77.78，代价是依赖外部专家后端与显式建图验证。

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾，SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配，在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94，代价是需要外部标注做目标构造与双解码器联合训练。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读