音频理解

共分析 137 篇 ICML 2026 论文

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

针对野外难以测量水琴窟几何尺寸的问题，论文用同一套频谱与时域描述子对关西 9 处录音做归一化比较，发现整体音色高度相似但各有可测差异，且同地点多次录音相似度高于跨地点，代价是环境噪声无法分离、结论只限录音层面的探索性描述。

论文用四层任务分类同时做评测集 BEANS-Next 和训练集 ROOTS，证明按层补充整理元数据、语言模型合成文本和合成音频能提升已有基座在声学感知、类别识别、场景理解和示例学习上的表现，但计数和开放描述仍弱且结论只在给定划分和指标下成立。

论文固定结构和评测，只把蒸馏损失从 DistilHuBERT 损失换成相关性损失，比较权重插值和激活排列两种合并，发现后者在语音侧更稳、需要搬动的通道更少，但在标准宽度音乐侧仍是旧损失更好。

论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数，用单材质加混合材质合成数据训练集合聚合模型，在合成测试上误差和单查询耗时低于可比基线，并能把真实录音转成新网格的重渲染声音。

针对文字可解但配了无关音频时大音频语言模型会改变答案的问题，论文用配对漂移度量暴露不稳定，用后期音频通路缩放定位可控点，再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计，同时在所测语音识别任务上保持原有词错误率，代价是单次生成加一次路由判断。

针对通用智能体能推理却做不出跨模态多产物的问题，论文用分层技能加声明式执行图与资产注册表做编排，在 UniM-90 上把两类宿主的输入支持率提到 100% 并把相对语义质量分提到 74.94 与 77.78，代价是依赖外部专家后端与显式建图验证。

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾，SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配，在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94，代价是需要外部标注做目标构造与双解码器联合训练。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该研究用 UniARC 框架在语音、声音、音乐三域对照连续特征与离散口令，发现语义约束而非离散与否决定理解性能，增大语言基座不能补偿前端信息损失，而离散表示收敛更快但高保真重建类编码器在语义任务上明显落后。

针对音频编码器在分类与理解任务上各有所长的问题，论文以 Whisper 保语音语义、Dasheng 补声学信息，用逐帧 softmax 门控残差融合加 STFT 支路做稳定骨干，对比隐式 LoRA 适配与显式残差解耦两种注入方式，最强证据是隐式在 Track-A 总体达 0.712 而显式在更多子任务登顶，代价是部分语音任务仍不如单编码器或基线。

针对多房间墙体遮挡导致单点听不清的问题，该研究用分布式麦克风加拓扑图融合提取时空特征，再用语义三元组加冻结大语言模型补全符合房型连通性的叙述，在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%，代价是全过程仅在仿真中验证且依赖已知几何。

论文用混合访谈音频考查音频语言模型能否只总结儿童语义并保留口吃特征，最强证据是端到端模型在蕴含判断上偏向肯定类而级联基线用准确转写可恢复矛盾检测，代价是重度不流畅与成人干扰下忠实度明显下降。

针对音频预填充随主干增大而变贵与音频微调损伤文本能力的问题，论文用与主干同层数的窄卷积注入器直接生成层相关键值缓存，在冻结 Qwen3-0.6B 下以音频预填充激活参数从 1108M 降至 552M 为代价逼近微调基线，并用噪声旋转位置编码与键值尺度匹配解决长句泛化。

UG-Bench 针对大音频语言模型理解与生成割裂评价的问题，用解耦的四能力框架统一测 11 个开源大音频语言模型和 5 个专用语音生成模型，最强证据是 Qwen2-Audio 以 78.18 分居首而生成能力仍落后于专用合成模型，代价是中文标注样本不计入排名且生成只比平均意见分。

USAD 2.0 针对语音、通用音频与音乐教师失配问题，采用领域感知加权蒸馏先融合三个自监督专家，再用有监督专家做第二阶段对齐并以降帧率加深度扩展到 1036M 参数，在 HEAR、MARBLE 与 XARES-LLM 上取得可比或更优的可复述结果，代价是仍需依赖教师与领域标签且大模型推理成本上升。

该研究以 141 例哮喘受试者的后胸四部位常态呼吸音为输入，用短时傅里叶变换分频带计算呼气与吸气谱功率之比并取受试者中位数，再与肺量计 FEV1/FVC 做 Spearman 相关，最强证据是 100-200 Hz 和 200-400 Hz 在左下与左上部位呈现随年龄性别偏移的中等相关，而代价是相关系数仅 0.2-0.4 且多为组内趋势，不能替代肺量计。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。