会议总览
ICML 2026 语音/音频论文详细分析
共分析 137 篇 ICML 2026 论文
自监督学习
论文解读
GigaSpeech 3：用弱标注把五种阿拉伯方言语音做成可训练的大语料
针对方言标注语音稀缺但方言网络音频丰富的问题，论文用每方言约 60 小时人工标注训练偏向识别的自监督标注模型来转写方言匹配音频并经筛选与噪声学生精炼得到 39028 小时弱标注语料，独立训练的方言专用模型在 GigaSpeechBench 上达到 23.86% 平均词错误率并在外部语料上保持可迁移的提升，但多方言自动路由仍有可测量的误差代价。
论文解读
GSLM2：多层语音单元与多流建模如何缩小语音与文本的语言能力差距
GSLM2 针对语音单元语言质量不足和单流表示信息单一的问题，用 SpidR 2.0 在多个编码器层学习可微分的离散单元，再用多流语言模型联合建模这些单元，在 Libri-Light 三档规模和最大 6M 小时口语数据上持续提升词法句法语义得分，但推理计算量明显高于单流模型和文本模型。
论文解读
把混合音频拆成几个槽：自监督的对象中心表示如何兼顾分类、检测与分离
该文用槽注意力把 AST 片段嵌入拆成 4 个槽并以重构为目标自监督预训练，再冻结主干只训练轻量任务头，在三声源合成场景上同时支撑分类、检测与分离，并在未见类上做零样本分离，但结论依赖合成混合与固定任务头的评测条件。
论文解读
Audio-R1：用自监督音频任务构造可验证奖励的强化学习后训练
针对大音频语言模型推理不足且难用人工标注扩展的问题，Audio-R1 把三种自监督音频任务的构造答案转为可验证奖励做 GRPO 后训练，在四个基座和三个基准上取得一致增益，多任务联合优于单任务，而代价是奖励只看最终答案且增益依赖基座已有能力。
论文解读
AudioFM：用整体对照加局部遮挡判别学习通用音频表示
AudioFM 要同时保留录音整体场景和时频细节，用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器，在 AudioSet 微调、冻结探测和跨数据集迁移上占优，但结论只在 16 kHz 单通道和所用划分下成立，且局部监督带来预测器与大批量训练代价。
论文解读
S2SND-v2：统一在线与离线的说话人日志系统
S2SND-v2 用说话人适配的 w2v-BERT 2.0 做前端并改进查询构造与训练，在八个测试集上剪枝系统在线平均错误率 14.52%、离线 12.03%，代价是前端仍需大规模预训练与多阶段日志训练。
论文解读
PerMix：用混合样本的扰动比例预测做异常声音检测
针对混合样本监督错位和固定角度间隔问题，PerMix 用随主导类比例缩放的间隔预测扰动比例并配合主导类对比学习，在 DCASE 2020 上取得最好平均结果，代价是每轮训练时间增加约 3.3%。
论文解读
重度损伤下自监督特征清洗为何失效，以及中间恢复特征如何帮忙
论文发现重度退化下缩小自监督特征距离不再对应听感提升，并提出把恢复主干中间特征送入自监督模型的早期恢复注入，在 VoiceFixer 上保真与可懂度占优而感知质量保持竞争，代价是总参数增大但实时率仅小幅上升。
论文解读
MiCLA：用混合到成分的残差对齐学习复调音频表示
针对复调音频中混合表示与成分表示关系未被显式约束的问题，MiCLA 用对数梅尔谱凸插值构造合成混合并做双向残差对齐，在 AS-20K 微调取得 43.2% mAP 且冻结探测下保持可检索的双成分信息，但结论只在 AudioSet 类分布与两源合成混合条件下成立。
论文解读
浅层语音表示怎么做音画伪造检测的音频前端
在固定检测器下比较对数滤波器组与冻结语音自监督表示，六层加权浅层执行在生成器不相交测试上平均达到 90.61% 宏 AUROC，并在长输入上降低推理延迟。
论文解读
MM-LeJEPA：为共享内容设计相关高斯联合嵌入目标
本文把下游任务分成读独立信息和读共享内容两类，推导出音频视频联合嵌入应服从的相关高斯目标，并用白化后的分布正则加局部预测全局来训练，在音频视频分类的冻结探测和微调中与开源基线相当。
论文解读
只看嘴能读出说什么吗：FLARE 如何向声音借知识并同时看脸和嘴唇
FLARE 针对唇读中视觉线索模糊且对姿态和分辨率敏感的问题，用 Whisper 深层语音表示经随机投影量化做掩码预测预训练，并用脸与唇双流联合建模加辅助音频和模态丢弃学习视觉表示，最好的大模型加语言模型解码在 LRS2、LRS3 和 WildVSR 上取得 11.7%、13.2% 和 34.3% 的词错误率，但双视觉分支增加了计算开销且跨任务迁移尚未验证。
论文解读
ONCship：用 4521 小时水下录音研究船只类型与单船身份识别
论文从 20000 小时原始水声存档中整理出 4521 小时带船只轨迹关联的 ONCship 语料，用同一模型的三种预训练来源对比和两类下游任务检验其作用，联合预训练在 DeepShip 上达到 62.45% 准确率而单船身份识别 Top-1 超过 53%。
论文解读
没有干净语音时怎样做教师学生自训练去噪
SNOAR 在重混之前先用教师自身的噪声估计滤除语音通道的残留噪声再按比例加回原始含噪观测，在 WHAM!上从 MixIT 教师接近监督上限，在真实 CHiME-3 上稳定改善感知与识别，而代价是加回比例与滤波必须搭配使用。
论文解读
从 210 万小时广播音频做芬兰语语音自监督：质量筛选与编码器比较
论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练，并在相同参数量下比较四种编码器，Base 规模卷积增强结构域外优势最大，X-Large 规模差距缩小。
论文解读
从波形直接估计发声参数：自监督源-滤波器网络 SoFilNet 解读
SoFilNet 只用重建语音做监督就同时估计基频、清浊、五带非周期性与有序共振峰和反共振零点，在 VTR 共振峰与跨库基频上取得最低平均误差，代价是幅度谱建模与固定极零点结构带来的简化。
论文解读
在实验室和日常录音中区分对儿童和对成人说话
论文用同一分类器比较手工韵律特征与冻结自监督表示在两套语料上区分对儿童说话和对成人说话的能力，最强证据是实验室语料上大模型达到约 91.7% 准确率而日常语料仅约 64.4%，代价是协方差池化首层参数膨胀到约 150.8 百万却没有带来对应提升。
论文解读
跨语言说话人确认：用自监督预训练模型提取与语言无关的声纹
针对注册与测试语言不一致时声纹会混入语言线索的问题，该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入，在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%，代价是 580M 以上参数与 58.43 GMACs 的计算量。
论文解读
一致且规整的表示为何还读不出顺序内容
论文问文本表示能否保留有序规范内容，用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复，再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败，并延伸到冻结语音读出仍有巨大词错误率差距，但端到端语音基线更强且语义泛化有限。