自监督学习

共分析 137 篇 ICML 2026 论文

论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练，并在相同参数量下比较四种编码器，Base 规模卷积增强结构域外优势最大，X-Large 规模差距缩小。

SoFilNet 只用重建语音做监督就同时估计基频、清浊、五带非周期性与有序共振峰和反共振零点，在 VTR 共振峰与跨库基频上取得最低平均误差，代价是幅度谱建模与固定极零点结构带来的简化。

论文用同一分类器比较手工韵律特征与冻结自监督表示在两套语料上区分对儿童说话和对成人说话的能力，最强证据是实验室语料上大模型达到约 91.7% 准确率而日常语料仅约 64.4%，代价是协方差池化首层参数膨胀到约 150.8 百万却没有带来对应提升。

针对注册与测试语言不一致时声纹会混入语言线索的问题，该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入，在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%，代价是 580M 以上参数与 58.43 GMACs 的计算量。

论文问文本表示能否保留有序规范内容，用信息分解与构造性反例说明视图一致和各向同性高斯几何不足以保证可恢复，再以 CANOPE 对照实验显示规范 token 监督在可恢复与自然损坏下实现近完美恢复而隐一致失败，并延伸到冻结语音读出仍有巨大词错误率差距，但端到端语音基线更强且语义泛化有限。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

在冻结说话人 backbone、训练时能直接看到干净目标的前提下，用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失，在保持标准集基线的同时改善失配集，但结论只在原文的配对增强流程和评测条件下成立。

针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题，该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数，在仿真中把全视场分辨率稳定到 5 到 6 度，代价是依赖运动、里程计和仿真验证。

该研究在 11 名清醒开颅患者的 2706 个 3 秒片段上，用留一说话人验证比较说话人分离、多层 wav2vec2 表示与级联分类器的分工，发现表示改进带来 18.2%-26.1% 的 AUC 提升而分类器差异不超过 4.7%，但跨说话人 AUC 仍明显低于说话人内校准。

SepRQ 针对多人混合语音的表示学习问题，用无掩码的多分辨率伪源分离预测冻结随机码本序列，在 SUPERB 分离与日志任务上取得较强结果，代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销，且单说话人任务仍受限。

XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题，用带时间戳的双人转写大规模自监督预训练再加合成多轮微调，在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。

针对一次参考且内容不一致时无法可靠配对帧的问题，StateVC 用源与参考混合拟合的共享高斯状态估计每个状态内的均值平移并以后验加权更新源帧，在 LibriSpeech 一次转换协议上以 8.01% 词错误率和 3.22% 字错误率为内容保持最优，代价是说话人相似度并非全部最高且评估限于英语朗读语料。

论文研究语音自监督是否必须构造精细预测目标，提出直接预测当前编码器连续表示并只用高斯正则防塌缩的 GLaS-JEPA，在 960 小时 LibriSpeech 上以 57M 参数取得冻结编码器 SUPERB 语音识别 6.89% 词错误率和槽填充 25.87% 概念错误率，但情绪识别等副语言任务仍落后且大模型扩展尚未验证。

该文用跳字模型在贝多芬与披头士和弦序列上学习 24 个大小三和弦嵌入，证明移调增广能恢复五度圈、调中心分离与可转向的调区域，并用和弦到调距离与上下文距离构造张力量，与匹配的音调区间向量量中等对应、与人类紧张度中等对齐，但输入丢掉了转位与织体信息。

在英法双语 HuBERT 等总时长对照下，增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%，但最终离散单元无改善且过晚干预会增加语言分隔。

针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾，SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配，在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94，代价是需要外部标注做目标构造与双解码器联合训练。

针对声码器到神经编解码器合成范式迁移导致的泛化下降，论文先用共享线性分类器比较 12 种声学表示，再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差，在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%，未见编解码器子集从 15.692% 降到 6.136%，代价是依赖离线人声分离与冻结大模 …

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音质量评价依赖背景声学和细粒度 cues 而常用自监督表征对此不变的问题，该文用局部谱时编码加帧级谱聚合的新编码器与包含直接混响比和窄带宽带的新声学任务做联合预训练，在冻结编码器下以较小参数在多数据集上达到可比大模型的平均意见分预测，并以消融显示新任务的增益与小数据训练的代价。