自监督学习

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

在冻结说话人 backbone、训练时能直接看到干净目标的前提下，用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失，在保持标准集基线的同时改善失配集，但结论只在原文的配对增强流程和评测条件下成立。

针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题，该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数，在仿真中把全视场分辨率稳定到 5 到 6 度，代价是依赖运动、里程计和仿真验证。

该研究在 11 名清醒开颅患者的 2706 个 3 秒片段上，用留一说话人验证比较说话人分离、多层 wav2vec2 表示与级联分类器的分工，发现表示改进带来 18.2%-26.1% 的 AUC 提升而分类器差异不超过 4.7%，但跨说话人 AUC 仍明显低于说话人内校准。

SepRQ 针对多人混合语音的表示学习问题，用无掩码的多分辨率伪源分离预测冻结随机码本序列，在 SUPERB 分离与日志任务上取得较强结果，代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销，且单说话人任务仍受限。

XTurnix 把听与说两种状态下的轮转控制归纳为每次只输出一个控制记号的二分类问题，用带时间戳的双人转写大规模自监督预训练再加合成多轮微调，在公开基准和自建平衡基准上验证了统一控制的可行性与分布依赖性。

针对一次参考且内容不一致时无法可靠配对帧的问题，StateVC 用源与参考混合拟合的共享高斯状态估计每个状态内的均值平移并以后验加权更新源帧，在 LibriSpeech 一次转换协议上以 8.01% 词错误率和 3.22% 字错误率为内容保持最优，代价是说话人相似度并非全部最高且评估限于英语朗读语料。

论文研究语音自监督是否必须构造精细预测目标，提出直接预测当前编码器连续表示并只用高斯正则防塌缩的 GLaS-JEPA，在 960 小时 LibriSpeech 上以 57M 参数取得冻结编码器 SUPERB 语音识别 6.89% 词错误率和槽填充 25.87% 概念错误率，但情绪识别等副语言任务仍落后且大模型扩展尚未验证。

该文用跳字模型在贝多芬与披头士和弦序列上学习 24 个大小三和弦嵌入，证明移调增广能恢复五度圈、调中心分离与可转向的调区域，并用和弦到调距离与上下文距离构造张力量，与匹配的音调区间向量量中等对应、与人类紧张度中等对齐，但输入丢掉了转位与织体信息。

在英法双语 HuBERT 等总时长对照下，增强语言判别把连续音素 ABX 从 11.6% 降到 10.4%、把 sWUGGY 从 52.1% 提到 56.7%、把 ProsAudit 词汇子任务从 68.9% 提到 72.9%，但最终离散单元无改善且过晚干预会增加语言分隔。

针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾，SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配，在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94，代价是需要外部标注做目标构造与双解码器联合训练。

针对声码器到神经编解码器合成范式迁移导致的泛化下降，论文先用共享线性分类器比较 12 种声学表示，再提出双视角 MN-P 融合 token 级分层 XLS-R 与话语级 pooled 无人声残差，在合并测试集上把最强重训基线的等错误率从 5.986% 降到 2.744%，未见编解码器子集从 15.692% 降到 6.136%，代价是依赖离线人声分离与冻结大模 …

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音质量评价依赖背景声学和细粒度 cues 而常用自监督表征对此不变的问题，该文用局部谱时编码加帧级谱聚合的新编码器与包含直接混响比和窄带宽带的新声学任务做联合预训练，在冻结编码器下以较小参数在多数据集上达到可比大模型的平均意见分预测，并以消融显示新任务的增益与小数据训练的代价。

针对音频伪造检测标注少、跨域差的问题，ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干，在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%，代价是仍需大规模预训练与微调增强且未公开代码权重。

针对依赖正则音素与强制对齐的发音评估问题，ALFreeD 用教师语音做参照，经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分，在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关，代价是仍需同文本教师语音且只验证了句子级总分。

BEST-RQ-2 保留冻结随机投影离散目标，用只看未掩码块的 ViT 上下文编码器加轻量预测器做两步掩码预测，在同一 AudioSet 划分和 20 万步预算下 X-ARES 与 XARES-LLM 总体迁移优于单阶段基线，而推理只用编码器故推理代价不变，代价是补块式切分仍使语音略低于条带式 BEST-RQ。

该工作用 47.88M 参数的双向 Mamba2 编码器在约 250 小时 67 语言无标注语音上做掩码离散单元预测，在官方评测以说话人聚类 ARI 0.735 超过四个基线，但语言识别 macro-F1 0.073 与字符错误率 0.870 仍明显落后，且后期检查点出现音素泛化退化。

针对扩散语音增强缺语言约束的问题，该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑，在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4，代价是 SI-SDR 略降且 128 通道仍非实时。

在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大，而说话人日志分离能力在离散单元模型中系统性下降，对比模型则未出现该退化。