自监督学习

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对多车同时遮挡的非视距预警问题，该工作在原始 8 通道波形上做隔帧未来潜表示预测预训练，再用双向长短期记忆网络做三头微调，在 T 路口验证取得方向与计数与车型同步提升，代价是仅验证至多 2 辆车且跨场景需少样本适配。

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

针对空管领域标注少而无标注语音多的问题，论文用 BEST-RQ 自监督加双层蒸馏先重训 Whisper-small 编码器再用 2 小时 24 分标注微调，在 ATCO2 上把词错误率从 19.54% 降到 17.17%，代价是需跑 5381 小时无标注数据约 7 小时 8 卡训练并依赖中间层与蒸馏权重的选择。

针对自发儿童语音标注稀缺问题，论文用 BEST-RQ 比较成人与儿童真声混合与 VEVO 合成儿童语音在自监督预训练和 CTC 微调中的位置，最强证据是合成语音只加入预训练时 MyST 测试词错率降到 16.07%，而直接加入识别训练几乎无增益且成人测试集代价明显。

该研究从法国电视广播档案出发固定编码器与训练步数，只改变一千小时预训练子集的成分，再用语音识别与语音音乐检测等下游对照检验成分效应，结果显示去音乐有助于识别而多样内容有助于兼顾语音与音乐，重复则同时带来识别下降与记忆上升。

针对法语语音自监督编码问题，论文用 data2vec 2.0 式师生预测潜表示并引入 10 万小时 INA 电视广播音频，语音多任务上达到或超过 LeBenchmark 基线，但 114k 小时在大模型上在 CommonVoice 验证集未继续降低词错误率。

论文复现基于频谱的句级嗓音强度回归并在新录音条件下发现其失效，进而用 Wav2Vec 2.0 浅层表示训练回归器，在 VIC 上把决定系数维持在 0.83 左右，代价是跨条件差距仍未完全消除。

论文把任务定为估计第二句相对第一句在九个反义维度上的印象差向量，对比可解释声学特征、自监督表示与多模态大模型三条路线，报告自监督表示在复杂印象上更稳，而多模态大模型零样本不可靠，代价是单女声优与同文本的强受控条件。

该文把 TTS 来源追溯写成先判断是否见过再归属到具体系统的两阶段问题，用 Wav2Vec2-BERT 嵌入加 Proxy-Anchor 学习结构化嵌入空间，在 MLAAD v9 合并架构类上报告 99.76% 闭集准确率与 2.04% 的 FPR@95，代价是依赖手动合并架构与保留校准集调阈值。

针对单模态噪声与跨模态语义鸿沟，BYOAVP 以自监督音频增强对齐视觉语义、以动量原型约束做像素级分类，在 AVSBench 与 VPO 六个子任务上取得最优，同时需承担双分支注意力与原型维护的额外开销。

该文用图像字幕先建视觉词表再过滤语音，用无监督词发现做两两对齐与堆叠评分定位关键词，在视觉监督下超过神经基线，但共现词与字幕噪声仍带来明显定位损失与计算代价。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

论文把多种自监督音频、视觉和音画特征冻结后只训练线性分类头，在科学数据集与野外数据上比较检测、异常检测、可解释定位与互补融合，发现含音频信息的表示泛化最好但野外数据仍困难，且随机特征也能靠捷径得高分。

针对含噪机器声中最近邻匹配不可靠的问题，该研究用机器与噪声标注加混合对齐做保留式再预训练，在受控信噪比与噪声失配下相对 BEATs 提升低信噪比约 4.1、平均约 3.1，代价是仍与嵌入混合上界有差距且依赖固定的 0.5 混合系数。

该研究用四种自监督前端搭配四种后端、在三种多语料组合与六个评测集上对照，报告显示 XLSR 搭配 ResNet 平均等错误率最低，加入外部语料让 ASVspoof 5 编解码子集等错误率走高而野外子集走低，约 8 小时西班牙语伪造音频让西班牙语评测大幅改善而中文评测维持原量级。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

该文把 HuBERT 的 Transformer 层替换为 Mamba 做语音自监督预训练，在因果与长上下文语音识别上验证线性复杂度与更低计算量优势，并以音素纯度、典型相关分析和 SUPERB 探测说明表征特点，代价是 Base 尺寸双向 Mamba 整体探测分数落后于 Transformer。