预训练

针对多模态情绪识别标注贵、模态缺失和噪声多的问题，MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权，冻结编码器后用轻分类器迁移，CMU-MOSEI 七分类达 55.31% 且跨库接近全监督，但仍依赖固定特征抽取器和轻微分布相似性。

针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难，论文用多步未来预测约束在线寄存器并分离层归一化参数，在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%，代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。

针对音频与文本多对多、粗细粒度共存的问题，ProLAP 把每个输入表示为高斯分布并用包含损失约束层级，在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好，但遮挡构造与合成评测带来适用边界。

针对无说话人标签时伪标签噪声大且低置信样本难利用的问题，该方法用预训练模型多层聚类一致性选出高置信集合做伪监督，并对低置信集合做教师软目标蒸馏与一致性正则，在 Vox1-O 上报告 EER 为 1.09%，代价是需要多轮聚类与重训的迭代流程。

针对发音词典只能覆盖约百种语言而制约多语言合成的问题，UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学，在 11 种语言的 VITS 对比中多数指标占优，代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。

ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题，用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer，在约 17000 小时越南语无标注语音上预训练出 78M 参数模型，在识别、情感、方言和说话人验证四类任务上报告最优平均结果，代价是仍需大规模预训练算力与多条件微调验证。

在约 20400 小时芬兰广播音频上比较 4 种递增过滤策略后，神经网络语音活动检测加语言标识用 42.3% 数据带来最高 12.7% 绝对词错误率下降，但能量法过滤反而有害且越 selective 的策略在 8 个非语音任务中通用音频理解下降最多 9 个百分点。

论文用冻结语音自监督模型的分层聚类信息量与下游可学习层权重的排序比较，证明在 10 分钟监督下对比式模型的权重分布能系统反映预训练音素与词信息结构，而 1 小时监督与聚类式目标会削弱这种对齐。

该文解决流式语音识别词流需要即时转写为书面形式的问题，用预训练文本到文本模型加读标写策略把生成限制到完备跨度，在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%，代价是仍缺未来上下文且长跨度需等待完备。

针对预训练模型双分支特征尺度不一致与均值教师固定更新不稳定问题，该文用时间自相似一致约束同步双分支演化轨迹、用基于参考损失的自适应更新稳定教师，并在 DCASE 2024 任务 4 上以 0.541 PSDS1、0.768 mpAUC、1.309 Score 取得最优，但第二阶段同时使用两项改进时 PSDS1 出现小幅回落需靠跨阶段融合弥补。

针对单条一秒短语音说话人确认性能崩塌问题，论文在 WavLM 与 ECAPA-TDNN 之间插入可学习的向量档案映射模块，在相同一秒训练条件下把 Vox1-O 等错误率从 10.346% 降到 8.342%，代价是对三秒长输入做多余补偿导致性能回落。

MIDIBack 把自动音高校正做成在统一符号序列上结合伴奏预测人声音符的任务，报告显示完整训练下总体 RPA 为 78.6%，而去掉伴奏后 Outshift 下 RPA 从 81.5% 降到 35.8%，代价是评估仍基于转录伪目标和合成走音而非人耳听感。

针对单通道自监督音频编码器空间盲的问题，Bearings 用掩码重建方向场与双尺度扩散度学习可复用的声场嵌入，冻结拼接后在两个 SELD 数据集上把位置相关 F 值从 4 以下提升到 40 以上，代价是仍需轻量融合头训练且部分指标未超越联合训练模型。

针对 27 人、每人不足半小时数据的封闭 50 句表面肌电解码任务，论文用已发布单被试检查点初始化、多被试预训练再加目标被试微调达到 21.7% 字符错误率和 31.9% 词错误率，而 3 分钟校准与约 13 分钟全量校准无显著差异，但评估句一旦从所有训练数据中移除则退化到 78.6% 字符错误率。

论文用可独立控制的 FormulaBank 把程序化规模拆成公式类覆盖 C 与类内渲染多样 I，在 FDSL 与 AudioMAE 对照中显示两者收益不同且依赖学习形式，匹配的 AudioMAE 实验显示程序化音频偏好 10–25% 低掩码而 AudioSet-28K 偏好 50–75% 掩码，代价是结论限于全量微调与特定模型流程。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对法语语音自监督编码问题，论文用 data2vec 2.0 式师生预测潜表示并引入 10 万小时 INA 电视广播音频，语音多任务上达到或超过 LeBenchmark 基线，但 114k 小时在大模型上在 CommonVoice 验证集未继续降低词错误率。

针对一秒脉冲响应要估计数千个密集模态的问题，该工作用音频频谱变换器看全局结构、用动态模态分解提供局部衰减先验，在 1000 条验证上把总相对误差从 1.976 降到 0.867，但增益误差仍高达 0.907 且模态计数偏差仍大。

论文以 6 至 32 个月婴儿视角的纵向音视频为唯一感官来源，构建视频话语、图像话语与多轮交错三种预训练数据并从零训练紧凑视觉语言模型，再以新发布临床工具为依据建成十任务基准，证据显示小模型可在部分认知任务上接近大模型但域外泛化与未见任务仍明显受限。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读