对比学习

该文在 FME-24 上比较手工特征 k-Means 与 VaDE 加对比学习的情感检索，前者聚类更紧致而后者支持按坐标连续取歌，但两类结果都受样本少与情感区间压缩的限制。

该文把 TTS 来源追溯写成先判断是否见过再归属到具体系统的两阶段问题，用 Wav2Vec2-BERT 嵌入加 Proxy-Anchor 学习结构化嵌入空间，在 MLAAD v9 合并架构类上报告 99.76% 闭集准确率与 2.04% 的 FPR@95，代价是依赖手动合并架构与保留校准集调阈值。

针对单模态噪声与跨模态语义鸿沟，BYOAVP 以自监督音频增强对齐视觉语义、以动量原型约束做像素级分类，在 AVSBench 与 VPO 六个子任务上取得最优，同时需承担双分支注意力与原型维护的额外开销。

针对卒中后失语命名中发音变异和多重尝试导致转写不可靠的问题，论文把判断改成音频与提示文本在共享空间的配对，用两组法语命名数据在留一说话人评估下报告最高 0.90 准确率，代价是仍需在失语数据上微调且重度损伤集上降到 0.85。

该研究比较声学氛围驱动与歌词语义驱动的背景视频选择，提出在约 14000 个音乐视频上对比学习音乐视频联合嵌入并用束搜索做全局非重叠选段，最强证据是主观评价中声学方法在整体不自然感和转场连续性上显著优于歌词方法，代价是剪辑节奏与歌词具体指涉仍存在错位。

针对说话人视频中情绪编辑受限于离散标签和参考图像的问题，C-MET 用语音与表情空间的情绪语义向量差做跨模态回归，在 MEAD 上把情绪准确率做到最高，同时保留唇动与身份，且能处理训练未见的扩展情绪。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对单嵌入把声源与空间混在一起的问题，DISSE 在同一主干上接声源头与空间头并用弱配对监督对比学习，在保持在任务检索的同时把偏离任务检索压到接近零，但代价是依赖合成房间脉冲与因子标签且只冻结编码器训练投影头。

该研究用受控仿真对比卷积噪声与加性噪声对房间脉冲响应表征的影响，显示在能量交点附近截断卷积噪声并在增强时加入加性噪声能改善潜空间可分性与混响时间估计，而把过长噪声尾保留进训练会损害向真实混响语音的泛化。

针对文本、视觉、音频三模态组合查询检索问题，OmniRet 用共享媒体重采样器压缩长媒体 token 序列提高效率、用注意力切片 Wasserstein 池化保留细粒度分布信息，在约 600 万对 30 个数据集训练下组合检索和音视频任务提升明显，而单向量压缩与有限主干仍是主要代价与边界。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对按乐器算跨曲相似时仅用曲内三元组会学到重复线索的问题，该工作在预训练中按 1:1 混入曲内相似与三种信号处理相似度构造跨曲三元组，再用少量 ABX 偏好微调，并在 Slakh 四种乐器上用感知一致率验证，最强的 LocalTS+FPs 组合在 Clean 与 Cascade 下都提升了乐器平均分，但不同乐器最优线索不同且分离误差会改变行为。

针对音视频大模型中一个模态错误污染另一模态描述的跨模态幻觉，MAD 用免训练的两步流程先让模型自评问题需要音频、视频还是两者，再用权重调节四路对比解码，在 CMM 和 AVHBench 上提升 VideoLLaMA2-AV 与 Qwen2.5-Omni 的准确率，代价是每步需计算多组 logits 且依赖模型自身判断的可靠性。

论文用两阶段合成字幕数据引擎和覆盖八到十组跨模态对的对比学习训练 PEAV，在零样本声音音乐语音视频检索分类上取得最强证据，但代价是 92M 加 32M 数据与大音频编码器和长视频推理成本。

针对对比掩码自编码中随机可见块污染全局表示的问题，TG-DP 把重建与对比拆成两条掩码不同的前向路径并用全量教师做蒸馏与引导掩码，在 AudioSet 检索上把 R@1 从 35.2% 提升到 37.4% 和从 27.9% 提升到 37.1%，代价是每轮预训练时间从 730 s 增加到 1045 s 且推理前需丢弃教师分支。

针对 CLIP 固定提示 a photo of a 与音频嵌入 token 语义脱节的问题，SOUPLE 用图像特征经 Meta-net 生成的可学习上下文替代固定词，在 VGGSound-144K 训练下提升 VGG-SS 与 SoundNet-Flickr 定位与 AVSBench 单源分割，但在无类别监督的多源 MS3 上出现过分割代价。

针对短于两分钟与低信噪比录音中相关系数与归一化错位难以区分对齐与错位片段的问题，该工作用时域卷积编码器学习三谐波潜在表示并与原始相关分数线性融合做检索式时间戳估计，在跨电网训练与测试下把全部长度成功率从 77.63% 提升到 85.63%，短录音从 55.14% 提升到 73.14%，代价是仍依赖短时傅里叶提取与十五秒容差判定且长录音增益收窄。

该研究用三模型对比学习加包络重建做跨被试听觉注意解码，在 24 人移动脑电三种自然范式上 2 秒窗 61.4% 到 30 秒窗 79.1%，代价是依赖 5 秒训练窗与多特征音频编码且短窗绝对精度仍有限。

针对音视频时间同步被忽视且掩码自编码重建模糊的问题，SyncStream 用隐空间对比掩码自编码学紧凑对齐表示再用条件流匹配精修隐变量，在 VGGSound 上把分类准确率从 38.40% 提升到 49.14% 并降低音频重建误差，代价是两阶段训练与解码器深度需要权衡。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读