对比学习

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

该文把攻击溯源做成验证问题，用自监督前端加角度间隔与混合正则训练与训练集完全隔离的嵌入器，在分布内用少样本后端取胜而在分布外用零样本余弦取胜，但两类等错率仍在 13% 至 30% 量级。

针对音频与文本交替出现的多轮上下文检索，论文构造统一 ATIR 基准并训练带音频令牌选择器的双编码器 ATIR-Qwen-3B，报告平均 78.86% Recall@1 和 85.09% nDCG@5，最强对照下仍保留打乱交织结构即下降的反证，代价是两阶段微调与选择器阈值调节。

针对神经退行性疾病语音监测中临床量表噪声大与小数据难复用的问题，论文提出只要求预测分数服从样本间排序的比较器损失，在仅用自报三级标签训练的条件下得到与 ALSFRS-R 等未见标注相关的严重度分数，其代价是分数绝对值无标定且对录音条件偏移敏感。

针对首尔韩语重音短语连续基频难以对应离散声调类别的问题，论文用双分支有监督对比学习整条轮廓的整体形状，在 10093 个短语上达到准确率 77.75% 与宏 F1 值 51.54%，代价是稀有类别与长低平尾音仍易混淆。

针对文本与音频信息量不等且离散分类忽略情绪远近的问题，EMART 以文本为主做音频参照融合，并用情绪轮角度约束对比学习，在 IEMOCAP 和 MELD 上报告了可复核的准确率与 F1 提升，但未引入视觉且依赖音频编码器选择。

针对长语音问答中大音频语言模型难以直接处理十几分钟以上上下文的问题，论文提出先把语音转成类文本表示再做对比检索的 CLSR，用四个数据集的召回对照和长文问答的抽取验证支撑该路线，并以联合训练三项损失与冻结文本编码器为代价。

针对包含速度调性和弦的细粒度音乐检索，FIGMA 冻结 MuQ 与 E5 双编码器只训练投影头并联合全局与帧级对比损失，在 MusicBench 与 FMACaps-Eval 上报告最高 73.3% 相对提升，代价是依赖自动特征提取与单句客观描述的构造流程。

针对片段级描述数据量大但无时间信息与帧级短语标注稀少难同训的问题，FineLAP 用全局与细粒度解耦音频适配器加片段与帧双流 Sigmoid 损失同训，在 AudioCaps 检索 R@1 取得 45.7 与 62.5 并在四组声音事件检测上领先，代价是固定 10 秒输入与合成数据分布偏差仍待验证。

针对多模态情感回归在测试时分布偏移下的适配问题，GMEL 用 vMF 混合建模潜在情感分组提供自监督，并用多尺度重 dropout 保持模态完整性，在三数据集五种跨域设置上报告平均 ACC 提升 2.53 个百分点、F1 提升 3.70 个百分点、MAE 降低 0.05，代价是需离线访问全部目标数据并估计分组数。

针对印地语、孟加拉语、马拉地语语音转写中填充词与重复修复残留问题，论文用 MuRIL 词级标记引导指令微调并以对比损失惩罚复现不流利词，在人工校对与真实口语两类测试上取得一致提升，但真实集规模小且仅验证 3B 量级模型。

针对单向量语音嵌入把内容与说话人混在一起的问题，该工作用共享声学编码器加分轴线性投影头做因子分区嵌入，并用带符号加权余弦实现可控检索，最强证据是跨语料库语义检索在加入说话人辅助任务后从近随机恢复到上限，而代价是纯语义蒸馏会坍缩且梯度反转与降维会破坏负权重几何。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

OEA 用冻结多模态大模型加 LoRA 统一编码文本与音频，在文本到音频上与 M2D-CLAP 接近，在文本到文本与硬负例排除上明显占优，代价是更大的显存与离线音频编码开销。

针对呼吸音频编码与临床文本编码语义不兼容的问题，RespiraMFM 采用先对比训练投影器再冻结做指令微调的两阶段结构，在九个呼吸疾病任务上报告了监督平均 AUROC 0.823 与零样本平均 AUROC 0.738，代价是依赖症状元数据质量且小病种评测样本较少。

SLAP 针对语音中人口学、嗓音质量与健康属性难以零样本推断的问题，选择用大语言模型把异构元数据转写为自然语言描述再与语音做对比学习，最强证据是 38 个二分类任务上零样本平均 F1 达到 62.9%，代价是预训练数据仍不均衡且小测试集任务波动大。

针对现代语音整体质量高但损伤只出现在局部而难定位难分类的问题，该工作用部分混合生成帧级伪标签并加帧级监督对比损失训练双头帧级模型，在域内与域外混合数据上把嵌入检测做到交集面积 0.91 左右，代价是多重并发损伤下类型纯度下降且干净帧取舍需在检测稳定与聚类纯度间权衡。

针对粗粒度标注刻画不了语速情感韵律时变的问题，论文用直接听音频写细粒度描述的 FCaps 数据与分两阶段做全局加细粒度对比学习的 CLSP 模型，在检索与人评一致性上报告更强证据，代价是仅英文与大规模算力依赖。

共收录 1 篇 aistats-2026 会议论文的 Reader 深度解读

该工作把长片搞笑片段抽取拆成镜头检测、视觉加文本的场景合并、笑声加长文本幽默判断加不当内容过滤与排序四步，用 MovieNet-SSeg 指导的三元组预训练和 10 句 ColBERT 在 OVSD 上提升 18.3% 的 AP、在 MHD 上达到 0.834 的 F1，代价是预告片快切下场景结尾准确率下降与文本分支目前只支持英文。