对比学习

DialoGen 针对双人对话手势同时生成问题，用权重共享的双路扩散加互交互估计保持同步，用监督对比学习的身份解耦风格引导保留个人风格，在 TWH 上报告了 FDg 1.18 与 FDk 2.33 的主结果，代价是仍依赖长风格样本与对话语音内容特征。

论文指出当前音频-视觉分割模型依赖视觉显著性而忽视音频，用 AVSBench-Robust 的正负音频对照和分类器引导的相似度学习把单源 G-mIoU 做到 87.672 并把负样本误激活压到近零，代价是正样本分割分数略有回落。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对音频频谱 token 远多于文本导致多模态 MoE 路由崩塌的问题，CoPRIME 用对比学习加 ELBO 路由与熵正则做音频文本对齐，在 MOSEI 和 IEMOCAP 零样本与少样本情绪任务上超过稠密与 LIMoE 式基线，代价是引入对比加 ELBO 加四个辅助损失共六项损失与两个权重的调参负担。

针对全局视觉条件丢失局部发声细节的问题，SS2A 用检测与跨模态翻译感知多模态声源，经单声源对比流形解歧义再用注意力混合生成，论文报告其在图像到音频的相关性与多源配比上占优，代价是依赖检测质量与预训练生成器且需单源数据训练。

论文研究给定旋律灵感与段落标签生成结构化乐段的问题，用结构三元组数据与双实例对比优化让小模型在结构契合上大幅超过直接提示与常规微调，但代价是依赖 POP909 流行乐标注与多轮构造流程且未建模整曲跨段发展。

针对自然混合音频直接生成图像会丢失多源语义的问题，MACS 采用先用 UNet 分离再用解耦交叉注意力生成图像的两阶段路线，在 LLP-multi 等多任务上报告了多项指标领先，但分离数固定与文本标签依赖仍是主要代价与边界。

针对语音内容音色情感纠缠与控制粗糙问题，MF-Speech 用三流编码器提纯离散因子再用动态融合与分层风格归一化组合生成，在多因子组合任务上报告 WER 为 4.67% 与 SECS 为 0.5685，但重建自然度与部分解耦指标仍有代价与边界。

针对只有音乐输入而缺乏动机控制的问题，MotivDance 用文本生成关键姿态作动机、自适应定位到音乐节拍再做扩散补间，在 AIST++ 稀疏关键帧上取得 FIDk 64.36 与关键帧误差 0.1211，但无关键帧时节拍对齐仍弱于部分基线。

针对情感、性别、年龄、语言等多副语言任务互相干扰的问题，ParaMETA 用共享 META 正则加任务独立子空间与原型对齐同时做分类与可控合成，最强证据是 LSTM 等骨干上 12/16 个骨干-任务组合最优与性别操控 100% 准确，代价是 META 正则增益不稳定且语言操控几乎无效。

针对多模态共有信息与私有信息纠缠且统一监督忽视模态差异的问题，PLUM-Net 采用多级语义对齐加原型单模态标签加双分支解耦加私有精炼的两阶段流程，在 CMU-MOSI 上报告 ACC-2 88.2%/90.3% 与 MAE 0.448，但严重类别不平衡与缺模态时性能可能明显下降。

针对多模态情感分析中忽视个性差异与浅层融合的问题，PSA-MF 用个性-情感对齐提取个性化文本情感再做多级融合，在 MOSI 和 MOSEI 上取得报告的最优结果，代价是依赖双 BERT 文本编码与多阶段融合结构。

针对多模态伪造中模态割裂与跨模态语义推理不足的问题，ConLLM 采用预训练模型分模态抽取加对比对齐与类 GPT 变换器精炼的两阶段结构，在音频、视频与音视频六个基准上报告了更低的等错误率与更高的准确率，但其增益依赖预训练权重与训练数据覆盖且推理代价仍需权衡。

针对文本、音频、视频情感分析中模态内结构丢失与跨模态语义错位问题，SSU 用句法与文本引导的模态图加全局语义锚与多视角对比学习统一融合，在 CMU-MOSI/MOSEI 上报告最高精度并以 0.3B 参数、0.015s 构图保持轻量，代价是依赖文本质量与句法解析条件。

针对多用户 OFDM 下多模态 Token 经 Modified Rapp 功放非线性失真导致任务精度与能效下降的问题，MAPS 用两阶段训练在嵌入空间联合优化跨模态对齐与均衡 PAPR 抑制，在 IBO=3 dB 时相对同条件基线获得约 64.5% AVQA 精度提升与约 64.4% 任务导向能效提升，代价是引入方差均衡与锚定重构等额外约束以稳定训练。

在 BEST-RQ、mel 与 chroma 重建和 CTC 构成的声学词汇基座上叠加音频描述对比对齐，并以配对内打乱对照与双读出冻结评测分离对应关系贡献，正确配对在三粒种子上使域均衡分类线性探针提升 4.66 点、序列感知 LLM 提升 2.59 点且每域均为正，其中线性增益的 87% 来自正确对应而非额外对比目标。

针对二元音频问答中模型因语言先验而虚报存在的幻觉，TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词，在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。

语音识别 | 7.4/10

音频检索 | 7.2/10

说话人验证 | 7.8/10