对比学习

本文诊断各模态嵌入研究在方法、综述与评测上相互隔离，提出以覆盖、可比、可组合三级能力衡量从转换到对齐再到联合嵌入的三条统一路径，并指出只有保留各模态特有结构并建立统一评测才能实现真正的全模态联合嵌入。

针对合成语音经扬声器播放再被麦克风录制后伪造痕迹被掩盖的问题，ReplayFactor 用自监督表示加声学先验融合与双属性多任务对比学习来分离来源与回放线索，在 EchoFake 开放集上把宏观 F1 从 60.99% 提高到 76.44%、等错误率从 11.86% 降到 3.05%，代价是需要四类标注和更大的联合训练开销。

EmbeddingGemma 2 用 271M 双向主干加视觉与音频编码器把交错多模态输入映射为 768 维单位向量，经文本预微调、多模态预微调和对比微调三阶段学习，在代码、图像视频文档和音频检索上建立新的参数效率前沿，且支持截断与量化部署。

针对人工标注少而编码失真多的问题，该工作用 PEAQ 感知前置特征接 ConvNeXt 做对比学习与微调，并用梯度回传解释失真类型和位置，代价是对非波形保持信号的评价能力受限。

AudioFM 要同时保留录音整体场景和时频细节，用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器，在 AudioSet 微调、冻结探测和跨数据集迁移上占优，但结论只在 16 kHz 单通道和所用划分下成立，且局部监督带来预测器与大批量训练代价。

本文把冻结 backbone 后的输出域从单位球面换到概率单纯形，用轻量适配器加 softmax 与 Total Variation 相似度做对比学习，在五个音频文本与图文检索基准上把质心 l2 间隔缩小 97-99% 且保持 NDCG@10。

论文把音频配对的元数据来源本身当作干预，用四种配对轨迹证明正确配对能提高档案找回和属性可解码性，但匹配后的疾病预测增益仍不确定，且代价是需要严格的协变量匹配与锁定流程。

针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题，CoupleFlow 只用脑电与语音随时间共变做判决，并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律，代价是短窗绝对准确率仍不高且依赖记录信噪比。

论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题，构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准，并提出单次编解码完成多尺度时频建模的 Falcon，其编码器空间对比损失在推理零代价下抑制近场泄漏，在多集上达到最优分离质量并大幅降低参数与延迟。

论文用统一框架 UniPRO 固定编码器和训练条件后比较融合顺序，发现逐个融合优于堆叠融合且顺序本身影响召回，并用缺失难度与查询相关信息保留来解释和预测顺序选择，但结论只在所测数据集与协议下成立。

论文用 1383 段 coda 研究把点击间隔节奏和对数梅尔频谱分开编码再融合能否同时保留群体、类型和个体信息，主证据是随机划分下融合表示的宏 F1 为 0.901/0.865/0.597 而纯间隔特征在类型上仍高达 0.987，代价是按录音日期分组后性能明显下降且个体识别仍不如简单的间隔加时序梅尔拼接特征。

论文用 11 种人声混音问题在多严重程度上的合成课程训练 MixJudge，使其能按语言指定的问题评价混音状态，并在 88 组真实人声菜单选择中更常挑出声学上更接近专业版的候选，代价是只覆盖单声道人声与伴奏关系且依赖合成课程。

针对混合样本监督错位和固定角度间隔问题，PerMix 用随主导类比例缩放的间隔预测扰动比例并配合主导类对比学习，在 DCASE 2020 上取得最好平均结果，代价是每轮训练时间增加约 3.3%。

针对复调音频中混合表示与成分表示关系未被显式约束的问题，MiCLA 用对数梅尔谱凸插值构造合成混合并做双向残差对齐，在 AS-20K 微调取得 43.2% mAP 且冻结探测下保持可检索的双成分信息，但结论只在 AudioSet 类分布与两源合成混合条件下成立。

针对通用语音编码器缺少可见发音几何约束的问题，CASE 用韩语语音-唇部网格对做短片段对比适配，再以残差交叉注意力把纯音频互补特征注入四种原有动画生成器，在英文 VOCASET 上把唇部顶点误差平均降低 2.8-6.0%，代价是增加约 132-135 MB 显存和额外端到端延迟。

SynerGest 针对双人对话手势生成，用双路音频条件、对比流匹配和脉冲-趋势解耦注意力，在两个公开数据集上取得更好的运动真实感和节拍对齐，但结论只在原文的数据处理和基线适配条件下成立，且加速主要来自 8 步 ODE 而非注意力本身变快。

论文用只看旋律的轮廓检索系统研究口哨和错词演唱两种查询，三代合成查询把合成集首位命中率提高约 7 个百分点却都没有改善真实口哨，而在已知 8 首歌的封闭集内用真实口哨微调才从 0.631 提高到 0.673。

论文研究语音语调与文本语义矛盾时的语音情感识别，提出用对抗合成数据诊断语义偏向并用解耦结构保留声音证据，在对抗与常规场景下以声音准确率为主要证据，同时保留了超参数与适用条件的限制。

论文把向后兼容写成对旧嵌入器链的高检出与对链外嵌入器的高拒绝，用加权采样保链内检出、用角度多样性损失保版本边界，八个版本上把链外拒绝从约一成恢复到近百分之百且听感质量不变。

论文把听故事时的 fMRI 解码做成片段检索，用七帧时间卷积解码器 NOEMA 对齐文本加音频加语音三路目标，在两个数据集约 2000 候选中 Top-10 准确率超过 42%，代价是约 2.5 亿参数与被试内训练。