对比学习

针对电子喉语音与正常语音差异大导致序列到序列转换表示不稳的问题，论文用第一阶段语音文本对比对齐加融合、第二阶段把融合表示作为固定教师蒸馏给纯语音编码器的方法，在两个小规模日语患者数据集上优于纯语音和普通多模态基线，但结论只在原文的数据划分、合成数据增强和评价工具条件下成立。

论文针对联合生成的音画不同步问题，用 80K 条专业同步评分和两阶段奖励模型做评测与优化，在自建 1K 基准上与人类最一致，但只优化同步可能牺牲提示词保真度。

针对眼镜超声静音识别配对数据难收集的问题，论文用语音克隆 TTS 加两阶段生成器从文本合成回波包络与条纹，并在 104 小时合成数据预训练后把词错误率从 25.9% 降到 23.6%，叠加故障会话与解码后到 14.9%，代价是需要 TTS 语音、两阶段对抗训练与语言模型重打分。

论文针对融合模型从双模态到三模态时性能下降的模态抑制问题，提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave，并在四个数据集上以全排序检索验证效果与开销。

论文把同一角色换演员和同一演员演多角两种混淆拆成可评分的验证条件，用 85 个经人审核的配音角色建成 KyaraBench，并用跨演员正样本加同演员难负样本训练 KyaraEmbed，在角色相关条件下取得表中最好成绩，但结论只限于日本动画及英配范围。

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

针对同一融合通路难以适应不同输入证据组合的问题，InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐，在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果，但结论只在固定预提取特征与官方划分条件下成立。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

针对图文音视频混合检索中通用语义与模态特性难分离的问题，Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡，3B 整体 Hit@1 达 49.4%，代价是专家路径推理时不能合并带来延迟增加。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

该工作把合成语音归因做成基于样例比较的可解释分类，在 MLAAD 英语训练下用架构族标签达到 99.65% 平衡准确率并支持跨语种与开放集拒绝，但原型冗余与说话人覆盖不足仍是主要代价。

针对预测层分支分配隐式的问题，BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征，在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线，代价是增加约 0.1M 量级的门控参数与训练期对比正则。

针对流式语音转换中说话人验证嵌入抑制帧级发音差异的问题，VOSSA 冻结内容编码器并从其中间层聚合说话人嵌入，与重建加转换双路径联合训练，在保持可比质量与可懂度的条件下减少约 19% 参数并改善音高与共振峰保持。

针对从混合音乐中检索库中相似分轨的问题，Stembed 用四个槽嵌入分别表示候选分轨并以匹配后的对比损失训练，在 MoisesDB 三轨检索上以 56.8% 全库 R@1 超过单嵌入 CIR 基线 23.6%，代价是需要匹配、存在分数和槽数等额外机制。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

针对开放词表关键词检测中对比学习只管排序不管绝对阈值的问题，CORD-KWS 在保持双编码器余弦打分与 O(1) 注册的同时加入单调校准头、CTC 顺序辅助与语音学难负例，在 LibriPhrase 上报告 easy 0.43% 与 hard 9.64% 的 EER，代价是 hard 导向的 BCE 使 easy 出现小幅回升。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对合成语音能演而公开评测只能判六到九类基本情绪的问题，该工作用 40 情绪专家标注与 57 维说话风格探针构建野外基准并配以 Emolia 大规模训练数据，VoiceCLAP-Large 在 VoiceNet-Emo 上达到 0.702 的按提示校准平衡准确率，代价是阈值需事后校准且 Ext 子集一致性仍在机遇水平。