多模态学习

针对影视长视频、多说话人和音画不同步问题，CineSRD 先用视觉锚点聚类注册说话人再用音频语言模型做轮次检测与幕后补充，在 SubtitleSD 上报告更低的 DER 与 JER，代价是多阶段集成而非端到端且依赖人脸与字幕时间轴。

针对电影音轨要分成对白音乐音效的问题，CineSubNet 用稀疏编解码加 Transformer 分离并以 Whisper 加 BERT 字幕作语义先验，在 DnR 全系列上以 SDR 为指标超过 BandIt 等基线，多模态版本代价是参数从 23.5M 到 24.1M 而延迟基本不变。

针对卒中后失语命名中发音变异和多重尝试导致转写不可靠的问题，论文把判断改成音频与提示文本在共享空间的配对，用两组法语命名数据在留一说话人评估下报告最高 0.90 准确率，代价是仍需在失语数据上微调且重度损伤集上降到 0.85。

针对同一视频中语言、视觉、音频情感极性不一致时相似性对齐会扭曲共享语义的问题，论文提出冲突感知自适应交叉重构 CACR，用共享空间冲突分数加权交叉重构实现隐式对齐并以视听线索精炼文本，在 MOSI 上报告 ACC7 为 48.69、ACC2 为 87.04，代价是需要多组重构解码器与多项正则损失协同训练。

针对可穿戴 6 自由度声音事件定位与检测中混响和噪声破坏声学空间线索的问题，该文用信噪比与混响时间辅助监督学场景嵌入并以此控制音频-运动融合门，在 6DoF SELD 数据集上把聚合误差降到 0.265、相对静态融合降低 5.69%，代价是增加 18.6K 参数和 37.4M 计算量。

针对手势数据缺描述文本导致的语义先验缺口与音频加描述难以协调控制的问题，CoordSpeaker 先用动作语言模型离线生成多粒度手势字幕，再用统一表示的潜在扩散加分层去噪器实现语音节奏与字幕语义的联合生成，最强证据是推理耗时大幅下降与文本对齐指标领先，代价是部分重建指标未占优且长序列时序感知仍有限。

针对说话人视频中情绪编辑受限于离散标签和参考图像的问题，C-MET 用语音与表情空间的情绪语义向量差做跨模态回归，在 MEAD 上把情绪准确率做到最高，同时保留唇动与身份，且能处理训练未见的扩展情绪。

针对临床访谈数据少导致视觉编码器学不好，该工作用音频文本为条件合成视觉特征并与识别器联合优化，在 DAIC-WOZ 上 F1 达到 0.86、在 E-DAIC 上 CCC 达到 0.69，代价是依赖词级对齐与端到端联合训练的复杂度。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

针对单嵌入把声源与空间混在一起的问题，DISSE 在同一主干上接声源头与空间头并用弱配对监督对比学习，在保持在任务检索的同时把偏离任务检索压到接近零，但代价是依赖合成房间脉冲与因子标签且只冻结编码器训练投影头。

DyaDiT 针对双人对话中两路语音互相干扰和社会上下文缺失的问题，用正交化交叉注意力分离双路音频并以关系与人格为条件做扩散生成，在 Seamless Interaction 子集上报告了更低的 FD 和更高偏好度，但人格可控性仍受音频隐含线索干扰。

针对视频文本到音频中视觉压倒文本且缺少事件级可控定义的问题，论文提出事件中心分层控制任务、EchoFoley-6k 基准与免训练智能体 EchoVidia，最强证据是时间 0.72、音色 0.78、音量 0.75 可控性与人评指令遵循 3.80 同时领先基线，代价是依赖外部视频大模型与生成模块且需两速推理。

针对文本、视觉、音频三模态组合查询检索问题，OmniRet 用共享媒体重采样器压缩长媒体 token 序列提高效率、用注意力切片 Wasserstein 池化保留细粒度分布信息，在约 600 万对 30 个数据集训练下组合检索和音视频任务提升明显，而单向量压缩与有限主干仍是主要代价与边界。

EMMA 从视频、音频与图表时间序列联合反推显式参数、隐式动力学与坐标不变量，在 75 个 Delfys 视频与 rover、无人机及仿真图表上给出可仿真验证的参数，并以约 1.4 倍于基线的单轮耗时换取多参数与隐式建模能力。

针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题，EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理，在 DFEW 等基准上报告了最高分，但背景丢弃与长尾类别仍带来代价与不稳定。

针对文本主导、音频视觉被压制且噪声鲁棒性差的问题，EBMC 用解耦加补偿先增强弱模态、再用能量协调与样本级信任蒸馏拉平贡献，在 MOSI/MOSEI/IEMOCAP 上取得可复述的提升，代价是两阶段多损失联合调参与额外蒸馏计算。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对新房间仅给 1 至 8 条脉冲响应、深度与位姿时确定性方法无法表达声学不确定性的问题，FLAC 用潜空间流匹配加扩散变换器生成合理脉冲响应分布，并在 AcousticRooms 未见房间与真实 HAA 上以单样本超越 8 样本基线，但分布真实性与单步推理之间仍需权衡。

针对给定目标音色从预设库中找回最接近 DX7 预设的问题，论文用 SLAP 式音频参数联合嵌入加仿真调制信号流的 DX7-GNN 编码器，在未见拓扑上以 52.2% R@1 超过 Transformer 与 Highway 基线，代价是依赖算子交换增强与单音高单力度渲染条件。