多模态学习

针对只有全局共有与单模态私有两类表示会漏掉仅在两个模态之间成立的情感协同的问题，论文把表示分成公共、两两共享、私有三路并用子空间感知交叉注意力融合，在对齐与非对齐条件下报告了更低的平均绝对误差与更高的细粒度准确率，代价是更多分支与正则项需要逐项验证。

针对二语流利度评估中声学加文本的朴素双模态融合在转写含噪时会低于纯声学基线的问题，论文用声学自监督嵌入加 BERT 文本加六维心理语言学标记的三模态投影加 BiLSTM 融合恢复并超过基线，在 Speechocean762 上达到 82.60% F1、在 Avalinguo 上达到 95.84% F1，代价是依赖转写与三编码器拼接带来的额外计算量。

U-Mind 针对语音动作与语言推理难以同步且联合训练易损伤推理的问题，采用离散统一表示加分段对齐与排练式预训练加文本先行解码，原文报告在指令跟随上 FGD 为 5.12 并在消融中显示去文本先行后相关性降至 1.24，代价是动作细粒度受限于离散词表且数据配比依赖经验。

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

AV-Dialog 针对多人干扰下跟丢目标说话人与抢话时机错乱问题，用声学码加唇部视觉做流式理解与轮次预测，在干扰下把轮次预测准确率从 54% 提升到 79%，代价是双模型并行与视觉前视带来的额外延迟与显存开销。

针对对话中模态缺失切断细粒度跨模态因果链的问题，CaM-HG 采用先由历史条件混合专家补全再由非对称因果动态超图挖掘的路线，在 IEMOCAP 等 3 套基准上报告了高缺失率下更慢的衰减，但连续极端缺失与结构因果解耦仍是边界。

CMTD 针对纯文本与浅层推理在对话情绪识别中误判复杂思维模式的问题，用多智能体分别提取大五人格特质、四步认知扭曲、表情与语音描述再融合预测，在 MELD 与 IEMOCAP 零样本条件下报告优于同条件基线的准确率，同时以多轮大模型调用带来明显更高的时间与费用开销。

该工作用自发语音同时检验阿尔茨海默病淀粉样蛋白阳性预测与原发性进行性失语三分类，对比拼接加注意力池化的 DMHAM 与词级对齐加门控交叉注意力的 CogniAlign，最强证据是西班牙语 SPIN 队列上 CogniAlign 加手工声学特征达到淀粉样预测准确率 83.86%，代价是 PPA 小样本三分类不稳定且手工特征在不同任务上时而冗余时而互补。

针对文本与音频信息量不等且离散分类忽略情绪远近的问题，EMART 以文本为主做音频参照融合，并用情绪轮角度约束对比学习，在 IEMOCAP 和 MELD 上报告了可复核的准确率与 F1 提升，但未引入视觉且依赖音频编码器选择。

针对多模态情感回归在测试时分布偏移下的适配问题，GMEL 用 vMF 混合建模潜在情感分组提供自监督，并用多尺度重 dropout 保持模态完整性，在三数据集五种跨域设置上报告平均 ACC 提升 2.53 个百分点、F1 提升 3.70 个百分点、MAE 降低 0.05，代价是需离线访问全部目标数据并估计分组数。

论文用语音大模型提示打分与 COMET 加音频回归两条路线检验源语音是否有用，在 IWSLT 2026 开发集上报告音频未稳定超过纯文本，而错配音频不掉点与技术内容占比高揭示了数据与建模代价。

针对带背景声的语音合成中可懂度与场景一致性难兼顾的问题，ImmersiveTTS 用双流扩散 Transformer 做联合注意力交互并以语音与音频双教师做表示对齐，在 25 步采样下取得更低词错率与更好音频保真度，代价是对双重引导强度敏感且训练依赖人工混合数据。

针对神经音频编解码器重合成的印度语伪造语音检测难泛化问题，论文构建多语言多编解码器基准并提出双阶段双曲对齐的检测框架，在域内与跨库迁移上报告更低等错误率，但以双编码器与大语言模型解码器开销为代价。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

论文用同一轻量三流分类器穷举声学、韵律、文本七种组合，发现声学加韵律在相同训练下取得最平衡的准确与延迟，而加入文本只增加抢话误报且不能提升性能。

针对噪声导致语言结构坍塌与语义模糊，论文提出 Speech-MLM 用频谱视觉结构、复述文本语义与门控跨模态融合做重建，在多噪声集上报告词错误率与语义相似度同步提升，但多分支带来推理开销与复述质量依赖。

针对看图说话中词汇语义与发音 timing 互补但贡献不均的问题，LAPE 以大语言模型文本表示为锚，把停顿与拖长写进转写并做事件保持组块与门控融合，在 ADReSS 与 ADReSSo 的五折与留一被试评估中均取得最高准确率，代价是依赖词时间戳与多路语音特征的完整流水线。

针对多语长语音中逐帧搜索易累积系统性偏移的问题，该文把强制对齐改成在文本中插入时间槽并分类预测离散时间索引，报告在伪标签与人工标注上平均累积偏移大幅下降，代价是模型更大且实时因子略升、人工验证仅覆盖中文。