多模态学习

论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题，用解耦的 GRU 时序融合对照证明上下文与门控的增益，并以扰动遮挡验证非平稳性，代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。

针对正面视角假设在转头时失效的问题，该工作用多视角张量融合在训练期学习跨视角唇动关联，单视角测试平均 15.718 dB，最强证据是比正面训练对照高 1.616 dB，代价是训练需同步多视角视频与少量额外计算。

MuVAP 针对单通道音频加单视角视频的多人轮替问题，用角色相对投影把任意人数压缩为当前与下一持有者两角色，并用因果视听轨迹锚定全局声学预测，在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测，但历史窗依赖与类别不平衡带来延迟与偏置代价。

该研究用 175 人的真实护理对话检验自然语音能否补充结构化病历做早期认知损害检测，最强组合达到 AUC 0.92 与 F1 83.08，代价是更长录音、缺失插补与小样本解释的局限。

在只用内容与专家判断、不吃听众行为的音乐发现栈上，论文把 38.17% 否决拆为声音与语境两类并分别送入候选过滤与表征重加权，两轮 1200 次评审把否决率降到 28.83%，但两次机制同批上线因而只能做算术归因。

针对 4 人并发下单线索易选错人的问题，NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合，在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取，代价是依赖同组说话人且试验内划分的评测条件。

针对强噪声下轻量声学麦克风增强容量不足的问题，LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈，在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78，代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

针对试内自发注意切换导致的脑电噪声与神经延迟问题，SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理，在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟，代价是依赖同步脑电与三阶段训练。

针对会议中重叠语音难分的问题，该文把 SRP-DNN 估计的波达方向作为显式辅助输入注入 S2SND 主干，并在 AliMeeting 上报告离线相对降低 7.4% 与结合通道注意力后超 19% 的改善，代价是依赖多通道估计与两阶段训练。

该文用实时磁共振影像直接估计梅尔谱并合成波形，问题是未见说话人能否不依赖参考语音保留语言内容，方法是用跨模态说话人嵌入引导影像分支学习说话人特征，最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近，代价是绝对基频和同性别说话人区分仍受限。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

针对非侵入感知语音解码中时空表征不足与跨被试泛化难的问题，论文提出融合 MEG 与 fMRI 并显式提取被试一致成分的 SICMD，以 43.5%、82.7% 和 93.4% 的 Top-1、Top-10 和 Rankacc 报告最高性能，代价是仍需目标被试的个性化微调与双模态配对数据。

针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题，Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索，域内匹配最优且听感偏好达 85.1%，代价是 53M 模型与随预算增长的测试时计算。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知，最强证据是法语组尽责性多模态准确率 67.1 的分类结果，代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。

针对需要在混合声源和时间变化上做多步取证的音频问答，VISA 选择不做重编排智能体而是把大音频语言模型当工具，辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出，最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二，代价是多模型多次采样与视觉分析带来的系统复杂度。

论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题，用解耦的线索前端与分离器主干实现可配置组合，并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性，主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。

针对雅思口语四项评分标准互相干扰且转写会丢失韵律信息的问题，该工作用直接处理音频的多模态语音大模型做四个分工智能体加总审校对，在 270 段 22.63 小时模考数据上比回归基线更贴近考官打分，但 30B 稀疏模型并未随规模提升且系统未公开代码数据。

针对耳戴设备模数转换器功耗高的问题，CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电，再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音，直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电，代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。