多模态学习

针对用户同句不同情绪难处理且情绪对话数据稀缺的问题，Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音，在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优，但细微混合情绪仍偏通用且依赖合成数据过滤条件。

针对语音到 3D 人脸跨模态映射难与级联误差大的问题，ES-3DF 用几何纹理解耦加双分支对齐与多槽记忆对比学习直接重建带纹理 3D 脸，在地标与身份特征指标上优于 CMP 与 VoiceStyle，代价是唇部等动态部位推断仍不适定且依赖受限数据集。

针对语音筛查轻度认知障碍易学到性别与语言捷径的问题，论文用跨模态融合对齐声文图线索并用梯度反转遗忘人口学信息，在 TAUKADIAL 和 PREPARE 上同时提升总体 F1 并缩小亚组差距，但探测显示残余人口学信息仍未清零。

针对语音抑郁检测中联邦非独立同分布、多模态不一致与成员推理泄露问题，FedMPA 用模态特异原型与指数滑动平均全局原型库加原型引导损失与混合推理，在 E-DAIC 上以 0.89 无加权平均召回和 0.52 成员推理曲线下面积取得 0.92 隐私性能分数，但仍只验证了黑盒置信攻击与单一数据集。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题，GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模，在 AIST++ 与 TikTok 上取得最高的节拍与质量指标，代价是依赖姿态与预训练编解码器且演示链接当前不可用。

针对端到端语音对话状态跟踪缺目标域语音的问题，论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线，在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距，但文本权重与大模型规模决定保留源域与提升目标域的折中。

K-DIALECT 针对参考音频稀缺的韩语方言合成问题，用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律，并以 FiLM 融合生成语音，在六种方言上以主观方言流利度和自然度领先语音基线，代价是说话人相似度仍低于有参考音频的 XTTS-v2。

针对抑郁相关模式在语音中稀疏分布的问题，该研究用自适应跨模态门控对声学帧和文本词元重新加权，在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1，同时可视化显示门控偏向低能量语音和消极词汇，但预训练模型冻结与聚合口径等细节仍需按原文条件理解。

在相同训练条件下比较声学、韵律、文本七种组合，声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡，加文本反而增加抢话且不提升性能。

针对音频序列冗长稀释双模态融合的问题，论文用码本感知的 PoolingVQ 按局部变化强度做自适应池化，在 EMOPIA 上宏 F1 达到 0.8955、在 VGMIDI 上达到 0.6018，代价是引入码本大小与池化规则等需调参的压缩环节。

针对语音、文本、视频情绪标签经常不一致的问题，MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断，在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1，代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题，论文提出只训练约 64k 参数的 Light-DMF 分离融合结构，用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断，并在 Intel Core i7-5600U 上以 1 分钟音频需 …

针对歌唱质量评价中歌词与音乐脱节、颤音与拖腔导致转写错位的问题，论文提出按语义块对齐的内容与音乐双路框架 MUSICJUDGE，在自建 SWARALYRICS 上取得与专家排序 Spearman 0.683 的报告相关性，代价是依赖伴奏估计全局调性与多步流水线实现。

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

针对 3-5 分钟英语口语考试多标准评分问题，M-LAMA 用分段音频建模加题目感知文本编码加双向跨模态融合与三阶段训练，在约 8.6 万会话数据上把多模态 Acc@1 做到 90.82% 而单模态仅 49.30% 与 43.46%，代价是依赖私有考试数据与冻结大编码器加小批量训练。

针对大音频语言模型在中间层重文本轻音频的注意力失衡，MATA 在推理时只放大末位查询对音频键的原始注意力分，MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%，代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

MER-Live 针对离线评测与实时交互脱节的问题，选择以韵律驱动的轻量语音分支为主、视频与文本做置信度加权迟融合，用 10 折 IEMOCAP 上音频 74.03% WA、融合超 83% 为证据，代价是实时 3 秒窗精度上限约 60% 且需 TensorRT 与浏览器条件配合。

针对级联多说话人识别中分离残留导致串话被转写的问题，该文用独立日志模型做声学验证并经三重一致才剪词，在高泄漏子集上报告最高约 29% 相对 cpWER 下降，代价是依赖词级时间戳与相似度门限且联合分离-日志结构泛化不稳。