多模态学习

K-DIALECT 针对参考音频稀缺的韩语方言合成问题，用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律，并以 FiLM 融合生成语音，在六种方言上以主观方言流利度和自然度领先语音基线，代价是说话人相似度仍低于有参考音频的 XTTS-v2。

针对抑郁相关模式在语音中稀疏分布的问题，该研究用自适应跨模态门控对声学帧和文本词元重新加权，在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1，同时可视化显示门控偏向低能量语音和消极词汇，但预训练模型冻结与聚合口径等细节仍需按原文条件理解。

在相同训练条件下比较声学、韵律、文本七种组合，声学加韵律以 utterance F1 0.93、7.8% 误报、400 ms 中位延迟取得最佳平衡，加文本反而增加抢话且不提升性能。

针对音频序列冗长稀释双模态融合的问题，论文用码本感知的 PoolingVQ 按局部变化强度做自适应池化，在 EMOPIA 上宏 F1 达到 0.8955、在 VGMIDI 上达到 0.6018，代价是引入码本大小与池化规则等需调参的压缩环节。

针对语音、文本、视频情绪标签经常不一致的问题，MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断，在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1，代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题，论文提出只训练约 64k 参数的 Light-DMF 分离融合结构，用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断，并在 Intel Core i7-5600U 上以 1 分钟音频需 …

针对歌唱质量评价中歌词与音乐脱节、颤音与拖腔导致转写错位的问题，论文提出按语义块对齐的内容与音乐双路框架 MUSICJUDGE，在自建 SWARALYRICS 上取得与专家排序 Spearman 0.683 的报告相关性，代价是依赖伴奏估计全局调性与多步流水线实现。

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

针对 3-5 分钟英语口语考试多标准评分问题，M-LAMA 用分段音频建模加题目感知文本编码加双向跨模态融合与三阶段训练，在约 8.6 万会话数据上把多模态 Acc@1 做到 90.82% 而单模态仅 49.30% 与 43.46%，代价是依赖私有考试数据与冻结大编码器加小批量训练。

针对大音频语言模型在中间层重文本轻音频的注意力失衡，MATA 在推理时只放大末位查询对音频键的原始注意力分，MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%，代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

MER-Live 针对离线评测与实时交互脱节的问题，选择以韵律驱动的轻量语音分支为主、视频与文本做置信度加权迟融合，用 10 折 IEMOCAP 上音频 74.03% WA、融合超 83% 为证据，代价是实时 3 秒窗精度上限约 60% 且需 TensorRT 与浏览器条件配合。

针对级联多说话人识别中分离残留导致串话被转写的问题，该文用独立日志模型做声学验证并经三重一致才剪词，在高泄漏子集上报告最高约 29% 相对 cpWER 下降，代价是依赖词级时间戳与相似度门限且联合分离-日志结构泛化不稳。

论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题，用解耦的 GRU 时序融合对照证明上下文与门控的增益，并以扰动遮挡验证非平稳性，代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。

针对正面视角假设在转头时失效的问题，该工作用多视角张量融合在训练期学习跨视角唇动关联，单视角测试平均 15.718 dB，最强证据是比正面训练对照高 1.616 dB，代价是训练需同步多视角视频与少量额外计算。

MuVAP 针对单通道音频加单视角视频的多人轮替问题，用角色相对投影把任意人数压缩为当前与下一持有者两角色，并用因果视听轨迹锚定全局声学预测，在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测，但历史窗依赖与类别不平衡带来延迟与偏置代价。

该研究用 175 人的真实护理对话检验自然语音能否补充结构化病历做早期认知损害检测，最强组合达到 AUC 0.92 与 F1 83.08，代价是更长录音、缺失插补与小样本解释的局限。

在只用内容与专家判断、不吃听众行为的音乐发现栈上，论文把 38.17% 否决拆为声音与语境两类并分别送入候选过滤与表征重加权，两轮 1200 次评审把否决率降到 28.83%，但两次机制同批上线因而只能做算术归因。

针对 4 人并发下单线索易选错人的问题，NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合，在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取，代价是依赖同组说话人且试验内划分的评测条件。

针对强噪声下轻量声学麦克风增强容量不足的问题，LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈，在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78，代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。