多模态学习

针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题，MF-EDM 先用带多模态锚节点的句内图做融合，再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响，在四个多语言基准上取得最高加权 F1 与准确率，但完整模型在部分惯性子集上略低于单路径，说明跨说话人消息有时会稀释连续性信号。

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性，MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失，在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回，但文本到音频方向存在不对称与轻微代价。

该研究针对语音语言模型同时接收文本与音频时的越狱鲁棒性问题，提出同时优化文本后缀与音频扰动的联合攻击 JAMA 与分步近似 SAMA，在四个模型上报告联合攻击比单模态高 1.5 至 20 倍而分步版本快 4 至 6 倍，但长音频候选评估与可微特征提取等条件限制了其适用范围。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。

针对动态说话视频中唇同步线索不可靠的问题，该工作用说话人距离与语音能量的物理一致性做检测，在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益，代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。

针对音频与文本多对多、粗细粒度共存的问题，ProLAP 把每个输入表示为高斯分布并用包含损失约束层级，在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好，但遮挡构造与合成评测带来适用边界。

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。

该研究用音频加文本加图片描述任务图像的三路融合回归预测 MoCA 与 MMSE 分数，最强证据是图片描述任务上 E6 达到 MoCA 均方根误差 2.11 与 MMSE 均方根误差 1.85 左右，代价是小样本波兰语队列、无外部验证且视觉接地只适用于图片描述任务。

针对噪声混响下唇视觉与声学对齐不稳的问题，论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取，在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益，代价是两阶段流水线与令牌预测精度依赖。

该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集，并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线，报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。

论文在受控晚融合下比较梯度与损失两类平衡方法，报告其均未稳定超过简单拼接基线，并用合成诊断与全局权重上界说明训练拟合信号不能代替留出集判别价值判断，代价是逐样本最优仍有约 8 个百分点结构余量未被利用。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对 360 度视频加单声道全指向声缺失方向分量的问题，论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道，在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量，但噪声与重叠声源下仍不稳定。

该文把证据、可用性与质量信号拆开，用训练后冻结并打乱质量对齐的诊断检验决策层依赖，在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率，而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔，代价是需要全观测子集与标签才能计算结构诊断。

针对语音伪造检测只给真假标签而缺可核对解释的问题，该工作用冻结检测模型的可解释人工智能归因图加声学特征重要性约束多模态大模型生成时频定位解释，在 PartialSpoof 上以人工评分和定位保真度检验显示定位精度大幅提升，但多模型聚合会增加推理难度与不稳定性。

该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线，最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著，但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。

针对歌词可懂度主观感知与自动语音识别转写正确率不一致的问题，该工作把手工声学特征与 Whisper 编码器表示融合后用回归模型映射为连续分数，在 Cadenza 2026 人工标注数据五折验证上 CatBoost 取得均方根误差 27.367 与相关系数 0.654，代价是仍依赖参考文本的侵入式条件且未验证端到端与跨场景泛化。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

该研究针对语音认知障碍筛查中变换器不可解释的问题，选择在 SpeechCARE-AGF 筛查模型上叠加 SHAP 词归因、理论驱动语言特征与四阶段大模型推理，最强证据是测试集 AUC 86.83% 与 F1 72.11% 基础上的 70 例盲评一致率 98% 与可用性 82 分，代价是解释目前只覆盖语言分支而未解释声学分支。