多模态学习

针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题，CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道，在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms，但高剪枝率与单次剪枝加微调仍是主要代价与边界。

针对对话中同一说话人情绪渐变难分的问题，论文提出情绪惯性感知的监督对比学习模块 EII-SCL，用动态惯性窗挑选难负样本并联合交叉熵训练，在 IEMOCAP 和 MELD 上提升可复现骨干，最强加权 F1 达 74.01%，代价是引入注意力窗与对比温度等额外超参数。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

针对用户自定义关键词中仅差一两个音素的易混对，KFC-KWS 用 CTC 峰值后验选出音素关键帧再与全句表示做跨模态融合，在 LibriPhrase 上报告平衡 AUC 98.73% 与困难集 AUC 97.65%、EER 7.75%，代价是在简单集上略逊于全序列匹配。

针对看图说话中的痴呆检测问题，该方法用 Whisper 同时取声学表示与转写文本，再用大模型抽取可解释语言特征并门控融合，在 ADReSS 和 ADReSSo 上报告 F1 为 89.47% 和 90.14%，代价是依赖外部大模型接口且仅验证了英语看图任务。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该研究用 FinnAffect 自发芬兰语语料和 127 种文本加音频特征组合做效价与唤醒度回归，证明双模态组合把效价 CCC 推到 0.428 而唤醒度仍以音频为主达到 0.688，代价是可解释词典与句法特征单独解释力很弱。

针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题，MF-EDM 先用带多模态锚节点的句内图做融合，再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响，在四个多语言基准上取得最高加权 F1 与准确率，但完整模型在部分惯性子集上略低于单路径，说明跨说话人消息有时会稀释连续性信号。

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性，MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失，在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回，但文本到音频方向存在不对称与轻微代价。

该研究针对语音语言模型同时接收文本与音频时的越狱鲁棒性问题，提出同时优化文本后缀与音频扰动的联合攻击 JAMA 与分步近似 SAMA，在四个模型上报告联合攻击比单模态高 1.5 至 20 倍而分步版本快 4 至 6 倍，但长音频候选评估与可微特征提取等条件限制了其适用范围。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。

针对动态说话视频中唇同步线索不可靠的问题，该工作用说话人距离与语音能量的物理一致性做检测，在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益，代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。

针对音频与文本多对多、粗细粒度共存的问题，ProLAP 把每个输入表示为高斯分布并用包含损失约束层级，在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好，但遮挡构造与合成评测带来适用边界。

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。

该研究用音频加文本加图片描述任务图像的三路融合回归预测 MoCA 与 MMSE 分数，最强证据是图片描述任务上 E6 达到 MoCA 均方根误差 2.11 与 MMSE 均方根误差 1.85 左右，代价是小样本波兰语队列、无外部验证且视觉接地只适用于图片描述任务。

针对噪声混响下唇视觉与声学对齐不稳的问题，论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取，在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益，代价是两阶段流水线与令牌预测精度依赖。

该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集，并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线，报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。

论文在受控晚融合下比较梯度与损失两类平衡方法，报告其均未稳定超过简单拼接基线，并用合成诊断与全局权重上界说明训练拟合信号不能代替留出集判别价值判断，代价是逐样本最优仍有约 8 个百分点结构余量未被利用。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对 360 度视频加单声道全指向声缺失方向分量的问题，论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道，在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量，但噪声与重叠声源下仍不稳定。