多模态学习

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

针对试内自发注意切换导致的脑电噪声与神经延迟问题，SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理，在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟，代价是依赖同步脑电与三阶段训练。

针对会议中重叠语音难分的问题，该文把 SRP-DNN 估计的波达方向作为显式辅助输入注入 S2SND 主干，并在 AliMeeting 上报告离线相对降低 7.4% 与结合通道注意力后超 19% 的改善，代价是依赖多通道估计与两阶段训练。

该文用实时磁共振影像直接估计梅尔谱并合成波形，问题是未见说话人能否不依赖参考语音保留语言内容，方法是用跨模态说话人嵌入引导影像分支学习说话人特征，最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近，代价是绝对基频和同性别说话人区分仍受限。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

针对非侵入感知语音解码中时空表征不足与跨被试泛化难的问题，论文提出融合 MEG 与 fMRI 并显式提取被试一致成分的 SICMD，以 43.5%、82.7% 和 93.4% 的 Top-1、Top-10 和 Rankacc 报告最高性能，代价是仍需目标被试的个性化微调与双模态配对数据。

针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题，Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索，域内匹配最优且听感偏好达 85.1%，代价是 53M 模型与随预算增长的测试时计算。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知，最强证据是法语组尽责性多模态准确率 67.1 的分类结果，代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。

针对需要在混合声源和时间变化上做多步取证的音频问答，VISA 选择不做重编排智能体而是把大音频语言模型当工具，辅以声学描述、事件定位与频谱视觉线索并用投票加细粒度路由稳定输出，最强证据是在官方终榜以 77.40% 准确率居首、推理质量 66.23% 居第二，代价是多模型多次采样与视觉分析带来的系统复杂度。

论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题，用解耦的线索前端与分离器主干实现可配置组合，并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性，主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。

针对雅思口语四项评分标准互相干扰且转写会丢失韵律信息的问题，该工作用直接处理音频的多模态语音大模型做四个分工智能体加总审校对，在 270 段 22.63 小时模考数据上比回归基线更贴近考官打分，但 30B 稀疏模型并未随规模提升且系统未公开代码数据。

针对耳戴设备模数转换器功耗高的问题，CAPS 把采样降到 4 kHz 与 8 比特等次奈奎斯特条件以省电，再在手机端用频谱增强、上采样与幅相增强级联重建宽带语音，直接报告在 Pixel7 上 55.11 ms 推理与约 3.31 倍耳端省电，代价是手机端约 1.15 W 的恢复功耗与未评估加密和编码的影响。

针对气导易受噪、骨导带宽受限而融合模型又难上穿戴设备的问题，CCAP 用双路零掩蔽相对多模态响应的保持度给卷积通道打分并剪掉低分通道，在 TAPS 上多架构保持 PESQ 与 STOI 的同时把 50% 剪枝 LAU-Net 在 Cortex-M7 上的延迟降到 87 ms，但高剪枝率与单次剪枝加微调仍是主要代价与边界。

针对对话中同一说话人情绪渐变难分的问题，论文提出情绪惯性感知的监督对比学习模块 EII-SCL，用动态惯性窗挑选难负样本并联合交叉熵训练，在 IEMOCAP 和 MELD 上提升可复现骨干，最强加权 F1 达 74.01%，代价是引入注意力窗与对比温度等额外超参数。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

针对用户自定义关键词中仅差一两个音素的易混对，KFC-KWS 用 CTC 峰值后验选出音素关键帧再与全句表示做跨模态融合，在 LibriPhrase 上报告平衡 AUC 98.73% 与困难集 AUC 97.65%、EER 7.75%，代价是在简单集上略逊于全序列匹配。

针对看图说话中的痴呆检测问题，该方法用 Whisper 同时取声学表示与转写文本，再用大模型抽取可解释语言特征并门控融合，在 ADReSS 和 ADReSSo 上报告 F1 为 89.47% 和 90.14%，代价是依赖外部大模型接口且仅验证了英语看图任务。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该研究用 FinnAffect 自发芬兰语语料和 127 种文本加音频特征组合做效价与唤醒度回归，证明双模态组合把效价 CCC 推到 0.428 而唤醒度仍以音频为主达到 0.688，代价是可解释词典与句法特征单独解释力很弱。