多模态学习

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

针对零样本跨语言语音阿尔茨海默检测，ORBIT 用双向交叉注意融合多语言语音与文本预训练表示并以多抽头对抗与球面-双曲共识聚类抑制语言信息，在 mHuBERT+Qwen3 组合上取得 LOLO 平均 86.98% 准确率与 85.29% 宏 F1，但希腊语转写依赖 Whisper-large-v3 生成且 LTLO 仍明显低于混合训练。

针对 vlog 抑郁二分类中特征高度重叠而标签只有 0/1 的问题，该研究用互 Transformer 做音视频融合再以优势加权排序损失同时拉开类间间隔与压紧类内方差，在 D-vlog 上 F1 为 77.66、在 LMVD 上 F1 为 77.01，但阈值需在验证集上重标定且尚未验证临床数据。

针对无声说话人视频的转录时间对齐问题，V-Align 把帧-音素相容格上的单调遍历作为核心结构，先无边界学习路径分布再用词级 MFA 精修，在 LRS2 上以 32.9 ms 与 91.2% 取得最优，但第二阶段仍依赖音频对齐监督且未公开可运行代码。

针对台语语音配繁体中文硬字幕的跨语言错位问题，该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架，把金标集字幕识别字符错误率从 36.8% 降到 9.3%，并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%，代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。

针对手腕动作相似但物体材质不同时惯性传感器难分辨的问题，AnomaSense 用只在无声动作上训练的异常检测器决定何时打开麦克风至多一秒并做掩码，在 15 人 20 类受控实验中把识别从惯性单模态的 78.98% 提升到融合无掩码音频的 96.89%，而 90% 连续掩码下仍保持 86.32%，代价是触发器相对声音事件的召回为 74.28% 且结论限于安静离 …

针对韩语流式倾听中声学停顿会误导应声的问题，该研究用停顿概率软加权把决策收拢到停顿附近，再用部分识别文本过滤问句后不该应声的停顿，评估报告语义误发现率下降 53.8%，代价是召回率从 80.40% 降到 71.74%。

开放词汇声音事件检测要求对任意文本查询输出精确时间边界，COSED 以双编码器加高分辨率时序精修与语料作用域掩码加闭合开放联合监督为选择，在六任务统一零样本基准上五项最优一项持平，代价是多语料联合训练与精细时序建模的复杂度。

针对老年语音说话人差异大且测试时无目标说话人数据的难题，该文用历史语音加已解码文本经双向跨模态融合与 Q-Former 压缩生成在线说话人提示，在两套老年语料上相对说话人无关基线取得 0.61% 和 1.22% 绝对错误率下降，并以最高 9.83 倍实时率加速替代离线批量适配。

论文以沙普利归因而非词错率比较六个音视模型在不同信噪比、解码阶段和输入位置的音频与视觉贡献，发现噪声加重时视觉占比上升但音频在负 10 分贝仍占约四成，且信噪比是主导因素而识别难度影响很小，代价是每条样本需 2000 次掩码前向的高计算开销。

Mizar 针对 200M 参数以下本地音频理解问题，用 CED-Small 加频率合并映射器连接 SmolLM2-135M，并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督，在 MMAU 等三项基准上报告超越同规模 Mellow 的结果，代价是仍需三阶段调参与教师模型辅助筛选。

针对合成器反演中合成配对训练与真实录音测试不匹配的问题，论文用参数与音频双时间轴的联合流匹配统一条件与边缘建模，并用部分加噪条件推理改善真实音频重建，代价是真实无标注音频带来的额外增益很小且评价仍依赖重建距离。

针对儿童语音的筛查需求，PhonLLM 把预期发音与声学证据一起送入解码器，联合输出标准音素和音系过程标签，在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线，但对 backing 与 deletion 仍明显更弱。

针对音画伪造在未见篡改与跨语言下易失效的问题，Referee 用一次真实参考做生物特征锚点，经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定，在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP，但仍依赖同身份真实参考且对参考质量敏感。

针对噪声和混响导致语音情感特征退化的问题，该研究用音频逆滤波前端加频率注入视觉流的双条件 Transformer U-Net 做音视频融合，在 CREMA-D 等数据上报告了优于单模态与多模态基线的识别率，但强混响与未见噪声下的泛化仍受限。

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

针对文本注册的用户自定义关键词检测能耗过高问题，SPARK 用端到端脉冲网络与脉冲驱动注意力做音频文本匹配，在 LibriPhrase 上以 99.07% 的 AUC 和 3.97% 的 EER 维持可比性能，代价是音素级难负样本区分仍弱于重型预训练基线且全脉冲链路依赖特定仿真与能量估算条件。

针对日常视频中增益失衡叠加噪声与混响的问题，SSE 用视频加文字引导的流匹配生成做重混与增强，在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH，但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。

针对整段语音才能对齐而流式只能看到局部帧的矛盾，该文把流式语音做查询、注册文本做键值实现逐帧计算，在 LibriPhrase 上难负样本达到等错误率 28.21% 与曲线下面积 79.19%，代价是易负样本略弱于 CTC 对齐基线且依赖两阶段训练。