多模态学习

该文把证据、可用性与质量信号拆开，用训练后冻结并打乱质量对齐的诊断检验决策层依赖，在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率，而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔，代价是需要全观测子集与标签才能计算结构诊断。

针对语音伪造检测只给真假标签而缺可核对解释的问题，该工作用冻结检测模型的可解释人工智能归因图加声学特征重要性约束多模态大模型生成时频定位解释，在 PartialSpoof 上以人工评分和定位保真度检验显示定位精度大幅提升，但多模型聚合会增加推理难度与不稳定性。

该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线，最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著，但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。

针对歌词可懂度主观感知与自动语音识别转写正确率不一致的问题，该工作把手工声学特征与 Whisper 编码器表示融合后用回归模型映射为连续分数，在 Cadenza 2026 人工标注数据五折验证上 CatBoost 取得均方根误差 27.367 与相关系数 0.654，代价是仍依赖参考文本的侵入式条件且未验证端到端与跨场景泛化。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

该研究针对语音认知障碍筛查中变换器不可解释的问题，选择在 SpeechCARE-AGF 筛查模型上叠加 SHAP 词归因、理论驱动语言特征与四阶段大模型推理，最强证据是测试集 AUC 86.83% 与 F1 72.11% 基础上的 70 例盲评一致率 98% 与可用性 82 分，代价是解释目前只覆盖语言分支而未解释声学分支。

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

针对零样本跨语言语音阿尔茨海默检测，ORBIT 用双向交叉注意融合多语言语音与文本预训练表示并以多抽头对抗与球面-双曲共识聚类抑制语言信息，在 mHuBERT+Qwen3 组合上取得 LOLO 平均 86.98% 准确率与 85.29% 宏 F1，但希腊语转写依赖 Whisper-large-v3 生成且 LTLO 仍明显低于混合训练。

针对 vlog 抑郁二分类中特征高度重叠而标签只有 0/1 的问题，该研究用互 Transformer 做音视频融合再以优势加权排序损失同时拉开类间间隔与压紧类内方差，在 D-vlog 上 F1 为 77.66、在 LMVD 上 F1 为 77.01，但阈值需在验证集上重标定且尚未验证临床数据。

针对无声说话人视频的转录时间对齐问题，V-Align 把帧-音素相容格上的单调遍历作为核心结构，先无边界学习路径分布再用词级 MFA 精修，在 LRS2 上以 32.9 ms 与 91.2% 取得最优，但第二阶段仍依赖音频对齐监督且未公开可运行代码。

针对台语语音配繁体中文硬字幕的跨语言错位问题，该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架，把金标集字幕识别字符错误率从 36.8% 降到 9.3%，并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%，代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。

针对手腕动作相似但物体材质不同时惯性传感器难分辨的问题，AnomaSense 用只在无声动作上训练的异常检测器决定何时打开麦克风至多一秒并做掩码，在 15 人 20 类受控实验中把识别从惯性单模态的 78.98% 提升到融合无掩码音频的 96.89%，而 90% 连续掩码下仍保持 86.32%，代价是触发器相对声音事件的召回为 74.28% 且结论限于安静离 …

针对韩语流式倾听中声学停顿会误导应声的问题，该研究用停顿概率软加权把决策收拢到停顿附近，再用部分识别文本过滤问句后不该应声的停顿，评估报告语义误发现率下降 53.8%，代价是召回率从 80.40% 降到 71.74%。

开放词汇声音事件检测要求对任意文本查询输出精确时间边界，COSED 以双编码器加高分辨率时序精修与语料作用域掩码加闭合开放联合监督为选择，在六任务统一零样本基准上五项最优一项持平，代价是多语料联合训练与精细时序建模的复杂度。

针对老年语音说话人差异大且测试时无目标说话人数据的难题，该文用历史语音加已解码文本经双向跨模态融合与 Q-Former 压缩生成在线说话人提示，在两套老年语料上相对说话人无关基线取得 0.61% 和 1.22% 绝对错误率下降，并以最高 9.83 倍实时率加速替代离线批量适配。

论文以沙普利归因而非词错率比较六个音视模型在不同信噪比、解码阶段和输入位置的音频与视觉贡献，发现噪声加重时视觉占比上升但音频在负 10 分贝仍占约四成，且信噪比是主导因素而识别难度影响很小，代价是每条样本需 2000 次掩码前向的高计算开销。

Mizar 针对 200M 参数以下本地音频理解问题，用 CED-Small 加频率合并映射器连接 SmolLM2-135M，并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督，在 MMAU 等三项基准上报告超越同规模 Mellow 的结果，代价是仍需三阶段调参与教师模型辅助筛选。

针对合成器反演中合成配对训练与真实录音测试不匹配的问题，论文用参数与音频双时间轴的联合流匹配统一条件与边缘建模，并用部分加噪条件推理改善真实音频重建，代价是真实无标注音频带来的额外增益很小且评价仍依赖重建距离。