多模态学习

针对儿童语音的筛查需求，PhonLLM 把预期发音与声学证据一起送入解码器，联合输出标准音素和音系过程标签，在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线，但对 backing 与 deletion 仍明显更弱。

针对音画伪造在未见篡改与跨语言下易失效的问题，Referee 用一次真实参考做生物特征锚点，经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定，在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP，但仍依赖同身份真实参考且对参考质量敏感。

针对噪声和混响导致语音情感特征退化的问题，该研究用音频逆滤波前端加频率注入视觉流的双条件 Transformer U-Net 做音视频融合，在 CREMA-D 等数据上报告了优于单模态与多模态基线的识别率，但强混响与未见噪声下的泛化仍受限。

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

针对文本注册的用户自定义关键词检测能耗过高问题，SPARK 用端到端脉冲网络与脉冲驱动注意力做音频文本匹配，在 LibriPhrase 上以 99.07% 的 AUC 和 3.97% 的 EER 维持可比性能，代价是音素级难负样本区分仍弱于重型预训练基线且全脉冲链路依赖特定仿真与能量估算条件。

针对日常视频中增益失衡叠加噪声与混响的问题，SSE 用视频加文字引导的流匹配生成做重混与增强，在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH，但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。

针对整段语音才能对齐而流式只能看到局部帧的矛盾，该文把流式语音做查询、注册文本做键值实现逐帧计算，在 LibriPhrase 上难负样本达到等错误率 28.21% 与曲线下面积 79.19%，代价是易负样本略弱于 CTC 对齐基线且依赖两阶段训练。

针对第一视角下判断说话人是否在对佩戴者说话的问题，该工作用说话人身份与对话轮次感知的文本上下文建模加注视感知的视觉分支，在 Ego4D 验证集上报告 72.40% mAP，代价是依赖转写、说话人聚类与冻结视觉骨干的级联流水线。

针对端到端语音大模型相对文本模型在推理与指令任务上的退化，论文提出跨模态同策略蒸馏 X-OPD，让学生在语音与文本上自己采样再由文本教师做 token 级打分，最强证据是 Qwen3-Omni-A3B 语音平均下降从 11.29% 降到 3.43% 且 MMAR 保持在 69% 以上，代价是需要严格语义一致的平行语音文本对与在线教师打分开销。

针对音频文本情绪证据被说话风格与词汇内容纠缠且两模态可能冲突的问题，BiCFlow-MER 用解耦后的冲突感知条件把样本输运到 64 维情绪端点再做前后向几何打分，在 IEMOCAP 与 MELD 及零样本 CASE 上报告最好值，代价是三阶段流程与多模块超参数。

针对多轮多模态对话中风格稀疏且易漂移说话人音色的问题，论文用显式风格指令拆开感知与合成，并用迭代拒绝采样与上下文偏好优化对齐生成器，在保持音色与可懂度的同时提升指令遵循与情境适配，但细粒度句内动态仍未解决。

该文把瓶颈适配器装进冻结解码器每一层并用输入成分做二进制门控，使旧模态走原计算图实现逐位不变，同时用对照实验显示音频检索提升与热成像包的可组合性，代价是新增模态的文本混排输入属于新行为且双门同开不在保证内。

该文在 Lyra 舞蹈子集上用音频、视频、骨架三模态做 28 标签自动打标，报告最强三模态门控融合宏 ROC-AUC 为 0.864，超过最强音频单模态 0.821，但骨架单模态仅 0.586 且约半数片段缺有效姿态。

论文要解决长音视频生产力任务中感知与长程规划脱节的问题，选择原生多模态共训加百万上下文与按需取证的智能体执行，证据是多说话人识别与长视频推理的大幅提升，代价是通用转写翻译仍有差距且实时交互需非思考模式换取低延迟。

针对串行先想后说导致长时间无声等待的问题，该工作用推理主路加轻量报幕支路的异步结构，在保持串行推理问答精度基本相当的同时，把用户可感知的静音大幅压低，代价是需要额外的报幕生成与动态调度。

DFD-Lab 把数据集适配、配对片段表示、检测器接口与实验配置分开，用 FakeAVCeleb 训练、过滤后的 Deepfake-Eval-2024 外部测试三类融合实现，最一致的证据是 JPEG50 训练增强把外部 AUROC 从 0.504、0.538、0.458 分别提升到 0.691、0.605、0.570，但三者准确率同时从 …

论文把声音事件识别的输出从单一确定标签改为类别加置信度加拟声词描述，用冻结编码器加可训练投影器与分类器实现分类与检索联合训练，在 31 类子集上保持分类能力，并在约 85% 准确率的模拟不确定条件下用大模型评价与 310 人听评显示拟声输出更有助于环境理解，代价是拟声不匹配会损害自然度。

针对具身智能体难以利用空间音频做问答与导航的问题，论文构建 197 场景问答与 30 场景导航的实录基准并用可控渲染补大规模仿真训练，提出保留语义通路另加 FOA 空间编码器的 OmniEcho，其问答总体 28.5 分与声音导航 16.2% 成功率接近部分文本导航基线，但精细定位与自主停止仍是主要代价。

针对多语言双人长对话口语问答中不同问题依赖不同证据的问题，该工作用带说话人时间戳的转写做主干、按问题动态挂接局部或全局音频，开发集任务二达到 94.84% 准确率，但消融无法完全分离标签质量与证据分配的因果。

针对 Yemba 等低资源语言声学表示难学的问题，该工作用异构图把声学节点和语言节点放在同一张图里做消息传递，并在 Google Commands 缩减集和 Yemba 孤立词数据上用 SVM 和聚类指标验证跨模态表示优于 MFCC 基线和单模态 GCN，但推理依赖预训练声学模型且未做到句子级。