多模态学习

针对低资源下语音文本对齐需要大编码器和大量平行数据的问题，该文把词级对齐建模为异构图上的链路预测，用 GraphSAGE 消息传递把固定文本表示传给语音节点，在 TIMIT 和 Yemba 上以轻量图训练达到可比 SAMU-XLSR 的富集与检索效果，代价是跨模态检索仍受初始声学质量制约且句子级与下游任务未验证。

针对对话语音只看文本历史会漏掉听者即时非言语线索的问题，用回应前 1 秒听者人脸时序做显式回应规划，在严格双人 MELD 协议上时序模型宏平均 F1 和 VAD 一致性略高于纯文本而准确率基本不变，合成阶段仅证明可端到端连通而未改善可懂度。

论文研究给定话题标题查询在语音转写中预测连续句子区间的问题，用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合，在两个主数据集上以轻量定位器验证严格边界指标的提升，同时报告自发会议上增益有限的代价。

该文把合成语音归属从闭集分类改写为音频对自然语言描述的跨模态检索，用冻结双编码器加小投影头在 MLAAD v9 上实现未见模型 58.4% 模型级 MRR，代价是闭集精度低于专用分类器且通用架构易混淆。

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

针对跨通道矛盾定义的犹豫与矛盾识别问题，论文选择显式建模模态差异的 9 token Transformer 路线，在 BAH 标注测试集上报告 0.7408 Macro F1，代价是小数据下额外 token 带来的过拟合风险与多窗口训练成本。

针对历史转写会传播实体错误并丢失发音与说话人信息的问题，该研究用场景可控的数据管线构造多模态对话历史并做上下文监督微调，最强证据是微调后语音加文本上下文在两个模型上取得最高的总体实体召回，但代价是需要合成语音过滤与条件匹配的微调，且无上下文基线与无关历史的鲁棒性仍有限。

针对深度与双耳音频简单拼接会丢失几何语义关联的问题，CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区，在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率，但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

针对只检内容而忽略说话人的不足，论文用文本查内容加参考语音定说话人的混合查询，构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架，在语义基准和混合基准上报告了可复现的召回与排序提升，但重排带来额外推理开销且多说话人仍明显更难。

论文把在干净视频会议数据上训练的预测性轮次模型放到高重叠鸡尾酒会数据上检验，发现多模态加权 F1 从干净域掉到新域约三分之一，微调能提升多模态约三成但伴随原域遗忘，而纯音频分支几乎无法适应。

针对大音频语言模型时间定位不准的问题，论文冻结大模型只取查询语义表示并外挂帧级定位模型，在多个接地基准上提高严格阈下召回与平均交并比，并在推理阶段把定位结果作为外部时间证据回填给大模型。

针对一分钟语义和音位流畅性任务中整段平均会抹掉检索动态的问题，CCMAN 用词级多模态序列加双向跨模态注意与迁移学习建模时间不稳定性，在 843 人语料上语义二分类宏 F1 达到 0.81 而多分类仅 0.59，代价是三分类区分 MCI 与痴呆仍不显著且依赖 ASR 时间戳质量。

该文在约 400 小时面对面双人对话上把注视、头部、身体手部与面部动作单元接入语音活动投影模型，最优结构以交叉注意力加三帧差分与早期门控把语音活动投影损失从 2.166 降到 2.100，面部动作单元是最强的单一视觉组但全量组合仍最好，代价是需要多模态特征提取与更大的推理开销且划分不是按会话对隔离。

针对救护车、消防车、警车与道路背景四分类问题，AVNet 用逐秒对齐的视频查音频交叉注意力做融合，并用单模态教师的软分布蒸馏融合分支，在 281 个 AudioSet 测试片段上融合达到 66.6%，但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。

论文在匹配数据与匹配生成设置下比较纯语音、语音文本与纯文本模型，显示内部文本流大幅降低生成困惑度但说话人相似度和预测质量偏向纯语音模型，且联合模型能逼近大得多数据规模纯语音模型的语义水平。

针对音频时刻检索中提议级置信度缺少全局竞争的问题，该文用半马尔可夫条件随机场对全部分割归一化并以片段边缘后验排序，在 CASTELLA 上报告 41.15% R1@0.7 和 34.68% mAP，代价是需做前向后向推理与非极大值抑制并保留双分支联合训练。

针对逐轮改歌时单轮编辑器记不住上文的问题，AURA 用多模态大模型把完整对话蒸馏成 9 个概念令牌并以帧对齐方式注入冻结的 MusicGen，在 Slakh 与 MoisesDB 上以 0.78 对 0.37 的 SSIM 和 +11.32 dB 的 SI-SDR 改善保持性，代价是抽取类任务仍弱于专用分离模型。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

StepAudio 3 Realtime 针对实时语音交互中深度推理与低延迟的矛盾，用听-说-想-做循环组织感知、双工话轮管理、边说边想与异步工具调用，在 MMSU 90.6、全双工 98.9 等报告结果上保持领先，但多轮约束保持与零售工具任务仍有明显短板。