音视频理解

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题，用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习，并在 DeepSWE 等榜单上随算力持续提升，代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。

针对整体打分掩盖局部错误的问题，论文把预测目标改为引用、镜头和音频事件三组原子单元，用确定性规则查结构、用局部语言模型查语义，在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱，且格式修补补不回缺失信息。

针对文本图像音频视频混合输入下靠错证据生成的问题，OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写，在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。

AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题，用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段，并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入，代价是实例级区分力弱与仍存在幻觉风险。

MAV-C 针对本地渲染等无编码失真场景的视听复杂度估计问题，用熵类音频特征与梯度色彩运动类视觉特征经对数压缩与加权融合得到连续分数，在合成语料上显示单调性与模态隔离，在游戏语料上显示视听分量不相关且仅视觉分量随内容类别变化，代价是尚无主观评分校准且空间模式依赖轨迹元数据。

论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割，用纯音频声源定位学图像平面空间与语义先验再注入查询解码器，在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA，代价是依赖固定相机与仿头采集几何并受类别规模限制。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对音视频特征同时需要时间敏感与语义敏感却被混在一起评的问题，该研究用野外视频构造时间扰动与语义编辑两条独立挑战，以 0.64 秒分块对角相似度的二选一准确率为证据，显示时间强者与语义强者并不重合，但生成式编辑引入的额外声学差异仍是代价。

该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖，最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大，代价是单说话人、正确试次极不平衡与无基线瞳孔校正。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

该研究把德语桌游解释中表面肯定但自评未完全理解的反馈定义为不一致回声，用声学、头部运动与话语结构特征训练可解释分类器，在交叉验证与保留集上达到约 0.71 的 ROC-AUC 和 0.73 的准确率，代价是依赖回放自评标签与较小的德语特定样本。

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。

论文要解决长音视频生产力任务中感知与长程规划脱节的问题，选择原生多模态共训加百万上下文与按需取证的智能体执行，证据是多说话人识别与长视频推理的大幅提升，代价是通用转写翻译仍有差距且实时交互需非思考模式换取低延迟。

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该研究把西班牙语最小重音对嵌入完整句子并用 5 级声音连续体加 2 种节拍对齐做二选一判断，结果显示声音步骤主导判断而手势对齐无可靠影响，反应时同样无可靠加速，代价是更自然的语速与手势变异可能稀释了视觉线索的权重。

该研究用电磁发音仪与视频追踪检验匈牙利语指点手势与语音地标的时滞稳定性，初步证据指向第一音节元音目标与手指目标的对齐最稳定且不受信息结构与基频轮廓调节，代价是仅报告一名被试且未发现基频的组织作用。