音视频

AVTrace 把音画时间能力拆成七类可复算的定位与排序任务，用固定测试集显示现有全模态模型语义描述尚可但时间定位与同步判断偏弱，而针对 Gemma4-E4B 的时间后训练能在部分指标上提升但伴随外部任务的涨跌。

共分析 1 篇语音/AI 论文

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

针对跨通道矛盾定义的犹豫与矛盾识别问题，论文选择显式建模模态差异的 9 token Transformer 路线，在 BAH 标注测试集上报告 0.7408 Macro F1，代价是小数据下额外 token 带来的过拟合风险与多窗口训练成本。

针对深度与双耳音频简单拼接会丢失几何语义关联的问题，CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区，在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率，但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

Encypher 研究陌生人如何一起跳舞并共同引导实时神经音频，用 11 人课堂研究显示协作感达 81.8% 认同而个人控制感仅 63.6%，代价是 2 秒生成延迟和屏幕分散注意力的双刃效应。

针对轻量音视语音增强中拼接缺乏结构、先验稠密注意力易错配的问题，SG-Mamba 用±3 帧稀疏异构图做局部内容自适应融合再交由单向 Mamba 建模全局时序，在 LRS3 噪声下取得 13.091 dB SI-SDR，代价为 5.3 M 参数和 3.45 G MACs。

针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题，该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移，并在自驱动与跨驱动条件下验证同步与重建，同时以阈值与几何正则的取舍为代价。

针对被动视觉缺失与误导导致的音频视觉导航失败，论文用高层 Transformer 令牌融合选 3×3 局部目标、低层碰撞惩罚图规划转原子动作，在 Replica 与 MP3D 的听过与未听过电话声划分上报告了路径效率与成功率提升，但碰撞图依赖静态假设且仍受深度噪声与仿真条件限制。

针对救护车、消防车、警车与道路背景四分类问题，AVNet 用逐秒对齐的视频查音频交叉注意力做融合，并用单模态教师的软分布蒸馏融合分支，在 281 个 AudioSet 测试片段上融合达到 66.6%，但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。

针对生成式音视频越来越难靠伪影区分的问题，PIVOT 把检测改写为先估计时序物理量再逐条验算事件相关物理定律的核查流程，在 PhysForensics-Bench 上以 70.30% 与 72.16% 的双生成器准确率超过直接大模型目检，但其代价是依赖几何与声学估计质量并在弱观测事件上明显退化。

Realtime-Venus 用两个 9B 前端分别处理音视频与纯音频全双工对话，用双环运行时把即时说话与后台推理工具执行解耦，最强证据是 Omni 在六项视频基准领先与 Audio 在 MMAU 等四项音频问答领先，代价是打断响应与参数准确率仍落后及委派判断存在漏委派与过度委派的权衡。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对流式中视觉先成熟、音频后到达导致的过早跨模态承诺问题，OST 用未来声明加到期验证加谱系回撤加回答门控组织记忆，在冻结 Qwen3-Omni-30B-A3B 上提升流式与音视基准并在诊断集上降低视觉诱发的听觉幻觉，但重写对比与多阶段训练带来额外推理与训练代价。

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该研究以非裔美国英语使用者产出的多义短语 you good 及单义对照句为材料，用 Praat 标 F0 峰位置与 OpenFace 加 findgest 标眉毛运动，检验句类与多义性对峰位、眉毛活动频率、抬眉分布与声手峰时序的影响，最强证据是句类显著决定 F0 峰落在第二词与眉峰相对更早，而疑问句并未带来更多眉毛活动或抬眉。

该研究把西班牙语最小重音对嵌入完整句子并用 5 级声音连续体加 2 种节拍对齐做二选一判断，结果显示声音步骤主导判断而手势对齐无可靠影响，反应时同样无可靠加速，代价是更自然的语速与手势变异可能稀释了视觉线索的权重。

针对两头同龄雄性幼鲸近距离身体接触时连续重叠喀哒声串难以归属的问题，论文用单通道恒 Q 变换谱加步间间隔节律做声学解交织，再用三元紧凑阵列到达时差定位投影到视频验证，在简单场景聚类误差为 0.0%、最难场景达 25.79%，并以 10 度容限实现主要发射者最高 100% 水平视觉一致，代价是垂直方向系统性偏差与近平面阵列几何盲区导致两个场景无法最终归属。