音视频

Realtime-Venus 用两个 9B 前端分别处理音视频与纯音频全双工对话，用双环运行时把即时说话与后台推理工具执行解耦，最强证据是 Omni 在六项视频基准领先与 Audio 在 MMAU 等四项音频问答领先，代价是打断响应与参数准确率仍落后及委派判断存在漏委派与过度委派的权衡。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对流式中视觉先成熟、音频后到达导致的过早跨模态承诺问题，OST 用未来声明加到期验证加谱系回撤加回答门控组织记忆，在冻结 Qwen3-Omni-30B-A3B 上提升流式与音视基准并在诊断集上降低视觉诱发的听觉幻觉，但重写对比与多阶段训练带来额外推理与训练代价。

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该研究以非裔美国英语使用者产出的多义短语 you good 及单义对照句为材料，用 Praat 标 F0 峰位置与 OpenFace 加 findgest 标眉毛运动，检验句类与多义性对峰位、眉毛活动频率、抬眉分布与声手峰时序的影响，最强证据是句类显著决定 F0 峰落在第二词与眉峰相对更早，而疑问句并未带来更多眉毛活动或抬眉。

该研究把西班牙语最小重音对嵌入完整句子并用 5 级声音连续体加 2 种节拍对齐做二选一判断，结果显示声音步骤主导判断而手势对齐无可靠影响，反应时同样无可靠加速，代价是更自然的语速与手势变异可能稀释了视觉线索的权重。

针对两头同龄雄性幼鲸近距离身体接触时连续重叠喀哒声串难以归属的问题，论文用单通道恒 Q 变换谱加步间间隔节律做声学解交织，再用三元紧凑阵列到达时差定位投影到视频验证，在简单场景聚类误差为 0.0%、最难场景达 25.79%，并以 10 度容限实现主要发射者最高 100% 水平视觉一致，代价是垂直方向系统性偏差与近平面阵列几何盲区导致两个场景无法最终归属。

该研究用 48 段高兴与生气冲突或一致的动态视听短片加眼动追踪，检验 27 名人工耳蜗学龄前儿童与 25 名健听同龄人的线索权重与注视分配，发现人工耳蜗组在冲突时显著偏向面孔且眼口注视更均衡，代价是听觉线索利用不足与注视表现关联缺失。

该研究用荷兰语预测性句尾词汇判断任务检验节拍手势是否加速词汇通达，最强证据是噪声下真词反应时加快约 122 毫秒和 124 毫秒并使正确率提升约 4 个百分点，代价是手势与词重音是否对齐始终未产生可靠的交互作用。

针对同一录音中多组高度重叠对话的转写与分组问题，该工作用视觉门控的目标说话人长时解码做转写、用大模型话题相似度做分组，在开发集上报告约 33.7% 词错误率和 0.97 聚类 F1，但长时视觉缺失填充与模拟数据域失配仍是主要代价。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对舞蹈线索稀疏而作曲需要稠密结构的问题，CMA-OT 用 Jukebox 多尺度专家对 DiT 隐表示做由粗到细的课程对齐与尺度自适应 FGW 软对齐，并以流匹配生成损失联合训练，在 AIST++ 与 TikTok 上报告了节奏与质量提升，代价是训练侧引入多尺度 OT 与课程调度。

针对多人同时交谈且严重重叠的 MCoRec 任务，该工作用互视分数加语音重叠分数做会话聚类，并用 CTC/attention 与 Whisper 双模型输出融合做识别，在评测集上聚类 F1 达到 0.910，词错误率降到 48.67%，联合误差降到 0.289，代价是依赖几何假设、边界框与抽帧处理。

该文以四个舞蹈配置研究如何把预分析音频语料分布到舞者周围的虚拟体中并用动作做最近邻提取，最具体的证据是共享大体量与手部小体量在单元数与速度上的对照，代价是正式成片采用离线合成因而缺少实时演奏反馈。

该文把同时实时生成三维图像与声音的扩展现实视听乐器定义为研究对象，用九维框架梳理 13 件已有乐器，并以同一原型分化出的声音优先与视觉优先两件乐器、5 个月协作自我民族志说明模态间映射与空间使用如何主导设计分化，其代价是观众维度与协作维度未被实测。

该研究把飞利浦馆重建为九片直纹面并提取线与点来驱动弦乐滑音、五个能量块与稀疏铜管木管事件，最强的可核对证据是 36 条弦乐线与 3357 个采样点的确定性构造，代价是均匀插值难以保留局部曲率与统一配器难以推广到其他风格。

Gestalt 针对 50-200 人实时共演的参与门槛与延迟问题，采用浏览器端边缘计算加双层异构架构与活动加权聚合，在本地单机实验室压力测试中报告 200 人稳定与约 60 毫秒端到端延迟，代价是公网隧道下稳定上限降至 80 人且未经过大规模公演验证。

论文以 11 位光学声电影人的访谈为材料，用转导、帧、差异、重复、化学五组装置结构做衍射式阅读，提出内在实践的特征，代价是结论依赖特定社群与手工条件而不追求可推广的量化验证。

该研究在德语自发对话中比较同批说话人的两种焦点超清晰化做法，最强证据是 23/24 人收紧了音高重音与手势顶点的对齐而只有 10/24 人 steepen 了降调斜率，且人人至少用一种策略，代价是韵律单通道结论不稳定、需双通道联合判断。