音视频交互

HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频，先训双向教师再蒸馏为因果学生，在单卡上实现 24 帧每秒的同步交互，并在 HelixBench 上显示出更强的随视角变化的声场对齐能力，但结论只在原文的数据筛选、评测子集与硬件条件下成立。

针对听与说需随对话演变的交互 3D 头生成问题，论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应，在最难跨域划分上随对话推进改善表情统计，但逐帧对齐误差与颈部统计仍有代价与边界。

FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题，用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演，在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分，代价是原文未公开训练数据、定量协议与延迟成本细节。

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

针对原生音视频直接对话缺数据、难评测的问题，该工作用多智能体合成对话同时做评测集与强化训练语料，报告在合成集从 0.465 到 0.652、在真人实拍集从 0.402 到 0.632 的提升，代价是回复变短且效率与风格奖励之间存在权衡。

针对被动视觉缺失与误导导致的音频视觉导航失败，论文用高层 Transformer 令牌融合选 3×3 局部目标、低层碰撞惩罚图规划转原子动作，在 Replica 与 MP3D 的听过与未听过电话声划分上报告了路径效率与成功率提升，但碰撞图依赖静态假设且仍受深度噪声与仿真条件限制。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

该研究把协作节奏乐器与多人空间布局放在 PatchWorld 内共同设计，用 9 人两组迭代得出通用节奏盒与三人半圆分层舞台，并报告视觉反馈为主、归因模糊为关键代价的发现。

Gestalt 针对 50-200 人实时共演的参与门槛与延迟问题，采用浏览器端边缘计算加双层异构架构与活动加权聚合，在本地单机实验室压力测试中报告 200 人稳定与约 60 毫秒端到端延迟，代价是公网隧道下稳定上限降至 80 人且未经过大规模公演验证。

该研究把主动规划、口头对话与非言语通信统一为一个零样本提示驱动的 LLM 代理工作流，并在 Pepper 机器人上与基于规则的多策略基线对比，主动性离线重放占优而用户体验总体接近，但推理延迟与样本不均衡仍是主要代价。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

用影子跟读检验香港粤语 T2-T5 与 T3-T6 并调是否向相反声调启动靠拢，最强证据是基线可分而跟读出现中度与强趋同且真人强于 AI、视频强于图片，代价是合并者仅每对 2 人而无法定论。

该装置让 1 至 4 名表演者手持投影在 4 m×3 m 空间走动，用天花板相机只看墙上多边形的几何来判别 5 个空间交互点并驱动声音，离散音高经倾斜与置信度与连续帧门控后才切换，而连续音色保持约 30 fps 响应，代价是约 0.33 s 切换延迟与暗室和重标定依赖。

Audionce 针对聋人与听人共同即兴时听觉门槛过高的问题，选择把物理扬声器阵列与点云虚拟镜面放在同一交互场中，用身体移动与触摸扬声器驱动声音与视觉，最强证据是聋人设计者与听人可协同完成结构化即兴而不被察觉听力差异，主要代价是振动难以分辨音高与音量等细粒度差异且依赖持续学习与视觉补偿。

针对双人对话头像需要实时响应用户语音与动作、且倾听表情难以标注的问题，论文用因果扩散强迫在动作隐空间逐块生成并用丢用户条件的合成负样本做偏好优化，报告约 500 ms 延迟、6.8 倍加速与超 80% 人工偏好，代价是口型与画质只保持可比而非全面领先。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

DyaDiT 针对双人对话中两路语音互相干扰和社会上下文缺失的问题，用正交化交叉注意力分离双路音频并以关系与人格为条件做扩散生成，在 Seamless Interaction 子集上报告了更低的 FD 和更高偏好度，但人格可控性仍受音频隐含线索干扰。

该工作以微分音杠杆竖琴 Harp-E 为起点，用配重鱼线和悬挂织物做机械扩展，再让合成延续拨弦、持续激励与杠杆弯音的发声逻辑，在多媒体即兴演出 De-dimension 中实现可参与的多模态乐器环境，代价是未做定量评估与延迟测量，仅为概念验证。