音视频生成

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音到 3D 人脸跨模态映射难与级联误差大的问题，ES-3DF 用几何纹理解耦加双分支对齐与多槽记忆对比学习直接重建带纹理 3D 脸，在地标与身份特征指标上优于 CMP 与 VoiceStyle，代价是唇部等动态部位推断仍不适定且依赖受限数据集。

针对声音到人脸一对多映射导致口型不一致的问题，该文把可见发音拆成张开、展圆、前突三个方向，先用语音发音记忆检索方向运动再用网格拓扑组合成表面一致的顶点运动，在保持整体重建的同时改善了唇部距离与速度误差，代价是两阶段训练且不建模上半脸随机动态与口内结构。

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量，发现能编码音位类别且不含低结构声学信息的表示更准确，而标签表示支撑了文本到语音与面动的统一管线，但混合声学信息反而有害且重建误差与感知并不一致。

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对说话数据训练的模型在唱歌时出现节奏漂移和表情受限的问题，论文用三阶段过滤构建 29500 余段野外唱歌头数据，并在 Hallo 等架构上验证了唇同步与节奏对齐的提升，但高强度筛选只保留约 6.9% 原料且依赖人工打分融合。

该工作用隐式提示迫使模型从互补的多模态证据中推断缺失事件并用生成视频表达，在 517 个实例上 MiniMax-H3 总体成功率报告为 41.97%，其中视频决策最好而音频消歧最弱，说明多模态支持尚未转化为可靠推理。

EMODY Flow 复用冻结 Qwen-3 Omni Talker 的 Mimi 音频嵌入驱动两个并行 DiT 流匹配模型分别生成身体与面部动作，在 BEAT2 上以 FGD 0.302 报告手势质量最优，并以 FGD 升至 0.362 的小幅代价换取身体动作的情绪可分性。

针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题，该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移，并在自驱动与跨驱动条件下验证同步与重建，同时以阈值与几何正则的取舍为代价。

该系统针对 NCERT 课本问答做个性化教学视频，用检索增强生成锁定课本依据并写出多场景脚本，再经 Stable Diffusion 配图、DynamiCrafter 做动效、Google TTS 配音并由 MoviePy 对齐合成，演示显示师生觉得比纯文本更易跟随，但原文只报告定性反馈而未给出可比的定量指标与对照代价。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

该文把同时实时生成三维图像与声音的扩展现实视听乐器定义为研究对象，用九维框架梳理 13 件已有乐器，并以同一原型分化出的声音优先与视觉优先两件乐器、5 个月协作自我民族志说明模态间映射与空间使用如何主导设计分化，其代价是观众维度与协作维度未被实测。

论文以 11 位光学声电影人的访谈为材料，用转导、帧、差异、重复、化学五组装置结构做衍射式阅读，提出内在实践的特征，代价是结论依赖特定社群与手工条件而不追求可推广的量化验证。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

该作品以《采真游》演奏与即兴为唯一声源，经触觉式合成与混沌吸引子四通道扩散形成 9 分钟沉浸声景，并以墨盒弹线、蓝晒、三维扫描与低秩适配生成九幅悬挂图形谱，最强证据是全天录音所得约两小时素材与双话筒立体声采集链，代价是全程无可运行基线对照与可复测听感指标。

该作品以树木年轮为结构隐喻，用颗粒与频谱处理、VBAP 穹顶空间化与文本到三维扩散生成，把约八分半钟的微观到宏观生态时间做成穹顶声像层，其代价是垂直声像不如水平声像清晰且缺乏可量化的听众评估。

论文针对同一信号同时驱动振镜、音箱与激光二极管时跨域漂移与视觉先崩溃的问题，提出以全局相位斜坡为统一时间基础设施的架构，并以超过 40 个模块的 Phosphene 系统在 200 到 400 模块规模与 8 场演出中验证其可扩展性，代价是仍受 VCV Rack 非确定性调度与 CPU 负载限制。