音视频生成

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量，发现能编码音位类别且不含低结构声学信息的表示更准确，而标签表示支撑了文本到语音与面动的统一管线，但混合声学信息反而有害且重建误差与感知并不一致。

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对说话数据训练的模型在唱歌时出现节奏漂移和表情受限的问题，论文用三阶段过滤构建 29500 余段野外唱歌头数据，并在 Hallo 等架构上验证了唇同步与节奏对齐的提升，但高强度筛选只保留约 6.9% 原料且依赖人工打分融合。

该工作用隐式提示迫使模型从互补的多模态证据中推断缺失事件并用生成视频表达，在 517 个实例上 MiniMax-H3 总体成功率报告为 41.97%，其中视频决策最好而音频消歧最弱，说明多模态支持尚未转化为可靠推理。

EMODY Flow 复用冻结 Qwen-3 Omni Talker 的 Mimi 音频嵌入驱动两个并行 DiT 流匹配模型分别生成身体与面部动作，在 BEAT2 上以 FGD 0.302 报告手势质量最优，并以 FGD 升至 0.362 的小幅代价换取身体动作的情绪可分性。

针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题，该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移，并在自驱动与跨驱动条件下验证同步与重建，同时以阈值与几何正则的取舍为代价。

该系统针对 NCERT 课本问答做个性化教学视频，用检索增强生成锁定课本依据并写出多场景脚本，再经 Stable Diffusion 配图、DynamiCrafter 做动效、Google TTS 配音并由 MoviePy 对齐合成，演示显示师生觉得比纯文本更易跟随，但原文只报告定性反馈而未给出可比的定量指标与对照代价。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

该文把同时实时生成三维图像与声音的扩展现实视听乐器定义为研究对象，用九维框架梳理 13 件已有乐器，并以同一原型分化出的声音优先与视觉优先两件乐器、5 个月协作自我民族志说明模态间映射与空间使用如何主导设计分化，其代价是观众维度与协作维度未被实测。

论文以 11 位光学声电影人的访谈为材料，用转导、帧、差异、重复、化学五组装置结构做衍射式阅读，提出内在实践的特征，代价是结论依赖特定社群与手工条件而不追求可推广的量化验证。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

该作品以《采真游》演奏与即兴为唯一声源，经触觉式合成与混沌吸引子四通道扩散形成 9 分钟沉浸声景，并以墨盒弹线、蓝晒、三维扫描与低秩适配生成九幅悬挂图形谱，最强证据是全天录音所得约两小时素材与双话筒立体声采集链，代价是全程无可运行基线对照与可复测听感指标。

该作品以树木年轮为结构隐喻，用颗粒与频谱处理、VBAP 穹顶空间化与文本到三维扩散生成，把约八分半钟的微观到宏观生态时间做成穹顶声像层，其代价是垂直声像不如水平声像清晰且缺乏可量化的听众评估。

论文针对同一信号同时驱动振镜、音箱与激光二极管时跨域漂移与视觉先崩溃的问题，提出以全局相位斜坡为统一时间基础设施的架构，并以超过 40 个模块的 Phosphene 系统在 200 到 400 模块规模与 8 场演出中验证其可扩展性，代价是仍受 VCV Rack 非确定性调度与 CPU 负载限制。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

Archon 针对文本音频动作视觉碎片化问题，用统一离散词表加自回归语言模型统一七种模态，以语义视频实现约 4 倍 token 压缩并用语义驱动扩散恢复高清视频，最强证据是语音驱动视频与图条件语音任务上与专用模型相当或更优，代价是两阶段训练与推理链更长且本次未能确认代码模型公开。

AVI-Edit 以 Wan2.2 为视频骨干，用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐，在 AVISET 与 AvED-Bench 上报告了质量与同步优势，代价是多实例只能串行逐个处理。

针对单图全身会话化身中音频到姿态再到渲染的误差累积与口手细节丢失问题，论文用音频直接调制三维高斯粒子变形场并蒸馏大视频扩散先验，消融显示轨迹对齐与分数蒸馏分别控制同步与平滑，但自建评测与合成监督带来泛化边界。