音视频生成

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对说话数据训练的模型在唱歌时出现节奏漂移和表情受限的问题，论文用三阶段过滤构建 29500 余段野外唱歌头数据，并在 Hallo 等架构上验证了唇同步与节奏对齐的提升，但高强度筛选只保留约 6.9% 原料且依赖人工打分融合。

该工作用隐式提示迫使模型从互补的多模态证据中推断缺失事件并用生成视频表达，在 517 个实例上 MiniMax-H3 总体成功率报告为 41.97%，其中视频决策最好而音频消歧最弱，说明多模态支持尚未转化为可靠推理。

EMODY Flow 复用冻结 Qwen-3 Omni Talker 的 Mimi 音频嵌入驱动两个并行 DiT 流匹配模型分别生成身体与面部动作，在 BEAT2 上以 FGD 0.302 报告手势质量最优，并以 FGD 升至 0.362 的小幅代价换取身体动作的情绪可分性。

针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题，该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移，并在自驱动与跨驱动条件下验证同步与重建，同时以阈值与几何正则的取舍为代价。

该系统针对 NCERT 课本问答做个性化教学视频，用检索增强生成锁定课本依据并写出多场景脚本，再经 Stable Diffusion 配图、DynamiCrafter 做动效、Google TTS 配音并由 MoviePy 对齐合成，演示显示师生觉得比纯文本更易跟随，但原文只报告定性反馈而未给出可比的定量指标与对照代价。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

该文把同时实时生成三维图像与声音的扩展现实视听乐器定义为研究对象，用九维框架梳理 13 件已有乐器，并以同一原型分化出的声音优先与视觉优先两件乐器、5 个月协作自我民族志说明模态间映射与空间使用如何主导设计分化，其代价是观众维度与协作维度未被实测。

论文以 11 位光学声电影人的访谈为材料，用转导、帧、差异、重复、化学五组装置结构做衍射式阅读，提出内在实践的特征，代价是结论依赖特定社群与手工条件而不追求可推广的量化验证。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

该作品以《采真游》演奏与即兴为唯一声源，经触觉式合成与混沌吸引子四通道扩散形成 9 分钟沉浸声景，并以墨盒弹线、蓝晒、三维扫描与低秩适配生成九幅悬挂图形谱，最强证据是全天录音所得约两小时素材与双话筒立体声采集链，代价是全程无可运行基线对照与可复测听感指标。

该作品以树木年轮为结构隐喻，用颗粒与频谱处理、VBAP 穹顶空间化与文本到三维扩散生成，把约八分半钟的微观到宏观生态时间做成穹顶声像层，其代价是垂直声像不如水平声像清晰且缺乏可量化的听众评估。

论文针对同一信号同时驱动振镜、音箱与激光二极管时跨域漂移与视觉先崩溃的问题，提出以全局相位斜坡为统一时间基础设施的架构，并以超过 40 个模块的 Phosphene 系统在 200 到 400 模块规模与 8 场演出中验证其可扩展性，代价是仍受 VCV Rack 非确定性调度与 CPU 负载限制。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

Archon 针对文本音频动作视觉碎片化问题，用统一离散词表加自回归语言模型统一七种模态，以语义视频实现约 4 倍 token 压缩并用语义驱动扩散恢复高清视频，最强证据是语音驱动视频与图条件语音任务上与专用模型相当或更优，代价是两阶段训练与推理链更长且本次未能确认代码模型公开。

AVI-Edit 以 Wan2.2 为视频骨干，用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐，在 AVISET 与 AvED-Bench 上报告了质量与同步优势，代价是多实例只能串行逐个处理。

针对单图全身会话化身中音频到姿态再到渲染的误差累积与口手细节丢失问题，论文用音频直接调制三维高斯粒子变形场并蒸馏大视频扩散先验，消融显示轨迹对齐与分数蒸馏分别控制同步与平滑，但自建评测与合成监督带来泛化边界。

AutoCut 针对广告视频制作中多模态松散耦合与剪辑不可控问题，用残差向量量化把视频与音频变成与文本共享的离散词元并经两阶段训练统一推理，在 364 个样本的同一评测上取得排序准确率 0.10714 与脚本质量 84.6255 等最佳结果，代价是依赖已有素材库检索而不能从零生成像素。

该研究比较声学氛围驱动与歌词语义驱动的背景视频选择，提出在约 14000 个音乐视频上对比学习音乐视频联合嵌入并用束搜索做全局非重叠选段，最强证据是主观评价中声学方法在整体不自然感和转场连续性上显著优于歌词方法，代价是剪辑节奏与歌词具体指涉仍存在错位。

针对手势数据缺描述文本导致的语义先验缺口与音频加描述难以协调控制的问题，CoordSpeaker 先用动作语言模型离线生成多粒度手势字幕，再用统一表示的潜在扩散加分层去噪器实现语音节奏与字幕语义的联合生成，最强证据是推理耗时大幅下降与文本对齐指标领先，代价是部分重建指标未占优且长序列时序感知仍有限。