流匹配

EMODY Flow 复用冻结 Qwen-3 Omni Talker 的 Mimi 音频嵌入驱动两个并行 DiT 流匹配模型分别生成身体与面部动作，在 BEAT2 上以 FGD 0.302 报告手势质量最优，并以 FGD 升至 0.362 的小幅代价换取身体动作的情绪可分性。

论文在匹配数据与匹配生成设置下比较纯语音、语音文本与纯文本模型，显示内部文本流大幅降低生成困惑度但说话人相似度和预测质量偏向纯语音模型，且联合模型能逼近大得多数据规模纯语音模型的语义水平。

论文把生成与编辑看作稀疏到稠密的条件谱，用同一潜在流匹配模型在生成分支与重建分支间随机切换训练，以词级音素对齐、节拍条件和变分自编码器表征对齐提升可懂度，并用残差瓶颈容量换取重建保真度与可编辑性，最强证据是分离人声词错误率做到 0.133 但感知质量仍落后于偏好优化基线。

StepAudio 3 Music 针对完整歌曲的长程结构与高保真渲染矛盾，采用 50 赫兹 65536 表项单码本离散表示加混合专家自回归组织音乐序列再由流匹配扩散渲染 48 千赫音频，并以 ABC 记谱作显式编曲计划，在 339 条歌词到歌曲与 316 条人声条件上取得内容享受 7.7086 与文本相似 0.4465 的最高均值，代价是自回归序列翻倍与符 …

该回顾把四代系统的进步归因于规划器与渲染器之间接口契约的四次搬迁，用同篇消融支持表示与归属判断，以分阶段联合训练解决低码率与跨模块协同问题，代价是更长的训练流水线与更复杂的条件控制。

针对舞蹈线索稀疏而作曲需要稠密结构的问题，CMA-OT 用 Jukebox 多尺度专家对 DiT 隐表示做由粗到细的课程对齐与尺度自适应 FGW 软对齐，并以流匹配生成损失联合训练，在 AIST++ 与 TikTok 上报告了节奏与质量提升，代价是训练侧引入多尺度 OT 与课程调度。

针对文字难以规定节拍、旋律与演绎细节的问题，该工作用与主干同构的模板把控制音频转成逐层键值记忆注入冻结的生成分支，在单控制评测中把五类控制依从指标推到基线之上，同时自动音质与文本对齐分数与基线大体相当但存在指标级回落。

针对离散语音 token 到梅尔谱的低延迟合成问题，论文用梅尔空间重参数化的平均流把 2 到 3 步推理的声学目标直接化，并用层选择的分块掩码把每包计算限定在滑动窗内，代价是需要未来块的前视延迟和多步细化开销。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

AVI-Edit 以 Wan2.2 为视频骨干，用精度因子引导的掩膜精修器管空间边界、用分离生成混音返工的音频智能体管时间对齐，在 AVISET 与 AvED-Bench 上报告了质量与同步优势，代价是多实例只能串行逐个处理。

针对电影混音需分离对白、音效、音乐且缺乏带干净分轨的视听电影数据问题，该工作用条件流匹配同时生成三路频谱并以面部与场景双路视觉为条件，合成数据训练后在合成与真实电影片段上获得更干净的主观与分布指标，但多步采样与预测模型在信噪比类指标上的差距仍是代价。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对新房间仅给 1 至 8 条脉冲响应、深度与位姿时确定性方法无法表达声学不确定性的问题，FLAC 用潜空间流匹配加扩散变换器生成合理脉冲响应分布，并在 AcousticRooms 未见房间与真实 HAA 上以单样本超越 8 样本基线，但分布真实性与单步推理之间仍需权衡。

论文把唇同步拆成一步潜空间图像编辑器与音频到唇姿态变换器，用纯重建加流匹配代替对抗与扩散，并在重建与跨音频评测中以 109.41 帧每秒的单卡速度达到可比的同步与保真，代价是遮挡与极端姿态仍待加强。

该文把音乐风格迁移拆成视觉文本联合定风格与色度约束保旋律两件事，用无反演流直接搬运隐变量并以内层梯度拉回音高结构，代价是旋律锚定越强时目标风格贴合会轻微下降。

针对多声源视频中只生成文本指定声音的选择性视频到音频任务，SELVA 用文本调制的视频编码器加两阶段自监督混合训练实现目标声源分离生成，在 VGG-MONOAUDIO 上同时改善语义与时间对齐，但仍受训练数据噪声与细粒度文本理解限制。

针对无声视频生成音频时语义错位与时间错位并存的问题，论文用音视频时间对齐加图文语义引导的流匹配扩散变换器做基座，再用 ImageBind 与 Synchformer 自动排序的偏好优化做对齐微调，在 VGGSound 测试集上以 151M 参数取得分布与同步指标的领先，但高帧率编码与多轮偏好迭代仍带来额外开销与过优化风险。

针对长时长音频驱动全身动画的身份漂移与手部畸变问题，论文采用先生成低分辨率同步视频再用姿态引导精炼器恢复高分辨率的由粗到精路线，在全身集上报告图像距离 60.71 与手部置信度 0.90 等结果，代价是两阶段训练与大规模单人数据依赖。