声音能帮视频修好嘴型吗:TaoMate-FVSR 的做法
TaoMate-FVSR 针对低质量与生成视频中嘴部模糊或错位的问题,用带噪的输入隐变量做重建起点,配合目标语音、外观参考与历史帧做条件,并经两阶段训练学会修复与对口型,在原音频修复上取得最低的成对感知误差与较好的同步分数,但像素保真与无参考美观度需要分开看。
TaoMate-FVSR 针对低质量与生成视频中嘴部模糊或错位的问题,用带噪的输入隐变量做重建起点,配合目标语音、外观参考与历史帧做条件,并经两阶段训练学会修复与对口型,在原音频修复上取得最低的成对感知误差与较好的同步分数,但像素保真与无参考美观度需要分开看。
TTSonic 要解决用同一套语音分词器、语义语言模型和声学流匹配模型组合出零样本合成、克隆、转换和指令控制等任务的问题,关键做法是把语义韵律规划和音色声学渲染分开,实验在多个中英文基准上显示内容准确率和说话人相似度具有竞争力,但英文指令跟随仍弱于最强基线。
论文要解决音频监督稀疏且不稳定导致的联合音视频蒸馏失衡,用更干净的视觉条件、更多组采样和按失配程度加权来稳定音频学习,在 JavisBench 上保持音频质量的同时明显提升视频质量。
论文把理解一阶 Ambisonics 场景的语言模型用流匹配扩展到生成与结构化编辑,用按模态路由的 LoRA 在保留理解的同时获得可控合成,并在受控仿真评测中优于全量微调。
该文把自由文本换成固定字段的结构化字幕来微调流式扩散变换器,并用两步补全和问答式对齐评价来验证,在报告的两个生成集上对齐和质量都有提升,但结论依赖内部训练库与所选评价器组合。
针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题,MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成,在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右,但动态切换语义与边界自然度之间仍需权衡。
针对同屏出现目标与干扰声时场景级视频查询含混的问题,SelectSep 用文本加单点坐标改造视频编码器再微调分离器,在标准集和同屏干扰集上用六项指标验证了目标选择性提升,尤其在语义相近混合上更明显,但跨类同屏上仍不及纯文本基线且依赖点击标注。
论文提出从单目视频生成可自由漫游的 4D 视听场景的新任务,用前景背景分解重建几何与轨迹,再以双空间扩散同步生成可重渲染的声源信号,在 SonoScene4D 上空间方向与语义一致性优于基线,代价是依赖多个现成重建与生成模型且只建模直达声。
该文用两阶段把定时音符先变成每弦基频与包络曲线再合成音频,在 GuitarSet 上控制保真与主观分领先单阶段与 DDSP-Guitar,但频谱距离指标 MSSL 仍落后于直接优化混音的 DDSP-Guitar。
针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题,CoupleFlow 只用脑电与语音随时间共变做判决,并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律,代价是短窗绝对准确率仍不高且依赖记录信噪比。
论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音,提出 STIA 跨话语条件流匹配生成方法,在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%,代价是需大量辅助数据与 110 小时双卡训练。
HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。
针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。
针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。
Ambit 用可执行的场景计划连接自回归规划与整流流渲染,并配合全向恢复与通道间监督的连续变分自编码器和联合在轨自蒸馏,在语音音乐环境声的生成与编辑评测中提升内容与空间指标,但结论只在约 15 秒内、四声道一阶 Ambisonics 与原文数据划分下成立。
TIMUSE 把通用增强拆成语义恢复与声学重建两步,用文本扩散语言模型补内容、用流匹配模型保音色,在重度缺失下内容保持更好,但结论只在原文的双基准与配对训练条件下成立。
针对跨语言零样本克隆把源语言口音带入目标语的问题,该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史,在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%,同时取得最低词错误率和最高发音评分。
针对含有音乐的单通道目标语音提取,MuseFlow-TSE 先用显式估计音乐的跨源带划分提取器做掩蔽分离,再用从粗估计出发的数据到数据流匹配做 1 到 4 步精炼,在 16 kHz 合成复杂场景里保住词错误率和说话人相似度的同时改善听感,但结论只在该合成分布内成立。
StyleStream 2.0 用去风格的内容提取加少步数生成重建解决流式整体风格转换延迟高且只能用参考音频指定目标的问题,用自回归微调保流式质量、用文字控制器实现风格向量设计与编辑,在参考音频转换上风格相似度最强但可懂度和情感编辑仍有代价。
LoCA 针对整句奖励分不清局部内容错误、带符号回归容易过度拟合或过度排斥的问题,用语音识别对齐做帧级信用再分配并加双侧阈值控制,在 VoxCPM2 上把多语言 CV3 子集的内容误差降到 4.758% 并把说话人相似度提到 69.137,但结论只在所选评测子集和单种子单主干条件下成立。