语音配音

TaoMate-FVSR 针对低质量与生成视频中嘴部模糊或错位的问题，用带噪的输入隐变量做重建起点，配合目标语音、外观参考与历史帧做条件，并经两阶段训练学会修复与对口型，在原音频修复上取得最低的成对感知误差与较好的同步分数，但像素保真与无参考美观度需要分开看。

论文把配音式翻译定义为在同一绝对时间轴上保住源端点和显著内部停顿，提出 TransDubber 用对齐目标波形做渐进监督加细粒度强化学习，在 4353 句英中测试上把 2% 时长符合率从 25.6% 提到 61.5%、停顿 F1 从 0.118 提到 0.550，代价是翻译质量仍略低于级联系统。

X-Dubbing 把配音拆成管时间结构的翻译器和看视频说话的合成器，用合成后语音的反馈来挑选译文，在法语到英语演讲视频上同时改善了时长符合度与口唇同步，但结论只在单人独白和给定评测条件下成立。

共分析 80 篇语音/AI 论文

VoxDub 针对自动视频配音缺嘴型对齐训练数据的问题，用语音为中心的切分加双识别转写核对与音质人脸同步过滤构建 76 万段中英数据，TTS 实验证明相对 LRS3 与 CN-CVS 可懂度与说话人相似度更好，而配音微调仅得到大致相当的主观同步。

共分析 57 篇语音/AI 论文

针对无声视频配音需要同时保住可懂度、音色和口型同步的问题，UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正，在四个数据集上同步和音色最好，但部分类别字错率仍非最低且推理要多算分支。

针对只有静音视频和候选文本的配音唇同步评审问题，论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理，在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对视频配音等场景的时长错位问题，DuraS2ST 用先推理选词控音长再生成语音的两阶段流程，结合 DuraSet-440K 监督与时长容限强化学习，在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低，但当前验证仍限于中英离线生成。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作用源语音的二值语音活动掩码约束固定长度修复式合成以实现唇同步配音，最强证据是帧级对齐准确率从约 73% 提升到约 96% 且主观韵律无显著下降，代价是在翻译时长严重失配时出现删读、重复或调序。

该文用帧级二值语音活动掩码约束补画式语音合成以对齐源语言静音结构，在 mTEDx 上把帧对齐准确率从约 73% 提升到约 96%，而主观自然度无显著下降，代价是在翻译时长严重失配时出现可复述的删词、重复与重排。

针对戏剧配音中角色跨轮音色漂移、高潮台词演绎不足与长句分段节奏断裂三类场景级失效，SceneTTS-Bench 用统一输入协议与 SCS、UAR、RDR 三条自动诊断链在 160 场双语剧本上测出四套系统的互补短板，且场景级排序与句级可懂度排序明显背离。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文把唇同步拆成一步潜空间图像编辑器与音频到唇姿态变换器，用纯重建加流匹配代替对抗与扩散，并在重建与跨音频评测中以 109.41 帧每秒的单卡速度达到可比的同步与保真，代价是遮挡与极端姿态仍待加强。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

针对视觉特征预处理复杂且跨域易失效的问题，InstructDubber 用多模态大模型生成语速与情绪自然语言指令，再分别蒸馏时长线索与校准情绪分析以预测音素时长和韵律，在三个基准的域内与跨域零样本配音中报告了更稳的对齐，但部分时长指标仍有基线更优且推理依赖外部大模型。

针对仅对目标语句做跨模态建模导致情感表达不足的问题，论文用多模态参考片段库加情感相似检索与渐进图融合来模拟导演给素材、演员逐步内化的流程，在 V2C-Animation 上把情感准确率做到 47.21%，代价是需要维护检索库并做三阶段图编码。