语音配音

针对无声视频配音需要同时保住可懂度、音色和口型同步的问题，UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正，在四个数据集上同步和音色最好，但部分类别字错率仍非最低且推理要多算分支。

针对只有静音视频和候选文本的配音唇同步评审问题，论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理，在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对视频配音等场景的时长错位问题，DuraS2ST 用先推理选词控音长再生成语音的两阶段流程，结合 DuraSet-440K 监督与时长容限强化学习，在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低，但当前验证仍限于中英离线生成。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作用源语音的二值语音活动掩码约束固定长度修复式合成以实现唇同步配音，最强证据是帧级对齐准确率从约 73% 提升到约 96% 且主观韵律无显著下降，代价是在翻译时长严重失配时出现删读、重复或调序。

该文用帧级二值语音活动掩码约束补画式语音合成以对齐源语言静音结构，在 mTEDx 上把帧对齐准确率从约 73% 提升到约 96%，而主观自然度无显著下降，代价是在翻译时长严重失配时出现可复述的删词、重复与重排。

针对戏剧配音中角色跨轮音色漂移、高潮台词演绎不足与长句分段节奏断裂三类场景级失效，SceneTTS-Bench 用统一输入协议与 SCS、UAR、RDR 三条自动诊断链在 160 场双语剧本上测出四套系统的互补短板，且场景级排序与句级可懂度排序明显背离。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文把唇同步拆成一步潜空间图像编辑器与音频到唇姿态变换器，用纯重建加流匹配代替对抗与扩散，并在重建与跨音频评测中以 109.41 帧每秒的单卡速度达到可比的同步与保真，代价是遮挡与极端姿态仍待加强。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

针对视觉特征预处理复杂且跨域易失效的问题，InstructDubber 用多模态大模型生成语速与情绪自然语言指令，再分别蒸馏时长线索与校准情绪分析以预测音素时长和韵律，在三个基准的域内与跨域零样本配音中报告了更稳的对齐，但部分时长指标仍有基线更优且推理依赖外部大模型。

针对仅对目标语句做跨模态建模导致情感表达不足的问题，论文用多模态参考片段库加情感相似检索与渐进图融合来模拟导演给素材、演员逐步内化的流程，在 V2C-Animation 上把情感准确率做到 47.21%，代价是需要维护检索库并做三阶段图编码。