生成视频声音对不上口型怎么办:SyncReward 如何学人类判断
论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。
论文针对联合生成的音画不同步问题,用 80K 条专业同步评分和两阶段奖励模型做评测与优化,在自建 1K 基准上与人类最一致,但只优化同步可能牺牲提示词保真度。
针对眼镜超声静音识别配对数据难收集的问题,论文用语音克隆 TTS 加两阶段生成器从文本合成回波包络与条纹,并在 104 小时合成数据预训练后把词错误率从 25.9% 降到 23.6%,叠加故障会话与解码后到 14.9%,代价是需要 TTS 语音、两阶段对抗训练与语言模型重打分。
论文针对融合模型从双模态到三模态时性能下降的模态抑制问题,提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave,并在四个数据集上以全排序检索验证效果与开销。
TASTE 把文字拆成标签、段落计划和意象三路条件,用三层弱监督数据和两类模型实现可控钢琴生成,在情感与结构对齐上提升明显,但伴奏与演奏风格仍受标签可靠性限制。
针对播放器染色、空间传播与手机录音链路耦合导致的音乐退化,该系统用尺度感知编码加直接复数谱映射的双轴 Top-1 稀疏专家模型复原,并以 202 种条件下 1572.12 小时对齐仿真数据提供监督,最终以 2.951M 参数取得盲测 LSD 1.273、FAD 2.540、ViSQOL 3.495 的第三名成绩。
NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统,发现呼吸与喘息最难、事件控制与字词保真存在权衡,自动评分与人工听感并不完全一致。
论文针对语音识别隐表示残留说话人痕迹的隐私问题,提出在第 6 层辅助嵌入上先聚类找质心再推离的 SAID 方法,在 VCTK 上以遗忘集成员推断 52.6% 接近重训练金模型 52.7% 为最强证据,代价是保留集词错误率高于微调类基线。
论文用 0.6B 双自回归模型做零样本语音克隆,以多语言微调打底、用词错误率和说话人相似度稳住内容和音色,再用对照真人录音的真实感评价模型做强化学习来提升韵律自然感,代价是需要配对真人参考并额外约束时长。
论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面,并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506,而与 Clone Hero 联合反而降到 0.482。
UA-Bench 用 375,051 条参数可追溯的合成水下音频考查通用音频语言模型,九个开源模型细粒度准确率仅 2.0%–13.1%,波形主要帮助粗粒度路由而对细分类提升至多 4.7 个百分点。
该文把审美评价做成同艺人组内两两比较再汇总排序,用音频语言模型评歌曲、用视觉语言模型只看画面评 MV,发现视觉排序的模型间一致性明显高于音频,而音频与视觉共识几乎不对齐,与早期 YouTube 播放量的正相关也因艺人组而异。
论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA,发现增益集中在基线错误大且集中的地方,而混合适配常能持平或超过分组适配,因此超过零样本不能直接当作个性化的证据。
该文研究门诊多房间录音中无访客注册时的访客跨房链接,用逐设备中心化加并发与房间类型约束和员工语音校准阈值做聚类,在 VOiCES 仿真日上对 11 种嵌入全面超越无标签基线,但高度依赖跨房重复语音去除且单访患者仍易误合并。
论文针对部署中无标签条件下无法判断检测器是否处于熟悉条件的问题,在固定检测器嵌入上用两个参考的正则马氏距离做可信与告警分流,实验显示未被拦截的伪造误接受率降到 1% 以下,但代价是自动覆盖率明显下降且真语音漂移也会触发大量告警。
该文把人声强度转换定义为按连续 dB SPL 目标改写 frozen 特征,再用条件循环 GAN 训练轻量转换器,WavLM 上实现约 83% 的目标强度变化,但绝对感知水平仍依赖源录音且韵律频谱改变量小于自然差异。
VoTSpeech 针对纯文字指令缺显式声音目标的问题,用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器,在中文指令评测的描述风格与角色扮演任务上占优,但结论只在同一中文训练与统一评判条件下成立,且推理多出声音采样开销。
论文针对说话人验证攻击者的训练与评测数据属性不平衡会扭曲匿名化隐私估计的问题,构建了在性别年龄口音音高上平衡的 VoxAnon 数据集,用四种攻击者与三种匿名器的对照证明不平衡会改变子群难易排序,而平衡后仍残留与口音音高相关的差异。
论文针对音频语言模型评价生成音乐时相关性无法说明依据的问题,用去掉音频、同提示替换、成对调序和改写指令四个带对照探针检验五个公开评判模型,发现对齐评分都跟随实际播放的音频而质量评分只有部分跟随,且小模型的成对选择跟随位置而指令措辞的影响可达更换模型量级。
论文用语音和背景声各自独立真假的混合数据,比较四种检测器对假语音与假背景声的敏感度和依赖频段,发现假背景声更好检但差距主要来自对未见过假语音的泛化失败,且前端编码器决定了证据集中在哪个频段。
该文研究编解码器词元怎样用于目标说话人提取,提出判别语义分支加生成声学分支的分工结构,在 Libri2Mix 上把可比基线的 dWER 从 0.388 降到 0.118,代价是依赖两阶段结构和冻结的 DualCodec 编解码器。