似然能学会音符,对不上人心:音乐生成的偏好对齐怎么做
本文要解决似然训练抓不住主观音乐审美的问题,对比训练时 RLHF 与 DPO 和推理时树搜索三条路线,最强证据是约 300000 对偏好训练的 MusicRL 与 CLAP 提升 29.4% 的推理对齐,主要代价是数据不公开与推理延迟。
本文要解决似然训练抓不住主观音乐审美的问题,对比训练时 RLHF 与 DPO 和推理时树搜索三条路线,最强证据是约 300000 对偏好训练的 MusicRL 与 CLAP 提升 29.4% 的推理对齐,主要代价是数据不公开与推理延迟。
针对零样本语音合成中误读、可听噪声与异常停顿导致的不稳定问题,论文用能同时输出错误时间范围、转写文本与整句质量分的 Vox-Evaluator 做局部遮罩重改与细粒度偏好优化,在 Seed-TTS 上把 F5-TTS 的字错率从 1.73% 降到 1.42%,代价是最多两轮迭代改写与偏好训练过久后奖励饱和回落。
针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题,该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对,再用 TLPO 分专家独立优化后做时步-层自适应融合,报告显示主指标和用户评分全面提升,代价是两阶段训练与多专家推理融合的额外复杂度。
论文把音乐诱发绘画评估定义为直接预测感知一致性分数,用音乐调制视觉的 MPJudge 结合回归与偏好优化学习,在自建专家标注集上报告 SRCC 0.86 与 MAE 0.04,代价是更大的绘画编码器与对专家标注的依赖。
针对生成式语音修复中似然目标与听感偏好错位及单指标奖励作弊问题,论文用四维一致投票构造约 8 万偏好对并做 DPO 对齐,在 AR、掩码生成与流匹配三范式上报告了一致的客观与主观增益,代价是依赖自动指标代理与同范式数据更有效。
针对全模态大模型忽略视听证据与视频音频互相对不齐的问题,OmniDPO 用文本偏好对与加噪模态偏好对做条件偏好优化,在 Qwen2.5-Omni 与 MiniCPM-o-2.6 上降低幻觉并提升推理,但仍受基座视觉能力限制。
该工作以 Wan2.1 为基座,先用 LoRA 适配长视频,再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情,最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动,最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先,代价是三阶段大算力训练与推理时多路条件前向的额外开销。
SwanWeave 针对 FOA 四通道声场的指令编辑任务,用可控房间仿真构造 125K/类单操作与 250K 复合操作的源-目标配对监督,以潜空间流匹配为生成器,配合双层路由的 SE-MoE 与面向错编负样本的 SPO 偏好对齐及分阶段课程,实现一阶段复合编辑,并在客观与人评上一致优于现有通用与立体声编辑基线,代价是依赖仿真数据与约 10 秒短场景。
共分析 38 篇语音/AI 论文
音视频 | 7.7/10
共分析 20 篇语音/AI 论文
语音情感识别 | 8.0/10
音视频 | 9.0/10
音频生成 | 8.0/10
情感识别 | 7.5/10
语音合成 | 7.5/10
语音翻译 | 7.5/10