把主唱和和声分开：VocalRep 用角色一致性重做人声表示

英文题目：VocalRep: Structure-Aware Vocal Representations for Multimodal Generation

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.1785

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#偏好优化 #音视频 #音乐源分离 #语音转换

评分：6.4/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Da Shen：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenqiang Weng：机构信息未能从会议 PDF 纯文本可靠映射
• Tianyu Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Gongyu Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Runhua Shi：机构信息未能从会议 PDF 纯文本可靠映射
• Jiahui Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Chaofan Ding：机构信息未能从会议 PDF 纯文本可靠映射
• Wei-Qiang Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zihao Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理包含领唱、和声与伴奏的混音音乐输入并输出领唱、和声、伴奏三路波形以支撑歌声转换与唇形同步，难点在于同歌手领唱与和声旋律高度重叠造成局部角色歧义，以及重建损失对角色置换近似不变导致长时角色漂移。第一步以全局说话人身份向量条件化的Band-Split Roformer作分离主干，输出三路复数掩码得到初步三干估计。第二步任务感知评论器对自然混音与重组混音排序以约束领唱与伴奏节奏兼容性，其排序损失回传主干以抑制伴奏泄漏。第三步结构感知评论器对纯净人声混合与交叉组合混合排序以强化领唱主导性并惩罚和声压过领唱的错配，推理时丢弃双评论器并以混合音频滑窗嵌入谱聚类提供身份锚点。在PHV-40三干评测下，VocalRep乐器干的SI-SDR为15.70 dB，高于Band-Roformer的10.32 dB。相对仅优化信号重建的多干基线，该排序损失近似显式角色分配能量并隐式实现无需基频提取的领唱一致性，因而下游可懂度与同步更稳定。其适用边界受限于单全局身份假设，多主唱对唱等场景尚未验证且二干先分离后求和会累积误差。训练硬件为四块NVIDIA A800 GPU且总批量为4，推理开销仅保留分离主干而丢弃双评论器网络。

🔗 开源与复现资源

• 第三方资源：https://github.com/KimberleyJensen/Mel-Band-Roformer-Vocal-Model — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/playdasegunda/band-split-rope-transformer — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/ZFTurbo/MVSEP-MDX23-music-separation-model — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/starrytong/SCNet — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/ZFTurbo/Music-Source-Separati — 链接不可用（HTTP 404）
• 第三方资源：https://github.com/ZFTurbo/Music-Source-Separation-Training — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/svc-develop-team/so-vits-svc — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/Plachtaa/Seed-VC — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/instant-high/wav2lip-onnx-256 — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/antgroup/echomimic — 链接可访问（HTTP 200）
• 第三方资源：https://huggingface.co/fudan-generative-ai/hallo2 — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，必须保留什么？

本文的输入是混音音乐，包含主唱、和声与乐器。目标不是单纯把波形拆干净，而是为下游生成任务提供可直接建模的人声表示。下游包括歌声转换与音频驱动唇同步，前者要把歌声内容转到目标音色并保持旋律，后者要根据音频生成口型时间对齐。必须保留的信息有 3 类：随时间稳定的单一人声身份、单一主导音高轨迹、无歧义的音素时序。

原文强调，现代生成系统关键依赖时间稳定且语义无歧义的人声表示，而实际管线中这类表示通常来自对混音先做音乐源分离得到。因此分离质量直接决定下游是拿到干净主唱还是拿到混杂信号。初学者容易把分离分高就等同于下游好，本文的起点恰恰是反对这种等同。评价必须同时看信号重建分与下游任务分，训练也要为角色一致性留出显式机制。输出是三轨波形：主唱、和声、乐器，其中主唱是下游默认使用的那一轨。

理解这点后，才能明白后文为什么要做三轨而不是沿用常见的两轨人声加伴奏。

同输入同目标的已有路线差在哪里？

同输入的已有路线主要是两轨音乐源分离，把主唱与和声合并为一个人声轨，再配一个伴奏轨。这类方法优化重建目标，用失真比等指标衡量波形相似度。优点是优化简单、基准成熟，在公开集上容易拿到高分。缺点是把功能不同的主唱与和声压进同一表示，下游被迫在含混输入上做音高推断与音素对齐，容易出现音高抖动、音素混淆与时间不稳。

另一条路线是多轨分离，尝试拆更细的声部，但原文指出已有工作仍以信号级重建为优化重点，缺少下游生成所需的结构解耦。也就是说，多轨不等于角色解耦。与本文同目标的还有音高提取与符号监督思路，即用显式音高或乐谱告诉模型谁是主唱。本文明确不依赖显式音高或符号标注，而是用全局身份与排序目标隐式维持主次。

运行阶段的差异也很关键：训练时可以用真值主唱片段构造身份向量，推理时只能从混合本身估计身份锚点，因此需要聚类选主簇的机制保证整首一致。这是复述方法时必须保留的条件差异。

为什么主唱与和声在局部难以区分？

困难来自局部模糊性。主唱与和声可能出自同一歌手，音色与旋律走向高度重叠，短窗内仅看频谱很难判定谁主谁次。如果只优化重建相似度，交换主唱与和声的角色仍可能得到相近的重建误差，模型就会在不同乐段漂移角色。长音频进一步放大问题：前一段判对主唱，后一段可能把和声当主唱，导致下游拿到的音高轨断裂。歌声转换要求单一主导音高轨，唇同步要求时间无歧义的音素线索，角色漂移对两者都是直接伤害。

原文还指出，常规分离分对人类感知质量与表示适用性不敏感，高分结果仍可能藏有结构伪影、不稳音高轨与可懂度下降。因此问题定义不是把波形误差再压低一点，而是在不加音高标注的前提下，让主唱在整首范围内保持身份一致，并在与和声同框时保持结构主导。这是后文条件主干加双判别器排序的直接动机。

VocalRep 让一个样本走完哪条流水线？

拿一首混音为例，先按 8 秒切块做短时傅里叶变换得到频谱，送入条件化频带切分变换器主干。主干输出经 3 个预测头生成各自掩膜，再与输入频谱相乘并经逆变换恢复出主唱、和声、乐器 3 路波形。与此同时，训练期有两个辅助判别器只看组合后的混合是否合理：一个看主唱与真值乐器拼起来是否像自然伴奏下的歌，另一个看主唱与和声的组合是否保持主次结构。推理时辅助判别器丢弃，只保留主干与身份锚点，因此部署链路仍是混合进、主唱出。主干解决局部解歧，排序约束解决全局一致性与结构主导，二者缺一不可。

音乐源分离 × 歌声转换： 音乐源分离负责把混合音乐拆成可用的声部信号，歌声转换负责把给定人声内容转成目标音色，二者搭配的理由是后者需要前者提供时间稳定且语义单一的输入，组合意义在于把分离从信号重建转向为下游提供无和声干扰的单主导音高轨。

以下导读帮你定位前后两条路线的差异：左侧是输入与两种分离输出，右侧是下游任务对输入洁净度的反应，重点看颜色与箭头把哪条输出送往哪个任务。

看图路径： 1. 先看左侧原始音乐波形到两条分离路径的分叉箭头；2. 再对比上一支路混合人声与下一支路稳定主唱的波形配色差异；3. 最后看右侧两个下游任务框中红色叉与绿色勾的对应关系

论文图 1。原论文 Figure 1：“Comparison between conventional single- source separation and VocalRep. Role-aware vocal al- location yields more stable lead vocals for downstream tasks.”。

该图左侧把原始音乐同时送给已有系统与 VocalRep，已有系统输出混合人声，VocalRep 输出下方更一致的主唱层，右侧分别对应零样本歌声转换与唇同步任务框。图中用不同颜色区分混合与稳定的主唱输出，并用箭头表示只有稳定主唱能同时支撑自然干净的转换与精确同步。像素可见的要点是两条路径共享同一输入但输出层数与颜色不同，右侧任务框明确列出所用后端名称。读图时不要把颜色当成定量分数，它只表达角色是否解耦。

条件主干与双判别器各自算什么？

条件主干的输入是混合频谱，编码器先得到特征，再经由全局向量做特征调制后送入变换器。白话说，特征调制就是按身份向量对每通道做缩放与平移，让网络在不同乐段都偏向同一歌手。全局向量来自预训练说话人编码器，训练时从真值主唱随机片段抽多个嵌入平均，平均数为 20，并以一半概率丢弃以防过依赖身份线索。推理时没有真值可用，改为在混合上滑窗抽嵌入做谱聚类，取主簇中心作为整首锚点。

3 个预测头分别输出主唱、和声、乐器的掩膜，这是三轨能力的来源。任务感知分支构造参考混合与估计混合，前者是真主唱加真乐器，后者是预测主唱加真乐器，判别器被训练成给前者更高分，分离器则反向优化让后者得分追上来，从而要求预测主唱与真实乐器节奏兼容。结构感知分支构造原始人声混合与两种交叉组合，交叉即预测主唱配真和声、真主唱配预测和声，判别器给自然组合更高分，分离器反向追分，从而压住和声干扰并保持主唱主导。

全局声纹条件 × 特征调制： 全局声纹条件负责在长音频上锚定谁是主唱，特征调制负责把该向量注入变换器各层做通道级缩放平移，二者搭配是因为局部频谱上主唱与和声高度相似必须靠全局身份解歧，组合后分离头能在不同乐段保持同一角色指向。

以下导读帮你把左中右三栏对应到上述计算：左侧是分块与身份聚合，中间是跨时间与跨频率注意力，右侧是两种排序约束，重点看相加符号把哪些波形拼成判别器输入。

看图路径： 1. 先沿左侧分块到频带切分编码器再到条件变换器的主路径走一遍；2. 再看中间三对预测与真实谱图之间的双向一致约束；3. 最后看右侧任务感知与结构感知两个排序分支的相加符号与打分器

论文图 2。原论文 Figure 2：“The overall architecture of VocalRep.”。

该图左侧显示音频分块进入频带切分编码器，下方身份经线性与丢弃后以调制方式注入中间的跨时间与跨频率注意力堆叠，中间右侧输出预测与真实的 3 对谱图并标注一致约束，右侧上下两栏分别是任务感知与结构感知约束，各自由相加节点拼出混合后送入打分器算排序损失。像素可见的细节包括注意力块中的旋转位置编码标记、归一化与前馈位置，以及右侧菱形打分器与排序损失框。读图时注意中间的预测谱与真实谱是训练期对照，推理期只走左侧到预测谱的路径。

任务感知判别器 × 结构感知判别器： 任务感知判别器分工是判断主唱与伴奏合在一起是否节奏和谐，结构感知判别器分工是判断主唱与和声组合是否保持主次结构，搭配理由是一条约束管跨声部兼容性、另一条管声部内部主次，组合意义是同时压住伴奏泄漏与和声抢位。

损失如何交替优化，权重与优化器是什么？

训练是交替优化。分离主干最小化重建加两项排序的复合目标，重建保证各轨波形接近真值，任务排序项与结构排序项分别用系数加权，原文给出的两项权重均为 0.1。两个判别器各自最小化自己的排序判别损失，为分离器提供指向生成友好表示的梯度。判别器集合采用多周期、多尺度与多分辨率谱 3 类结构，覆盖时频模式，训练起点较晚，原文给出从第 100 轮开始介入，优化器与主干同样使用自适应优化器。

主干优化器为 Adam，学习率为 1 乘 10 的负 5 次方，每轮步数为 1000，总批量为 4，音频切为 8 秒、采样率 44.1 千赫，硬件为 4 卡。附录还从能量视角解释排序：把内容保真看成对称项，把角色指派看成非对称项，排序损失用打分差近似能量差，早期用较大间隔后期放松。复述时要区分原始目标、近似与优化步骤：重建是直接监督，排序是相对偏好，判别器与分离器的目标符号相反并交替更新。未报告的是判别器各自学习率调度与梯度裁剪细节，原文只给出统一学习率与起始轮数，缺项如实保留。

主唱主导性 × 交叉组合排序： 主唱主导性要求自然组合中主唱在能量与结构上压住和声，交叉组合排序负责把自然人声混合与预测与真值交叉拼成的人声混合送入同一打分器比较高低，搭配理由是直接写能量阈值难以泛化，组合后用相对排序隐式学到主次而不需音高标注。

数据、基线与指标在什么条件下比较？

训练用 250 小时自有数据，评测用 3 个集合：公开的 MUSDB18-HQ 与来自 MVSeq 的 Multisong，以及自建的 40 轨高密度和声集 PHV-40。分工明确：MUSDB18-HQ 因缺少独立和声轨只评人声伴奏分离全局质量，Multisong 主要评下游生成可用性而非直接信号解耦分，PHV-40 是唯一能支撑从细粒度主和声解耦到下游全链路的集合。基线覆盖频带切分变换器与混合变换器等主流结构，为公平比较使用社区广泛采用的检查点，并在三轨任务中把公开模型适配为三轨配置后在自有数据上重训，无提升 50 轮则停止。

信号保真指标包括失真比、尺度不变信失比、频谱距离映射分、表征人声洁净的 Bleedless 与表征乐器饱满的 Fullness，方向均为越高越好，频谱距离原文做了有界映射。下游歌声转换用字符错误率衡量可懂度越低越好，对数基频相关衡量音高一致越高越好，说话人相似度衡量音色保持，审美分含内容愉悦与有用两项。唇同步用同步距离越低越好与同步置信越高越好。主观评测要求参与者在安静环境用耳机独立打分，1 到 5 分对应从严重失真不可用到自然无伪影。

资源状态方面，基线与下游工具链多为当前可达的第三方仓库，唇同步中有一路本次未能确认可达，引用时须按本次核验写明可达性，不能一概写已公开可运行。

主结果在哪些数据上赢，代价是什么？

先看两轨求和比较提出的问题：在把预测主唱与和声求和为一个人声轨后，VocalRep 能否接近专为两轨优化的顶级模型，指标方向是失真比与尺度不变信失比越高越好，尺度不变信失比以分贝为单位。下表整理两轨求和下的关键对照，数值保留原文精度与单位写法，末尾单位覆盖整组比较。

该表显示 VocalRep 在两轨求和下人声略低于顶级专用模型，但在 PHV-40 乐器轨上大幅领先，其中乐器以 16.35 dB vs. 10.60 dB 为同一单位覆盖整组的写法。代价是人声求和分被两路误差叠加拉低，未胜出项是 MUSDB18-HQ 与 Multisong 的人声榜首，边界是该比较不直接反映三轨角色质量。

尺度不变信失比 × 字符错误率： 尺度不变信失比分工是度量波形在忽略整体增益后的重建相似度，字符错误率分工是度量转换后歌词经识别的可懂度，搭配原因是前者高不代表后者好，组合评估才能看出 VocalRep 用结构洁净度换下游可用性的取舍。

再看三轨细粒度解耦提出的问题：在同时报告主唱、和声、乐器的条件下，VocalRep 能否减少声部互扰，指标方向仍是越高越好并辅以洁净度分，失真比单位均为分贝。下表整理和声密集集上的三轨对照。

该表显示和声轨是区分点：多个基线在和声上为低分甚至负分，VocalRep 在三轨上同时更好且主唱洁净度更高，乐器轨以 15.70 dB 对 10.32 dB 领先超过 5 dB。未胜出或接近项是主唱榜首仍为适配后的 Band-Roformer，和声第二为 SCNet Large，说明和声分离对常规结构最难。限制是三轨基线为适配重训版本，与原始两轨检查点条件不同，比较时须注明该重训条件。

下游歌声转换与唇同步是否一致变好？

歌声转换要回答的问题是：用不同前端分离出的主唱驱动同一转换后端时，可懂度、音高稳定与审美是否同步改善，公平条件是同一数据集与同一后端。字符错误率越低越好，对数基频相关越高越好，两者单位均在表头百分比中注明，数据格保留原文裸值写法。下表整理跨后端的一致增益。

该表显示 VocalRep 在 3 个后端上同时降低字符错误率并拿到最高的音高相关，其中字符错误率以百分比为单位、音高相关以百分比为单位，说话人相似度保持可比，审美多数最好，主观平均意见分也在多数配置最高，尤其在 PHV-40 上跨后端清晰。代价是说话人相似度并未拉开，说明增益主要来自去和声后的音素与音高歧义消除而非音色建模。反例是某些重配基线在个别审美子项仍有竞争力，不能说所有主客观项全胜。

唇同步要回答的问题是：更干净的人声能否直接转成更准的口型，指标是同步距离越低越好、置信越高越好，距离与置信均为无量纲同步分。下表整理 3 类唇同步后端的对照。

该表显示 VocalRep 在 3 套唇同步系统上距离最低且置信多为最好，生成式后端上鲁棒性更明显，同步距离越低越好而同步置信越高越好。限制是真值视频本身含复调和声噪声，而本方法输出更干净，因此与真值特征的绝对差异不可避免，只能强调相对最好。未评测边界是多人同唱视频的口型归属，原文未给出该条件下的同步分。

拿掉双判别器或身份条件会发生什么？

消融要回答的问题是：双打分器与说话人条件是否各自贡献，条件是否一致，指标是否覆盖分离与下游。实验在 PHV-40 上以同一主干为起点，分别加双打分器、加推理期身份校正，再看三轨失真比与下游转换分，其中失真比单位为分贝、字符错误率与音高相关单位为百分比且均在表头注明。下表整理关键行，数值保留原文小数与表头单位写法。

该表显示双打分器稳定提升主唱与和声分离并降低字符错误率，身份条件在有显式身份校正时分离更高，无身份时下游音高仍可达 90.02%，两者叠加取得总体最好，其中分离以分贝为单位、转换以百分比为单位。反例是仅加身份无校正时字符错误率反而升至 48.18%，说明推理期身份估计质量决定收益，不能无条件说加身份必好。未测量的是判别器带来的训练时长与推理开销，因推理期已丢弃判别器，额外成本主要在训练侧，原文未报告具体小时数，复现时须自测。

哪些结论不能从当前证据推广？

第一，两轨榜单上的小幅落后不能解读为模型更差，它是分开预测再求和的必然累积误差，原文在结论与局限中 2 次归因于此。若你的任务只需要一个人声轨且不在乎和声控制，专用两轨模型仍是更直接的选择。第二，多主唱假设不成立时单全局身份可能无定义，原文点名二重唱等多主唱作品是挑战，未来工作才处理，因此不能把整首单锚点的结论推广到多人轮唱。

第三，下游绝对分受评测数据本身含和声噪声影响，唇同步的绝对距离不能跨数据集比大小，只能在同一数据集内比相对优劣。第四，相关性不等于因果：下游变好支持表示更干净，但未直接测量误判率、延迟与算力，不能承诺这些量同步改善。训练资源只报告了卡数、批量与学习率，未报告总时长与峰值显存，推理帧率与实际延迟也未报告，部署评估需补测。缺失证据不是技术错误，引用时如实写未报告即可。

要复现先准备什么，按什么顺序跑？

先准备数据与采样：训练切 8 秒、44.1 千赫，主干维度 512、深度 12 层、8 头、频带渐进 2 到 128，短时傅里叶参数为 2048 点、跳 441、窗 2048，丢弃率注意力与前馈均为 0.1。优化用 Adam、学习率 1 乘 10 的负 5 次方、每轮 1000 步、总批量 4，排序权重两项均为 0.1，判别器从第 100 轮介入，推理期丢弃判别器。身份条件训练期从真值主唱随机片段平均 20 个嵌入并以一半概率丢弃，推理期对混合滑窗抽嵌入做谱聚类取主簇中心。

基线复现优先用社区检查点并保留原始两轨条件，三轨比较需按原文把公开模型适配为三轨后在同数据重训、无提升 50 轮停止，否则条件不一致。下游复现固定同一后端与同一音高提取器，歌声转换三后端分别对应不同编码器，唇同步三后端覆盖生成对抗与潜在扩散两类范式。第三方资源中多数本次核验可达，但有一路唇同步权重本次未能确认可达，另一路训练仓库链接在原文中截断不可用，跑前先按本次资源状态逐条验证可达性并固定版本。

统一评测管线原文称正在整理后续发布，当前只能按附录指标定义逐项实现并截齐对齐后计算。

何时值得尝试，还需补哪项验证？

当你的歌声转换出现和声串音导致的含混歌词与抖动音高，或唇同步被和声触发错误口型，且你能接受三轨建模与训练期双判别器的额外成本时，值得尝试把前端换成这类角色感知表示。复现先做三件事：用 PHV-40 类高密度和声数据验证和声轨是否从负分拉正，用同一后端对比字符错误率与音高相关是否同步改善，用推理期有无身份校正两档验证身份锚点是否稳定。还需补的验证包括多人主唱下的角色指派、长曲分段间的身份漂移率、训练与推理的实际耗时显存，以及与真值干净人声驱动的差距上限。只有补齐这些，才能把生成质量增益从相对最好推进为可部署的确定收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总