歌曲生成与歌声转换为何难兼得：用课程掩码统一音色与伴奏

英文题目：Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

会议身份：conference:interspeech:2026:conference-paper-id:zhang26e_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#流匹配 #多任务学习 #零样本 #歌唱生成 #语音转换

评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ziyu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Chunyu Qiang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaopeng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Yuxin Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Kang Yin：机构信息未能从会议 PDF 纯文本可靠映射
• Wenjie Tian：机构信息未能从会议 PDF 纯文本可靠映射
• Jingbin Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Tianlun Zuo：机构信息未能从会议 PDF 纯文本可靠映射
• Zhao Guo：机构信息未能从会议 PDF 纯文本可靠映射
• Teng Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Yuzhe Liang：机构信息未能从会议 PDF 纯文本可靠映射
• Chen Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Lei Xie：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

歌曲生成缺乏零样本音色克隆，歌声转换则忽视人声与伴奏协同，且前者是文本到音频、后者是音频到音频，输入模态与优化目标冲突导致难以联合训练。UniSinger先用多模态编码器将文本指令、歌词音素、语义内容、说话人嵌入和目标音频隐变量投射到共享隐空间，再以多模态扩散变换器经流匹配学习从高斯噪声到音频隐变量的速度场，接着用在歌声转换信息瓶颈下提纯的跨任务说话人嵌入空间为歌曲生成提供细粒度音色控制，最后以四阶段任务掩码课程逐步开放模态组合以缓解梯度冲突。与单任务或干声转换后级联生成伴奏的机制不同，该框架实现了可克隆歌曲生成与伴奏协同生成歌声转换的端到端统一。在内部500段中英文均衡评测集上，歌曲生成音素错误率为19.61%，优于最强基线DiffRhythm+的20.72%，说话人相似度为68.85%，优于YuE的65.15%；干声转换音素错误率为0.151、相似度为0.712，优于So-VITS-SVC的0.154和0.700，伴奏版本和声度达3.891。在内部均衡评测任务下，UniSinger SVC的说话人相似度得分为0.712，高于So-VITS-SVC的说话人相似度得分0.700。该结论仅在内部短片段上验证，长歌曲结构一致性与野外泛化尚未验证，适用边界受限于短片段内部语料。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://ziyu6.github.io/UniSinger/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/RVC-Boss/GPT-SoVITS — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究两个并列任务，输入输出形态不同，初学者先要分清。第一个任务是带说话人克隆的歌曲生成，输入是文本指令加歌词音素加一段参考说话人音频，输出是一首包含人声与伴奏的完整歌曲，要求歌词可懂、音色像参考人、风格服从指令。第二个任务是带伴奏协同生成的歌声转换，输入是源歌声音频加目标说话人音频加文本指令，输出是保留源内容与旋律但换成目标音色、并且伴奏与人声和谐的新混音。

2 个任务都必须保留 3 类信息：语义内容决定唱什么字，音色身份决定像谁在唱，伴奏属性决定风格节奏与和声走向。论文开场就指出长期割裂的现状：前者缺零样本说话人克隆，后者忽视人声与背景音乐的声学协同。本文目标是做一个端到端统一框架，让音色表示能在两任务间迁移，让伴奏不再是外挂生成而是联合生成。演示页当前可用，地址为官方展示链接，第三方语义编码器相关仓库链接本次可达，但这不改变论文本身的实验结论。

按学习依赖展开，本文先讲任务与路线差异，再讲统一全景与 4 个组件的计算分工，再讲 4 阶段掩码课程如何构造训练，最后讲实验条件、主结果与反证。例子仅为教学：比如输入一句中文歌词的音素序列加女性参考音，模型应输出同歌词同旋律走向但音色为该女性的带伴奏歌曲，这只是帮助理解输入输出形态，不代表论文测试过该具体句子。

两条路线各自解决了什么，还缺什么？

歌曲生成路线已经建立了文本到歌曲的 robust 生成。论文点名的代表包括基于语言模型的 SongLM、能做零样本克隆的大规模 YuE、离散标记的 ACE-Step、支持严格歌词对齐的扩散模型 DiffRhythm+。这些工作把可懂度与音乐性推高，但多数仍把歌曲生成与歌声转换当孤立问题，即使能克隆也没有统一伴奏协同。歌声转换路线则在保真重建上走得很远，代表有点名的扩散式 DiffSVC、高质量零样本 HQ-SVC、拼接式 NeuCoSVC、基于内容音色解耦的 So-VITS-SVC，以及提升推理效率的一致性模型。它们能换音色，但在论文的论述里通常把干声转换与伴奏分开处理，做法是转换完再用类似 SingSong 的级联方式配乐，因此人声与伴奏的节奏和谐是事后拼接而非联合建模。

同输入同目标对照更清楚：同为文本到歌曲，YuE 与 DiffRhythm+ 是 UniSinger 歌曲分支的直接对照；同为音频到音频的转换，HQ-SVC、NeuCoSVC 与 So-VITS-SVC 是 UniSinger 转换分支的直接对照；同为需要音色控制，CAM++ 提供全局说话人嵌入，WavLM 模型用于评测音色相似度。类别差异不能当同条件胜负，例如参数量 3B 与 650,000 小时数据的 YuE 与 1.54B 参数与 20,000 小时歌曲数据的 UniSinger 不在同等数据预算下，比较时只能说在各自报告条件下的表现，不能说架构必然更优。

统一的矛盾点在哪里，为什么直接拼会失败？

论文把障碍分成模型层与训练范式层。模型层矛盾是输入异构：歌声转换是音频到音频映射，需要声学输入；歌曲生成是文本到音频任务，由文本驱动。把异构输入投影到同一隐空间并做跨任务说话人注入非常困难。训练范式矛盾是目标冲突：转换追求音色解耦，生成追求从零创造旋律。朴素多任务拼接容易出现梯度冲突与局部最优，要么丢掉细粒度人声细节，要么音乐结构不连贯。

因此论文提出的可验证主张是：需要显式的模态选择机制逐步引导模型掌握语义内容、人声音色与伴奏三者间的生成机制，而不是 1 次把所有条件堆给模型。后续的掩码课程与跨任务音色空间都是为这个矛盾设计的，消融部分会直接检验拿掉掩码或拿掉某 1 阶段会发生什么。

UniSinger 全景：一个样本如何走完输入到输出？

UniSinger 由 4 个部分组成：多模态输入处理把异构条件投影到共享隐空间，渐进课程学习用任务掩码引导从基础合成到伴奏协同，跨任务说话人嵌入空间保证音色一致，多模态扩散变换器主干通过流匹配建模音频隐分布。沿一个样本走一遍：以带伴奏的转换任务为例，源梅尔频谱进语义编码器得到去音色的语言特征，目标说话人音频进说话人编码器得到全局音色向量，文本指令进冻结大语言模型得到风格嵌入，三者按任务激活集合拼成条件输入；目标梅尔加噪后作为目标输入，两路在时间维拼接后送入主干学习速度场，推理时从高斯噪声积分生成隐变量再经梅尔解码器合成波形。

下图是理解全景的唯一像素依据，左半显示主干与输入处理，右半显示掩码与课程阶段，建议按 focus 顺序阅读。

看图路径： 1. 沿左下多模态输入处理模块追踪条件输入与目标输入两条流向顶部主干的汇合点；2. 对比右上任务掩码面板中阶段 0 到阶段 3 被点亮与置灰的指令音素语义条带；3. 观察底部课程学习面板从单任务方块到多任务并存方块的阶段扩张顺序；4. 确认训练与推理箭头在线路中的区别以及冻结编码器的标记位置

论文图 1。原论文 Figure 1：“The overall architecture of UniSinger.”。

从像素可见，左下面板区分了条件输入与目标输入两个虚线框，条件侧包含任务编号、指令、歌词音素与源梅尔 4 路编码，目标侧包含说话人编码与带噪声的梅尔编码，箭头汇入中间融合点再向上进入多层联合变换器与上层单一变换器，最后经流与常微分方程求解器到梅尔解码器输出歌曲。右上面板用 4 条横带表示阶段 3 到阶段 0 的激活模式，点亮表示该模态参与，置灰加叉表示被空标记替换，底部面板用从左到右的方块扩张表示阶段 0 只有歌曲生成、阶段 1 加入转换、阶段 2 加入克隆歌曲生成、阶段 3 加入带伴奏转换。这种可视对应正文的集合定义，后文训练节会逐阶段写出集合内容。

输入编码与主干如何分工：谁管对齐，谁管音质？

输入处理套件全部用预训练编码器投影到共享隐空间。指令与音素编码器分别用冻结的 Qwen2.5-7B 处理文本指令与基于 Zipformer 的编码器处理歌词音素；语义编码器采用 So-VITS-SVC 流水线级联 HuBERT 与矢量量化提取去说话人的语言特征；说话人编码器用 CAM++ 提供全局音色向量；音频编解码器训练了一个扩展 SecoustiCodec 的变分自编码器，把 44.1 kHz 音频压缩 1024 倍作为扩散回归目标。

进入主干前，掩码后的指令、音素与语义嵌入在时间维拼接成条件输入，全局说话人嵌入广播后在特征维拼接以保证一致的人声条件；目标输入在训练时给干净隐变量加高斯噪声，推理时直接从噪声开始，两路再做时间拼接联合建模。

语义嵌入 × 说话人嵌入： 语义嵌入负责剥离音色后的语言内容，提供唱什么和怎么断字的信息，说话人嵌入负责全局音色身份，提供像谁在唱的信息，二者搭配的理由是让内容与音色解耦输入，组合后模型在第 1 阶段只靠说话人嵌入恢复音色，从而建成跨任务可迁移的音色空间。

主干是多模态扩散变换器，底部 N1 层为联合层，顶部 N2 层为单一层。联合层把文本与音频两路的查询键值拼接做联合注意力，再拆回原流以对齐语言与声学；单一层丢掉文本模态，只对音频隐变量做自注意力打磨细节。论文报告模型规模为 1.54B 参数，14 层联合加 6 层单一，隐层维度 1024。训练目标是学习条件速度场把噪声变为目标隐变量，推理用常微分方程求解器积分再经梅尔解码器成波形。

联合扩散变换器层 × 单一扩散变换器层： 联合扩散变换器层负责把文本与音频两路的查询键值拼接做联合注意力，实现语言内容与声学特征对齐，单一扩散变换器层负责丢掉文本模态后只对音频隐变量做自注意力打磨细节，二者搭配的理由是先对齐跨模态结构再抛光单模态音质，组合后兼顾音乐结构与高频质感。

跨任务说话人空间的构造分两步：先在转换任务中只用语义加 CAM++ 特征重建目标音色，逼模型只靠说话人嵌入恢复音色，从而提纯出统一空间；再把该提纯嵌入引入歌曲生成任务做强声学先验，形成分层控制，即文本指令管全局风格，说话人嵌入管细粒度音色。这种设计是论文声称歌曲分支能做零样本克隆的关键。

歌曲生成 × 歌声转换： 歌曲生成负责从文本指令和音素从零构建旋律与全局音乐结构，歌声转换为负责从源音频语义重建目标音色，二者搭配的理由是前者提供全局乐感先验修正后者的韵律和谐，后者提供帧级语义建模先验降低前者的发音错误，组合后形成互为先验的统一训练。

掩码公式与四阶段如何把冲突任务拆开学？

任务掩码机制用指示函数控制每个模态是否激活，非激活模态用可学习空标记替换，激活集合由任务编号决定。通过逐步操纵激活集合，模型经历 4 个阶段。阶段 0 为通用歌曲生成，只以文本指令与音素为条件，学习文本到全局音乐属性与粗粒度音色的映射。阶段 1 为通用转换，只以语义与说话人嵌入为条件，形成信息瓶颈迫使模型依赖说话人嵌入重建音色并建立统一音色空间。

阶段 2 为说话人克隆歌曲生成，输入为指令加音素加说话人嵌入，实现生成范式内的零样本克隆。阶段 3 为伴奏协同生成转换，输入为指令加语义加说话人嵌入，要求从语义取内容、从说话人嵌入取音色、从指令取伴奏属性，利用前序阶段的生成先验合成和谐伴奏。

任务掩码 × 课程学习： 任务掩码负责按任务编号选择激活模态集合并用可学习空标记替换无关模态，课程学习负责把激活集合从纯文本到纯语义加音色再到混合逐步扩大，二者搭配的理由是避免多任务梯度冲突让模型 1 次只学一种生成机制，组合后实现从基础合成到伴奏协同的渐进掌握。

训练与推理的计算路径需要区分：训练时目标梅尔已知并加噪，损失监督速度场；推理时无目标梅尔，从高斯噪声出发按条件积分。论文明确冻结了指令大模型等部分编码器，但未逐层报告哪些参数更新、梯度是否截断、何时重置优化器状态，这些缺项在复现时只能按原文超参数照抄，不能从模型名称推定实现。

流匹配 × 常微分方程求解器： 流匹配负责在训练时学习从高斯噪声到目标音频隐变量的条件速度场，常微分方程求解器负责在推理时从噪声出发积分该速度场生成隐变量，二者搭配的理由是训练学连续变换路径而推理按同样路径数值积分，组合后把多模态条件转化为可解码的歌曲波形。

数据如何清洗，训练分几个阶段推进？

论文收集 30,000 小时野外歌曲并统一到 44.1 kHz，流程为信噪比过滤、语音活动检测切分、用混合变换器 Demucs 分离出干净人声，再用 Whisper-Large-v3 与 Qwen2.5-Omni 投票生成转录，最后由 Qwen2.5-7B 处理统一密集描述得到指令嵌入。多任务联合训练额外加入 5 1,000 小时内部带伴奏演唱数据。训练配置报告为 Adam 优化器学习率 1e-4，在 16 张 A800 上每卡批量 8。课程按阶段 0 到阶段 3 渐进，论文称通过选择性掩码无关模态，先掌握参考驱动的人声合成与文本驱动的伴奏生成，再增强跨模态对齐。原文未报告每个阶段的步数比例、学习率衰减与阶段切换判据，这是复现缺项，需要补做验证才能确定最优 pacing。

评估集为内部库中 500 个 15 到 20 秒片段，覆盖性别与中英文，论文称均衡抽取。客观指标包括用 FireRedASR 的音素错误率、用 WavLM 模型的说话人相似度、CLaMP 3 语义分与 SongEval 音乐质量分，转换任务另加音频距离与基频皮尔逊相关；主观由 30 名听众评音乐性、质量、可懂度与人声伴奏和谐度。为公平，基线转换模型用 SingSong 生成伴奏后再比和谐度。

测什么、与谁比、条件是否一致？

歌曲分支对比 4 个可运行系统：SongLM 代表语言模型式文本到歌曲，YuE 代表大规模零样本克隆，ACE-Step 代表离散标记生成，DiffRhythm+ 代表支持严格对齐的扩散生成。转换分支对比 NeuCoSVC、So-VITS-SVC 与 HQ-SVC，分别代表拼接匹配、内容音色解耦与低资源零样本路线。论文用 UniSinger Song 表示歌曲任务模型，用 UniSinger SVC 表示纯转换，用 UniSinger SVC BGM 表示带伴奏协同的转换。指标方向必须先明确：音素错误率越低越好，说话人相似度、基频相关、CLaMP 3 与 SongEval 各子分越高越好，主观平均意见分与和谐度越高越好。

公平条件方面，客观指标在同一 500 片段评估集上计算，主观由同一批 30 人打分，伴奏和谐对比时给基线外挂同一伴奏生成器以避免伴奏质量本身的不一致。但数据预算不一致是重要限制：UniSinger 用 20,000 小时处理后歌曲加 5 1,000 小时内部伴奏数据，而 YuE 报告为 3B 参数与 650,000 小时量级，不能把参数与数据差异下的胜负直接解读为架构胜负。百分点与相对百分比不同，跨指标差值也不能混入同一模型列下比较。

歌曲生成：可懂度与音色是否同时变好？

先提出比较问题：在同一文本到歌曲条件下，统一训练是否在不牺牲音乐结构的前提下同时改善发音与音色。公平条件是同一评估集与同一客观工具链，指标方向为错误率越低越好、相似度与音乐分越高越好。下表整理论文直接报告的核心数字，表格形态为手工整理，数字与单位逐字来自原文连续句。

表后解释需要同时讲收益与代价。论文报告显示 UniSinger 歌曲分支音素错误率最低，支持联合训练中转换分支的帧级重建增强了音素敏感性的解释；说话人相似度最高，支持跨任务音色空间迁移有效的判断。音乐性上连贯与旋律领先，但 CLaMP 3 未胜出，YuE 在该语义项占优，这是一个明确的未胜出项，说明统一并未在所有语义维度占优。主观上大规模 YuE 在相似度与质量中位数最高，论文将其归因于参数与数据规模，UniSinger 的优势集中在语言清晰度，这与客观错误率一致但不能推广为整体音质更优。 下图是主观三面板的唯一像素依据，需按分布而非单点阅读。

看图路径： 1. 先确认三个小提琴图的纵轴都是打分值与横轴五个系统名称的对应关系；2. 对比可懂度面板中 UniSinger 分布的集中位置与 SongLM 和 ACE-Step 的拖尾差异；3. 观察相似度面板中 YuE 分布中心与 UniSinger 分布中心的相对高低与宽度；4. 检查质量面板中各系统分布重叠程度以判断主观区分度是否小于客观指标

论文图 2。原论文 Figure 2：“Comparison of subjective metrics. (a) shows Intelligibility, (b) demonstrates Similarity, and (c) presents the MOS Score.”。

从像素可见，3 个面板纵轴均为打分值，横轴从左到右为 YuE、DiffR.+、SongLM、ACE-Step、UniSinger，其中 UniSinger 用不同底色突出。左 panel 可懂度中 UniSinger 分布更集中且中心偏高，SongLM 与 ACE-Step 拖尾更长；中 panel 相似度中 YuE 中心最高，UniSinger 次之且宽度较窄；右 panel 质量中各系统重叠较大，区分度小于前两面板。像素不能精确读出中位数小数，因此数值判断仍以正文表格为准，图像只支持分布形态的定性判断。

歌声转换与伴奏协同：和谐收益的代价是什么？

比较问题是：在纯转换与带伴奏转换两种条件下，端到端协同是否比级联配乐更和谐，以及联合建模是否损伤干声指标。公平条件是同一评估集，基线级联同一伴奏生成器。下表同样为手工整理，数值逐字来自原文。

表后解释要区分直接报告与有限解释。论文报告纯转换分支错误率最低、相似度最高，支持内容保持与音色迁移的判断；音高相关居第二，仅次于 HQ-SVC，这是未胜出项，说明音高建模并非全面最优。带伴奏变体如预期在基础指标上轻微下降，但仍优于部分干声基线，论文将其解读为架构能处理复杂声学交互，该解释属于有限解释而非因果证明。主观上纯转换可懂度最高，质量略逊于 HQ-SVC，论文归因于野外训练数据的轻微伪影。

带伴奏变体在和谐度上显著领先级联基线，这是端到端协同的核心收益，但代价是基础客观指标的回落。总体趋势不等于每组都成立，未测量延迟与成本时不能承诺效率改善。

拿掉掩码或某一阶段，哪里先变差？

消融按失败条件组织：测掩码机制、说话人注入方式与课程阶段的必要性。下表为手工整理，只收录原文明确定性结论对应的方向，不编造具体差值。

表后解释要讲清代价与边界。去掉掩码后两项关键指标同时变差，支持掩码必要；去掉转换阶段主要伤音色，去掉生成阶段主要伤和谐，支持互为先验的一般性原理，但这仍是相关性证据而非严格因果。说话人注入的对比揭示权衡：自适应归一化虽改善错误率却大幅损伤相似度，因此不能单看可懂度选型。论文未报告统计显著性与多次随机种子方差，也未评测跨语言与极端音域边界，这些是明确的未评测边界。

哪些结论有边界，哪些量根本没测？

首先是数据与可比性边界。训练用 30,000 小时野外歌曲与 5 1,000 小时内部伴奏数据，评估用 500 片内部片段，外部无法复核分布；与 YuE 的数据与参数预算不同，不能做同条件架构胜负断言。其次是指标边界：CLaMP 3 与音高相关、部分主观质量项并非最优，说明统一没有全面碾压；主观仅 30 人打分，未报告置信区间计算方法与显著性检验。

再次是缺测项：论文未报告训练总时长、推理步数与实时率、显存占用与实际延迟，也未测量误判率与版权风险，因此不能承诺部署成本或安全性改善。最后是实现缺项：阶段切换步数、掩码空标记初始化、解码器细节与随机种子均未完整交代，复现时需先补这些验证。缺失证据不是技术错误，但在补齐前只能用报告显示表达已测结果，用可能待验证表达机制解释。

要复现，先做什么，需要什么条件？

复现起点是明确信息条件：需要文本指令、歌词音素、源音频语义与目标说话人音频 4 路输入，以及 44.1 kHz 音频与 1024 倍压缩隐空间的编解码对齐。第一步应先复现输入处理链：冻结大语言模型做指令嵌入、Zipformer 做音素、HuBERT 加矢量量化做语义、CAM++ 做音色，并验证语义特征是否去音色充分，否则音色泄漏会污染跨任务空间。第二步按阶段 0 到阶段 3 逐步放开掩码集合，每阶段先在小数据上验证错误率与相似度走向，确认掩码空标记与广播拼接实现正确后再扩大训练。

第三步用同一评估协议复测：FireRedASR 测错误率、WavLM 模型测相似度、CLaMP 3 与 SongEval 测音乐性，并对转换分支加测音频距离与基频相关，主观至少复刻可懂度、相似度、质量与和谐四项。

关键超参数按原文保留：模型 1.54B、14 联合加 6 单一、维度 1024，优化器 Adam 学习率 1e-4，16 卡每卡批量 8。代码开源、权重下载与系统可运行要区分：论文只给出演示页当前可用与第三方仓库可达，未声明训练代码与权重公开，因此应写本次未能确认训练代码可达，而不是默认可复跑。若要尝试统一思路，适合已有两任务数据且能承担多阶段调度的团队；若只有单任务数据或算力只够单阶段，则先做单分支验证更稳妥。

何时值得尝试这个统一思路？

当目标同时需要零样本音色克隆与人声伴奏和谐时，这个统一思路值得尝试：用转换任务提纯音色空间反哺生成，用生成任务提供音乐结构反哺转换和谐。复现时先做掩码课程与广播注入两处，因为消融显示它们决定了可懂度与相似度的平衡。还需补的验证包括阶段时长敏感性、跨语言泛化、极端音高鲁棒性，以及推理步数与延迟的实测。只有在这些验证补齐后，才能把论文报告的最低错误率、最高相似度与最高和谐度从特定评估集上的结果推广为可部署收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总