歌唱语音合成

📄 AnyAccomp: Generalizable Accompaniment Generation Via Quantized Melodic Bottleneck #音乐生成 #流匹配 #量化 #歌唱语音合成 #鲁棒性 🔥 8.0/10 | 前25% | #音乐生成 | #流匹配 #量化 | #流匹配 #量化 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Junan Zhang（香港中文大学深圳分校），Yunjia Zhang（香港中文大学深圳分校），两人贡献相等（Equal Contribution）。 通讯作者：Zhizheng Wu（香港中文大学深圳分校；澳门城市大学；深圳湾区实验室；Amphion Technology Co., Ltd.） 作者列表： Junan Zhang（香港中文大学深圳分校） Yunjia Zhang（香港中文大学深圳分校） Xueyao Zhang（香港中文大学深圳分校） Zhizheng Wu（香港中文大学深圳分校；澳门城市大学；深圳湾区实验室；Amphion Technology Co., Ltd.） 💡 毒舌点评 亮点：该工作精准地抓住了歌唱伴奏生成模型“过拟合于分离伪影”这一关键痛点，并设计了“量化音高瓶颈”这一优雅的解决方案，通过剥离音色和瑕疵信息，显著提升了模型在干净人声和纯乐器上的泛化能力，思路清晰且效果立竿见影。短板：目前的评估主要依赖于AI美学评分（audiobox-aesthetics）和FAD等指标，虽然全面，但对于“伴奏质量”和“音乐性”的衡量，可能仍需更贴近人类感知的细粒度评测；此外，瓶颈表示选择固定的音高特征图，对于非主调音乐或复杂编曲的泛化能力尚待验证。 📌 核心摘要 问题：现有的歌唱伴奏生成（SAG）模型在训练时使用了带有分离伪影的歌声，导致模型过拟合这些伪影，当输入为干净、真实的歌声时性能严重下降，存在严重的“训练-测试不匹配”问题。 方法核心：提出ANYACCOMP框架，分为两阶段。第一阶段使用VQ-VAE将输入的音高特征图（Chromagram）量化为离散的、音色不变的旋律码本表示。第二阶段使用基于Flow Matching的Transformer，以这些离散码本为条件，生成伴奏的梅尔频谱，最后用声码器合成音频。 创新点：与已有方法直接使用梅尔频谱或SSL特征不同，ANYACCOMP通过量化的音高瓶颈，主动解耦了旋律内容与源相关的音色及分离伪影，从而提供了鲁棒的生成条件。 实验结果：在领域内数据集（YuE，分离歌声）上，ANYACCOMP表现与基线（FastSAG， FM-Mel）持平或略优（见Table 1）。在关键的泛化测试集上（MUSDB18干净歌声、MoisesDB乐器独奏），基线方法的APA（条件一致性）得分接近0，表明生成失败；而ANYACCOMP的APA分别达到0.710和0.203，且FAD和美学分数也远优于基线，证明了其强大的泛化能力。 实际意义：该工作使得伴奏生成模型能够泛化到干净录音甚至纯乐器输入，首次实现了为纯乐器音轨自动生成伴奏，拓宽了AI音乐协作工具的应用范围。 主要局限：瓶颈表示完全基于音高特征，可能对打击乐或非调性音乐效果有限；部分评估指标（如PC， 内容复杂度）的解读需注意；未公开训练数据集本身。 🏗️ 模型架构 ANYACCOMP是一个两阶段的条件生成框架，整体架构如图1所示。 ...

📄 DiTSinger: Scaling Singing Voice Synthesis with Diffusion Transformer and Implicit Alignment #歌唱语音合成 #扩散模型 #数据增强 #隐式对齐 ✅ 7.0/10 | 前25% | #歌唱语音合成 | #扩散模型 | #数据增强 #隐式对齐 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Zongcai Du（咪咕音乐，中国移动通信集团公司） 通讯作者：未说明 作者列表：Zongcai Du（咪咕音乐，中国移动通信集团公司）、Guilin Deng（咪咕音乐，中国移动通信集团公司）、Xiaofeng Guo（咪咕音乐，中国移动通信集团公司）、Xin Gao（咪咕音乐，中国移动通信集团公司）、Linke Li（咪咕音乐，中国移动通信集团公司）、Kaichang Cheng（咪咕音乐，中国移动通信集团公司）、Fubo Han（咪咕音乐，中国移动通信集团公司）、Siyu Yang（咪咕音乐，中国移动通信集团公司）、Peng Liu（咪咕音乐，中国移动通信集团公司）、Pan Zhong（咪咕音乐，中国移动通信集团公司）、Qiang Fu（咪咕音乐，中国移动通信集团公司） 💡 毒舌点评 亮点： 论文提出了一套精巧的“PseudoSinger”数据构建流程，用“固定旋律+LLM生成歌词”的方式规模化生产高质量训练数据，从根源上缓解了SVS领域的数据饥渴问题。短板： 作为核心模型的DiTSinger，其架构本质是DiT在音频领域的直给式应用，隐式对齐机制是主要的架构创新，但整体模型设计的“性感”程度和理论深度稍显不足，更像是一项扎实的工程优化而非范式突破。 📌 核心摘要 这篇论文旨在解决歌唱语音合成（SVS）领域面临的训练数据稀缺和对齐标签依赖两大挑战。 论文方法的核心包含两部分：1）提出一个两阶段的数据构建管道，通过固定旋律并利用大语言模型（LLM）生成多样歌词，先训练“PseudoSinger”模型，再用其合成大规模（500小时）数据，显著扩充了训练语料。2）设计了DiTSinger模型，一个基于扩散Transformer（DiT）的潜在扩散模型，并引入了一个隐式对齐机制，通过限制音素注意力范围来消除对显式音素时长标注的依赖。 与已有方法相比，新在：a) 首次在SVS领域系统性地构建了用于模型训练的大规模合成数据管道；b) 将可扩展的DiT架构引入SVS，并验证了模型和数据的规模效应；c) 提出了一种不依赖显式时长标签的隐式对齐方法，提升了鲁棒性。 主要实验结果显示，随着模型规模（从Small到Large）和训练数据量（从30h到530h）的增加，合成质量（以MCD衡量）持续提升（见图3）。最终的DiTSinger L2模型在MOS（4.02）上超过了DiffSinger（3.80）、StyleSinger（3.62）和TCSinger（3.89），同时在F0RMSE（11.18 Hz）等客观指标上也取得了最优结果（见表2）。 该工作的实际意义在于提供了一条可扩展的、减少人工标注依赖的高质量歌唱数据合成与模型训练路径。其主要局限性在于：研究仅限于中文数据集，且模型忽略了如演唱技巧等更复杂的风格因素。 ...

ICASSP 2026 - 歌唱语音合成 共 5 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 SingMOS-Pro: An Comprehensive Benchmark For Singing Quality 7.5分 前25% 🥈 StylePitcher: Generating Style-Following and Expressive Pitc 7.5分 前25% 🥉 DiTSinger: Scaling Singing Voice Synthesis with Diffusion Tr 7.0分 前25% 4. Learning Vocal-Tract Area And Radiation With A Physics-Infor 7.0分 前50% 5. PerformSinger: Multimodal Singing Voice Synthesis Leveraging 4.5分 后50% 📋 论文详情 🥇 SingMOS-Pro: An Comprehensive Benchmark For Singing Quality Assessment ✅ 7.5/10 | 前25% | #歌唱语音合成 | #基准测试 | #数据集 #模型评估 ...

📄 Learning Vocal-Tract Area And Radiation With A Physics-Informed Webster Model #歌唱语音合成 #物理信息神经网络 #信号处理 #语音合成 ✅ 7.0/10 | 前50% | #歌唱语音合成 | #信号处理 | #物理信息神经网络 #语音合成 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Minhui Lu（Queen Mary University of London, Centre for Digital Music） 通讯作者：未说明（论文中未明确标注通讯作者，但根据常见惯例，第一作者或最后作者可能是。此处严格按论文内容判断，未明确提及。） 作者列表：Minhui Lu（Queen Mary University of London, Centre for Digital Music）、Joshua D. Reiss（Queen Mary University of London, Centre for Digital Music） 💡 毒舌点评 亮点：论文将经典的Webster声学方程与物理信息神经网络（PINN）结合，不仅学习了声道面积函数，还创新性地引入了可学习的端口辐射边界条件，为语音合成提供了高度可解释的物理控制参数。短板：然而，整个实验建立在合成的、高度理想化的稳态元音数据上，缺乏对真实歌唱语音的验证；其宣称的“物理可解释性”参数（如辐射系数ζ）在实际复杂声源和噪声环境下的鲁棒性与可区分性存疑。 ...

📄 Melos: Sentence-To-Section Training with Multi-Task Learning for LLM-Driven Song Generation #音乐生成 #多任务学习 #自回归模型 #歌唱语音合成 ✅ 6.5/10 | 前50% | #音乐生成 | #多任务学习 | #自回归模型 #歌唱语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Dapeng Wu（清华大学深圳国际研究生院） 通讯作者：Zhiyong Wu（清华大学深圳国际研究生院） 作者列表：Dapeng Wu†（清华大学深圳国际研究生院），Jinhong Lu†（Wonderai, Beijing, China），Bin Su（Wonderai, Beijing, China），Shun Lei（清华大学深圳国际研究生院），Xiong Cai（Wonderai, Beijing, China），Zhiyong Wu*（清华大学深圳国际研究生院） †：共同第一作者；*：通讯作者。 💡 毒舌点评 亮点：论文提出的“句子到段落”两阶段训练策略非常务实，有效缓解了长序列建模和数据稀缺问题，让一个0.5B的模型在0.5M数据上就能生成结构相对完整的歌曲，证明了该分治思路的有效性。 短板：在音乐性（MUS）、记忆性（MEM）等主观评价维度上明显落后于Suno、Mureka等工业系统，且未开源代码和模型，其“高质量”结论难以被社区直接复现和验证，削弱了论文的说服力和实用价值。 📌 核心摘要 问题：当前基于大语言模型（LLM）的端到端歌曲生成面临长音频序列建模难、训练数据有限以及歌词与歌声对齐挑战等问题。 方法核心：提出Melos框架，采用两阶段训练策略：首先在句子级别训练模型掌握基本的演唱能力；然后在段落（如主歌、副歌）级别训练以增强整体音乐性。同时，引入多任务学习，将歌词和声带（人声）信息作为辅助训练目标（放在序列末尾），以增强音色可控性和歌词准确性，且不增加推理开销。 与已有方法相比新在哪里：不同于直接在段落级别训练（如YuE），本文的渐进式学习范式使模型先易后难。不同于生成思维链（CoT）会增加推理成本，本文将辅助信息作为后置的监督信号，实现了“训练时多任务，推理时单目标”。 主要实验结果：在0.5M歌曲（约3万小时）上训练。在客观评估中，模型在音色相似性（SECS）和文本控制（CLAP）上表现优异（SECS 0.584, CLAP 0.270），但在FAD和PER上不及最佳基线。主观评估（MOS）显示，其整体质量（OQ 3.54）和歌词准确性（LA 4.21）与LeVo、Mureka等系统相当。消融实验证实了两阶段训练和辅助任务的有效性。 实际意义：为资源受限场景下的高质量歌曲生成提供了一种高效、可扩展的训练范式，证明了通过精细的训练策略可以在小数据集上获得有竞争力的生成效果。 主要局限性：1）未开源，限制了其影响力和可复现性；2）在音乐性、制作复杂度等核心主观指标上仍与领先的工业系统有差距；3）性能高度依赖音乐分离和说话人编码器的质量。 🏗️ 模型架构 Melos采用基于LLM的自回归生成范式，整体架构如图1所示。 ...

📄 PerformSinger: Multimodal Singing Voice Synthesis Leveraging Synchronized Lip Cues from Singing Performance Videos #歌唱语音合成 #多模态模型 #音视频 📝 4.5/10 | 后50% | #歌唱语音合成 | #多模态模型 | #音视频 学术质量 3.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 低 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：未说明 💡 毒舌点评 用唱歌视频的唇部动态来指导歌唱合成，这个多模态想法确实新颖，理论上能提升口型同步和表现力。但问题在于，仅凭标题我们对方法实现一无所知，更不知道实验效果是否真的‘Perform’了，这种‘黑箱’分析风险很高。 📌 核心摘要 这篇论文旨在解决传统歌唱语音合成（SVS）方法大多依赖音频或文本输入，缺乏对真实演唱中视觉动态（如唇部动作）的利用，可能导致合成结果在口型同步和表现力上存在不足的问题。其方法核心是提出一个多模态框架，直接从歌手表演视频中提取并利用同步的唇部线索（Lip Cues）作为条件来引导歌唱语音的生成。与已有方法相比，其新意在于将视觉模态（特别是唇部动态）作为一种强条件信号引入SVS任务，而不仅仅依赖于音频特征或乐谱。论文中未提供具体的实验结果数值和对比数据。该研究的实际意义在于可能为虚拟歌手、数字人演唱、歌曲创作等应用场景提供更自然、更具表现力的合成技术。由于提供的文本信息极其有限，论文的主要局限性完全未知，包括方法细节、实验设计、性能表现、数据规模及通用性等均未说明。 🏗️ 模型架构 论文中未提供具体架构描述。基于标题推断，模型可能包含以下组件：一个视觉编码器（用于从输入视频中提取唇部区域特征）、一个音频/声学编码器（用于处理参考歌声或目标音高/时长）、以及一个跨模态融合与解码模块（用于综合视觉唇部线索和其他条件生成最终的歌唱语音波形或梅尔频谱）。组件之间的数据流可能为：视频帧 -> 视觉特征；乐谱/文本/参考音频 -> 音声特征 -> 与视觉特征融合 -> 解码器 -> 合成语音。关键设计选择在于如何有效、同步地融合视觉与声学信息。由于未看到论文中的架构图，无法进行图片说明。 💡 核心创新点 引入同步唇部线索作为SVS条件：在歌唱语音合成任务中，首次（或较早）系统地利用来自表演视频的同步唇部视觉信息作为生成条件，这是核心的方法论创新。 跨模态对齐与融合：如何将时间序列上的视觉唇部动态与音频演唱信号进行精确对齐和有效融合，是一个关键的技术挑战，其具体的融合机制（如注意力机制、拼接、门控等）是创新点。 （推测）提升合成自然度与表现力：该创新旨在解决传统SVS可能存在的口型不自然、表现力单一的问题，通过视觉线索注入更多人类表演的细微动态。 🔬 细节详述 训练数据：未说明。 损失函数：未说明。 训练策略：未说明。 关键超参数：未说明。 训练硬件：未说明。 推理细节：未说明。 正则化或稳定训练技巧：未说明。 📊 实验结果 论文中未提供具体数值和实验结果表格或图表。因此，无法列出主要的benchmark对比数据、消融实验结果或细分条件下的性能。论文的核心假设——即引入唇部线索能提升歌唱合成质量——缺乏可验证的证据支持。 ...

📄 Sing2Song: An Accompaniment Generation System Based on Solo Singing #音乐生成 #音乐信息检索 #歌唱语音合成 #规则与模板 ✅ 7.5/10 | 前25% | #音乐生成 | #规则与模板 | #音乐信息检索 #歌唱语音合成 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Sen Ho Choi（华为中央媒体技术研究院） 通讯作者：Yaolong Ju（大湾区大学） 作者列表：Sen Ho Choi, Isaac Fung Chap, Huicheng Zhang, Yulun Wu, Yueqiao Zhang（华为中央媒体技术研究院），Hao Shen, Huu Quyen Dang, Zhili Tan, Simon Lui（华为中央媒体技术研究院），Qiuqiang Kong（香港中文大学），Yaolong Ju（大湾区大学） 💡 毒舌点评 亮点： 这是一个非常扎实的工程化系统，针对“清唱生成伴奏”这一具体场景，将数据驱动的MIR模型与基于规则的音乐生成、音频合成紧密结合，在解决“长音频”和“可定制化”这两个实际痛点上表现出色，效果显著优于端到端基线。 短板： 核心的伴奏生成模块严重依赖规则和预设模板库（MIDI片段），在音乐创作的灵活性和创新性上存在天花板，更像是一个“智能乐手跟随”系统，而非具备真正创造力的“作曲AI”。其创新更多体现在系统集成和工程优化，而非音乐生成算法本身的突破。 ...

📄 SingMOS-Pro: An Comprehensive Benchmark For Singing Quality Assessment #歌唱语音合成 #基准测试 #数据集 #模型评估 #自监督学习 ✅ 7.5/10 | 前25% | #歌唱语音合成 | #基准测试 | #数据集 #模型评估 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yuxun Tang (中国人民大学) 通讯作者：Qin Jin (中国人民大学) 作者列表：Yuxun Tang (中国人民大学), Lan Liu (Sun Yat-sen University), Wenhao Feng (中国人民大学), Yiwen Zhao (Carnegie Mellon University), Jionghao Han (Carnegie Mellon University), Yifeng Yu (Georgia Institute of Technology), Jiatong Shi (Carnegie Mellon University), Qin Jin (中国人民大学) 💡 毒舌点评 亮点：数据集构建工作堪称“基建狂魔”，从任务、语言、模型、标注维度上实现了对SQA领域前所未有的全面覆盖，为后续研究扫清了最大的障碍——数据。短板：在自动评估模型的创新上略显保守，主要是将语音领域的SSL模型和特征“搬”过来验证，缺乏针对歌唱特有属性（如音高、节奏、气息）的深度建模创新。 ...

📄 Sparse Autoencoders Make Audio Foundation Models More Explainable #音频大模型 #自监督学习 #模型评估 #歌唱语音合成 ✅ 6.5/10 | 前50% | #模型评估 | #自监督学习 | #音频大模型 #歌唱语音合成 学术质量 7.0/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Théo Mariotte（LIUM, Le Mans Université） 通讯作者：论文中未明确标注通讯作者。从作者列表顺序和贡献描述看，第一作者和最后一位作者Nicolas Dugué（LIUM, Le Mans Université）可能承担主要工作。 作者列表： Théo Mariotte（LIUM, Le Mans Université） Martin Lebourdais（LIUM, Le Mans Université） Antonio Almudévar（VivoLab, I3A, University of Zaragoza） Marie Tahon（LIUM, Le Mans Université） Alfonso Ortega（VivoLab, I3A, University of Zaragoza） Nicolas Dugué（LIUM, Le Mans Université） 💡 毒舌点评 亮点：本文系统性地将NLP和CV领域热门的可解释性工具（SAEs）引入音频模型分析，实验设计全面（从宏观任务到微观因素），清晰地揭示了不同模型层编码信息的差异性（如HuBERT早期层编码音高，晚期层编码共振峰），为理解音频“黑盒”提供了有价值的实证地图。短板：研究本质上是将已有工具应用于已知问题，缺乏在算法或理论层面的原创突破；所选案例任务（歌唱技巧分类）较为小众，结论的普适性有待在更广泛的音频任务上验证。 ...

📄 StylePitcher: Generating Style-Following and Expressive Pitch Curves for Versatile Singing Tasks #歌唱语音合成 #流匹配 #音频生成 #语音转换 #零样本 ✅ 7.5/10 | 前25% | #歌唱语音合成 | #流匹配 | #音频生成 #语音转换 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jingyue Huang (University of California San Diego, Smule Labs) 通讯作者：未说明 作者列表：Jingyue Huang（△University of California San Diego, ◦Smule Labs）、Qihui Yang（△University of California San Diego, ◦Smule Labs）、Fei-Yueh Chen（†University of Rochester, ◦Smule Labs）、Julian McAuley（△University of California San Diego）、Randal Leistikow（◦Smule Labs）、Perry R. Cook（◦Smule Labs）、Yongyi Zang（◦Smule Labs） 💡 毒舌点评 亮点在于它敏锐地抓住了唱歌音高曲线“既要符合乐谱，又要保留歌手个人风格”这个核心矛盾，并用一个优雅的掩码填充框架将其统一解决，体现了扎实的工程直觉和对音乐的理解。短板是，虽然实验覆盖了多个任务，但其作为“通用模块”的潜力在很大程度上依赖于下游系统本身，论文并未深入探讨在极端风格差异或复杂旋律转移场景下的鲁棒性边界。 ...