语音合成

📄 GLA-GRAD++: An Improved Griffin-Lim Guided Diffusion Model for Speech Synthesis #语音合成 #扩散模型 #领域适应 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #领域适应 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Teysir Baoueb（LTCI, T´el´ecom Paris, Institut polytechnique de Paris, France） 通讯作者：未说明 作者列表：Teysir Baoueb（LTCI, T´el´ecom Paris, Institut polytechnique de Paris, France）、Xiaoyu Bie（同上）、Mathieu Fontaine（同上）、Ga¨el Richard（同上） 💡 毒舌点评 这篇论文的亮点在于将经典的信号处理算法（Griffin-Lim）与前沿的生成模型（扩散模型）结合得干净利落，通过一个“简单但关键”的修改（在预测y0项上进行一次性校正）同时解决了速度和鲁棒性两个痛点，在out-of-domain测试集上的提升相当亮眼。短板在于实验对比的基线不够丰富（未与同期的一些快速扩散声码器如FreGrad、SWave等直接对比），且未开源代码和模型权重，对于宣称“零样本”的方法，其实用价值评估需要等待社区验证。 📌 核心摘要 本文旨在解决基于扩散模型的声码器在条件梅尔频谱图与训练分布不匹配时性能下降且计算成本高的问题。其核心方法GLA-Grad++通过在扩散反向过程的早期，将神经网络预测的“干净语音”（预测y0）替换为从条件梅尔频谱图中通过一次Griffin-Lim算法（GLA）恢复的音频信号（˜x），来引导生成过程。与先前工作GLA-Grad（在多个扩散步骤中重复应用GLA）相比，本方法仅在扩散开始前应用一次GLA，显著加速了生成。实验表明，GLA-Grad++在感知语音质量（PESQ）和短时客观可懂度（STOI）上持续优于WaveGrad和GLA-Grad基线，尤其在未见过的说话人（VCTK数据集）场景下优势明显。例如，在VCTK上，GLA-Grad++的PESQ得分（3.772）相比WaveGrad（3.453）提升了约9.2%。该工作的实际意义在于为扩散声码器提供了一种无需重新训练、即插即用的增强方案，能有效提升合成语音在跨领域场景下的稳定性和质量。其主要局限性是方法性能（尤其是阶段切换点）对单个音频文件可能存在依赖性，论文建议未来可自适应选择最佳切换点。 🏗️ 模型架构 GLA-Grad++是一个针对扩散声码器（如WaveGrad）的推理阶段增强框架，而非一个独立的端到端模型。其整体架构可分为两个串联的阶段： 图1：GLA-Grad++ 总体框架图。Stage 1：校正步骤（上部）：在开始扩散过程之前，从条件梅尔频谱图出发，首先应用梅尔滤波器组伪逆得到幅度谱，然后通过Griffin-Lim算法（GLA）进行相位恢复，最后通过iSTFT得到一个估计的时域音频信号˜x。Stage 2：“经典”扩散步骤（下部）：从随机噪声开始执行标准的扩散反向过程。关键修改在于，在Stage 2的早期扩散步骤（步骤1至n）中，更新公式（公式9）中的第一项（预测y0项）被替换为Stage 1生成的˜x；当扩散过程进行到后续步骤（步骤n+1至T）时，则切换回标准的WaveGrad更新公式（公式5/8）。 ...

📄 Group Relative Policy Optimization for Text-to-Speech with Large Language Models #语音合成 #强化学习 #多语言 #零样本 #语音大模型 🔥 8.0/10 | 前25% | #语音合成 | #强化学习 | #多语言 #零样本 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Chang Liu（中国科学技术大学，国家语音及语言信息处理工程技术研究中心） 通讯作者：Zhen-Hua Ling（中国科学技术大学，国家语音及语言信息处理工程技术研究中心） 作者列表：Chang Liu（中国科学技术大学），Ya-Jun Hu（科大讯飞研究院），Ying-Ying Gao（九天人工智能研究院），Shi-Lei Zhang（九天人工智能研究院），Zhen-Hua Ling（中国科学技术大学） 💡 毒舌点评 亮点在于巧妙地将源自数学推理的GRPO算法“移植”到语音合成领域，并用一个现成的ASR模型构建了简单有效的复合奖励，实现了训练复杂度的显著降低和性能的稳定提升。短板则在于对“自然度提升”的深层机理探讨不足，仅通过MOS分数和少量示例论证，缺乏更系统的声学或韵律学分析，且Llasa-1B上的主观评估结果不佳也未得到充分解释。 📌 核心摘要 问题：现有基于大语言模型（LLM）的文本到语音（TTS）模型在使用强化学习（RL）进行微调时，面临训练流程复杂（如PPO需要维护价值模型）、或依赖昂贵的偏好数据（如DPO）等问题。 方法核心：提出一种基于分组相对策略优化（GRPO）的微调方法。该方法利用一个现成的自动语音识别（ASR）模型，从生成的语音波形中计算字符错误率（CER）和负对数似然（NLL），并通过调和平均融合为一个复合奖励信号。该奖励用于计算组内相对优势，从而微调预训练的LLM-TTS模型。 创新点：首次将GRPO算法应用于LLM-based TTS的微调；设计了一种无需额外训练模型、结合客观可懂度（CER）与模型置信度（NLL）的复合奖励函数。 主要实验结果：在CosyVoice2和Llasa-1B两个开源基线模型上，GRPO微调显著提升了零样本合成的可懂度（CER/WER降低）和自然度（MOS提升）。例如，对CosyVoice2，中文CER从1.41降至1.07，英文WER从2.46降至2.30；主观平均意见得分（MOS）在四种语言上均有统计显著提升（如中文从4.42提升至4.58）。消融实验证明，结合CER与NLL的复合奖励优于单一奖励。 实际意义：该方法简化了LLM-TTS模型的RL训练管线，使其更稳定、易于实施，并有效提升了合成语音的质量和鲁棒性。 主要局限性：方法依赖于一个高质量的ASR模型作为奖励提供者；论文未深入分析NLL奖励如何具体改善语音自然度的机理；在Llasa-1B模型上，RL微调未能带来主观自然度的显著提升，原因未充分探究。 🏗️ 模型架构 本文的核心贡献是提出一种基于GRPO的微调流程，而非一个全新的TTS生成架构。其流程如图2所示，适用于两类主流的LLM-based TTS模型。 图2：GRPO微调流程。灰色模块表示冻结。预训练的语音Token LLM作为策略模型πθ，同时初始化参考模型πref（冻结）。对于输入文本y，策略模型进行G次采样得到一组输出语音token O。这些token经解码器（如Codec解码器或流匹配+声码器）转换为波形X。随后，使用一个现成的ASR模型（如Whisper）对X进行识别，并计算复合奖励R。根据奖励计算组内相对优势A，最后通过最大化GRPO目标函数（公式7）更新策略模型参数。 ...

📄 HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-Based TTS #语音合成 #大语言模型 #自回归模型 #对比学习 #模型评估 🔥 8.0/10 | 前25% | #语音合成 | #大语言模型 | #自回归模型 #对比学习 学术质量 5.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Sihang Nie（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Sihang Nie（华南理工大学）、Xiaofen Xing（华南理工大学）、Jingyuan Xing（华南理工大学）、Baiji Liu（华南理工大学，广州趣玩网络科技有限公司）、Xiangmin Xu（佛山大学，华南理工大学） 💡 毒舌点评 亮点： 论文将“精细控制”这个模糊的目标，拆解为可操作的、由两个专用token监督的分层生成步骤，这种“结构化解耦”的思路非常清晰且有效，实验数据也确实支撑了其优越性。 短板： 训练过程描述不够细致，例如文本指令的预处理、训练时的正则化细节（如何概率性地掩码隐藏状态和提示token）不够明确，且代码未开源，使得复现其“精妙”的工程实现颇具挑战。 📌 核心摘要 问题： 现有基于大语言模型的指令TTS（Instruct-TTS）方法，试图将单层的文本指令直接映射到多层的语音token上，导致精细控制能力不足，存在“层级不匹配”问题。 方法核心： 提出HD-PPT框架，包含两个核心创新：a) 设计一个新的语音编解码器（Speech Token Codec），通过ASR和CLAP两个监督目标，将语音token解耦为“内容偏好token”（语义）和“提示偏好token”（风格）；b) 设计分层解码策略，引导LLM按“内容基础 -> 风格渲染 -> 完整声学表征”的顺序生成token。 新意： 相比于直接建模单一语音token序列的方法，本文首次将语音token在生成过程中显式地结构化解耦，并分别用语义和风格目标进行监督，实现了从“隐式映射”到“显式分层生成”的范式转变。 主要结果： 在TextrolSpeech和EmoVoice-DB两个数据集上，HD-PPT在主观自然度（MOS-N）、风格一致性（MOS-S）和情感相似度（EMO-SIM）指标上均取得了最佳成绩（见表1）。消融实验证明，移除任一偏好token或改变解码策略都会导致性能下降。 实际意义： 为实现高保真、高可控的语音合成提供了有效框架，提升了LLM在语音生成任务中的指令遵循能力，对智能语音助手、有声内容创作等应用有推动作用。 主要局限： 多组件架构增加了模型复杂度和部署难度；训练细节部分缺失，不利于完全复现；论文中承认对低资源语言的适应性是一个挑战。 表1：在测试集上的主观与客观对比结果 ...

📄 Hierarchical Discrete Flow Matching For Multi-Codebook Codec-Based Text-To-Speech #语音合成 #流匹配 #零样本 #音频生成 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #音频生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 中 👥 作者与机构 第一作者：未说明（论文中列出了多位作者，未明确指出第一作者） 通讯作者：未说明（论文中未明确指出） 作者列表：Joun Yeop Lee（三星研究院，三星电子）、Heejin Choi（三星研究院，三星电子）、Min-Kyung Kim（三星研究院，三星电子）、Ji-Hyun Lee（三星研究院，三星电子）、Hoon-Young Cho（三星研究院，三星电子） 💡 毒舌点评 该论文巧妙地将RVQ编解码器的“由粗到细”先验知识，内化为流匹配模型的训练课程与推理调度，逻辑清晰且实验增益显著，这是其最亮眼的工程创新。然而，论文对训练细节的“黑箱化”处理（如模型具体大小、完整超参数列表、训练时长）和仅有演示页面而无代码公开的现状，让其学术严谨性和社区复现性大打折扣。 📌 核心摘要 要解决什么问题：现有将离散流匹配（DFM）应用于基于残差向量量化（RVQ）的文本到语音（TTS）时，通常将所有码本视为同等，忽略了浅层码本（捕获粗结构）与深层码本（细化细节）之间的层次依赖关系，导致性能受限。 方法核心是什么：提出分层离散流匹配（H-DFM）。核心包括两方面：训练阶段，采用随机粗细模式课程学习——粗模式下遮蔽细码本噪声样本，仅更新粗码本头；细模式下用真实粗码本条件化，仅更新细码本头。推理阶段，采用粗偏向的两阶段调度——先用大部分步骤（Bc步）稳定粗码本（全局结构），再用少量步骤（Bf步）细化细码本。 与已有方法相比新在哪里：首次系统性地将RVQ的层次结构显式对齐到DFM的训练与推理过程中。相比直接应用DFM（F5-DFM），H-DFM通过架构（多头）和策略（课程学习、偏向调度）强制模型学习码本间的依赖关系，而非独立预测。 主要实验结果如何： 在零样本TTS评估中（NFE=32，粗细比例1/16），H-DFM相比基线显著提升。 关键客观指标对比： 模型 WER (%) ↓ SECS ↑ UTMOS ↑ F5-TTS (连续FM基线) 4.559 0.605 3.853 F5-DFM (朴素离散FM) 4.434 0.564 4.013 F5-H-DFM (本文方法) 3.036 0.609 4.205 H-DFM在可懂度（WER）和说话人相似度（SECS）上均取得最优，并在自然度（UTMOS）上也有较大提升。 消融实验表明，粗细推理比例（rcf=1/16）优于更平衡的比例（1/8, 1/2），验证了粗偏向策略的有效性。 实际意义是什么：为基于RVQ的高质量、非自回归TTS提供了一种更高效的解码方案。通过尊重编解码器的设计原理，可以在固定计算预算下获得更好的合成质量，对追求低延迟和高质量语音合成的工业应用有直接价值。 主要局限性：方法依赖于特定编解码器（HiFi-Codec）的固定层次结构和预先定义的粗细划分；训练与推理调度中的超参数（如pc=0.7， rcf=1/16）需要手动调整；论文未详细公开所有训练细节和模型参数，限制了可复现性。 🏗️ 模型架构 H-DFM的模型架构基于F5-TTS的扩散Transformer（DiT）主干网络进行修改。 ...

📄 How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection #音频深度伪造检测 #数据集 #模型评估 #语音合成 ✅ 7.5/10 | 前25% | #音频深度伪造检测 | #数据集 | #模型评估 #语音合成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yixuan Xiao (斯图加特大学自然语言处理研究所) 通讯作者：未说明（论文未明确指出） 作者列表：Yixuan Xiao (斯图加特大学自然语言处理研究所)、Florian Lux (AppTek GmbH)、Alejandro Pérez-González-de-Martos (AppTek GmbH)、Ngoc Thang Vu (斯图加特大学自然语言处理研究所) 💡 毒舌点评 论文精准地抓住了“编解码器重合成音频既像好人又像坏人”这个痛点，并用一套严谨的实验给出了“看它心是为压缩而跳还是为合成而跳”的诊断思路，实用性拉满。不过，作者似乎更满足于揭示“病症”和提出“用药建议”，而对如何从根源上（即检测器架构层面）提升对这类模糊样本的鲁棒性，着墨甚少。 📌 核心摘要 本文针对音频深度伪造检测领域中神经音频编解码器（NAC）的双重角色问题展开研究。NAC既可用于音频压缩传输（产生编解码器重合成音频CoRS），又可作为语音合成系统的声码器（产生编解码器语音合成音频CoSG）。这使得训练检测器时面临困境：CoRS应标注为真实还是伪造？为解决此问题，本文构建了一个基于ASVspoof 5协议的扩展数据集CodecDeepfakeDetection，包含多种TTS系统（Llasa, MARS5等）和NACs（EnCodec, Mimi, DAC等）。核心创新在于系统性地评估了将CoRS标注为“真实”或“伪造”对不同检测器（X-AASIST, LWBN）性能的影响。实验发现，标注策略的有效性取决于NAC的设计目标：对于以压缩为导向的NAC（如EnCodec, DAC），将其重合成音频标注为伪造会导致检测器过度学习编解码器伪影，从而错误拒绝经该NAC压缩的真实音频；而对于以合成为导向的NAC（如Mimi），将其标注为伪造更有效。主要实验结果表明，未使用NAC数据增强的基线模型在面对混合了CoRS的测试集时，等错误率（EER）高达约40%，而采用合适的增强策略（对部分NAC作为真实数据）可将其显著降低约8-11个百分点。本文的实际意义在于为构建对编解码器技术演变更鲁棒的检测系统提供了明确的数据标注指南。主要局限性在于研究主要集中于分析和提供见解，而非提出一个全新的、能统一处理此类模糊性的检测模型。 ...

📄 IBPCodec : A Low-Bitrate Lightweight Speech Codec With Inter-Band Prediction #语音编码 #语音合成 #信号处理 #轻量模型 #流式处理 ✅ 7.0/10 | 前25% | #语音编码 | #信号处理 | #语音合成 #轻量模型 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Peng Zhou（北京理工大学） 通讯作者：Shenghui Zhao*（北京理工大学） 作者列表：Peng Zhou（北京理工大学），Xiaojiao Chen（北京理工大学），Pincheng Lu（北京理工大学），Jing Wang（北京理工大学），Shenghui Zhao*（北京理工大学） 💡 毒舌点评 亮点：论文精准抓住了“低比特率下低频更重要”这一经典信号处理直觉，并将其与神经网络结合，通过一个轻量的带间预测模块（IBPM）在解码端“猜”出高频，以极小的计算代价（0.35 GMACs）实现了有竞争力的性能，这种“巧劲”值得在资源受限场景下借鉴。 短板：IBPM目前的结构（三层逐点卷积）过于简单，其预测能力存在明显天花板（当P=0.5时质量下降），本质上仍是低频信息的线性外推，论文未探讨更强大的生成式预测模型（如扩散模型）的可能性；此外，模型在1 kbps下的绝对质量（PESQ 2.2）距离“可用”仍有距离，创新性更多是工程上的巧妙设计而非原理性突破。 📌 核心摘要 这篇论文针对当前神经语音编解码器计算复杂度过高、难以在边缘设备部署的问题，提出了一种名为IBPCodec的低比特率轻量级语音编解码器。其核心方法是优先对输入语音的低频部分（占比P=75%）进行编码和量化传输，在解码端利用一个轻量的带间预测模块（IBPM）从解码出的低频信息中预测高频成分，从而恢复完整语音。与先前直接丢弃高频或整体编码的方法相比，该创新点在于将频带优先传输与神经预测相结合。实验结果显示，在16 kHz采样率、1-3 kbps比特率下，IBPCodec的计算复杂度仅为0.35 GMACs（远低于DAC的55.66G和SpeechTokenizer的17.09G），其PESQ、SI-SDR等客观指标及MUSHRA主观评分均优于或持平FreqCodec、SpeechTokenizer等基线。该工作的实际意义在于为低功耗设备上的实时语音通信提供了一种高效的编解码方案。其主要局限性在于IBPM的预测能力有限，在更低频带占比（P=0.5）时性能下降，且模型在极低比特率下的绝对语音质量仍有提升空间。 🏗️ 模型架构 IBPCodec采用“编码-量化-解码-预测”的端到端架构，工作在时频域。整体流程如图1所示： 输入预处理：输入语音波形x经STFT变换为频谱f。论文取其幅度、单位范数相位的实部和虚部，并截取低频部分（比例P）作为输入flow，维度为3×F‘×N。 编码器：由ConvEncoder（下采样卷积堆栈）和TAM（时间聚合模块）组成。ConvEncoder在每帧内进行特征提取，但缺乏帧间建模。因此，在量化器前后各加入一个TAM（基于因果FocalBlock），用于聚合不同时间尺度的依赖关系，增强时序建模能力。所有卷积均为因果卷积，以支持流式推理。 量化器：采用分组残差向量量化（GRVQ），组数G=2，通过调整层数控制比特率。将连续潜变量z量化为离散表示zq。 解码器：结构与编码器镜像对称，将上采样卷积替换下采样卷积。解码器从量化特征中重建低频频谱f‘_low。 带间预测模块：这是核心创新模块。它接收解码出的低频f‘_low，通过三层逐点1D卷积（带PReLU激活）将信息从低频维度投影至高频维度，预测出高频频谱f‘_high。预测公式为：f‘_high = IBPM(f‘_low)。 输出合成：将低频f‘_low和预测的高频f‘_high拼接成完整频谱f‘，再经iSTFT变换成最终语音波形x‘。 设计动机：该架构的核心动机是，在低比特率下，优先保证低频信息的准确传输，因为低频对语音的可懂度和感知质量至关重要。高频信息则通过轻量预测模块从低频中恢复，从而避免了对高频进行昂贵的编码，大幅降低了整体计算复杂度。 ...

ICASSP 2026 - 语音合成 共 63 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 T-Cache: Fast Inference For Masked Generative Transformer-Ba 9.0分 前25% 🥈 Wavenext 2: Convnext-Based Fast Neural Vocoders with Residua 9.0分 前25% 🥉 VoXtream: Full-Stream Text-To-Speech With Extremely Low Late 8.5分 前25% 4. EMORL-TTS: Reinforcement Learning for Fine-Grained Emotion C 8.5分 前25% 5. No Verifiable Reward for Prosody: Toward Preference-Guided P 8.0分 前25% 6. Marco-Voice: A Unified Framework for Expressive Speech Synth 8.0分 前25% 7. Neuromamba: Adaptive Frequency Filtering with a Pyramid Mamb 8.0分 前25% 8. Group Relative Policy Optimization for Text-to-Speech with L 8.0分 前25% 9. Do You Hear What I Mean? Quantifying the Instruction-Percept 8.0分 前25% 10. OV-INSTRUCTTTS: Towards Open-Vocabulary Instruct Text-to-Spe 8.0分 前25% 11. HD-PPT: Hierarchical Decoding of Content- and Prompt-Prefere 8.0分 前25% 12. Emotion-Aligned Generation in Diffusion Text to Speech Model 8.0分 前25% 13. Measuring Prosody Diversity in Zero-Shot TTS: A New Metric, 8.0分 前25% 14. DAIEN-TTS: Disentangled Audio Infilling for Environment-Awar 8.0分 前25% 15. BridgeCode: A Dual Speech Representation Paradigm for Autore 8.0分 前25% 16. Continuous-Token Diffusion for Speaker-Referenced TTS in Mul 8.0分 前10% 17. Prosody-Guided Harmonic Attention for Phase-Coherent Neural 8.0分 前25% 18. Optimizing Speech Language Models for Acoustic Consistency 8.0分 前25% 19. NCF-TTS: Enhancing Flow Matching Based Text-To-Speech with N 8.0分 前25% 20. ARCHI-TTS: A Flow-Matching-Based Text-to-Speech Model with S 8.0分 前25% 21. EMG-to-Speech with Fewer Channels 7.5分 前25% 22. VividTalker: A Modular Framework for Expressive 3D Talking A 7.5分 前25% 23. Real-Time Streaming MEL Vocoding with Generative Flow Matchi 7.5分 前25% 24. From Hallucination to Articulation: Language Model-Driven Lo 7.5分 前25% 25. SynParaSpeech: Automated Synthesis of Paralinguistic Dataset 7.5分 前25% 26. Asynchrony-Aware Decoupled Multimodal Control for Cued Speec 7.5分 前10% 27. DMP-TTS: Disentangled Multi-Modal Prompting for Controllable 7.5分 前25% 28. RRPO: Robust Reward Policy Optimization for LLM-Based Emotio 7.5分 前25% 29. Syncspeech: Efficient and Low-Latency Text-to-Speech Based o 7.5分 前25% 30. Principled Coarse-Grained Acceptance For Speculative Decodin 7.5分 前25% 31. SPADE: Structured Pruning and Adaptive Distillation for Effi 7.5分 前25% 32. Entropy-Guided GRVQ for Ultra-Low Bitrate Neural Speech Code 7.5分 前25% 33. Discrete Diffusion for Generative Modeling of Text-Aligned S 7.5分 前25% 34. Emotional Dimension Control in Language Model-Based Text-To- 7.5分 前25% 35. Beyond Global Emotion: Fine-Grained Emotional Speech Synthes 7.5分 前25% 36. QFOCUS: Controllable Synthesis for Automated Speech Stress E 7.5分 前50% 37. Synthetic yet Striking? Assessing Vocal Charisma in TTS via 7.5分 前25% 38. TMD-TTS: A Unified Tibetan Multi-Dialect Text-to-Speech Fram 7.5分 前25% 39. Deep Dubbing: End-to-End Auto-Audiobook System with Text-to- 7.5分 前25% 40. Erasing Your Voice Before it’s Heard: Training-Free Speaker 7.5分 前25% 41. InstructAudio: Unified Speech and Music Generation with Natu 7.5分 前25% 42. GLA-GRAD++: An Improved Griffin-Lim Guided Diffusion Model f 7.5分 前25% 43. Int-MeanFlow: Few-Step Speech Generation with Integral Veloc 7.5分 前25% 44. Training Flow Matching Models with Reliable Labels via Self- 7.5分 前25% 45. Hierarchical Discrete Flow Matching For Multi-Codebook Codec 7.5分 前25% 46. Frame-Stacked Local Transformers for Efficient Multi-Codeboo 7.5分 前25% 47. Direct Preference Optimization For Speech Autoregressive Dif 7.5分 前25% 48. MirrorTalk: Forging Personalized Avatars Via Disentangled St 7.0分 前25% 49. Residual Tokens Enhance Masked Autoencoders for Speech Model 7.0分 前50% 50. SP-MCQA: Evaluating Intelligibility of TTS Beyond the Word L 7.0分 前50% 51. SPAM: Style Prompt Adherence Metric for Prompt-Based TTS 7.0分 前50% 52. Gelina: Unified Speech and Gesture Synthesis Via Interleaved 7.0分 前50% 53. Retrieval-Based Speculative Decoding For Autoregressive Spee 7.0分 前50% 54. T-Mimi: A Transformer-Based Mimi Decoder for Real-Time On-Ph 7.0分 前50% 55. Wave-Trainer-Fit: Neural Vocoder With Trainable Prior And Fi 7.0分 前25% 56. EmoShift: Lightweight Activation Steering for Enhanced Emoti 7.0分 前50% 57. Task Vector in TTS: Toward Emotionally Expressive Dialectal 7.0分 前50% 58. Quantifying Speaker Embedding Phonological Rule Interactions 7.0分 前25% 59. PFluxTTS: Hybrid Flow-Matching TTS with Robust Cross-Lingual 7.0分 前50% 60. LP-CFM: Perceptual Invariance-Aware Conditional Flow Matchin 7.0分 前25% 61. SFM-TTS: Lightweight and Rapid Speech Synthesis with Flexibl 7.0分 前25% 62. MELA-TTS: Joint Transformer-Diffusion Model with Representat 7.0分 前25% 63. Combining Multi-Order Attention and Multi-Resolution Discrim 6.5分 前50% 📋 论文详情 🥇 T-Cache: Fast Inference For Masked Generative Transformer-Based TTS Via Prompt-Aware Feature Caching 🔥 9.0/10 | 前25% | #语音合成 | #实时处理 | #零样本 #语音大模型 ...

📄 InstructAudio: Unified Speech and Music Generation with Natural Language Instruction #语音合成 #音乐生成 #扩散模型 #多任务学习 #统一音频模型 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #音乐生成 #多任务学习 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Chunyu Qiang（天津大学，快手科技） 通讯作者：Longbiao Wang（天津大学） 作者列表：Chunyu Qiang（天津大学，快手科技），Kang Yin（快手科技），Xiaopeng Wang（快手科技），Yuzhe Liang（快手科技），Jiahui Zhao（天津大学），Ruibo Fu（中国科学院自动化研究所），Tianrui Wang（天津大学），Cheng Gong（天津大学），Chen Zhang（快手科技），Longbiao Wang†（天津大学），Jianwu Dang（天津大学） 💡 毒舌点评 这篇论文的最大亮点在于其“野心”——试图用一个统一的框架和自然语言指令，同时搞定语音合成（TTS）和音乐生成（TTM）这两个本就差异显著的任务，这在思路上确实领先。但短板也很明显：论文在展示音乐生成对比结果时，坦诚其5-20秒的生成长度可能对长时序模型不公平，这种实验设计的局限性削弱了结论的说服力；更关键的是，论文几乎未提供任何可复现的开源信息，这对于一个宣称“统一框架”的工作而言，是个不小的遗憾。 📌 核心摘要 问题：现有的文本转语音（TTS）和文本转音乐（TTM）系统在基于指令（自然语言描述）的控制方面存在显著局限。TTS模型通常依赖参考音频控制音色，属性控制能力有限；TTM模型则依赖专业标注，且两类任务长期独立开发，难以统一建模。 方法核心：提出InstructAudio，一个基于多模态扩散Transformer（MM-DiT）和条件流匹配的统一框架。它采用标准化的“指令-音素”输入格式，通过联合和单一扩散Transformer层，处理无噪的梅尔VAE潜在表示，从而在统一模型中实现语音和音乐的生成与控制。 新意：这是首个通过自然语言指令统一控制语音和音乐生成的框架。它消除了对参考音频的依赖，能通过文本指令控制音色（性别、年龄）、副语言（情感、风格、口音）和音乐（类型、乐器、节奏、氛围）等多种属性，并支持双说话人对话生成。 主要实验结果： TTS任务：在Seed-TTS基准的WER指标上，InstructAudio在可控条件下达到了最佳的英文（1.52%）和中文（1.35%）错误率（见表1）。在指令控制任务上，其分类控制准确率（如性别100%、年龄86.67%、对话90%）和说话人/情感相似度均优于强基线CosyVoice2，且在LSD、MCD等失真指标上更优（见表2）。 TTM任务：在SongEval音乐评估基准的所有指标（连贯性、音乐性等）上均取得最佳分数。在分类控制准确率上，于歌手性别（98.89%）、年龄（97.22%）和氛围（95.00%）控制上表现突出（见表3）。 综合对比：论文通过图1可视化比较，声称在多项指标上实现了TTS和TTM能力的全面领先。 实际意义：为内容创作（如生成带有特定情感和风格的旁白或背景音乐）、交互式媒体、娱乐等领域提供了一种更通用、交互更自然的音频内容生成工具，降低了专业音频制作的门槛。 主要局限性：1) 统一输入格式（纯文本指令）导致了“一对多”的映射歧义，可能牺牲了生成音频的自然度和质量（NMOS分数低于使用参考音频的基线）；2) 为了联合建模，将音乐生成长度限制在5-20秒，限制了其在长时音乐生成场景的应用，并且对基线模型的评估可能不公平；3) 论文未提供开源代码、模型或数据，可复现性低。 InstructAudio整体架构示意图（图2）。 ...

📄 Int-MeanFlow: Few-Step Speech Generation with Integral Velocity Distillation #语音合成 #流匹配 #知识蒸馏 #流式处理 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #知识蒸馏 #流式处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表未按顺序标注，首位作者为Wei Wang） 通讯作者：未说明 作者列表：Wei Wang（字节跳动 ByteDance），Rong Cao（字节跳动 ByteDance），Yi Guo（字节跳动 ByteDance），Zhengyang Chen（字节跳动 ByteDance），Kuan Chen（字节跳动 ByteDance），Yuanyuan Huo（字节跳动 ByteDance） 💡 毒舌点评 亮点：精准地找到了MeanFlow在TTS落地的两大“卡脖子”问题（JVP内存爆炸、自举不稳定），并给出了一个工程上非常友好的“绕道”方案（用离散积分近似、去掉JVP），效果立竿见影。短板：提出的方法本质上是对教师模型推理路径的“离线”蒸馏和近似，其泛化性和在更复杂生成任务上的极限性能仍待观察，实验也仅限于两个特定模型架构。 📌 核心摘要 问题：基于流匹配的语音合成模型（Flow-based TTS）生成质量高，但推理速度因迭代采样（多次函数评估，NFE）而受限。近期的MeanFlow模型通过建模平均速度来加速生成，但将其直接应用于TTS面临两个挑战：训练时计算Jacobian-vector product（JVP）带来巨大的GPU内存开销，且依赖自举（self-bootstrap）过程导致训练不稳定。 方法核心：提出IntMeanFlow框架，通过“积分速度蒸馏”让学生模型学习平均速度。其核心是用教师模型在时间区间[t, r]上的离散迭代步进所积累的总位移，来近似积分速度（平均速度），作为训练目标。这完全避免了JVP计算和训练中的自举过程。同时，提出最优步骤搜索（OS3）算法，通过三分搜索自动优化模型的采样步长分布。 新意：与直接应用MeanFlow相比，IntMeanFlow用离散积分近似替代了连续JVP计算，去除了自举依赖，显著提升了训练稳定性和内存效率。与传统蒸馏方法相比，它不需要辅助模型或固定训练步长，且与现有流匹配模型兼容性更好。 主要实验结果：在F5-TTS（text2mel任务）上，IntMeanFlow将推理步数从32步减少至3步，实时因子（RTF）从0.243降至0.021（约11.6倍加速），同时WER和SIM-o指标仅有轻微下降（例如，Base模型WER从1.87%升至1.60%，SIM-o从0.67降至0.65）。在CosyVoice2（token2mel任务）上，实现了1步推理，RTF从0.510降至0.026（约19.6倍加速），性能与教师模型接近。OS3算法在多个设置下带来了显著的指标提升。 实际意义：为高保真流匹配语音合成模型提供了一种高效、稳定的少步推理方案，将推理速度提升一个数量级，使其更适用于实时和流式应用场景。 主要局限性：方法的有效性可能依赖于教师模型的质量和离散积分的精度（受步数n影响）。论文中未探讨该方法在更复杂任务（如语音转换、零样本克隆）上的泛化性，也未公开代码和详细训练配置，限制了可复现性。 🏗️ 模型架构 IntMeanFlow本身是一个蒸馏框架，而非一个独立的端到端模型。其核心是训练一个学生模型 u_student(zt, t, r; θ_student)，使其能够预测从时间点 t 到 r 的平均速度。 ...

📄 Learning Vocal-Tract Area And Radiation With A Physics-Informed Webster Model #歌唱语音合成 #物理信息神经网络 #信号处理 #语音合成 ✅ 7.0/10 | 前50% | #歌唱语音合成 | #信号处理 | #物理信息神经网络 #语音合成 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Minhui Lu（Queen Mary University of London, Centre for Digital Music） 通讯作者：未说明（论文中未明确标注通讯作者，但根据常见惯例，第一作者或最后作者可能是。此处严格按论文内容判断，未明确提及。） 作者列表：Minhui Lu（Queen Mary University of London, Centre for Digital Music）、Joshua D. Reiss（Queen Mary University of London, Centre for Digital Music） 💡 毒舌点评 亮点：论文将经典的Webster声学方程与物理信息神经网络（PINN）结合，不仅学习了声道面积函数，还创新性地引入了可学习的端口辐射边界条件，为语音合成提供了高度可解释的物理控制参数。短板：然而，整个实验建立在合成的、高度理想化的稳态元音数据上，缺乏对真实歌唱语音的验证；其宣称的“物理可解释性”参数（如辐射系数ζ）在实际复杂声源和噪声环境下的鲁棒性与可区分性存疑。 ...