语音合成

📄 ARCHI-TTS: A Flow-Matching-Based Text-to-Speech Model with Self-Supervised Semantic Aligner and Accelerated Inference #语音合成 #流匹配 #自监督学习 #零样本 #多语言 🔥 8.0/10 | 前25% | #语音合成 | #流匹配 | #自监督学习 #零样本 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Chunyat Wu（香港中文大学） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Chunyat Wu, Jiajun Deng, Zhengxi Liu, Zheqi Dai, Haolin He, Qiuqiang Kong（所有作者均来自香港中文大学，香港，中国） 💡 毒舌点评 亮点：这篇论文最大的“工程巧思”在于发现了非自回归流式解码器中，条件编码器的输出在不同去噪步之间可以安全地重复使用，从而在几乎不损失质量的前提下将推理速度提升了数倍（RTF从0.31降至0.09），这个发现极具实用价值。短板：虽然“语义对齐器”被设计为核心，但论文对其内部学习到的对齐质量缺乏直接、可视化的分析（例如对齐矩阵图），其对合成语音“时序稳定性”的贡献更多是间接推断，说服力可以更强。 📌 核心摘要 问题：当前基于扩散/流匹配的非自回归TTS系统面临两大挑战：1）文本与语音之间复杂、灵活的对齐关系难以有效建模；2）迭代去噪过程带来高昂的计算开销，推理速度慢。 方法：本文提出ARCHI-TTS，一种非自回归架构。核心方法包括：a) 语义对齐器：通过一个Transformer编码器，将文本特征与长度等于目标语音帧数的、可学习的“掩码嵌入”序列进行交互，从而端到端地学习出对齐的语义表征，无需显式时长标注。b) 高效推理策略：在条件流匹配的解码器中，将负责编码文本、说话人、参考音频等条件的“条件编码器”部分的输出，在多个去噪步骤间共享（重用），避免了每一步都重新计算，从而大幅提升推理效率。 创新：与E2-TTS、F5-TTS等通过填充字符来实现隐式对齐的方法不同，ARCHI-TTS显式设计了一个对齐模块。与需要额外蒸馏训练（如DMDSpeech）的加速方法不同，本文的加速策略是训练无关的，直接来自对模型架构特性的洞察。 主要实验结果： 在LibriSpeech-PC test-clean上，WER为1.98%，SSIM为0.70，RTF为0.21（单卡3090）。 在SeedTTS test-en上，WER为1.47%，SSIM为0.68。 在SeedTTS test-zh上，WER为1.42%，SSIM为0.70。 使用75%共享比例时，在NFE=32下，WER仍保持1.98%，RTF降至0.09。 MOS主观评测中，其自然度和说话人相似度与F5-TTS和CosyVoice2处于竞争水平。 模型 参数量 训练数据 WER(%)↓ SSIM↑ RTF↓ 测试集 F5-TTS 336M 100K Multi. 2.42 0.66 0.31 LibriSpeech-PC test-clean ARCHI-TTS 289M 100K Multi. 1.98 0.70 0.21 LibriSpeech-PC test-clean F5-TTS - - 1.83 0.67 - SeedTTS test-en ARCHI-TTS - - 1.47 0.68 - SeedTTS test-en DiTAR - - 1.02 0.75 - SeedTTS test-zh ARCHI-TTS - - 1.42 0.70 - SeedTTS test-zh (图1：ARCHI-TTS整体架构概览图，展示了语义对齐器、条件编码器、速度解码器及数据流。) ...

📄 Asynchrony-Aware Decoupled Multimodal Control for Cued Speech Video Generation #语音合成 #扩散模型 #流匹配 #音视频 #低资源 ✅ 7.5/10 | 前10% | #语音合成 | #扩散模型 | #流匹配 #音视频 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Fengji Ma（香港科技大学（广州）） 通讯作者：Li Liu（香港科技大学（广州），邮箱：avrillliu@hkust-gz.edu.cn） 作者列表：Fengji Ma（香港科技大学（广州））、Xiao-Ping Zhang（清华伯克利深圳学院）、Li Liu（香港科技大学（广州）） 💡 毒舌点评 这篇论文的亮点在于将“手语视频生成”这个具体任务分解得非常清晰，并针对其中“控制纠缠”、“动作异步”和“长视频漂移”三个痛点分别设计了技术方案（DCL、SAMP、MS-CWD），体现了扎实的工程思维和问题导向。然而，其短板也显而易见：作为一篇强调生成质量的工作，却未提供任何开源代码或预训练模型，甚至训练数据集的公开性也未明确，这极大削弱了其作为学术贡献的可验证性和后续研究价值；此外，长视频一致性的验证仅在500帧左右，对于实际应用可能需要更长序列的表现未做探讨。 📌 核心摘要 要解决的问题：论文旨在解决从语音和姿态信号生成手语视频（Cued Speech Video）时面临的三个关键挑战：(1) 语音与姿态模态间的控制纠缠，导致嘴唇和手部细节模糊；(2) 手语系统固有的手部动作与语音的自然异步性，严格对齐会导致动作不自然；(3) 长视频生成中缺乏长期时序一致性。 方法核心：提出一个名为“解耦课程学习”（Decoupled Curriculum Learning, DCL）的三阶段训练框架。该框架先分别训练语音分支（控制嘴唇）和姿态分支（控制上半身和手势），再进行联合微调。同时，引入了区域感知重建损失（RAR）以增强局部细节，设计了语音异步调制（SAMP）机制来建模手势与语音的自然时间偏移，并提出了多尺度上下文窗口去噪（MS-CWD）推理策略以保证长视频的时序连贯性。 与已有方法的创新点：与以往通用的人像动画或说话人头部生成方法不同，本文是首个针对“手语视频生成”这一特定任务进行系统性建模的工作。其创新点包括：(1) 明确的解耦训练策略（DCL）以避免模态干扰；(2) 区域感知的精细化损失（RAR）聚焦于嘴唇和手部这两个关键区域；(3) 首次在生成任务中显式建模语音与手势的异步关系（SAMP）；(4) 专为长视频设计的多尺度、加权融合的推理算法（MS-CWD）。 主要实验结果：在自建的普通话手语（MCCS）数据集上，本文方法在所有评估指标上均优于StableAnimator (SA) 和 UniAnimate-DiT (UAD) 两个SOTA方法。具体数值见表1。消融实验证明，移除任何一个提出模块（DCL, RAR, SAMP, MS-CWD）都会导致性能下降，其中移除DCL影响最大。图4显示，在500帧长视频中，本文方法的手部关键点置信度（HKC）和语音-嘴唇同步置信度（Sync-C）的衰减率仅为约3%，远低于基线方法（约7%-22%）。 实际意义：该技术有望为听障人群生成易于理解的、手语辅助的教学或交流视频，打破沟通壁垒。其提出的技术（如异步建模、长视频生成）也可能迁移至其他需要多模态协调控制的视频生成任务中。 主要局限性：论文未提供代码和模型，复现困难；实验仅在普通话手语数据集上进行，未验证其他语言手语的通用性；未分析模型的计算开销和训练成本；长视频测试的最长长度为500帧，对于更长的序列（如分钟级）的稳定性有待进一步验证。 🏗️ 模型架构 论文的整体架构基于一个扩散Transformer（DiT）骨干网络，并遵循Rectified Flow（RF）目标进行训练。其核心设计是“解耦课程学习”（DCL），分为三个阶段（如图2所示）： ...

📄 AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation #音频生成 #语音合成 #多模态模型 #扩散模型 #统一音频模型 ✅ 7.5/10 | 前25% | #音频生成 | #多模态模型 | #语音合成 #扩散模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Le Wang（中国矿业大学，徐州） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Le Wang（中国矿业大学）、Jun Wang（快手科技，Kling AI）、Chunyu Qiang（快手科技，Kling AI）、Feng Deng（快手科技，Kling AI）、Chen Zhang（快手科技，Kling AI）、Kun Gai（快手科技，Kling AI） 💡 毒舌点评 亮点：这篇论文的野心很大，试图用一个统一的“全家桶”模型解决视频到音频、语音、歌曲的生成，并且通过全面的实验确实做到了在多个任务上刷榜，证明了其架构设计的有效性。 短板：然而，论文对视频输入的强依赖像一根“拐杖”，限制了其在无视频场景下的应用，而号称的“统一”框架在代码和模型完全黑箱的情况下，其宣称的优越性和可复现性都要打上一个问号。 📌 核心摘要 解决的问题：现有视频到音频（包括音效、语音、音乐）的生成方法大多任务特定、模型碎片化，且跨模态（如唇音同步）对齐效果不佳，限制了通用性和生成质量。 方法核心：提出AudioGen-Omni，一个基于多模态扩散变换器（MM-DiT）的统一框架。其核心是引入了“歌词-转录编码器”，将音素/字素映射为帧级稠密表示；并设计了“相位对齐各向异性位置注入（PAAPI）”，在注意力机制中对视频、音频、转录文本等有时序结构的模态选择性地应用旋转位置编码，以实现精细的跨模态同步。 创新点：a) 首个能同时处理音频、语音、歌曲生成的统一多模态条件生成框架；b) 提出了无需音素时长监督的歌词转录编码模块；c) PAAPI机制增强了细粒度的时序对齐。与先前工作不同，它解冻了所有模态并采用掩码输入策略，增强了灵活性。 主要实验结果：在VGGSound音频生成测试集上，其FD指标（PaSST 58.77, PANNs 6.29）优于MMAudio等基线（见表1）。在LRS3/LRS2语音生成测试中，其UTMOS（3.982/3.842）和DNSMOS（3.782/3.767）得分甚至超过真实语音，WER也大幅降低（17.56%/17.75%）（见表2）。在说话人相似度（SECS）评估中，其GE2E和VoxSim分数均高于其他方法（见表3）。模型能在1.91秒内生成8秒音频。 实际意义：为多媒体内容创作提供了一个高效、高质量的统一音频生成工具，有望简化视频后期制作流程，增强虚拟人物、游戏、社交媒体的音频沉浸感。 主要局限性：模型依赖视频输入，当无视觉信息时应用受限；论文未开源代码和模型，限制了社区复现和二次开发；虽能生成歌曲，但对复杂音乐结构的控制能力未深入展示。 🏗️ 模型架构 AudioGen-Omni是一个端到端的多模态扩散变换器，旨在根据可选的视频和文本输入，生成同步的音频、语音或歌曲。 ...

📄 Beyond Global Emotion: Fine-Grained Emotional Speech Synthesis with Dynamic Word-Level Modulation #语音合成 #情感语音合成 #特征调制 #流匹配 #多任务学习 #数据集 ✅ 7.5/10 | 前25% | #语音合成 | #特征调制 | #情感语音合成 #流匹配 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Sirui Wang（哈尔滨工业大学） 通讯作者：Tiejun Zhao*（哈尔滨工业大学） 作者列表：Sirui Wang（哈尔滨工业大学）、Andong Chen（哈尔滨工业大学）、Tiejun Zhao（哈尔滨工业大学） 💡 毒舌点评 亮点：论文首次在LLM-TTS框架中实现了单词级的情感动态控制，概念清晰，并通过构建专用的FEDD数据集和详实的消融实验，有力地证明了其方法的有效性，实验设计相当规范。短板：然而，整个框架严重依赖于一个未完全公开细节的预训练模型（CosyVoice2），且代码和模型均未开源，这使得其“可复现性”大打折扣，更像是在现有强大基座上添加了一个精巧的模块，而非一个能独立复现和推广的完整解决方案。 📌 核心摘要 本文针对现有情感语音合成（E-TTS）方法大多依赖句子级全局情感控制（如标签、参考音频或提示）无法捕捉句内情感动态变化的问题，提出了Emo-FiLM框架。该方法的核心是：1）利用预训练的emotion2vec模型提取帧级情感特征，并通过一个轻量级Transformer模型将其对齐到单词，生成单词级的情感类别和强度标注；2）在预训练的LLM-TTS（CosyVoice2）框架中引入一个情感特征线性调制（E-FiLM）模块，将单词级的情感信息映射为文本嵌入的缩放和偏移参数，从而实现对语音生成过程的细粒度调制。为评估动态情感合成能力，论文构建了首个包含情感转折标注的Fine-grained Emotion Dynamics Dataset (FEDD)。实验表明，在FEDD数据集上，Emo-FiLM在情感动态匹配（DTW）指标上比最强基线（CosyVoice2）提升了9.1%（从54.57降至49.62），在主观情感相似度（EMOS）和自然度（NMOS）上也取得最佳成绩（4.19和4.23）。消融实验证实，单词级数据监督、情感损失和FiLM调制层均为关键组件。该工作为生成更自然、更具表现力的合成语音提供了新的方向，其主要局限在于依赖特定预训练模型且未开源代码，限制了复现与推广。 🏗️ 模型架构 Emo-FiLM框架整体分为两个核心阶段（如图2所示）： 细粒度情感标注模块： 输入：语音波形及其对应的转录文本。 核心组件： Emotion2Vec特征提取器：一个预训练的自监督模型，用于从语音中提取高维的帧级情感特征序列。 Montreal Forced Aligner (MFA)：用于获取文本单词与语音帧的精确对齐。 轻量级Transformer模型：接收对齐后的帧级特征序列，通过多头自注意力机制建模上下文依赖，输出增强的帧级表示。 掩码平均池化层：将每个单词对应的可变长度帧级特征序列聚合为一个固定维度的单词级情感向量。 双输出头：一个分类头预测离散情感类别（如快乐、悲伤），一个回归头预测连续情感强度（归一化到[0,1]）。 输出：每个单词对应的动态情感注释（类别和强度）。 关键设计：此模块将传统句子级标签“提升”到单词级，为生成模块提供了精细的控制信号。 情感调制生成模块： ...

📄 BridgeCode: A Dual Speech Representation Paradigm for Autoregressive Zero-Shot Text-to-Speech Synthesis #语音合成 #自回归模型 #零样本 #模型评估 🔥 8.0/10 | 前25% | #语音合成 | #自回归模型 | #零样本 #模型评估 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Jingyuan Xing（华南理工大学）、Mingru Yang（华南理工大学） （论文注明两者共同第一作者） 通讯作者：Xiaofen Xing（华南理工大学）、Xiangmin Xu（佛山大学） （论文标注†） 作者列表：Jingyuan Xing（华南理工大学）、Mingru Yang（华南理工大学）、Zhipeng Li（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（佛山大学，华南理工大学） 💡 毒舌点评 亮点在于其提出的“双表示”范式巧妙地将离散token的生成效率与连续特征的高质量重建相结合，有效缓解了自回归TTS中经典的“速度-质量”矛盾，并在实验中取得了目前最低的token生成率。短板是所有实验仅在英语LibriTTS一个数据集上进行，虽然方法具有通用性，但缺乏多语言或跨领域（如情感、唱歌）的验证，其真实泛化能力尚待证明。 📌 核心摘要 要解决什么问题：针对基于自回归（AR）的零样本文本到语音合成（TTS）中存在的两个关键问题：(i) 生成速率与合成质量之间固有的权衡矛盾；(ii) 直接沿用文本模型训练范式导致的语音监督信号失配。 方法核心是什么：提出BridgeTTS框架，其核心是BridgeCode双语音表示范式。该范式包含稀疏的离散token和稠密的连续特征两种表示，并设计了SparseBridge和DenseBridge两个对称的桥接模块进行双向转换。AR模型在生成时只需预测低帧率的稀疏token，再通过DenseBridge恢复出高信息量的连续特征用于高质量合成。同时，训练中引入特征损失（Feature Loss）与token损失联合优化，提供更细粒度的监督。 与已有方法相比新在哪里：不同于以往AR-TTS要么降低token率牺牲质量，要么增加token信息量牺牲效率的单一思路，BridgeCode首次提出利用“稀疏token生成+连续特征重建”的混合范式，在提升效率的同时保证质量。此外，通过联合token级和特征级的损失函数，解决了AR模型训练中的监督信号失配问题。 主要实验结果如何：在LibriTTS数据集上，BridgeTTS取得了最低的Token Rate（10Hz），相较于基线CosyVoice（25Hz）和GPT-Talker（50Hz）大幅降低。同时，其词错误率（WER）在测试集上为4.9%，显著低于VALL-E（18.5%）、UniAudio（12.9%）和GPT-Talker（16.4%），仅略高于CosyVoice（8.0%）。在语音质量（QMOS）和说话人相似度（SMOS）上，BridgeTTS与最优的CosyVoice表现相当或略低，但均优于大多数基线。消融实验证明，DenseBridge和特征损失对性能有关键贡献。合成速度（RTF）相比基线AR模型提升了约63%（0.37x）。 模型 Token Rate (↓) WER (↓) SMOS (↑) QMOS (↑) UTMOS (↑) LibriTTS Development Set GT / 2.3% 4.41 ± 0.11 4.41 ± 0.13 4.258 CosyVoice 25Hz 6.8% 4.13 ± 0.12 4.36 ± 0.12 4.253 BridgeTTS (Ours) 10Hz 3.4% 4.07 ± 0.11 4.15 ± 0.09 4.050 LibriTTS Test Set VALL-E 50Hz 18.5% 3.64 ± 0.12 3.49 ± 0.11 2.728 CosyVoice 25Hz 8.0% 4.12 ± 0.08 4.29 ± 0.11 4.148 BridgeTTS (Ours) 10Hz 4.9% 4.01 ± 0.12 4.11 ± 0.13 3.894 模型 Token Rate (↓) WER (↓) SMOS (↑) QMOS (↑) UTMOS (↑) BridgeTTS 10Hz 4.9% 4.01 ± 0.12 4.11 ± 0.13 3.894 -w/o DenseBridge 10Hz 13.8% 3.74 ± 0.11 3.74 ± 0.12 3.443 -w/o Lfeatures 10Hz 7.1% 3.92 ± 0.13 3.96 ± 0.12 3.471 系统 RTF (↓) Token Rate (↓) WER (↓) SMOS (↑) QMOS (↑) UTMOS (↑) Baseline AR 1× 50Hz 9.8% - - - BridgeTTS 0.37× 10Hz 4.9% +0.12 +0.09 +0.43 实际意义是什么：该方法为构建更高效、高质量的零样本TTS系统提供了新思路。通过降低自回归生成的计算需求，有助于在资源受限的设备或需要实时响应的场景中部署先进的语音合成技术。 主要局限性是什么：目前所有实验仅在英文LibriTTS数据集上进行，对于多语言、跨领域的泛化能力未做探讨。此外，虽然对比了多种基线，但未与最新（如2025-2026）的一些代表性工作进行直接比较。 🏗️ 模型架构 BridgeTTS的整体架构分为两大部分：BridgeCode表示学习框架和BridgeTTS自回归生成框架。 ...

📄 Combining Multi-Order Attention and Multi-Resolution Discriminator for High-Fidelity Neural Vocoder #语音合成 #生成模型 #音频生成 #注意力机制 #模型评估 ✅ 6.5/10 | 前50% | #语音合成 | #生成模型 | #音频生成 #注意力机制 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：未明确标注（根据署名顺序，Yan Shi 和 Minchuan Chen 标有星号，可能为共同第一作者） 通讯作者：未明确标注 作者列表：Yan Shi（平安科技，联系邮箱shiyanilj@163.com），Jin Shi（平安科技），Minchuan Chen（平安科技，联系邮箱chenminchuan109@pingan.com.cn），Ziyang Zhuang（平安科技），Peng Qi（上海交通大学重庆人工智能研究院），Shaojun Wang（平安科技），Jing Xiao（平安科技） 💡 毒舌点评 论文提出的MSCA模块将空间与通道注意力以级联方式组合，思路清晰，实验对比也做得非常全面，几乎把主流GAN声码器都拉来对比了一遍。但整篇论文读下来更像是一个“工程优化报告”，缺乏对“为什么这样组合就有效”的深入理论剖析，消融实验虽多，但对模块内部设计选择（如不同卷积核尺寸、扩张率）的探索不足，创新天花板可见。 📌 核心摘要 问题：基于GAN的神经声码器虽然在推理速度和感知质量间取得了平衡，但仍存在两大问题：合成语音存在相位不一致和伪影，以及常见的信号处理导致的模糊伪影。 方法核心：提出两个新模块：多阶空间通道注意力（MSCA） 和 多分辨率全带鉴别器（MRFBD）。MSCA嵌入生成器，通过多阶空间注意力（使用不同尺度的并行深度卷积）和通道注意力（使用自注意力）来增强声学特征表示。MRFBD作为鉴别器，将幅度谱、实部谱和虚部谱作为多分辨率输入，利用多尺度通道注意力和全局特征提取器来同时捕捉局部频谱细节和全局波形一致性。 新意：MSCA通过“多阶”（低、中、高阶特征）和“空间-通道”两阶段注意力来精炼特征。MRFBD的创新在于联合处理幅度、实部和虚部谱（显式利用相位信息），并结合多分辨率分析和轻量通道注意力来提升鉴别能力。 实验结果：在LJ Speech和VCTK数据集上，将MSCA集成到HiFi-GAN (M-H)、BigVGAN (M-B)和Vocos (M-I)中，与原基线模型相比，在UTMOS、MCD、PESQ等客观指标和MOS主观评分上均有提升。例如，M-B在LJ Speech上MOS达到4.42±0.06（BigVGAN为4.39±0.08），在VCTK上MOS为4.02±0.12（BigVGAN为3.84±0.10）。MRFBD的消融实验表明，同时输入幅度、实部、虚部谱的效果优于只用单一谱。M-I配置在保持低FLOPs（13.46G）的同时，获得了较高的语音质量（MOS 4.30±0.09）。 实际意义：为提升GAN声码器的合成质量，尤其是减少模糊伪影和改善高频细节，提供了有效的模块化改进方案。MSCA和MRFBD可作为即插即用组件，应用于其他GAN声码器。 主要局限性：论文对MSCA和MRFBD内部设计选择（如多阶特征的维度划分、注意力头数等）的探索和分析不够深入；作者与机构信息不全，削弱了研究的可信度和溯源性；未提供模型权重和完整复现代码，降低了开源价值。 🏗️ 模型架构 本文主要改进了两个部分：生成器中的特征提取模块（MSCA） 和 鉴别器（MRFBD）。 ...

📄 Confidence-Based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens #语音增强 #生成模型 #数据集 #语音合成 ✅ 6.5/10 | 前50% | #语音增强 | #生成模型 | #数据集 #语音合成 学术质量 5.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kazuki Yamauchi (CyberAgent, 日本；东京大学，日本) 通讯作者：未明确说明（论文中未提供通讯作者标识，通常通讯作者会标注星号或邮箱特殊，此处无法判断） 作者列表：Kazuki Yamauchi（CyberAgent，东京大学）、Masato Murata（CyberAgent）、Shogo Seki（CyberAgent） 💡 毒舌点评 亮点：论文精准地抓住了生成式语音增强（GSE）模型一个非常具体但关键的工程痛点——“听起来干净但内容错误的幻觉”，并提出了一个简洁、即插即用且无需干净参考的解决方案（模型自身置信度），实验验证了该方案在提升下游TTS任务性能上的实际效用。 短板：创新本质上是对语言模型困惑度概念的直接迁移，缺乏理论层面的深入剖析；且实验完全依赖于单个骨干模型（Genhancer）和单个任务（TTS数据策划），方法的普适性和泛化能力存疑。 📌 核心摘要 要解决的问题：生成式语音增强（GSE）模型在清理嘈杂语音数据集时，可能产生“幻觉错误”（如音素遗漏、说话人不一致）。传统的非侵入式语音质量评估指标（如DNSMOS）难以检测此类错误，而可检测的侵入式指标又因需要干净参考而在实际野外数据集策划中不可用。 方法核心：提出一种非侵入式过滤方法，利用基于离散token的GSE模型（如Genhancer）生成过程中，第一层量化器token的对数概率平均值作为置信度分数，来量化模型对生成结果的“确定性”。低置信度样本被视为可能包含幻觉错误而被过滤。 新意所在：将生成模型的内部置信度（类似于语言模型的困惑度）作为数据质量评估的信号，专门用于检测和过滤GSE模型特有的幻觉错误。与常规使用外部模型（如Whisper）或基于输出音频特征（如DNSMOS）的过滤方法不同，这是模型对自身输出的“自评估”。 主要实验结果： 指标相关性：在EARS-WHAM数据集上，提出的置信度分数与多种侵入式SE指标（如PESQ, SpeechBERTScore, LPS）的Spearman相关系数（SRCC）高达0.788-0.892（见下表），显著优于UTMOS、DNSMOS等常规非侵入指标。 过滤效果：在相同数据保留率下，使用置信度过滤在所有侵入式指标上均优于单指标或双指标基线过滤方法。 下游任务提升：在TITW-hard野外数据集上，使用置信度过滤后的数据训练TTS模型（Matcha-TTS），其合成语音的UTMOS（3.80）和DNSMOS（3.17）评分以及WER（18.14%） 均优于使用未过滤数据的基线（见下表）。 实际意义：为利用GSE模型策划高质量TTS训练数据提供了一种有效、易用的质量控制手段，能够显著提升下游TTS模型的性能，具有明确的工程应用价值。 主要局限性：方法局限于基于离散token的GSE模型；阈值选择需实验确定（存在质量与数据量的权衡）；核心创新思想相对直接，未提供理论解释为何置信度与幻觉错误相关。 表1：提出的置信度分数与其他非侵入指标与侵入指标的SRCC（摘要自论文表1，关键行） 非侵入指标 ESTOI SI-SDR PESQ SpeechBERTScore LPS WAcc SpkSim UTMOS-out 0.703 0.540 0.606 0.656 0.737 0.610 0.512 DNSMOS-in 0.673 0.381 0.720 0.614 0.569 0.546 0.639 Whisper confidence-out 0.728 0.529 0.676 0.736 0.770 0.766 0.636 Genhancer confidence (proposed) 0.880 0.590 0.883 0.892 0.788 0.730 0.790 表2：在TITW-hard数据集上训练的TTS模型评估结果（摘要自论文表2） ...

📄 Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs #语音合成 #多模态模型 #扩散模型 #自回归模型 🔥 8.0/10 | 前10% | #语音合成 | #扩散模型 | #多模态模型 #自回归模型 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 -0.3 | 置信度 高 👥 作者与机构 第一作者：Xinlu He（Worcester Polytechnic Institute， Amazon AGI） 通讯作者：未说明 作者列表：Xinlu He*（Worcester Polytechnic Institute， Amazon AGI）， Swayambhu Nath Ray（Amazon AGI）， Harish Mallidi（Amazon AGI）， Jia-Hong Huang（Amazon AGI）， Ashwin Bellur（Amazon AGI）， Chander Chandak（Amazon AGI）， M. Maruf（Amazon AGI）， Venkatesh Ravichandran（Amazon AGI） 💡 毒舌点评 亮点在于其高效的双头架构设计和两阶段训练策略，成功将连续token扩散“塞进”了自回归框架并取得了SOTA的自回归TTS结果，参数效率极高。短板则是开源精神的缺失，在声称“仅用于研究”的同时，却未提供任何模型、代码或数据，让“复现”成了镜花水月。 ...

📄 CosyAccent: Duration-Controllable Accent Normalization using Source-Synthesis Training Data #语音转换 #流匹配 #语音合成 #数据增强 #非自回归 ✅ 7.8/10 | 前25% | #语音转换 | #流匹配 | #语音合成 #数据增强 学术质量 7.8/7 | 选题价值 7.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Qibing Bai（香港中文大学（深圳）数据科学学院、腾讯天籁音频实验室） 通讯作者：Shuai Wang（南京大学智能科学与技术学院，标注†） 作者列表：Qibing Bai（香港中文大学（深圳）数据科学学院、腾讯天籁音频实验室）、Shuhao Shi（香港中文大学（深圳）数据科学学院）、Shuai Wang（南京大学智能科学与技术学院）、Yukai Ju（腾讯天籁音频实验室）、Yannan Wang（腾讯天籁音频实验室）、Haizhou Li（香港中文大学（深圳）数据科学学院、深圳市大数据研究院、香港中文大学（深圳）高等金融研究院） 💡 毒舌点评 亮点在于“源合成”数据策略的构思巧妙——通过合成非母语语音来使用纯净母语语音作为目标，从根本上规避了TTS伪影污染，这一思路颇具启发性。短板则是其宣称的“无需真实L2数据”在泛化到真实、多样且含噪声的L2语音时可能面临挑战，且模型在说话人相似度上略逊于基线。 📌 核心摘要 这篇论文针对口音归一化（AN）中训练数据稀缺和时长建模生硬两大挑战，提出了一种新的解决方案。核心方法包括：1）提出“源合成”训练数据构建策略，使用强大的提示式TTS（CosyVoice2）从大规模母语语料中合成非母语语音，从而在完全不使用真实L2数据的情况下，构建以高质量母语语音为目标的平行训练对。2）提出了CosyAccent模型，一个基于流匹配的非自回归（NAR）系统，它通过隐式韵律建模保证自然度，并引入“位置缩放”技术实现对输出总时长的显式控制。实验结果显示，尽管未使用真实L2数据训练，CosyAccent在内容保持（WER降至12.96% vs. 基线16.21%）和自然度（主观NAT评分64.62）上显著优于使用真实数据的基线模型。该工作证明了合成数据策略的有效性，为减少对稀缺口音数据的依赖提供了新途径。其主要局限性在于合成数据可能缺乏真实L2语音的声学复杂性和副语言特征。 🏗️ 模型架构 CosyAccent是一个非自回归的口音归一化模型，整体架构包含四个核心模块：语音编码器、CTC投影头、时长预测器和语音解码器。 语音编码器与内容表征：输入的L2源语音首先通过一个冻结的Whisper-medium编码器前端提取特征，然后送入一个Transformer语音编码器，提取高层特征。为了确保这些特征能稳健地表示语言内容，编码器输出后接一个线性投影头，并施加CTC损失进行辅助监督。 语音解码器：采用基于DiT（Diffusion Transformer）的解码器，通过流匹配（Flow Matching）训练，生成梅尔频谱的速度场。每个解码器层包含自注意力、交叉注意力和前馈网络（FFN），每个模块后都接有自适应层归一化（AdaLN），其参数由时间嵌入调制。编码器输出的内容表征通过交叉注意力作为内容条件注入解码器。 时长控制机制：这是模型的关键创新。它结合了隐式和显式的时长控制： 隐式韵律建模：解码器本身不严格对齐源和目标的逐帧位置，允许生成更自然的节奏。 显式总时长控制（位置缩放）：在交叉注意力中，使用旋转位置编码（RoPE）。与传统绝对索引不同，论文将源内容特征的位置索引进行归一化缩放，使其终点与目标梅尔频谱长度的终点对齐。这种“位置缩放”技术在源和目标之间建立了粗对齐，确保模型在目标长度被手动指定时（如配音场景需保持时长），仍能正确映射语音的开头、中间和结尾。 总时长预测器：为了灵活性，模型引入一个总时长预测器，用于预测一个缩放比例（目标长度/源长度）。该预测器由DiT骨干网络、注意力池化层构成，并通过流匹配训练。在推理时，可以选择使用预测的比例来确定输出长度，或直接继承源语音的时长。 说话人条件：由于冻结的Whisper编码器可能抑制了源语音的音色信息，模型显式地使用预训练说话人编码器（Resemblyzer）提取说话人嵌入向量作为条件，以确保高保真的音色模仿。解码器的输出受三个输入条件化：带噪样本x_t、时间t、内容特征序列c和说话人嵌入向量s。推理时采用双向Classifier-Free Guidance（CFG）来分别控制整体生成过程和对语言内容的遵循程度。 图2展示了CosyAccent的整体架构，包含语音编码器、CTC头、时长预测器和基于流匹配的语音解码器，并显示了通过位置缩放进行时长控制的机制。 ...

📄 Cross-Lingual F5-TTS: Towards Language-Agnostic Voice Cloning and Speech Synthesis #语音克隆 #语音合成 #流匹配 #多语言 #零样本 ✅ 7.5/10 | 前25% | #语音克隆 | #流匹配 | #语音合成 #多语言 学术质量 7.0/7 | 选题价值 8.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qingyu Liu（上海交通大学 X-LANCE Lab / 约翰斯·霍普金斯大学） 通讯作者：Xie Chen（上海交通大学 X-LANCE Lab / 上海创新研究院）†（论文中明确标注为通讯作者） 作者列表：Qingyu Liu（上海交通大学、约翰斯·霍普金斯大学）、Yushen Chen（上海交通大学、上海创新研究院）、Zhikang Niu（上海交通大学、上海创新研究院）、Chunhui Wang（吉利）、Yunting Yang（吉利）、Bowen Zhang（吉利）、Jian Zhao（吉利）、Pengcheng Zhu（吉利）、Kai Yu（上海交通大学）、Xie Chen（上海交通大学、上海创新研究院） 💡 毒舌点评 亮点：论文精准地找到了flow-matching TTS在跨语言场景下的痛点——对音频提示转录文本的依赖，并通过引入多粒度说话率预测器给出了一个工程上优雅的解决方案。短板：说话率预测器本身只在中文和英文数据上训练，却要声称对德、法、印地、韩等“未见语言”有效，这一结论的支撑略显单薄；此外，去除转录文本后“细粒度说话人特征（如口音、情感）”的迁移能力下降，在论文中被轻描淡写为“未来工作”，但这恰恰是克隆质量的要害。 📌 核心摘要 问题：现有的基于流匹配的文本转语音（TTS）模型在进行跨语言语音克隆时，严重依赖于对音频提示（参考音频）的转录文本，这在目标语言未知或转录不可用时无法实现。 方法核心：提出Cross-Lingual F5-TTS框架。训练时，利用MMS强制对齐工具预处理数据，获取词边界，将音频提示部分及其对应文本完全丢弃，仅用提示音频指导合成剩余被掩码的音频。推理时，为解决缺失文本导致的时长预测难题，训练了音素、音节、词三种粒度的说话率预测器，直接从音频提示的声学特征估算其说话速度，进而结合目标文本的单元数量计算合成时长。 创新点：相比原F5-TTS及同类模型，本文首次在flow-matching TTS框架内实现了无需音频提示转录的跨语言克隆；引入了基于Gaussian Cross-Entropy损失的多粒度说话率预测器作为时长建模的替代方案。 实验结果：在语内测试（LibriSpeech-PC test-clean, SeedTTS test-en/zh）上，该方法在WER和UTMOS等指标上匹配甚至优于原F5-TTS基线（如CL-F5+M1在LibriSpeech-PC test-clean上WER为2.079%，低于基线的2.205%）。在跨语言测试（473个样本，德、法、印地、韩语音提示合成中英文）上，成功实现了克隆，其中M1/M2模型表现良好（如合成英文WER为2.496%），而M3（词级）显著变差（WER达16.494%）。说话率预测器在MRE上表现最佳为M2在中文测试的13.771%。 实际意义：使高质量语音克隆摆脱了对参考音频转录的强依赖，极大扩展了应用场景，尤其是在处理无法转录的罕见语言或实时克隆场景。 局限性：1）说话率预测器在中英文以外语言上的有效性未直接验证，其泛化性存疑。2）去除文本信息后，对说话人细微特征（如口音、情感）的迁移能力下降，论文未提出解决方案。3）跨语言测试集的语言覆盖范围和样本量有限。 🏗️ 模型架构 (图1. Cross-Lingual F5-TTS 训练框架。MMS强制对齐为训练数据生成词边界，左侧片段作为无转录的音频提示，右侧片段的梅尔谱被掩码用于预测) ...