语音合成

📄 When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making #模型评估 #音频大模型 #语音合成 #基准测试 #鲁棒性 ✅ 7.0/10 | 前25% | #模型评估 | #基准测试 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhi Rui Tam（台湾大学，计算机科学与信息工程系） 通讯作者：Yun-Nung Chen（台湾大学，计算机科学与信息工程系；IEEE会员） 作者列表：Zhi Rui Tam（台湾大学，计算机科学与信息工程系）、Yun-Nung Chen（台湾大学，计算机科学与信息工程系） 💡 毒舌点评 亮点：研究设计堪称“控制变量”的典范，用合成语音这把精准的手术刀，切开了音频LLM“听音诊病”时隐藏的严重偏见，尤其是那触目惊心的35%模态偏差，为AI医疗的敲响了警钟。短板：论文在情绪识别部分因模型“五感不全”（识别率极低）而草草收场，未能深究情绪偏见，让这个本该最细腻的维度分析流于表面，如同用一把钝刀去解剖，关键发现后继乏力。 📌 核心摘要 要解决的问题：研究音频大语言模型（Audio LLM）在临床决策（如手术推荐）中，是否会受到患者语音特征（如年龄、性别、情绪）的影响，从而产生基于声音而非医学证据的偏见，进而可能加剧医疗不平等。 方法核心：构建了受控实验框架。利用高质量TTS模型，将相同的临床文本病例转换为36种不同声音特征（年龄、性别、情绪）的语音，作为音频LLM的输入。将音频输入下的手术推荐率与纯文本输入基线进行对比，以量化语音特征带来的偏见。同时，测试了直接回答和思维链两种提示策略。 与已有方法相比新在哪里：这是首个系统评估音频LLM在临床决策中存在语音偏见的研究。创新在于：a) 聚焦于音频模态引入的新偏见向量，而非传统的文本偏见；b) 创建了专用的、受控的评估数据集MedVoiceBias；c) 揭示了文本与音频模态间存在巨大决策差异（最高达35%），以及年龄偏见在思维链提示下依然顽固存在。 主要实验结果： 模态偏见严重：66.7%的模型在音频输入下的手术推荐率与文本基线存在统计学显著差异。例如，GPT-4o-mini的推荐率从文本的26.5%暴跌至音频的5.3%；DeSTA2.5则从53.9%跃升至88.8%。 年龄偏见持续：在6个模型中，4个在直接回答模式下表现出显著的年龄差异（如Qwen2.5-3B对青年和老年患者的推荐率差达11.8%）。思维链提示非但未能消除，反而使5/6的模型出现显著年龄差异，表明推理过程可能激活了关于年龄的有害启发式。 性别偏见可缓解：思维链提示完全消除了所有模型的性别差异，与年龄偏见形成鲜明对比。 情绪影响难测：由于大多数模型情绪识别准确率极低（<17%），未能可靠检测情绪对决策的影响。仅在少数识别能力强的模型中观察到微弱差异。 模型 文本基线 音频（直接回答） 变化幅度 gpt-4o-mini 26.5% 5.3% -21.2pp (↓80%) gemini-2.0-flash 0.0% 0.6% +0.6pp gemini-2.5-flash 27.6% 31.8% +4.2pp Qwen2.5-Omni-3B 97.6% 75.3% -22.3pp Qwen2.5-Omni-7B 11.2% 20.6% +9.4pp DeSTA2.5 53.9% 88.8% +34.9pp 模型 青年 老年 差异 Qwen2.5-Omni-3B 85.3% 73.5% -11.8pp gemini-2.5-flash 25.3% 17.9% -7.4pp DeSTA2.5 87.6% 90.1% +2.5pp 实际意义：研究发出了强烈警告：音频LLM在当前状态下，因其对副语言特征的敏感性，尚不具备安全部署于临床决策的能力。这要求开发者必须设计偏见感知的架构，并在部署前进行严格评估，以确保决策基于医学证据而非患者的声音。 主要局限性：a) 情绪偏见分析因模型识别能力不足而不可靠；b) 评估仅限于手术推荐这一种决策类型；c) 使用合成语音可能与真实患者语音存在差距；d) 未提供缓解偏见的具体模型架构或训练方案。 🏗️ 模型架构 本文并非提出新模型，而是对现有音频LLM进行偏见评估。因此，其“架构”指代的是评估框架（如图1所示）。 该框架流程如下： ...

📄 ZSV2C-MLLM: Zero-Shot Visual Voice Cloning Via Multimodal Large Language Models #语音克隆 #多模态模型 #零样本 #强化学习 #语音合成 ✅ 6.5/10 | 前50% | #语音克隆 | #多模态模型 | #零样本 #强化学习 学术质量 5.8/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Yanling Zhang（昆明理工大学） 通讯作者：Shengxiang Gao（昆明理工大学） 作者列表：Yanling Zhang（昆明理工大学，云南人工智能重点实验室）、Linqing Wang（昆明理工大学，云南人工智能重点实验室）、Shengxiang Gao（昆明理工大学，云南人工智能重点实验室） 💡 毒舌点评 亮点：论文最大的亮点在于将“情感规划”这个抽象任务显式地交给一个经过微调的大语言模型来完成，这个思路比传统基于规则或回归的方法更灵活，也更契合当前LLM赋能各任务的潮流。短板：论文在最关键的“如何做到零样本”和“LLM具体如何规划韵律”这两个核心问题上，细节描述过于粗疏，比如对“融合”操作（公式1）和“情绪调制”函数（公式4）的实现一笔带过，给人的感觉是框架大于细节，实验数据漂亮但“黑盒”感较强。 📌 核心摘要 要解决的问题：现有的视觉语音克隆（V2C）方法大多依赖于配对的音频-视觉数据，缺乏零样本能力，这限制了其在资源受限环境（如无配对数据）下的可扩展性。 方法核心：提出一个零样本V2C框架，集成文本、静音视频、参考音频和用户情感标签作为输入。其核心创新是一个基于预训练大语言模型（Qwen）的情感韵律规划器，它能根据多模态融合特征生成连续的韵律轨迹（如音高、语速、停顿）。 与已有方法相比新在哪里：主要区别在于引入了LLM作为多模态信息整合与情感韵律规划的中心模块，并实现了无需配对音频数据的零样本推理。相比于V2C-Net、Face-TTS等方法，该框架在数据要求上更灵活。 主要实验结果：在GRID和CHEM两个数据集上，该方法在语音质量（MOS-S）、自然度（MOS-N）和说话人相似度（SPK-SIM）上均显著优于基线方法。例如，在GRID数据集上，MOS-S达到3.94，比最强基线Multi-TTS（3.50）高0.44；SPK-SIM达到71.52，远高于其他方法。消融实验证明，移除视觉输入、情感控制、强化学习或LLM规划器都会导致性能明显下降。 实际意义：为电影配音、语音修复、交互媒体等需要情感化语音合成但缺乏配对训练数据的场景，提供了一种可扩展的解决方案。 主要局限性：实验仅在两个相对小规模和特定领域的数据集（GRID为命令式语音，CHEM为情感语音）上验证，对于更复杂、更自然对话场景的泛化能力未证明。此外，论文未公开代码和模型细节，可复现性存疑。 🏗️ 模型架构 该框架是一个多输入、多模块的端到端系统，旨在生成情感可控的语音。整体流程可概括为：多模态特征提取与融合 -> LLM情感韵律规划 -> 条件概率语音生成 -> 强化学习优化。 输入：静音视频（提供节奏和情感线索）、文本（提供语义内容）、参考音频（提供目标说话人音色）、用户定义的情感及强度。 组件与数据流： 视频编码器：分析视频帧，提取面部表情、唇部运动等视觉特征（V），捕捉情绪和节奏信息。 文本编码器：将输入文本编码为语义嵌入向量（T）。 说话人编码器：从参考音频中提取音色嵌��（A），保留说话人身份信息。 特征融合：三个模态的特征（V, T, A）通过一个融合函数 f_fusion 被整合为统一的特征表示（F）。论文未详细说明此融合函数的具体结构（如注意力、拼接等）。 情感控制网络：用户提供情感类型和强度，由情感专家分类器（EmoBox）引导。这产生一个随时间步变化的情感参数（E_t 或 η_t）。 LLM情感韵律规划器（核心创新）：采用微调后的Qwen大语言模型。它接收融合特征（F）和情感参数（E_t），输出韵律轨迹（P_t），包括情感强度、音高偏移、语速、停顿时长等。这一步是动态、细粒度的控制关键。 语音分词器与条件概率生成：根据韵律轨迹（P_t）和文本，以自回归方式（公式3）生成语音token。公式4引入了情绪调制概率，使情感影响语音的生成过程。 强化学习模块：通过最大化奖励函数（R）来优化整个生成过程，奖励（r_t）基于语音自然度、情感表达力、与参考音频的对齐程度等。 架构图：论文提供了两张关键图表。 图1： 此图清晰地展示了系统的三大块：(a) 系统架构，包含LLM规划器、视频编码器、文本编码器、情感控制网络和语音分词器；(b) 情感控制机制，展示了用户如何选择情感并调整强度；(c) 静音视频特征提取细节，显示了视频编码器如何利用多头注意力对齐韵律与视觉线索。 图2： 此图对比了用户原始音色、本文方法生成音色和基线生成音色的MFCC图，直观地展示了该方法在保持音色（SPK-SIM）方面的优势。 设计选择动机：选择LLM作为规划器，是因其强大的序列建模和上下文理解能力，有望更好地捕捉韵律与情感、文本之间的长程依赖关系，克服传统规则或简单回归模型的局限。 💡 核心创新点 基于LLM的情感韵律规划器：是什么：使用微调的大语言模型（Qwen）作为核心，根据多模态输入生成连续的、细粒度的韵律控制参数。之前局限：传统方法多采用基于规则或轻量级神经网络（如Variance Adaptor）的规划器，其建模复杂情感-韵律交互的能力有限。如何起作用：LLM能利用其从海量数据中学到的丰富序列知识，更好地理解“在何种情感和视觉情境下，应该采用何种韵律”这一复杂映射。收益：消融实验表明，用LLM替代规则或方差适配器规划器，在所有指标上都取得了提升，尤其在情感一致性和自然度上优势明显。 零样本视觉语音克隆框架：是什么：一个无需配对音视频数据即可进行视觉语音克隆的完整框架。之前局限：现有V2C方法（如V2C-Net, HPMDubbing）严重依赖大规模、高质量的配对数据进行训练，限制了其应用场景和扩展性。如何起作用：通过分离音色（来自参考音频）和情感/韵律（来自视觉和文本）的建模路径，并利用迁移学习（预训练LLM和编码器），使得模型能够泛化到未见过的说话人。收益：实验证明该方法在“使用未见过的说话人作为参考音频”设置下仍表现优异，使其适用于电影配音等现实场景。 显式、连续的情感控制机制：是什么：允许用户通过选择情感类型和调节强度（e和λ）来精确控制生成语音的情感表达。之前局限：许多方法的情感控制是隐式或离散的（仅限预定义类别），控制粒度粗糙。如何起作用：情感参数（E_t）作为关键输入，被送入LLM规划器，直接影响韵律轨迹的生成。收益：提供了灵活、可调的情感表达能力，增强了实用性。 🔬 细节详述 训练数据：使用了两个数据集：GRID（提供同步音视频，用于学习视觉-音频关系）和CHEM（带有情感标签的语音数据）。论文未提供具体的数据集规模、预处理步骤或数据增强方法。 损失函数：论文未明确说明训练时使用的主要损失函数（如重建损失、KL散度等）。仅提及通过强化学习优化一个包含自然度、表达力、对齐度等的综合奖励函数（公式5）。 训练策略：优化器为Adam，初始学习率1e-4，每10,000步衰减0.9。采用了基于验证集损失的早停法。未说明batch size、训练总步数/轮数、warmup策略等。 关键超参数：论文未提供模型的具体规模参数，如LLM的层数、隐藏维度、各编码器的参数量等。 训练硬件：在6块NVIDIA RTX 4090 GPU集群上训练。未提供训练时长。 推理细节：采用自回归方式生成语音token（公式3）。未提及具体的解码策略（如温度、beam search大小）、是否支持流式输出等。 正则化技巧：仅提到了早停法，未提及其他正则化方法（如Dropout、权重衰减的具体设置）。 📊 实验结果 论文在两个数据集上进行了充分的对比实验和消融研究。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #可控合成 #流式处理 ✅ 7.0/10 | 前25% | #语音合成 | #流匹配 | #零样本 #可控合成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学，通讯作者）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 这篇论文精准地瞄准了现代TTS系统中一个被忽视但实际应用中很关键的痛点——缺乏token级别的精细时长和停顿控制，并为此设计了一套从数据准备到训练机制的系统性解决方案，实验也做得很扎实。其短板也很明显：为了获得这种控制能力，模型在无控制的“自发合成”模式下，语音识别错误率（WER/CER）有明显上升，这表明精细控制与生成自然度之间存在一个不容忽视的权衡，而且目前没有任何开源迹象。 📌 核心摘要 解决的问题：现有的文本到语音（TTS）系统通常只能提供句子级的语速或时长控制，缺乏对每个token（音素或字符）内容发音时长和停顿时长的显式、精细控制能力，这限制了需要精确节奏控制的应用场景。 方法核心：提出了MAGIC-TTS，一种基于流匹配（Flow Matching）的零样本TTS模型。其核心是在文本表示中显式注入每个token的内容时长（d_i）和停顿时长（p_i）作为条件。通过精心设计的两阶段训练（大规模时长条件预训练+高置信度时长监督微调）、零值校正（使零时长输入不产生残差）和缺失控制鲁棒性训练（随机丢弃时长条件），使模型既能可靠地遵循时长指令，又能在无时长指令时保持自然合成。 与已有方法相比新在哪里：与现有提供全局语速或风格控制的系统不同，MAGIC-TTS是首个提供显式、token级内容时长和停顿控制的TTS模型。与一些将时长作为内部中间变量的系统不同，它将时长设计为外部可直接操控的高置信度条件，而非需要隐式推断的潜在变量。 主要实验结果： 在时长控制准确性上，提供显式时长条件后，内容时长MAE从36.88ms降至10.56ms，相关性从0.588提升至0.918；停顿MAE从18.92ms降至8.32ms（详见表1）。 在局部编辑基准测试中，模型能根据指令调整局部时长，例如将目标内容时长从170ms编辑为225ms后，实现均值为207.40ms（绝对偏差17.60ms）（详见表2）。 消融实验表明，零值校正和高置信度时长监督对提升内容时长控制精度至关重要（详见表3）。 关键权衡：在无控制模式下，与同等规模持续预训练的基线相比，最终模型的英文WER从1.994升至3.434，中文CER从1.772升至2.215（详见表7）。 实际意义：为需要精确节奏控制的语音生成场景（如导航提示、引导式朗读、无障碍辅助阅读代码/验证码）提供了解决方案，能够实现可复现的均匀节奏基线，并支持局部编辑。 主要局限性：获得精细控制能力的代价是无控制模式下的合成质量（清晰度）有所下降；评估依赖于MFA强制对齐，存在测量误差；论文未提及代码和模型的开源。 🏗️ 模型架构 MAGIC-TTS建立在非自回归的零样本TTS骨干网络（F5-TTS）之上，该骨干基于条件流匹配（Conditional Flow Matching）生成梅尔频谱图。 ...

📄 Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling #语音合成 #音视频 #自回归模型 #扩散模型 #流匹配 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #音视频 #扩散模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhen Ye（根据作者列表顺序推断，论文中未明确标注“第一作者”） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue（所有作者所属机构均未在论文正文中明确说明，仅提供了个人姓名。机构信息可能在论文PDF的其他部分或补充材料中，但未在所提供的全文文本中提及。） 💡 毒舌点评 亮点： 论文提出的“解耦”设计哲学很聪明——把高层次的跨模态语义对齐（自回归骨干网络负责）和低层次的信号渲染（独立的扩散头负责）分开，不仅逻辑清晰，而且实验证明在同步性和质量上都优于全流程纠缠的Dual-DiT方案，同时用一个模型统一了三种任务。短板： 视频生成质量的天花板明显受限于所选的LIA-X运动自编码器，论文也坦承了这一点；此外，自回归模型在长序列上误差累积的问题可能导致生成超长语音时质量下降，这在实际应用中是个潜在痛点。 📌 核心摘要 要解决什么问题： 现有联合音视频生成模型（如Dual-DiT）在整个去噪过程中通过密集的跨模态注意力耦合音频和视频，将高层语义和底层信号细节混为一体，导致建模效率低下。同时，这些模型通常输出固定长度，无法适应文本长度和说话节奏的变化。 方法核心是什么： 提出Talker-T2AV，一个两阶段的自回归扩散框架。第一阶段（跨模态建模）：将音频和视频编码为时间对齐的潜在序列（25Hz），通过元素级求和融合后，输入到一个共享的自回归语言模型骨干网络中，以补丁级进行自回归生成，捕捉高层跨模态时序结构。第二阶段（模态特定渲染）：使用两个独立的轻量级扩散Transformer头，分别将共享的隐状态解码为音频和视频的潜在补丁。 与已有方法相比新在哪里： ① 架构解耦： 首次将联合生成解耦为“高层语义对齐”与“底层信号渲染”两个明确阶段，避免了不必要的全过程跨模态纠缠。② 灵活性： 通过元素级求和设计，一个模型无需修改即可支持文本到音视频、音频到视频（说话头生成）、视频到音频（配音）三种任务。③ 可变长度输出： 基于自回归范式和停止预测器，支持生成任意长度的输出。 主要实验结果如何： 联合生成 (T2AV)： 在中英文测试集上，与5个Dual-DiT基线（MoVA, Ovi, LTX-2, UniVerse-1, UniAVGen）相比，本文方法在语音可懂度（CER/WER最低）、视频保真度（FVD最佳）和唇音同步（SyncNet C最高， D最低）上均取得最佳或并列最佳结果。 音频驱动 (A2V)： 在中英文测试集上，与5个专用方法（FLOAT, EchoMimic, Sonic, Ditto, AniPortrait）相比，本文方法在视频质量和同步性上综合表现最优（例如，英文Sync-C为5.85，最高）。 视频配音 (V2A)： 在Chem数据集上，与5个专用配音系统相比，本文方法在情感相似度（EMO-SIM）、语音可懂度（WER）和自然度（UTMOS）三项指标上均达到最佳，时长对齐（DD）接近最佳。 消融实验： 验证了“元素级求和”融合方式在同步性和效率上优于“交错”或“延迟”排列。 （详细结果表格见“详细分析”部分） 实际意义是什么： 该工作推动了更自然、同步且灵活的虚拟人交互技术的发展。统一的框架降低了构建和部署多模态生成系统的复杂度，为实时对话、虚拟主播、多模态翻译等应用提供了新的技术路径。 主要局限性是什么： ① 自回归骨干在连续潜在空间上的预测误差会随序列增长而累积，影响长音频生成质量。② 视频的最终保真度受限于所采用的LIA-X运动自编码器的表达能力。③ 论文未提及训练所使用的具体硬件和时长，硬件消耗未知。 🏗️ 模型架构 论文整体架构如图1所示，采用“自回归扩散”的两阶段解耦设计。 ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #语音大模型 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #语音大模型 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于首次将“token级时长与停顿”作为显式数值条件注入Flow-based TTS，思路清晰且工程设计（如零值校正、交叉验证数据构建）巧妙。短板是实验规模和场景相对有限（主要在中文短句上验证），且缺乏与更多现代零样本TTS基线（如CosyVoice 2、MaskGCT）的直接对比，说服力可以更强。 📌 核心摘要 问题：现有的文本转语音（TTS）系统通常只提供语句级的时长控制或全局语速调节，缺乏对单个token（如音素、字）的精确发音时长和停顿的显式、细粒度控制能力。 方法核心：提出MAGIC-TTS，这是一个基于流匹配（Flow Matching）的零样本TTS模型。其核心是通过残差连接，将token级的内容时长（di）和停顿（pi）作为显式数值条件注入到文本表征中，从而引导并行声学生成器进行合成。 创新点：这是首个支持token级显式时长与停顿控制的TTS模型。关键创新包括：1）设计了可学习的门控残差注入机制，将时长条件融入文本嵌入；2）提出零值校正方法，平衡内容时长与停顿两个控制分支的学习信号；3）构建了基于交叉验证的高置信度时长监督数据集，用于稳定训练。 主要实验结果： 时长控制精度：在B@150测试集上，与无控制的“自发合成”相比，提供显式控制后，内容时长平均绝对误差（C-MAE）从36.88ms降至10.56ms，相关性（C-Corr.）从0.588升至0.918；停顿平均绝对误差（P-MAE）从18.92ms降至8.32ms，相关性（P-Corr.）从0.283升至0.793。 局部编辑场景：在导航、朗读等场景中，模型能以极低偏差（内容时长偏差1.07ms）实现均匀时长基线，并能将局部编辑区域有效推向目标值（内容时长偏差17.60ms，停顿偏差23.33ms）。 消融实验：移除零值校正或高置信度监督会损害控制精度，尤其是更精细的内容时长控制。 实际意义：使TTS系统能够支持需要精确节奏控制的实用场景，如导航提示的均匀播报、教学朗读的节奏引导、以及无障碍代码阅读的特定停顿。 主要局限性：模型性能高度依赖外部对齐工具（如MFA、Stable-ts）提供的时长标签质量；实验主要集中在中文短句，对长文本、多语言及更复杂韵律的泛化能力未充分验证；未开源代码和模型。 🏗️ 模型架构 MAGIC-TTS建立在基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（F5-TTS）之上。其整体流程如下： ...

语音/音频论文速递 2026-04-25 共分析 2 篇论文 ⚡ 今日概览 📥 抓取 2 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #机器人技能学习 1篇 █ #语音合成 1篇 █ 📊 论文评分排行榜（2 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人技能学习 🥈 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 📋 论文列表 🥇 MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation ✅ 7.5/10 | 前25% | #机器人技能学习 | #多模态模型 | #大语言模型 #工业应用 | arxiv ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #大语言模型 #对比学习 ✅ 7.0/10 | 前25% | #语音合成 | #知识蒸馏 | #流匹配 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Aoduo Li（Guangdong University of Technology） 通讯作者：未说明 作者列表：Aoduo Li（Guangdong University of Technology），Haoran Lv（Guangdong University of Technology），Hongjian Xu（Guangdong University of Technology），Shengmin Li（South China University of Technology），Sihao Qin（South China University of Technology），Zimeng Li（Shenzhen Polytechnic University），Chi Man Pun（University of Macau），Xuhang Chen（Huizhou University） 💡 毒舌点评 亮点：论文提出的“Persona-Prosody Dual-Track (P2-DT)”架构思路清晰，将静态身份与动态韵律显式解耦，并通过蒸馏14B LLM的推理能力来指导韵律生成，为解决“角色一致性”与“情感表达”之间的矛盾提供了一个有潜力的技术路径。短板：论文最大的软肋在于其核心贡献之一——AnimeTTS-Bench数据集——规模极小（仅4.2小时，3个角色）且未开源，导致其报告的SOTA结果（如CCS: 0.86, mAP: 0.75）缺乏在更大规模、更多样化数据上的验证，说服力大打折扣。此外，代码和模型均未开源，严重阻碍了学术界的复现与跟进。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #可控生成 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #可控生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于它系统性地解决了TTS中“token级时长控制”这个长期被忽略的痛点，并通过精巧的条件注入和高置信度数据监督，实现了从“全局语速”到“单字时长”的可控性飞跃，为有声读物、语音导航等应用提供了新工具。短板是论文在展示“控制力”的同时，未能充分证明其“合成力”——即与当前顶尖的零样本TTS模型（如CosyVoice 2）相比，其默认语音的自然度和表现力是否依然具有竞争力，这使得其实际应用价值打上了一个问号。 📌 核心摘要 问题：现代文本到语音（TTS）系统普遍缺乏对单个token（字/音素）级别内容时长和停顿的精确、显式控制能力，现有控制通常仅限于句子级语速或全局风格，无法满足需要精细节奏控制的场景。 方法核心：本文提出了MAGIC-TTS，首个支持显式token级时长和停顿控制的TTS模型。其核心是在一个基于流匹配（Flow Matching）的零样本TTS骨干网络上，通过可学习的残差向量将token级的时长和停顿数值作为显式条件注入文本表示。同时，设计了高置信度时长监督数据构建流程（交叉验证Stable-ts与MFA对齐）和训练机制（零值校正、控制缺失鲁棒性训练）来确保控制的可靠性。 创新点：a) 首次实现显式、可解释的token级内容时长与停顿控制；b) 提出了结合大规模弱监督和高置信度交叉验证的时长数据构建方法；c) 通过零值校正和随机丢弃训练，平衡了可控合成与默认高质量合成。 主要实验结果：在时序控制基准测试中，提供显式控制后，内容时长MAE从36.88ms降至10.56ms，相关性从0.588升至0.918；停顿MAE从18.92ms降至8.32ms。在局部编辑场景测试中，模型能以低偏差（内容17.60ms，停顿23.33ms）将编辑区域向目标值调整。消融实验证明了零值校正和高置信度监督的有效性。 实际意义：使TTS系统能够支持需要精确节奏控制的应用，如导航语音的局部强调、有声读物的节奏引导、无障碍场景下的代码朗读等，提升了语音合成的可编程性和实用性。 主要局限性：a) 未与当前SOTA的零样本TTS模型在合成自然度、说话人相似度等核心指标上进行对比，无法评估其在通用合成质量上的水平；b) 评估主要基于中文数据，缺乏多语言验证；c) 未开源代码和模型，复现门槛高。 🏗️ 模型架构 MAGIC-TTS建立在一个基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（具体为F5-TTS）之上。其核心创新在于对文本侧条件表示的增强，以注入显式时序控制。 ...