语音合成

📄 ZSV2C-MLLM: Zero-Shot Visual Voice Cloning Via Multimodal Large Language Models #语音克隆 #多模态模型 #零样本 #强化学习 #语音合成 ✅ 6.5/10 | 前50% | #语音克隆 | #多模态模型 | #零样本 #强化学习 学术质量 5.8/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Yanling Zhang（昆明理工大学） 通讯作者：Shengxiang Gao（昆明理工大学） 作者列表：Yanling Zhang（昆明理工大学，云南人工智能重点实验室）、Linqing Wang（昆明理工大学，云南人工智能重点实验室）、Shengxiang Gao（昆明理工大学，云南人工智能重点实验室） 💡 毒舌点评 亮点：论文最大的亮点在于将“情感规划”这个抽象任务显式地交给一个经过微调的大语言模型来完成，这个思路比传统基于规则或回归的方法更灵活，也更契合当前LLM赋能各任务的潮流。短板：论文在最关键的“如何做到零样本”和“LLM具体如何规划韵律”这两个核心问题上，细节描述过于粗疏，比如对“融合”操作（公式1）和“情绪调制”函数（公式4）的实现一笔带过，给人的感觉是框架大于细节，实验数据漂亮但“黑盒”感较强。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用了公开数据集GRID和CHEM，但未提供获取方式或预处理脚本。 Demo：未提及在线演示。 复现材料：仅提供了极有限的训练设置（优化器、学习率、硬件），缺乏复现所需的详细配置文件、超参数表、代码或检查点。 论文中引用的开源项目：引用了CosyVoice/CosyVoice2的工作，但未明确说明其开源项目是否被直接使用或作为基础进行构建。 总结：论文中未提及任何开源计划。 📌 核心摘要 要解决的问题：现有的视觉语音克隆（V2C）方法大多依赖于配对的音频-视觉数据，缺乏零样本能力，这限制了其在资源受限环境（如无配对数据）下的可扩展性。 方法核心：提出一个零样本V2C框架，集成文本、静音视频、参考音频和用户情感标签作为输入。其核心创新是一个基于预训练大语言模型（Qwen）的情感韵律规划器，它能根据多模态融合特征生成连续的韵律轨迹（如音高、语速、停顿）。 与已有方法相比新在哪里：主要区别在于引入了LLM作为多模态信息整合与情感韵律规划的中心模块，并实现了无需配对音频数据的零样本推理。相比于V2C-Net、Face-TTS等方法，该框架在数据要求上更灵活。 主要实验结果：在GRID和CHEM两个数据集上，该方法在语音质量（MOS-S）、自然度（MOS-N）和说话人相似度（SPK-SIM）上均显著优于基线方法。例如，在GRID数据集上，MOS-S达到3.94，比最强基线Multi-TTS（3.50）高0.44；SPK-SIM达到71.52，远高于其他方法。消融实验证明，移除视觉输入、情感控制、强化学习或LLM规划器都会导致性能明显下降。 实际意义：为电影配音、语音修复、交互媒体等需要情感化语音合成但缺乏配对训练数据的场景，提供了一种可扩展的解决方案。 主要局限性：实验仅在两个相对小规模和特定领域的数据集（GRID为命令式语音，CHEM为情感语音）上验证，对于更复杂、更自然对话场景的泛化能力未证明。此外，论文未公开代码和模型细节，可复现性存疑。 🏗️ 模型架构 该框架是一个多输入、多模块的端到端系统，旨在生成情感可控的语音。整体流程可概括为：多模态特征提取与融合 -> LLM情感韵律规划 -> 条件概率语音生成 -> 强化学习优化。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #可控合成 #流式处理 ✅ 7.0/10 | 前25% | #语音合成 | #流匹配 | #零样本 #可控合成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学，通讯作者）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 这篇论文精准地瞄准了现代TTS系统中一个被忽视但实际应用中很关键的痛点——缺乏token级别的精细时长和停顿控制，并为此设计了一套从数据准备到训练机制的系统性解决方案，实验也做得很扎实。其短板也很明显：为了获得这种控制能力，模型在无控制的“自发合成”模式下，语音识别错误率（WER/CER）有明显上升，这表明精细控制与生成自然度之间存在一个不容忽视的权衡，而且目前没有任何开源迹象。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：训练数据来源于Emilia子集，交叉验证后的高置信度子集（B@150）未说明是否公开。 Demo：未提供在线演示。 复现材料：论文给出了非常详细的训练细节（数据来源、规模、预处理、batch size、学习率、warmup、训练步数、硬件）和超参数配置，附录中也有额外分析，有助于复现。 论文中引用的开源项目：F5-TTS (骨干网络)、Stable-ts (时长标签)、MFA (交叉验证与评估)、Vocos (声码器)、Emilia (数据集)。 论文中未提及开源计划。 📌 核心摘要 解决的问题：现有的文本到语音（TTS）系统通常只能提供句子级的语速或时长控制，缺乏对每个token（音素或字符）内容发音时长和停顿时长的显式、精细控制能力，这限制了需要精确节奏控制的应用场景。 方法核心：提出了MAGIC-TTS，一种基于流匹配（Flow Matching）的零样本TTS模型。其核心是在文本表示中显式注入每个token的内容时长（d_i）和停顿时长（p_i）作为条件。通过精心设计的两阶段训练（大规模时长条件预训练+高置信度时长监督微调）、零值校正（使零时长输入不产生残差）和缺失控制鲁棒性训练（随机丢弃时长条件），使模型既能可靠地遵循时长指令，又能在无时长指令时保持自然合成。 与已有方法相比新在哪里：与现有提供全局语速或风格控制的系统不同，MAGIC-TTS是首个提供显式、token级内容时长和停顿控制的TTS模型。与一些将时长作为内部中间变量的系统不同，它将时长设计为外部可直接操控的高置信度条件，而非需要隐式推断的潜在变量。 主要实验结果： 在时长控制准确性上，提供显式时长条件后，内容时长MAE从36.88ms降至10.56ms，相关性从0.588提升至0.918；停顿MAE从18.92ms降至8.32ms（详见表1）。 在局部编辑基准测试中，模型能根据指令调整局部时长，例如将目标内容时长从170ms编辑为225ms后，实现均值为207.40ms（绝对偏差17.60ms）（详见表2）。 消融实验表明，零值校正和高置信度时长监督对提升内容时长控制精度至关重要（详见表3）。 关键权衡：在无控制模式下，与同等规模持续预训练的基线相比，最终模型的英文WER从1.994升至3.434，中文CER从1.772升至2.215（详见表7）。 实际意义：为需要精确节奏控制的语音生成场景（如导航提示、引导式朗读、无障碍辅助阅读代码/验证码）提供了解决方案，能够实现可复现的均匀节奏基线，并支持局部编辑。 主要局限性：获得精细控制能力的代价是无控制模式下的合成质量（清晰度）有所下降；评估依赖于MFA强制对齐，存在测量误差；论文未提及代码和模型的开源。 🏗️ 模型架构 MAGIC-TTS建立在非自回归的零样本TTS骨干网络（F5-TTS）之上，该骨干基于条件流匹配（Conditional Flow Matching）生成梅尔频谱图。 ...

📄 Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling #语音合成 #音视频 #自回归模型 #扩散模型 #流匹配 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #音视频 #扩散模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhen Ye（根据作者列表顺序推断，论文中未明确标注“第一作者”） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue（所有作者所属机构均未在论文正文中明确说明，仅提供了个人姓名。机构信息可能在论文PDF的其他部分或补充材料中，但未在所提供的全文文本中提及。） 💡 毒舌点评 亮点： 论文提出的“解耦”设计哲学很聪明——把高层次的跨模态语义对齐（自回归骨干网络负责）和低层次的信号渲染（独立的扩散头负责）分开，不仅逻辑清晰，而且实验证明在同步性和质量上都优于全流程纠缠的Dual-DiT方案，同时用一个模型统一了三种任务。短板： 视频生成质量的天花板明显受限于所选的LIA-X运动自编码器，论文也坦承了这一点；此外，自回归模型在长序列上误差累积的问题可能导致生成超长语音时质量下降，这在实际应用中是个潜在痛点。 🔗 开源详情 代码： 论文明确承诺提供代码仓库链接：https://github.com/zhenye234/Talker-T2AV。 模型权重： 论文明确承诺提供预训练模型权重。 数据集： 提到了构建的约100万条说话头数据（来源公开）和使用的Emilia TTS数据集，但未说明是否公开其构建的数据集。 Demo： 提供了在线演示链接：https://talker-t2av.github.io/。 复现材料： 论文详细提供了训练细节（优化器、学习率、batch size、步数）、模型配置（各组件层数、维度、补丁大小）、损失函数权重、推理参数（采样步数、温度、CFG尺度）等。附录详细说明了两个自编码器（LIA-X， WhisperX-VAE）的选择理由和架构。 论文中引用的开源项目： 论文中提及并依赖了以下开源项目/模型：Qwen3-0.6B（骨干初始化）、LIA-X（视频运动自编码器）、Whisper Large-v3（音频自编码器中的语义特征提取器）、Descript Audio Codec (DAC)（音频自编码器架构基础）、Emilia数据集（TTS训练数据）。 📌 核心摘要 要解决什么问题： 现有联合音视频生成模型（如Dual-DiT）在整个去噪过程中通过密集的跨模态注意力耦合音频和视频，将高层语义和底层信号细节混为一体，导致建模效率低下。同时，这些模型通常输出固定长度，无法适应文本长度和说话节奏的变化。 方法核心是什么： 提出Talker-T2AV，一个两阶段的自回归扩散框架。第一阶段（跨模态建模）：将音频和视频编码为时间对齐的潜在序列（25Hz），通过元素级求和融合后，输入到一个共享的自回归语言模型骨干网络中，以补丁级进行自回归生成，捕捉高层跨模态时序结构。第二阶段（模态特定渲染）：使用两个独立的轻量级扩散Transformer头，分别将共享的隐状态解码为音频和视频的潜在补丁。 与已有方法相比新在哪里： ① 架构解耦： 首次将联合生成解耦为“高层语义对齐”与“底层信号渲染”两个明确阶段，避免了不必要的全过程跨模态纠缠。② 灵活性： 通过元素级求和设计，一个模型无需修改即可支持文本到音视频、音频到视频（说话头生成）、视频到音频（配音）三种任务。③ 可变长度输出： 基于自回归范式和停止预测器，支持生成任意长度的输出。 主要实验结果如何： 联合生成 (T2AV)： 在中英文测试集上，与5个Dual-DiT基线（MoVA, Ovi, LTX-2, UniVerse-1, UniAVGen）相比，本文方法在语音可懂度（CER/WER最低）、视频保真度（FVD最佳）和唇音同步（SyncNet C最高， D最低）上均取得最佳或并列最佳结果。 音频驱动 (A2V)： 在中英文测试集上，与5个专用方法（FLOAT, EchoMimic, Sonic, Ditto, AniPortrait）相比，本文方法在视频质量和同步性上综合表现最优（例如，英文Sync-C为5.85，最高）。 视频配音 (V2A)： 在Chem数据集上，与5个专用配音系统相比，本文方法在情感相似度（EMO-SIM）、语音可懂度（WER）和自然度（UTMOS）三项指标上均达到最佳，时长对齐（DD）接近最佳。 消融实验： 验证了“元素级求和”融合方式在同步性和效率上优于“交错”或“延迟”排列。 （详细结果表格见“详细分析”部分） 实际意义是什么： 该工作推动了更自然、同步且灵活的虚拟人交互技术的发展。统一的框架降低了构建和部署多模态生成系统的复杂度，为实时对话、虚拟主播、多模态翻译等应用提供了新的技术路径。 主要局限性是什么： ① 自回归骨干在连续潜在空间上的预测误差会随序列增长而累积，影响长音频生成质量。② 视频的最终保真度受限于所采用的LIA-X运动自编码器的表达能力。③ 论文未提及训练所使用的具体硬件和时长，硬件消耗未知。 🏗️ 模型架构 论文整体架构如图1所示，采用“自回归扩散”的两阶段解耦设计。 ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #语音大模型 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #语音大模型 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于首次将“token级时长与停顿”作为显式数值条件注入Flow-based TTS，思路清晰且工程设计（如零值校正、交叉验证数据构建）巧妙。短板是实验规模和场景相对有限（主要在中文短句上验证），且缺乏与更多现代零样本TTS基线（如CosyVoice 2、MaskGCT）的直接对比，说服力可以更强。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文中描述了数据构建方法（基于Emilia子集和交叉验证子集），但未提及是否公开或如何获取。 Demo：未提及在线演示。 复现材料：论文详细描述了训练配置（学习率、batch size、步数、硬件等）、模型架构细节和评估协议，提供了良好的复现信息基础。 论文中引用的开源项目：F5-TTS（骨干模型）、Stable-ts（时长标签生成）、Montreal Forced Aligner (MFA)（对齐与评估）、Vocos（声码器）、Emilia（训练数据集）。 📌 核心摘要 问题：现有的文本转语音（TTS）系统通常只提供语句级的时长控制或全局语速调节，缺乏对单个token（如音素、字）的精确发音时长和停顿的显式、细粒度控制能力。 方法核心：提出MAGIC-TTS，这是一个基于流匹配（Flow Matching）的零样本TTS模型。其核心是通过残差连接，将token级的内容时长（di）和停顿（pi）作为显式数值条件注入到文本表征中，从而引导并行声学生成器进行合成。 创新点：这是首个支持token级显式时长与停顿控制的TTS模型。关键创新包括：1）设计了可学习的门控残差注入机制，将时长条件融入文本嵌入；2）提出零值校正方法，平衡内容时长与停顿两个控制分支的学习信号；3）构建了基于交叉验证的高置信度时长监督数据集，用于稳定训练。 主要实验结果： 时长控制精度：在B@150测试集上，与无控制的“自发合成”相比，提供显式控制后，内容时长平均绝对误差（C-MAE）从36.88ms降至10.56ms，相关性（C-Corr.）从0.588升至0.918；停顿平均绝对误差（P-MAE）从18.92ms降至8.32ms，相关性（P-Corr.）从0.283升至0.793。 局部编辑场景：在导航、朗读等场景中，模型能以极低偏差（内容时长偏差1.07ms）实现均匀时长基线，并能将局部编辑区域有效推向目标值（内容时长偏差17.60ms，停顿偏差23.33ms）。 消融实验：移除零值校正或高置信度监督会损害控制精度，尤其是更精细的内容时长控制。 实际意义：使TTS系统能够支持需要精确节奏控制的实用场景，如导航提示的均匀播报、教学朗读的节奏引导、以及无障碍代码阅读的特定停顿。 主要局限性：模型性能高度依赖外部对齐工具（如MFA、Stable-ts）提供的时长标签质量；实验主要集中在中文短句，对长文本、多语言及更复杂韵律的泛化能力未充分验证；未开源代码和模型。 🏗️ 模型架构 MAGIC-TTS建立在基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（F5-TTS）之上。其整体流程如下： ...

语音/音乐/音频论文速递 2026-04-25 共分析 2 篇论文 ⚡ 今日概览 📥 抓取 2 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #机器人技能学习 1篇 █ #语音合成 1篇 █ 📊 论文评分排行榜（2 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人技能学习 🥈 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 📋 论文列表 🥇 MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation ✅ 7.5/10 | 前25% | #机器人技能学习 | #多模态模型 | #大语言模型 #工业应用 | arxiv ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #大语言模型 #对比学习 ✅ 7.0/10 | 前25% | #语音合成 | #知识蒸馏 | #流匹配 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Aoduo Li（Guangdong University of Technology） 通讯作者：未说明 作者列表：Aoduo Li（Guangdong University of Technology），Haoran Lv（Guangdong University of Technology），Hongjian Xu（Guangdong University of Technology），Shengmin Li（South China University of Technology），Sihao Qin（South China University of Technology），Zimeng Li（Shenzhen Polytechnic University），Chi Man Pun（University of Macau），Xuhang Chen（Huizhou University） 💡 毒舌点评 亮点：论文提出的“Persona-Prosody Dual-Track (P2-DT)”架构思路清晰，将静态身份与动态韵律显式解耦，并通过蒸馏14B LLM的推理能力来指导韵律生成，为解决“角色一致性”与“情感表达”之间的矛盾提供了一个有潜力的技术路径。短板：论文最大的软肋在于其核心贡献之一——AnimeTTS-Bench数据集——规模极小（仅4.2小时，3个角色）且未开源，导致其报告的SOTA结果（如CCS: 0.86, mAP: 0.75）缺乏在更大规模、更多样化数据上的验证，说服力大打折扣。此外，代码和模型均未开源，严重阻碍了学术界的复现与跟进。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #可控生成 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #可控生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于它系统性地解决了TTS中“token级时长控制”这个长期被忽略的痛点，并通过精巧的条件注入和高置信度数据监督，实现了从“全局语速”到“单字时长”的可控性飞跃，为有声读物、语音导航等应用提供了新工具。短板是论文在展示“控制力”的同时，未能充分证明其“合成力”——即与当前顶尖的零样本TTS模型（如CosyVoice 2）相比，其默认语音的自然度和表现力是否依然具有竞争力，这使得其实际应用价值打上了一个问号。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：论文中详细描述了其构建的数据集（CPT语料和SFT高置信度子集），但未提及是否公开或如何获取。 Demo：未提及在线演示。 复现材料：论文提供了较为详细的训练细节（如模型配置、优化器参数、训练步数、硬件信息）和消融实验设置，附录中包含额外分析，这有助于理解方法，但不足以完全复现，因为缺少核心代码和数据。 论文中引用的开源项目：依赖的开源工具/模型包括：F5-TTS（骨干网络）、Stable-ts（用于时序标注）、Montreal Forced Aligner (MFA)（用于高置信度标注）、Vocos（声码器）、Emilia（数据集）、MNV-17 ASR模型（用于转录）。 📌 核心摘要 问题：现代文本到语音（TTS）系统普遍缺乏对单个token（字/音素）级别内容时长和停顿的精确、显式控制能力，现有控制通常仅限于句子级语速或全局风格，无法满足需要精细节奏控制的场景。 方法核心：本文提出了MAGIC-TTS，首个支持显式token级时长和停顿控制的TTS模型。其核心是在一个基于流匹配（Flow Matching）的零样本TTS骨干网络上，通过可学习的残差向量将token级的时长和停顿数值作为显式条件注入文本表示。同时，设计了高置信度时长监督数据构建流程（交叉验证Stable-ts与MFA对齐）和训练机制（零值校正、控制缺失鲁棒性训练）来确保控制的可靠性。 创新点：a) 首次实现显式、可解释的token级内容时长与停顿控制；b) 提出了结合大规模弱监督和高置信度交叉验证的时长数据构建方法；c) 通过零值校正和随机丢弃训练，平衡了可控合成与默认高质量合成。 主要实验结果：在时序控制基准测试中，提供显式控制后，内容时长MAE从36.88ms降至10.56ms，相关性从0.588升至0.918；停顿MAE从18.92ms降至8.32ms。在局部编辑场景测试中，模型能以低偏差（内容17.60ms，停顿23.33ms）将编辑区域向目标值调整。消融实验证明了零值校正和高置信度监督的有效性。 实际意义：使TTS系统能够支持需要精确节奏控制的应用，如导航语音的局部强调、有声读物的节奏引导、无障碍场景下的代码朗读等，提升了语音合成的可编程性和实用性。 主要局限性：a) 未与当前SOTA的零样本TTS模型在合成自然度、说话人相似度等核心指标上进行对比，无法评估其在通用合成质量上的水平；b) 评估主要基于中文数据，缺乏多语言验证；c) 未开源代码和模型，复现门槛高。 🏗️ 模型架构 MAGIC-TTS建立在一个基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（具体为F5-TTS）之上。其核心创新在于对文本侧条件表示的增强，以注入显式时序控制。 ...

📄 Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages #语音合成 #模型评估 #多语言 #基准测试 ✅ 7.5/10 | 前25% | #语音合成 | #模型评估 | #多语言 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Srija Anand（Indian Institute of Technology, Madras; AI4Bharat） 通讯作者：未说明 作者列表：Srija Anand（Indian Institute of Technology, Madras; AI4Bharat）、Ashwin Sankar（AI4Bharat）、Ishvinder Sethi（AI4Bharat）、Aaditya Pareek（AI4Bharat）、Kartik Rajput（AI4Bharat）、Gaurav Yadav（AI4Bharat）、Nikhil Narasimhan（AI4Bharat）、Adish Pandya（AI4Bharat）、Deepon Halder（AI4Bharat）、Mohammed Safi Ur Rahman Khan（AI4Bharat）、Praveen S（AI4Bharat）、Shobhit Banga（Josh Talks）、Mitesh M Khapra（Indian Institute of Technology, Madras; AI4Bharat） 💡 毒舌点评 这篇论文在印度语言TTS评估上做到了“大力出奇迹”，用海量数据和严谨框架构建了一个可靠的排行榜，其多维度感知分析（尤其是SHAP解释）是亮点。但短板在于，作为一篇评估论文，它未能深入探讨评估者间一致性（inter-rater agreement）这一核心可靠性指标，使得“1900+评估者”的数据权威性打了折扣。 ...