语音合成

📄 Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling #语音合成 #音视频 #自回归模型 #扩散模型 #流匹配 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #音视频 #扩散模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhen Ye（根据作者列表顺序推断，论文中未明确标注“第一作者”） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, Peiwen Sun, Yiming Li, Chi-Min Chan, Wei Ye, Shikun Zhang, Wei Xue（所有作者所属机构均未在论文正文中明确说明，仅提供了个人姓名。机构信息可能在论文PDF的其他部分或补充材料中，但未在所提供的全文文本中提及。） 💡 毒舌点评 亮点： 论文提出的“解耦”设计哲学很聪明——把高层次的跨模态语义对齐（自回归骨干网络负责）和低层次的信号渲染（独立的扩散头负责）分开，不仅逻辑清晰，而且实验证明在同步性和质量上都优于全流程纠缠的Dual-DiT方案，同时用一个模型统一了三种任务。短板： 视频生成质量的天花板明显受限于所选的LIA-X运动自编码器，论文也坦承了这一点；此外，自回归模型在长序列上误差累积的问题可能导致生成超长语音时质量下降，这在实际应用中是个潜在痛点。 🔗 开源详情 代码： 论文明确承诺提供代码仓库链接：https://github.com/zhenye234/Talker-T2AV。 模型权重： 论文明确承诺提供预训练模型权重。 数据集： 提到了构建的约100万条说话头数据（来源公开）和使用的Emilia TTS数据集，但未说明是否公开其构建的数据集。 Demo： 提供了在线演示链接：https://talker-t2av.github.io/。 复现材料： 论文详细提供了训练细节（优化器、学习率、batch size、步数）、模型配置（各组件层数、维度、补丁大小）、损失函数权重、推理参数（采样步数、温度、CFG尺度）等。附录详细说明了两个自编码器（LIA-X， WhisperX-VAE）的选择理由和架构。 论文中引用的开源项目： 论文中提及并依赖了以下开源项目/模型：Qwen3-0.6B（骨干初始化）、LIA-X（视频运动自编码器）、Whisper Large-v3（音频自编码器中的语义特征提取器）、Descript Audio Codec (DAC)（音频自编码器架构基础）、Emilia数据集（TTS训练数据）。 📌 核心摘要 要解决什么问题： 现有联合音视频生成模型（如Dual-DiT）在整个去噪过程中通过密集的跨模态注意力耦合音频和视频，将高层语义和底层信号细节混为一体，导致建模效率低下。同时，这些模型通常输出固定长度，无法适应文本长度和说话节奏的变化。 方法核心是什么： 提出Talker-T2AV，一个两阶段的自回归扩散框架。第一阶段（跨模态建模）：将音频和视频编码为时间对齐的潜在序列（25Hz），通过元素级求和融合后，输入到一个共享的自回归语言模型骨干网络中，以补丁级进行自回归生成，捕捉高层跨模态时序结构。第二阶段（模态特定渲染）：使用两个独立的轻量级扩散Transformer头，分别将共享的隐状态解码为音频和视频的潜在补丁。 与已有方法相比新在哪里： ① 架构解耦： 首次将联合生成解耦为“高层语义对齐”与“底层信号渲染”两个明确阶段，避免了不必要的全过程跨模态纠缠。② 灵活性： 通过元素级求和设计，一个模型无需修改即可支持文本到音视频、音频到视频（说话头生成）、视频到音频（配音）三种任务。③ 可变长度输出： 基于自回归范式和停止预测器，支持生成任意长度的输出。 主要实验结果如何： 联合生成 (T2AV)： 在中英文测试集上，与5个Dual-DiT基线（MoVA, Ovi, LTX-2, UniVerse-1, UniAVGen）相比，本文方法在语音可懂度（CER/WER最低）、视频保真度（FVD最佳）和唇音同步（SyncNet C最高， D最低）上均取得最佳或并列最佳结果。 音频驱动 (A2V)： 在中英文测试集上，与5个专用方法（FLOAT, EchoMimic, Sonic, Ditto, AniPortrait）相比，本文方法在视频质量和同步性上综合表现最优（例如，英文Sync-C为5.85，最高）。 视频配音 (V2A)： 在Chem数据集上，与5个专用配音系统相比，本文方法在情感相似度（EMO-SIM）、语音可懂度（WER）和自然度（UTMOS）三项指标上均达到最佳，时长对齐（DD）接近最佳。 消融实验： 验证了“元素级求和”融合方式在同步性和效率上优于“交错”或“延迟”排列。 （详细结果表格见“详细分析”部分） 实际意义是什么： 该工作推动了更自然、同步且灵活的虚拟人交互技术的发展。统一的框架降低了构建和部署多模态生成系统的复杂度，为实时对话、虚拟主播、多模态翻译等应用提供了新的技术路径。 主要局限性是什么： ① 自回归骨干在连续潜在空间上的预测误差会随序列增长而累积，影响长音频生成质量。② 视频的最终保真度受限于所采用的LIA-X运动自编码器的表达能力。③ 论文未提及训练所使用的具体硬件和时长，硬件消耗未知。 🏗️ 模型架构 论文整体架构如图1所示，采用“自回归扩散”的两阶段解耦设计。 ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #语音大模型 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #语音大模型 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于首次将“token级时长与停顿”作为显式数值条件注入Flow-based TTS，思路清晰且工程设计（如零值校正、交叉验证数据构建）巧妙。短板是实验规模和场景相对有限（主要在中文短句上验证），且缺乏与更多现代零样本TTS基线（如CosyVoice 2、MaskGCT）的直接对比，说服力可以更强。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：论文中描述了数据构建方法（基于Emilia子集和交叉验证子集），但未提及是否公开或如何获取。 Demo：未提及在线演示。 复现材料：论文详细描述了训练配置（学习率、batch size、步数、硬件等）、模型架构细节和评估协议，提供了良好的复现信息基础。 论文中引用的开源项目：F5-TTS（骨干模型）、Stable-ts（时长标签生成）、Montreal Forced Aligner (MFA)（对齐与评估）、Vocos（声码器）、Emilia（训练数据集）。 📌 核心摘要 问题：现有的文本转语音（TTS）系统通常只提供语句级的时长控制或全局语速调节，缺乏对单个token（如音素、字）的精确发音时长和停顿的显式、细粒度控制能力。 方法核心：提出MAGIC-TTS，这是一个基于流匹配（Flow Matching）的零样本TTS模型。其核心是通过残差连接，将token级的内容时长（di）和停顿（pi）作为显式数值条件注入到文本表征中，从而引导并行声学生成器进行合成。 创新点：这是首个支持token级显式时长与停顿控制的TTS模型。关键创新包括：1）设计了可学习的门控残差注入机制，将时长条件融入文本嵌入；2）提出零值校正方法，平衡内容时长与停顿两个控制分支的学习信号；3）构建了基于交叉验证的高置信度时长监督数据集，用于稳定训练。 主要实验结果： 时长控制精度：在B@150测试集上，与无控制的“自发合成”相比，提供显式控制后，内容时长平均绝对误差（C-MAE）从36.88ms降至10.56ms，相关性（C-Corr.）从0.588升至0.918；停顿平均绝对误差（P-MAE）从18.92ms降至8.32ms，相关性（P-Corr.）从0.283升至0.793。 局部编辑场景：在导航、朗读等场景中，模型能以极低偏差（内容时长偏差1.07ms）实现均匀时长基线，并能将局部编辑区域有效推向目标值（内容时长偏差17.60ms，停顿偏差23.33ms）。 消融实验：移除零值校正或高置信度监督会损害控制精度，尤其是更精细的内容时长控制。 实际意义：使TTS系统能够支持需要精确节奏控制的实用场景，如导航提示的均匀播报、教学朗读的节奏引导、以及无障碍代码阅读的特定停顿。 主要局限性：模型性能高度依赖外部对齐工具（如MFA、Stable-ts）提供的时长标签质量；实验主要集中在中文短句，对长文本、多语言及更复杂韵律的泛化能力未充分验证；未开源代码和模型。 🏗️ 模型架构 MAGIC-TTS建立在基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（F5-TTS）之上。其整体流程如下： ...

语音/音频论文速递 2026-04-25 共分析 2 篇论文 ⚡ 今日概览 📥 抓取 2 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #机器人技能学习 1篇 █ #语音合成 1篇 █ 📊 论文评分排行榜（2 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人技能学习 🥈 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 📋 论文列表 🥇 MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation ✅ 7.5/10 | 前25% | #机器人技能学习 | #多模态模型 | #大语言模型 #工业应用 | arxiv ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #大语言模型 #对比学习 ✅ 7.0/10 | 前25% | #语音合成 | #知识蒸馏 | #流匹配 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Aoduo Li（Guangdong University of Technology） 通讯作者：未说明 作者列表：Aoduo Li（Guangdong University of Technology），Haoran Lv（Guangdong University of Technology），Hongjian Xu（Guangdong University of Technology），Shengmin Li（South China University of Technology），Sihao Qin（South China University of Technology），Zimeng Li（Shenzhen Polytechnic University），Chi Man Pun（University of Macau），Xuhang Chen（Huizhou University） 💡 毒舌点评 亮点：论文提出的“Persona-Prosody Dual-Track (P2-DT)”架构思路清晰，将静态身份与动态韵律显式解耦，并通过蒸馏14B LLM的推理能力来指导韵律生成，为解决“角色一致性”与“情感表达”之间的矛盾提供了一个有潜力的技术路径。短板：论文最大的软肋在于其核心贡献之一——AnimeTTS-Bench数据集——规模极小（仅4.2小时，3个角色）且未开源，导致其报告的SOTA结果（如CCS: 0.86, mAP: 0.75）缺乏在更大规模、更多样化数据上的验证，说服力大打折扣。此外，代码和模型均未开源，严重阻碍了学术界的复现与跟进。 ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #可控生成 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #可控生成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于它系统性地解决了TTS中“token级时长控制”这个长期被忽略的痛点，并通过精巧的条件注入和高置信度数据监督，实现了从“全局语速”到“单字时长”的可控性飞跃，为有声读物、语音导航等应用提供了新工具。短板是论文在展示“控制力”的同时，未能充分证明其“合成力”——即与当前顶尖的零样本TTS模型（如CosyVoice 2）相比，其默认语音的自然度和表现力是否依然具有竞争力，这使得其实际应用价值打上了一个问号。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：论文中详细描述了其构建的数据集（CPT语料和SFT高置信度子集），但未提及是否公开或如何获取。 Demo：未提及在线演示。 复现材料：论文提供了较为详细的训练细节（如模型配置、优化器参数、训练步数、硬件信息）和消融实验设置，附录中包含额外分析，这有助于理解方法，但不足以完全复现，因为缺少核心代码和数据。 论文中引用的开源项目：依赖的开源工具/模型包括：F5-TTS（骨干网络）、Stable-ts（用于时序标注）、Montreal Forced Aligner (MFA)（用于高置信度标注）、Vocos（声码器）、Emilia（数据集）、MNV-17 ASR模型（用于转录）。 📌 核心摘要 问题：现代文本到语音（TTS）系统普遍缺乏对单个token（字/音素）级别内容时长和停顿的精确、显式控制能力，现有控制通常仅限于句子级语速或全局风格，无法满足需要精细节奏控制的场景。 方法核心：本文提出了MAGIC-TTS，首个支持显式token级时长和停顿控制的TTS模型。其核心是在一个基于流匹配（Flow Matching）的零样本TTS骨干网络上，通过可学习的残差向量将token级的时长和停顿数值作为显式条件注入文本表示。同时，设计了高置信度时长监督数据构建流程（交叉验证Stable-ts与MFA对齐）和训练机制（零值校正、控制缺失鲁棒性训练）来确保控制的可靠性。 创新点：a) 首次实现显式、可解释的token级内容时长与停顿控制；b) 提出了结合大规模弱监督和高置信度交叉验证的时长数据构建方法；c) 通过零值校正和随机丢弃训练，平衡了可控合成与默认高质量合成。 主要实验结果：在时序控制基准测试中，提供显式控制后，内容时长MAE从36.88ms降至10.56ms，相关性从0.588升至0.918；停顿MAE从18.92ms降至8.32ms。在局部编辑场景测试中，模型能以低偏差（内容17.60ms，停顿23.33ms）将编辑区域向目标值调整。消融实验证明了零值校正和高置信度监督的有效性。 实际意义：使TTS系统能够支持需要精确节奏控制的应用，如导航语音的局部强调、有声读物的节奏引导、无障碍场景下的代码朗读等，提升了语音合成的可编程性和实用性。 主要局限性：a) 未与当前SOTA的零样本TTS模型在合成自然度、说话人相似度等核心指标上进行对比，无法评估其在通用合成质量上的水平；b) 评估主要基于中文数据，缺乏多语言验证；c) 未开源代码和模型，复现门槛高。 🏗️ 模型架构 MAGIC-TTS建立在一个基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（具体为F5-TTS）之上。其核心创新在于对文本侧条件表示的增强，以注入显式时序控制。 ...

📄 Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages #语音合成 #模型评估 #多语言 #基准测试 ✅ 7.5/10 | 前25% | #语音合成 | #模型评估 | #多语言 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Srija Anand（Indian Institute of Technology, Madras; AI4Bharat） 通讯作者：未说明 作者列表：Srija Anand（Indian Institute of Technology, Madras; AI4Bharat）、Ashwin Sankar（AI4Bharat）、Ishvinder Sethi（AI4Bharat）、Aaditya Pareek（AI4Bharat）、Kartik Rajput（AI4Bharat）、Gaurav Yadav（AI4Bharat）、Nikhil Narasimhan（AI4Bharat）、Adish Pandya（AI4Bharat）、Deepon Halder（AI4Bharat）、Mohammed Safi Ur Rahman Khan（AI4Bharat）、Praveen S（AI4Bharat）、Shobhit Banga（Josh Talks）、Mitesh M Khapra（Indian Institute of Technology, Madras; AI4Bharat） 💡 毒舌点评 这篇论文在印度语言TTS评估上做到了“大力出奇迹”，用海量数据和严谨框架构建了一个可靠的排行榜，其多维度感知分析（尤其是SHAP解释）是亮点。但短板在于，作为一篇评估论文，它未能深入探讨评估者间一致性（inter-rater agreement）这一核心可靠性指标，使得“1900+评估者”的数据权威性打了折扣。 ...

📄 Qwen3.5-Omni Technical Report #多模态模型 #语音对话系统 #多语言 #语音合成 🔥 8.5/10 | 前25% | #语音对话系统 | #多模态模型 | #多语言 #语音合成 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表： Bing Han (未说明) Baosong Yang (未说明) Bin Zhang (未说明) Bo Zheng (未说明) Dayiheng Liu (未说明) Fan Zhou (未说明) Hongkun Hao (未说明) Hangrui Hu (未说明) Jin Xu (未说明) Jianxin Yang (未说明) Jingren Zhou (未说明) Keqin Chen (未说明) Le Yu (未说明) Mingkun Yang (未说明) Peng Wang (未说明) Pei Zhang (未说明) Qize Yang (未说明) Rui Men (未说明) Ruiyang Xu (未说明) Shuai Bai (未说明) Sibo Song (未说明) Ting He (未说明) Xize Cheng (未说明) Xingzhang Ren (未说明) Xian Shi (未说明) Xiong Wang (未说明) Xinyu Zhang (未说明) Xinfa Zhu (未说明) Yunfei Chu (未说明) Yuanjun Lv (未说明) Yuchong Sun (未说明) Yongqi Wang (未说明) Yuxuan Wang (未说明) Yang Zhang (未说明) Zhifang Guo (未说明) Zishan Guo (未说明) Ziyang Ma (未说明) (以及数十位贡献者，论文中未提供其具体机构信息) 💡 毒舌点评 亮点：工程整合能力极强，在215个涵盖理解、推理和交互的音频/音视觉基准上全面达到SOTA，尤其在语音对话和多语言识别上超越了Gemini-3.1 Pro，展现了扎实的“刷榜”实力。短板：作为技术报告，其创新性主要体现在将现有技术（MoE、ARIA、长上下文）进行大规模组合与优化，而非提出颠覆性的新范式，读起来更像一份详尽的“产品说明书”而非“科学发现”。 ...

📄 SpeechParaling-Bench: A Comprehensive Benchmark for Paralinguistic-Aware Speech Generation #基准测试 #语音大模型 #语音合成 #多语言 #模型评估 ✅ 7.5/10 | 前25% | #基准测试 | #模型评估 | #语音大模型 #语音合成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ruohan Liu (南京大学) 通讯作者：Chaoyou Fu (南京大学) 作者列表： Ruohan Liu (南京大学) Shukang Yin (南京大学) Tao Wang (南京大学) Dong Zhang (小米) Weiji Zhuang (小米) Shuhuai Ren (小米) Ran He (南京大学) Caifeng Shan (南京大学) Chaoyou Fu (南京大学) 💡 毒舌点评 亮点：这篇论文把“副语言生成评估”这个模糊地带彻底标准化了，从不到50个特征扩展到100多个，还设计了从静态控制到动态变化再到情境适应的递进式任务，评估流水线也用上了“成对比较”来对抗主观性，工程上相当完备。短板：数据全靠合成，用TTS生成的“用户查询”和真实人类说话的副语言信息可能差了十万八千里，这导致整个基准测试的生态位有点尴尬——它测的是模型对“合成指令”的服从度，而非对“真实人类语音”的理解力。 ...