语音合成

📄 Is Natural Always Appropriate? Investigating Naturalness and Appropriateness Across Different Domains for TTS Evaluation #语音合成 #模型评估 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #模型评估 | arxiv 👥 作者与机构 Dominika Woszczyk (Iconic, United Kingdom) Andreas Triantafyllopoulos (Technische Universität München, Germany) Jura Miniota (KTH Royal Institute of Technology, Sweden) Éva Székely (KTH Royal Institute of Technology, Sweden) Bjoern Schuller (Imperial College London, United Kingdom) ...

📄 LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish #语音合成 #语音识别 #自监督学习 #低资源 #基准测试 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #低资源 | arxiv 👥 作者与机构 Nina Hosseini-Kivanani Sandipana Dowerah 💡 毒舌点评 这篇论文好在选题切中要害——低资源语言+表达性语音+真实场景数据，确实是块缺肉的骨头。LuxEmo语料库的构建和公开（附带采样链接）是实打实的贡献，工作流描述也算清楚。但“严苛审稿人”视角下，槽点不少：语料库就4位主播，还来自同一个青年节目，说能代表“卢森堡语”有点勉强，作者自己也承认了，但评审意见应更尖锐地指出这直接限制了论文声称的“系统性评估”的普适性上限。情绪分布那“0.5%的愤怒”简直是个事故级数据倾斜，论文仅在结论提一句，审稿人应该追问这如何影响了模型训练与评估的有效性，以及基准测试结论在多大程度上是“可泛化的”。评估方面，20人主观听测且无显著性检验，置信区间大幅重叠，这个“基准”的排名可靠性打个大问号。论文反复强调代码混合是挑战，但分析部分却没拿出任何细粒度的分析（比如混合段vs纯语种段的WER对比），这属于典型的“提了但没分析”，深度不足。另外，像情绪检测分类器的训练数据、置信度阈值选取这些影响复现的关键细节一笔带过，不够“严谨”。总的来说，是一篇合格的资源发布和基准测试论文，但离顶会要求的深度分析和严谨论证还有距离，其影响力主要局限在资源本身，而非方法论或深刻洞察。 📌 核心摘要 本文介绍了LuxEmo，一个用于卢森堡语的表达性语音语料库和TTS基准测试集。该语料库包含从RTL青年广播档案中通过半自动工作流提取的21小时自发语音，标注了语言、说话人身份和四种情绪（中性、快乐、悲伤、愤怒）。作者在LuxEmo上评估了五种TTS系统，涵盖跨语言迁移、多语言支持和卢森堡语适配等方案。主要发现包括：没有单一TTS系统在所有评估维度（音频质量、可懂度、韵律、说话人相似度、情感自然度）上最优；目标语言适配在部分指标上有效但非全面；基于ASR的客观可懂度与人类主观感知的自然度、情感表现存在差异。论文同时指出了语料库在说话人覆盖、情绪分布均衡性以及评估统计显著性方面的局限性。 🔗 开源详情 代码：论文中未提供代码链接。 模型权重：论文中未提供模型权重链接。 数据集：LuxEmo语料库。论文中未提供公开获取链接，但提供了语料库采样链接：https://anonymous.4open.science/r/LuxEmo_Sample-445F/。 Demo：论文中未提及。 复现材料：论文中未提供完整的训练配置、检查点或附录，但提及了数据划分使用的固定随机种子为42。 论文中引用的开源项目：论文中提及了以下项目，但未提供具体链接。 DeepFilterNet [32] NISQA v2.0 [24] DNSMOS [30] LuxASR [9, 26, 35] Wav2Vec2-based mms-lid-4017 model [27] Whisper [28] SpeechBrain ECAPA-TDNN [29] pYIN [21] Sequitur G2P (用于LuxEmo): https://github.com/PeterGilles/sequitur-g2p German gruut (用于EmoDB比较): https://github.com/sequitur-g2p/sequitur-g2p 🏗️ 方法概述和架构 本文的方法可分为两大核心部分：LuxEmo语料库构建和TTS基准测试评估。 ...

📄 SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation #语音合成 #扩散模型 7.5/10 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | arxiv 👥 作者与机构 作者：Juncheng Ma, Yuxuan Du, Yanan Sun, Zhening Xing, Changlin Li, Zhenyu Tang, Bo Li, Peng-Tao Jiang, Li Yuan, Daquan Zhou, Yonghong Tian 机构：北京大学深圳研究生院，上海人工智能实验室，腾讯混元，vivo 💡 毒舌点评 这工作方向挺实在，但读下来感觉“非对称性”这个点子虽然合理，可有点被过度包装了。说白了不就是知道人脸动背景不动，音频信号得一直算嘛？方法上，那个空间掩码探查和模态解耦的思路在同类工作里不算新鲜，亮点主要在于把缓存选择建模成动态规划，这算是个不错的工程优化。不过，论文自我标榜为“首个”针对DiT音频动画的缓存方法，这“首创性”的宣称值得商榷，毕竟核心思想（缓存稳定特征、跳过计算）在很多领域都有应用。实验上，在两个特定模型上刷点确实不错，但缺乏对不同掩码质量、不同音频复杂度的鲁棒性分析，结论显得有点过于乐观。最大的问题是，方法高度依赖预训练模型（HunyuanVideo-Avatar, Wan-S2V）的内部结构和现有掩码，通用性和可迁移性存疑。开源方面，只给了基础模型链接，自己的代码没放，这对顶会论文来说是扣分项。 📌 核心摘要 本文提出SyncCache，一种针对基于扩散Transformer (DiT) 的音频驱动肖像动画的训练无关推理加速方法。核心思想是识别并利用任务固有的两种非对称性：空间上，高频动态（人脸、唇部）集中于前景，低频静态背景稳定；模态上，音频块轻量但控制高频同步信号，视觉DiT块计算密集。方法包含三个组件：1）空间非对称探测：利用人类掩码加权第一层输出的误差，对人脸区域变化更敏感，以决定何时刷新缓存；2）模态解耦缓存：在完整计算步骤中缓存视觉块间的稳定残差，在复用步骤中跳过视觉块计算但持续计算音频块；3）内存自适应最优选择：通过一个连续缓存比率σ控制缓存容量，并使用动态规划离线确定在给定σ下最优的缓存边界子集，以最小化残差的时间不稳定性，实现零在线开销的内存自适应。实验在两个主流模型和公开数据集上进行，结果表明SyncCache在大幅降低延迟（最高4.12倍加速）的同时，能保持甚至略微提升生成质量和唇形同步精度，显著优于现有缓存方法。 🔗 开源详情 代码：论文未提供 SyncCache 自身实现代码的明确链接。 模型权重：论文使用了两个开源模型进行评估，其权重可从官方仓库获取： HunyuanVideo-Avatar: https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar Wan-S2V: https://github.com/Wan-Video/Wan2.1 数据集：评估数据集为 EMTD Dataset。论文未提供该数据集的直接获取链接。根据描述，该数据集“主要由单人说话和半身人视频组成”。 Demo：论文未提及在线演示链接。 复现材料：论文未提供详细的训练配置、检查点或完整附录。报告了关键实验设置（如使用8块A800 GPU、FlashAttention、FSDP配置、人类掩码权重\(\omega=2\)等）。 论文中引用的开源项目：包括Diffusion Transformers (DiT)、HunyuanVideo、Wan2.1、FlashAttention、Hallo3、FantasyTalking、Hallo、OmniAvatar、EchoMimic、TeaCache、MagCache、TaylorSeer、HiCache、EasyCache、DeltaDiT、ClusCa、SpeCa、CGCache、FoRA、OmniCache等。 🏗️ 方法概述和架构 SyncCache的框架如图3所示，旨在通过解耦空间和模态的非对称动力学来加速基于DiT的音频驱动肖像动画推理。其核心流程可分为三个相互关联的组件： ...

📄 UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling #语音合成 #语音编辑 #扩散模型 #数据增强 7.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.3/10 | 前50% | #语音合成 | #数据增强 | #语音编辑 #扩散模型 | arxiv 👥 作者与机构 第一作者 Chuanbo Zhu 与合作者 Wuyou Zhou, Rongxiu Zhong, Shilei Zhang, Kun Qian 来自上海交通大学。通讯作者 Yike Guo 与 Wei Xue 同样来自上海交通大学，并关联北京通用人工智能研究院（BigAI）。 ...

📄 DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information #数据集 #语音合成 #语音识别 8.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.9/10 | 前25% | #语音识别 | #数据集 | #语音合成 | arxiv 👥 作者与机构 作者：Roland Roller, Vera Czehmann, Derya Erman, Luke Flanagan, Ibrahim Baroud, Frédéric Blain, Viviana Cotik, Eletta Giusto, Akhil Juneja, Mariana Neves, Maria Słowińska, Christine Hovhannisyan, Aaron Louis Eidt, Lisa Raithel, Sebastian Möller, Maija Poikela. 机构：德国人工智能研究中心 (DFKI)、柏林工业大学、柏林健康研究所 (BIH)、蒂尔堡大学、布宜诺斯艾利斯大学、独立研究员、德国联邦风险评估研究所 (BfR)。 ...

📄 FacePlex: Full-Duplex Joint Speech-Facial Motion Generation for Conversational Avatars #语音合成 7.8/10 | 创新 1.6/2 | 严谨 1.1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.8/10 | 前25% | #语音合成 | #语音合成 | arxiv 👥 作者与机构 Habin Lim, Jae-Ho Lee, Hah Min Lew (Korea University), Ji-Su Kang (Klleon), Gyeong-Moon Park (Korea University) 💡 毒舌点评 这篇工作确实填补了一个关键空白：将“全双工语音生成”和“联合面部动画”这两个平行研究流合并到一个流式框架中。Rolling Flow Matching和Rolling Cross-Attention的提法有一定新意，试图解决流式条件下多模态对齐的难题。然而，这篇论文的“统一框架”严重依赖于PersonaPlex和UniLS这两个未开源的外部模型作为主干和教师，其方法的独立性和通用性存疑。实验评估完全局限于FLAME参数空间，离生成逼真的、可用于实际部署的对话头像还有很长的路要走。论文在定义问题和系统设计上花费了大量笔墨，但核心的运动生成模块相对简单，更像一个精巧的工程适配器而非深刻的算法创新。此外，缺乏开源代码和模型严重削弱了其可复现性和对社区的实际贡献。 📌 核心摘要 本文首次形式化定义了“全双工联合语音-面部运动生成”任务，即系统需要在每个时间步同时生成语音和同步的面部运动。为此，作者提出了FacePlex框架，将PersonaPlex语音模型与一个运动生成器耦合。其核心组件包括：1) Rolling Flow Matching (RFM)，通过维护一个具有不同去噪阶段的运动队列，实现连续的流式运动生成；2) Rolling Cross-Attention (RCA)，使运动队列与语音隐藏状态队列同步滚动，从而让每个运动片段在去噪生命周期内能关注到一段滑动的语音上下文窗口（约±240ms）。实验表明，FacePlex在保持全双工语音交互能力（如打断、反馈）的同时，其生成的面部运动在唇形同步和运动保真度上优于现有的音频驱动离线模型。 ...

📄 SIMAX: A Scalable and Interpretable Framework for Multi-Fidelity and Annotated Clinician-Patient Dialogue Simulation #语音合成 #数据增强 6.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.6/10 | 后50% | #语音合成 | #数据增强 | arxiv 👥 作者与机构 Zhuhan Bao1†, Rui Yang2,3†, Bohao Yang4, Zhiyi Liu1, Sicheng Shu1, Ruio Heerschap1,5, Le Li6, Doris Yang7, Elisabeth Bond1, Haoyuan Wang8,9, Nicoleta Economou-Zavlanos1, Joshua M. Biro10, Matthew McDermott11, Nan Liu1,2,3,15,16, Anand Chowdhury17, Kai Sun14, Kathryn Pollak12,13, Ed Hammond18, Chuan Hong1,19* 1 Department of Biostatistics and Bioinformatics, Duke University School of Medicine, Durham, NC, USA 2 Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School, Singapore, Singapore 3 Centre for Biomedical Data Science, Duke-NUS Medical School, Singapore, Singapore 4 Department of Statistical Science, Duke University, Durham, NC, USA 5 Leiden University Medical Centre, Leiden, The Netherlands 6 Department of Mathematics, University of Texas at Austin, Austin, USA 7 Department of Internal Medicine, Yale School of Medicine, New Haven, CT, USA 8 Department of Biostatistics, Epidemiology and Informatics, Perelman School of Medicine, University of Pennsylvania, Philadelphia, PA, USA 9 The Graduate Group in Applied Mathematics and Computational Science, School of Arts and Sciences, University of Pennsylvania, Philadelphia, PA, USA 10 Medstar Health National Center for Human Factors in Healthcare, Washington, DC, USA 11 Department of Biomedical Informatics, Columbia University, New York, NY, USA 12 Cancer Prevention and Control, Duke Cancer Institute, Durham, NC, USA 13 Department of Population Health Sciences, Duke University School of Medicine, Durham, NC, USA 14 Division of Rheumatology and Immunology, Duke University School of Medicine, Durham, NC, USA 15 Pre-hospital and Emergency Research Centre, Health Services Research and Population Health, Duke-NUS Medical School, Singapore, Singapore 16 NUS Artificial Intelligence Institute, National University of Singapore, Singapore, Singapore 17 Division of Pulmonary, Allergy and Critical Care Medicine, Duke University School of Medicine, Durham, NC, USA 18 Duke Center for Health Informatics, Durham, NC, USA 19 Duke Clinical Research Institute, Durham, NC, USA ...

📄 A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges #语音识别 #语音合成 #自监督学习 #多模态模型 #多任务学习 5.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.3/1.5 📝 5.4/10 | 后50% | #语音识别 | #自监督学习 | #语音合成 #多模态模型 | arxiv 👥 作者与机构 Wen Liang: Columbia University, Red Hat Li Siyan: Columbia University Zackary Rackauckas: RoleGaku Julia Hirschberg: Columbia University 💡 毒舌点评 这篇综述试图为“自动化演讲辅导”这个看似细分但实际横跨多个热门领域的课题（CAPT、TTS、L2语言学习）建立一个清晰的分类法和研究路线图。其野心值得肯定，但执行上仍有改进空间。 ...

📄 HPRO: Hierarchical Progressive Reward Optimization via Preference Extraction for Emotional Text-to-Speech #语音合成 #语音识别 8.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前50% | #语音合成 | #语音识别 | arxiv 👥 作者与机构 作者：Sihang Nie, Xiaofen Xing, Rui Xing, Haoming Li, Ruitong Xiao, Jingyuan Xing, Baiji Liu, and Xiangmin Xu。 机构：1华南理工大学；2虎牙公司（实习期间完成）；3中国科学院深圳先进技术研究院；4琶洲实验室。 通讯作者：Xiaofen Xing。 ...

📄 HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models #语音合成 #语音识别 #自监督学习 #高效推理 6.5/10 ✅ 6.5/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #高效推理 | arxiv 👥 作者与机构 论文作者包括：Artem Ploujnikov (Concordia University, Canada), Francesco Verdini (Sapienza University of Rome, Italy), Samir Sadok (Inria, Université Grenoble Alpes CNRS, LJK, France), Mirco Ravanelli (Mila, Quebec AI Institute, Canada; Concordia University, Canada)。机构包括Mila、Concordia大学、Sapienza大学和Inria。 💡 毒舌点评 关于“首个”的声明过于绝对：作者声称是首个在单一Transformer架构中统一离散和连续细化的方法。然而，离散-连续混合建模在强化学习、机器人学、文本扩散等领域已有探索（论文在Related Work中提及）。本文的贡献在于将其应用于统一的语音处理架构，而非“首创”了混合范式本身。论文应更精确地界定其贡献范围。 连续残差预测的“单步NAR”假设可能过于简化：论文声称通过单步NAR预测连续残差即可恢复高保真细节。这一假设在低比特率下可能成立，但在更复杂的声学环境或更长的生成序列中，单步预测的容量可能不足以建模所有丢失的连续信息。论文缺乏对这一关键设计选择的消融研究或理论分析。 实验评估集中且缺乏深度分析：虽然评估了三项任务，但所有实验均在单一数据集（LibriTTS）和单一评估设置下进行。缺乏对模型在更嘈杂环境、多说话人、跨语言场景下的鲁棒性验证。此外，论文未深入分析为何连续残差能提升ASR性能（是提供了更好的声学特征还是仅仅是模型容量增加？），结论显得略微表面。 对计算成本的讨论不完整：论文强调减少AR步数，但未全面报告HybridCodec引入额外残差编码器/解码器路径所带来的训练和编码开销，以及HybridLM中处理两种模式的额外计算成本。效率提升的净收益需要更全面的分析。 📌 核心摘要 离散音频表示在构建多模态文本-音频系统及将音频能力集成到大型语言模型中越来越流行，但其量化过程会不可避免地导致信息损失，影响下游任务性能。为解决此问题，本文提出了一种结合时序压缩离散token与降维连续残差的新颖混合方法。该框架包含一个混合离散-连续Focal调制编解码器（HybridCodec）和一个混合Transformer（HybridLM）。HybridCodec在FocalCodec的基础上增加了一个并行路径，用于提取和压缩量化后丢失的连续残差信息。HybridLM则通过自适应层归一化（AdaLN）机制，在一个统一的Transformer中，将用于语义结构建立的自回归（AR）离散token生成阶段，与用于高保真声学细节恢复的非自回归（NAR）连续残差预测阶段相耦合。实验结果表明，在LibriTTS数据集上，该方法在极低帧率（如6.25 Hz）下的重合成、TTS和ASR性能显著优于离散-only基线，尤其在说话人相似度保持和可懂度（dWER/WER）降低方面优势明显，同时大幅减少了自回归推理步数。 ...