语音合成

📄 AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation #语音合成 #音频生成 #音乐生成 #自回归模型 #流匹配 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #音频生成 | #音乐生成 #自回归模型 | arxiv 👥 作者与机构 作者：Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Bin Ma, Xiangang Li, Wei Xue 机构：香港科技大学 (HKUST), 通义团队, 阿里巴巴集团 (Tongyi Fun Team, Alibaba Group) ...

📄 Backdoor Attacks on Speech Emotion Recognition via TTS-Generated Poisoning #语音情感识别 #语音合成 #自监督学习 7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音情感识别 | #自监督学习 | #语音合成 | arxiv 👥 作者与机构 作者：Yongbin Huang, Xihao Xie, Jia Zhang 机构：未在提供的论文片段中明确说明。 💡 毒舌点评 这篇论文精准地戳中了当前语音情感识别（SER）系统，尤其是基于自监督预训练模型的流水线，在数据供应链上的一个致命软肋：对TTS生成投毒样本的毫无防备。作者们的工作动机非常清晰且现实，指出了TTS技术如何极大降低了发起高效后门攻击的门槛。实验设计也比较扎实，覆盖了多语言数据集和多种主流自监督模型，验证了攻击的普遍脆弱性。然而，论文的“系统性”研究在深度上仍有欠缺：对触发器的声学特性、为何TTS合成的特定片段（一个“标准中性TTS语音”）能成为有效触发器，缺乏更底层的分析。此外，威胁模型过于理想化（“能注入TTS样本”），对攻击在现实数据收集流程中如何实施的讨论几乎为空白。最后，讨论部分草草收场，面对已证实的严重漏洞，却没有提供任何有意义的防御思路或后续研究方向，这极大地削弱了工作的完整性。总的来说，一篇合格的、指明了问题的工作，但离一篇令人印象深刻、引领方向的顶会论文还有距离。 📌 核心摘要 本文首次系统性地研究了针对语音情感识别（SER）系统的、基于文本转语音（TTS）生成投毒样本的后门攻击。作者提出了一种隐蔽的低能量声学触发器，并构建了包含触发器生成、后门注入（波形域叠加）和推理阶段激活的攻击框架。通过在四个公开情感语音数据集（ANAD, CaFE, CASIA, JL Corpus）上对四种自监督语音模型（wav2vec2-base, wavlm-base, data2vec-base, unispeech-sat-base）进行广泛实验，证明了该攻击的有效性（高攻击成功率）、隐蔽性（干净准确率下降小）和跨模型/跨数据集迁移性。研究揭示了现代SER流水线的关键安全漏洞，并表明TTS技术显著降低了发起此类攻击的门槛，亟需开发专门的防御机制。 ...

📄 Bagpiper-Edit: Zero-Shot Open-Ended Audio Editing via Rich-Caption #语音合成 7.6/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.3/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #自监督学习 | arxiv 👥 作者与机构 作者：Xun Gong, Tian Wang, Jinchuan Chen, Haoran Watanabe, Shinji Qian, Yanmin 机构：1 上海交通大学听觉认知与计算声学实验室，中国上海；2 卡内基梅隆大学语言技术研究�� 💡 毒舌点评 论文想法不错，把复杂的音频编辑问题转化为文本空间的改写问题，是个巧妙的“曲线救国”策略。但是，论文在自我吹嘘“性能与专家模型相当”时，有点避重就轻。在语音转录编辑这个最核心的任务上，WER和编辑准确率都明显落后于CosyVoice-3，却在情感和风格编辑上挽回了一些颜面，这能叫“大多数情况”吗？另外，整个评估体系严重依赖自动指标和另一个AI的打分（LLM score），就是不肯做点真正的人工听测，这让“性能相当”的结论显得底气不足。最后，论文宣称“零样本”，但训练数据里塞了YODAS、AudioSet等好几个大公开数据集，虽然不是配对编辑数据，但这“零样本”的含金量需要打个问号。 📌 核心摘要 本文提出了Bagpiper-Edit，一个用于开放式音频编辑的零样本框架。其核心思想是将编辑任务重新定义为基于“富文本描述”的文本空间改写任务。方法首先从原始音频中提取一个详细的文本描述（rich caption），然后利用一个强大的文本大语言模型（LLM）根据用户的自由形式编辑请求，将这个原始描述改写为目标描述。最后，以前者作为“声学锚点”，根据目标描述生成编辑后的音频。为使模型学会在生成时保持原始音频的声学一致性（如背景音、音色），论文提出了一种新颖的自监督训练范式：通过将连续音频分割为相邻片段或重复同一音频，构建无需人工标注的训练对。在语音、音效和自由形式编辑的评估中，该方法展示了其在保持原始音频一致性的同时，实现复杂编辑的能力，其多轮（MT）训练模式的性能在多项指标上优于单轮（ST）模式。 🔗 开源详情 代码：论文中未提及代码链接（论文中提到“We will release the code and evaluation scripts upon acceptance”）。 ...

📄 Bagpiper-TTS: Natural Language Guided Universal Speech Synthesis #语音合成 #大语言模型 #数据增强 8.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.9/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.4/10 | 前25% | #语音合成 | #数据增强 | #大语言模型 | arxiv 👥 作者与机构 Jinchuan Tian (卡内基梅隆大学), Haoran Wang (LY Corporation), Siddhant Arora (卡内基梅隆大学), Takashi Maekaku (LY Corporation), Keita Goto (NVIDIA Research), Jin Sakuma (NVIDIA Research), Yusuke Shinohara (NVIDIA Research), Chao-Han Huck Yang (NVIDIA Research), Shinji Watanabe (卡内基梅隆大学)。 ...

📄 Benchmarking Large Language Models for Grapheme-to-Phoneme Conversion: A Japanese Case Study #大语言模型 #基准测试 #语音合成 8.4/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.4/10 | 前25% | #语音合成 | #大语言模型 | #基准测试 | arxiv 👥 作者与机构 Koriyama, Tomoki. CyberAgent, Japan. 💡 毒舌点评 这篇论文是一篇扎实的工程性基准测试研究，对日语G2P这个具体任务的LLM应用进行了迄今为止最全面的评估。实验设计合理，覆盖了30+模型，分析维度（模型规模、版本、专门化训练、提示模式）清晰。作为一篇面向应用的实证论文，其价值在于为日语TTS领域的从业者提供了明确的模型选择参考和性能基线。然而，其核心贡献是“评估”而非“提出”新方法，创新性相对有限，更像是一篇详尽的系统报告而非顶会级别的理论或方法突破。论文对错误模式的分析不够深入，对“为什么”某些模式有效或失败的探讨可以更进一步。TTS对比实验虽然实用，但对比系统的选择（如使用未提及的CosyVoice 2作为E2E代表）和实验设置（仅微调一个模型）的说服力可以更强。总体而言，这是一篇合格的、有用的工作，但可能更适合作为领域内的技术报告或会议短文，而非顶会主会场论文。 📌 核心摘要 本文首次对超过30种大型语言模型（LLM）在日语字形到音素（G2P）转换任务上的性能进行了大规模基准测试。研究提出并比较了两种LLM应用策略：解析模式（LLM执行形态分析，规则后处理负责发音规则）和直接模式（LLM直接预测假名）。实验使用包含3000句手动标注假名的JVS语料库子集，以假名字符错误率（CER）为指标。结果显示，模型规模、版本更新以及针对日语的专门化训练是提升准确率的关键因素。最优的专有模型（如Claude Opus，解析模式CER 0.52%）超越了最佳传统工具OpenJTalk（CER 1.03%）。解析模式在绝大多数模型上优于直接模式，因其减轻了LLM处理复杂发音规则的负担。此外，研究将LLM预测的假名输入一个微调的假名输入TTS模型（CosyVoice 2），其发音准确度优于多个端到端（E2E）TTS系统（如Gemini 2.5 Flash TTS, Qwen 3 TTS），同时保持了可比的自然度，证明了显式G2P模块在可控发音方面的实用价值。 ...

📄 DisSpeech: Low-Resource Controllable Mandarin Stuttered Speech Synthesis for ASR Augmentation #语音合成 #语音识别 #低资源 #数据增强 7.2/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #数据增强 | #语音识别 #低资源 | arxiv 👥 作者与机构 作者：Yao Lu 机构：TMCC, College of Computer Science, Nankai University, Tianjin, China (南开大学计算机科学学院智能多媒体计算中心) 邮箱：2211843@mail.nankai.edu.cn 💡 毒舌点评 动机与定位清晰，但“低资源”声明需斟酌：针对普通话口吃语音数据稀缺导致ASR性能下降的问题，提出合成增强方案，动机合理。声称“仅需少于50小时数据微调”，这在特定任务下是优势，但需注意AS-70数据集本身就有48小时，且预训练使用了85小时的AISHELL-3，严格意义上“低资源”可能指目标领域的微调数据量。 方法设计模块化，有改进但创新性中等：将离散token生成与可控口吃建模结合，并引入非自回归模型缓解误差累积，思路直接有效。然而，核心组件（SpeechTokenizer, MaskGCT, HiFi-GAN, 韵律解码器）均为已有工作，本文主要贡献在于整合与适配，针对口吃合成的原创性架构设计或理论贡献有限。 实验充分，但部分评估可深化：在合成质量和ASR增强上做了全面对比，结果显示有效。但缺少关键的消融实验来验证各组件（如非自回归模型、显式音高能量模块、口吃标签）的具体贡献。ASR增强实验虽结果显著，但“state-of-the-art”的声明受限于特定数据集和评估设置，泛化性未知。 开源与可复现性严重不足：论文未提供代码、模型权重或合成数据，这极大限制了其可复现性和对社区的贡献。作为一篇应用性较强的论文，不开源使得验证其主张和进行后续研究变得困难。 局限性挖掘可更深入：论文提及了未来工作方向，但审稿人认为应更尖锐地指出当前局限，例如：自动插入口吃标签的策略可能过于简单，无法模拟真实口吃的复杂性和上下文依赖性；模型在极严重或罕见口吃类型上的泛化能力未被验证；合成语音与真实口吃语音在自然度和多样性上的差距未被量化讨论。 📌 核心摘要 本文针对普通话口吃语音数据稀缺导致自动语音识别（ASR）系统性能下降的问题，提出了DisSpeech框架。该框架是一个基于离散语音token的低资源可控口吃语音合成系统，可用于ASR数据增强。核心思想是将文本和显式口吃事件标签通过非自回归掩码生成Transformer映射为语义token，再通过一个集成显式音高与能量建模的解码器重建声学特征，最终由HiFi-GAN生成波形。实验表明，DisSpeech在合成质量和口吃事件可控性上优于现有方法（如Stutter-TTS）。利用其生成的94小时合成口吃语音增强ASR模型训练后，Qwen3-ASR-0.6B模型在评估的普通话口吃语音识别任务上达到4.19%的最优字符错误率（CER），同时对流利语音识别性能影响轻微。 ...

📄 ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era #语音识别 #语音合成 #语音增强 #说话人识别 #语音翻译 #语音分离 #语音编码 #自监督学习 #数据增强 #参数高效微调 #迁移学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #语音合成 #语音增强 | arxiv 👥 作者与机构 Masao Someki (Carnegie Mellon University, Pittsburgh, USA) Alexander Polok (Brno University of Technology, Brno, Czechia) Carlos Carvalho (Instituto Superior Técnico, Lisbon, Portugal) Chyi-Jiunn Lin (Hanyang University, Seoul, South Korea) Da-Hee Yang (Hitachi Astemo, Tokyo, Japan) Jiatong Shi (Shanghai Jiao Tong University, Shanghai, China) Jinchuan Tian (Carnegie Mellon University, Pittsburgh, USA) Nelson Enrique Yalta Soplin (Carnegie Mellon University, Pittsburgh, USA) Samuele Cornell (Carnegie Mellon University, Pittsburgh, USA) Siddhant Arora (Carnegie Mellon University, Pittsburgh, USA) Francisco Teixeira (Instituto Superior Técnico, Lisbon, Portugal) Wei Wang (Shanghai Jiao Tong University, Shanghai, China) William Chen (Carnegie Mellon University, Pittsburgh, USA) Alberto Abad (Instituto Superior Técnico, Lisbon, Portugal) Chenda Li (Carnegie Mellon University, Pittsburgh, USA) Shinji Watanabe (Carnegie Mellon University, Pittsburgh, USA) Wangyou Zhang (Shanghai Jiao Tong University, Shanghai, China) ...

📄 Imitation Learning for Elder-Facing Speech Synthesis #语音合成 #强化学习 #低资源 5.5/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.6/1.5 📝 5.5/10 | 前50% | #语音合成 | #强化学习 | #低资源 | arxiv 👥 作者与机构 作者：Dongrui Han, Weidong Chen, Jiawen Kang, Mingyu Cui, Helen Meng, Xixin Wu 机构：1 The Chinese University of Hong Kong, Hong Kong SAR, China; 2 Tencent Hunyuan, China ...

📄 ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoning for Context-Aware Text-to-Speech #语音合成 #语音识别 #多模态模型 6.6/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 0.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #语音合成 | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 论文标题：ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoning for Context-Aware Text-to-Speech 作者列表（按原文顺序）：Wei Xue (香港科技大学), Junlan Feng (中国移动), Shilei Zhang (中国移动九天智能科技（北京）有限公司), Yue Wang (中国移动香港创新研究院), Ruosong Yang (中国移动香港创新研究院), Bei Liu (香港科技大学), Liumeng Xue (南京大学), Sitong Cheng (香港科技大学), Jiahao Pan (香港科技大学), Weizhen Bian (香港科技大学), Boyi Kang (香港科技大学), Bin Long (香港生成式AI研发中心) 机构：香港科技大学, 中国移动, 中国移动九天智能科技（北京）有限公司, 中国移动香港创新研究院, 南京大学, 香港生成式AI研发中心 ...

📄 LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity #音频水印 #音频生成 #语音合成 8/10 | 创新 1.6/2 | 严谨 1.1/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8/10 | 前25% | #音频水印 | #生成对抗网络 | #音频生成 #语音合成 | arxiv 👥 作者与机构 Kexin Li， Xiao Hu， Ilya Grishchenko， David Lie University of Toronto, Canada *Equal contributions， BCorresponding author 💡 毒舌点评 本文首次将“放射性”水印概念系统化地引入音频领域，并通过语义潜在空间嵌入提出了一个新颖的框架LambdaMark，实验结果看起来非常漂亮，声称在所有评估的攻击下都保持了鲁棒性。然而，审稿人必须指出几个严重关切。首先，该方法的“通用性”高度依赖于一个特定的、未开源的语义编码器（Dasheng）和声码器（SemanticVocoder）骨干网络，这使得其声称的通用性打了折扣。其次，论文在理论深度上有所欠缺，主要贡献是架构设计和实证验证，缺乏对为何“语义嵌入”比“波形嵌入”更鲁棒的严格数学分析或理论证明。第三，尽管实验全面，但评估完全依赖于作者自己提出的“HarmonicAttack”，且该攻击的泛化性和威胁强度是否代表最先进水平有待商榷。论文的局限性部分诚实，但更多地描述了方法适用范围，而非对方法内在缺陷的深入剖析。总体而言，这是一篇不错的工程导向论文，但距离顶会论文所要求的理论创新和深度分析仍有差距。 ...