语音合成

📄 A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges #语音识别 #语音合成 #自监督学习 #多模态模型 #多任务学习 5.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.3/1.5 📝 5.4/10 | 后50% | #语音识别 | #自监督学习 | #语音合成 #多模态模型 | arxiv 👥 作者与机构 Wen Liang: Columbia University, Red Hat Li Siyan: Columbia University Zackary Rackauckas: RoleGaku Julia Hirschberg: Columbia University 💡 毒舌点评 这篇综述试图为“自动化演讲辅导”这个看似细分但实际横跨多个热门领域的课题（CAPT、TTS、L2语言学习）建立一个清晰的分类法和研究路线图。其野心值得肯定，但执行上仍有改进空间。 ...

📄 HPRO: Hierarchical Progressive Reward Optimization via Preference Extraction for Emotional Text-to-Speech #语音合成 #语音识别 8.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前50% | #语音合成 | #语音识别 | arxiv 👥 作者与机构 作者：Sihang Nie, Xiaofen Xing, Rui Xing, Haoming Li, Ruitong Xiao, Jingyuan Xing, Baiji Liu, and Xiangmin Xu。 机构：1华南理工大学；2虎牙公司（实习期间完成）；3中国科学院深圳先进技术研究院；4琶洲实验室。 通讯作者：Xiaofen Xing。 ...

📄 HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models #语音合成 #语音识别 #自监督学习 #高效推理 6.5/10 ✅ 6.5/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #高效推理 | arxiv 👥 作者与机构 论文作者包括：Artem Ploujnikov (Concordia University, Canada), Francesco Verdini (Sapienza University of Rome, Italy), Samir Sadok (Inria, Université Grenoble Alpes CNRS, LJK, France), Mirco Ravanelli (Mila, Quebec AI Institute, Canada; Concordia University, Canada)。机构包括Mila、Concordia大学、Sapienza大学和Inria。 💡 毒舌点评 关于“首个”的声明过于绝对：作者声称是首个在单一Transformer架构中统一离散和连续细化的方法。然而，离散-连续混合建模在强化学习、机器人学、文本扩散等领域已有探索（论文在Related Work中提及）。本文的贡献在于将其应用于统一的语音处理架构，而非“首创”了混合范式本身。论文应更精确地界定其贡献范围。 连续残差预测的“单步NAR”假设可能过于简化：论文声称通过单步NAR预测连续残差即可恢复高保真细节。这一假设在低比特率下可能成立，但在更复杂的声学环境或更长的生成序列中，单步预测的容量可能不足以建模所有丢失的连续信息。论文缺乏对这一关键设计选择的消融研究或理论分析。 实验评估集中且缺乏深度分析：虽然评估了三项任务，但所有实验均在单一数据集（LibriTTS）和单一评估设置下进行。缺乏对模型在更嘈杂环境、多说话人、跨语言场景下的鲁棒性验证。此外，论文未深入分析为何连续残差能提升ASR性能（是提供了更好的声学特征还是仅仅是模型容量增加？），结论显得略微表面。 对计算成本的讨论不完整：论文强调减少AR步数，但未全面报告HybridCodec引入额外残差编码器/解码器路径所带来的训练和编码开销，以及HybridLM中处理两种模式的额外计算成本。效率提升的净收益需要更全面的分析。 📌 核心摘要 离散音频表示在构建多模态文本-音频系统及将音频能力集成到大型语言模型中越来越流行，但其量化过程会不可避免地导致信息损失，影响下游任务性能。为解决此问题，本文提出了一种结合时序压缩离散token与降维连续残差的新颖混合方法。该框架包含一个混合离散-连续Focal调制编解码器（HybridCodec）和一个混合Transformer（HybridLM）。HybridCodec在FocalCodec的基础上增加了一个并行路径，用于提取和压缩量化后丢失的连续残差信息。HybridLM则通过自适应层归一化（AdaLN）机制，在一个统一的Transformer中，将用于语义结构建立的自回归（AR）离散token生成阶段，与用于高保真声学细节恢复的非自回归（NAR）连续残差预测阶段相耦合。实验结果表明，在LibriTTS数据集上，该方法在极低帧率（如6.25 Hz）下的重合成、TTS和ASR性能显著优于离散-only基线，尤其在说话人相似度保持和可懂度（dWER/WER）降低方面优势明显，同时大幅减少了自回归推理步数。 ...

语音/音乐/音频论文速递 2026-06-29 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #语音合成 2篇 ██ #说话人识别 2篇 ██ #语音质量评估 1篇 █ #数据增强 1篇 █ #语音情感识别 1篇 █ #多模态模型 1篇 █ #语音增强 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Screening Matters: A Comparative Study of Conventional 8.4分 前25% #语音质量评估 🥈 From General-Purpose Audio Tagging to Spatially Grounde 8.3分 前50% #数据增强 🥉 HPRO: Hierarchical Progressive Reward Optimization via 8.2分 前50% #语音合成 4. Learning from Annotation Uncertainty: Entropy-Aware Cur 7.4分 前50% #语音情感识别 5. MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thin 7.4分 前25% #多模态模型 6. A Comparison of Fusion Techniques for Multi-Modal Human 7.3分 前50% - 7. Do Speech Emphasis Models Generalize across Languages a 7.0分 前25% #语音识别 8. Advancing Speaker-Based Vocal Effort Classification wit 6.8分 前50% #语音增强 9. HybridCodec: Modeling Discrete and Continuous Represent 6.5分 前50% #语音合成 10. Grammar-Guided Hierarchical Parsing for Long-form Audio 6.2分 前50% #音频事件检测 11. Room for Error: Large-Scale Simulation of Over-the-Air 6.2分 前50% #语音识别 12. What Was That Again? Certified Robustness for Automatic 6.2分 前50% - 13. Dialogue to Detection: A Multimodal Hybrid NLP Pipeline 6.0分 后50% #说话人识别 14. From Black-Box to Clinical Insight: A Multi-Stage Expla 6.0分 前50% #语音识别 15. DG^VoiC: Speaker Clustering for Fraud Investigation und 5.7分 前50% #说话人识别 16. A Survey of Automated Presentation Coaching: Systems, M 5.4分 后50% #语音识别 📋 论文列表 🥇 Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests 8.4/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean #语音合成 #参数高效微调 #低资源 #扩散模型 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6/10 | 后50% | #语音合成 | #参数高效微调 | #低资源 #扩散模型 | arxiv 👥 作者与机构 Phannet Pov, Sovandara Chhoun, Hyun Woo Park, Wan-Sup Cho, Saksonita Khoeurn 机构：柬埔寨数字研究与创新研究所、韩国相关机构（论文未明确列出具体机构全称） ...

📄 VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation #语音合成 #强化学习 #风格迁移 7.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.6/10 | 前50% | #语音合成 | #强化学习 | #风格迁移 | arxiv 👥 作者与机构 Tianxin Chenxing， Xie， Li， Yu， Liu (顺序未明确说明)。作者单位为香港科技大学（广州）和腾讯。通讯作者为 avrillliu@hkust-gz.edu.cn。 💡 毒舌点评 这篇论文瞄准了一个真实且有价值的痛点：现有零样本TTS模型在处理不常见说话风格（如方言、口音）时的乏力。作者提出的VoiceTTA框架，将强化学习引入测试时自适应，思路新颖且针对性强。实验设计基本合理，覆盖了多种罕见风格场景，并与多个SOTA基线进行了比较。然而，论文在方法描述上存在一些模糊和可改进之处。例如，奖励权重的具体选择缺乏充分的理论或消融依据，仅提到由消融研究“演示”，但未在消融表中明确展示权重调整的影响。此外，尽管声称方法“轻量”，但未提供具体的推理时间开销与纯基线模型的对比数据，使得“高效”的声明略显单薄。论文最大的软肋在于开源和复现性几乎为零，所有数据集均为私有，代码和模型权重均未提供，仅有一个演示页面，这极大地限制了其可验证性和社区影响力。总体而言，这是一篇在特定问题上思路不错的技术探索，但因其封闭性而难以被广泛验证和采纳。 📌 核心摘要 本文提出了VoiceTTA，一种基于强化学习的测试时自适应方法，旨在增强预训练零样本TTS模型在面对不常见语音提示（如方言、口音、含糊不清的语音）时的声音模仿能力。该方法的核心是在推理时通过组相对策略优化算法，优化预先添加到TTS模型输入层的轻量级可学习前缀。优化过程由多重奖励引导，包括衡量生成语音与参考语音在音高动态（F0变异系数差）和能量动态（能量变异系数差）上相似性的风格奖励、说话人相似度奖励以及基于词错误率的可懂度奖励。在五个不常见语音场景（含口音、儿童声、含糊不清、中文小品、中文方言）上的实验表明，VoiceTTA在保持自然度与可懂度的同时，显著提升了说话人相似度，性能优于F5-TTS、CosyVoice、MaskGCT和Vevo等先进基线。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集： 内部数据集：论文中提到“我们收集了一个内部数据集，包含200个具有罕见说话风格的语音样本（90个带口音的，40个儿童的，30个含糊不清的，40个中文小品的）”，但未提供公开下载链接。 KeSpeech 数据集：论文中引用了[tang2021kespeech]用于评估方言适应性，但未提供直接下载链接或表明已公开共享其使用的子集。 Demo：https://voicetta.pages.dev/ 复现材料：论文中未提及训练配置、检查点、超参数文件或附录等具体的复现材料。 论文中引用的开源项目：F5-TTS, CosyVoice, MaskGCT, Vevo, Flow matching 模型, Vocos 声码器, Whisper 模型, 说话人嵌入模型, GRPO 算法。论文均未提供这些项目的具体链接。 🏗️ 方法概述和架构 VoiceTTA的核心思想是在预训练的基于流匹配的零样本TTS模型（如F5-TTS）推理阶段，引入轻量级参数自适应，以更好地模仿不常见语音提示的风格。其整体流程如下： ...

📄 Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS #语音合成 #扩散模型 #情感语音合成 7/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7/10 | 前50% | #语音合成 | #扩散模型 | #情感语音合成 | arxiv 👥 作者与机构 Sandipan Dhar, Nirmesh Shah, Ashishkumar P. Gudmalwar, Pankaj Wasnik. Sony Research India. 💡 毒舌点评 这篇论文本质上是给一个强大的现有系统（StyleTTS2）换了个激活函数，然后包装成“自适应振荡感应偏置”这样一个听起来高深的概念。创新性实在有限，相当于在 Snake 激活函数的基础上加了个可学习的缩放参数和一个恒等映射，然后声称这能更好地捕捉“尖锐的韵律转换”。论文的理论分析部分，那个四层回归模型的收敛性实验，说服力约等于零——用最简单的玩具任务来论证一个复杂的TTS模型中的关键组件，这操作有点“挂羊头卖狗肉”。实验部分倒是跑了不少指标，但分析流于表面，尤其是 WER 的剧烈变化完全没给出合理解释。最让人皱眉的是，论文声称“开源”，但根据原文，代码、模型权重链接统统没给，只给了个演示链接，这算哪门子开源？整体感觉像是一篇“增量式”的工作，包装得比实质贡献要好。 ...

📄 CrossAccent-TTS: Cross-Lingual Accent-Intensity Controllable Text-to-Speech via Disentangled Speaker and Accent Representations #语音合成 #低资源 #数据增强 5.5/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.6/0.5 | 工程 0.6/1.5 📝 5.5/10 | 前50% | #语音合成 | #数据增强 | #低资源 | arxiv 👥 作者与机构 Ram Annamdevula, Ankit Tatawat, Ashishkumar Gudmalwar, Nirmesh Shah, Pankaj Wasnik Media Analysis, Sony Research India 💡 毒舌点评 这篇论文试图解决一个实际且重要的问题——跨语言、口音强度可控的语音合成，尤其是在低资源印度语言场景。它像一个不错的工程项目集成报告：Neucodec做编码，Qwen大模型做解码，用Perceiver Resampler和梯度反转层（GRL）搞解耦，最后用个线性组合的语言嵌入来控制强度。思路清晰，也确实做了实验。然而，它离一篇顶级会议论文的创新性和深度还有距离。核心创新“口音强度控制器（AIC）”被分解为三个相对标准的部分，组合起来的理论依据和细节描述都显薄弱。实验基线选择存疑，部分结论解读不够严谨，消融实验也不够彻底。更像是一次“现有模块的定制化应用”，而非提出了一个深刻的新方法或新见解。包装尚可，但内核的独创性和技术深度支撑不起一个很强的得分。 ...

📄 Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs? #语音识别 #语音合成 #语音翻译 #多任务学习 #大语言模型 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前50% | #语音识别 | #多任务学习 | #语音合成 #语音翻译 | arxiv 👥 作者与机构 作者：Tomoya Mizumoto, Yusuke Fujita 机构：SB Intuitions Inc. 邮箱：tomoya.mizumoto@sbintuitions.co.jp, yusuke.fujita@sbintuitions.co.jp 💡 毒舌点评 这篇论文像一篇严谨的“消融实验报告”。它精确地回答了一个问题：在训练语音编码器时，加入翻译任务到底有没有用、有多大用？答案是“有用，且双向翻译比单向翻译更有用”。优点在于实验设计非常干净（控制变量），结论清晰直接。然而，这种清晰也暴露了其局限：研究范围被严格限定在“将预训练好的编码器接入冻结LLM”这一特定范式内，没有探索更灵活的架构（如端到端训练）。130k小时的训练数据对于如今的大模型时代来说显得“小家碧玉”，更像是在验证一个想法而非冲击SOTA。开源方面的完全缺席，对于需要复现或在该方向上继续推进的同行来说，无疑是一种遗憾。 📌 核心摘要 本文的核心研究问题是：在预训练语音编码器时，引入翻译任务（尤其是双向翻译）能否改善其与冻结的大语言模型的集成效果？作者认为，传统基于ASR的编码器学习到的是语言特定的表示，这与LLM统一的语义空间存在结构错位。为解决此问题，他们提出在预训练阶段加入跨语言翻译任务，特别是要求模型在英语与其他语言之间进行双向翻译，以迫使编码器学习语言无关的语义表示。实验对比了三种预训练目标：仅ASR、ASR + 单向翻译（X→en）、ASR + 双向翻译（X↔en）。结果表明，双向翻译预训练（X↔en）在语音翻译、意图分类等任务上带来了显著且一致的性能提升，并且能够泛化到预训练未见过的语言对，同时不损害依赖声学信息的情感识别任务性能。论文将这一优势归因于双向翻译目标提供了更对称、更彻底的语义抽象路径。 ...

📄 Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS #语音合成 #语音增强 #生成对抗网络 #自监督学习 #生成模型 #多模态模型 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group ...