语音合成

📄 Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech #语音合成 #语音情感识别 #大语言模型 #可解释性 #零样本 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音合成 | #大语言模型 | #语音情感识别 #可解释性 | arxiv 👥 作者与机构 第一作者：Hongfei Du（威廉玛丽学院计算机系） 通讯作者：Ye Gao（威廉玛丽学院计算机系） 作者列表：Hongfei Du、Jiacheng Shi、Sidi Lu、Gang Zhou、Ye Gao（均来自威廉玛丽学院计算机系） 💡 毒舌点评 用SAE在LLM-TTS语义残差流中寻找情感稀疏特征的想法颇具启发性，论证了情感并非单一全局向量偏移，而是少数几个潜在方向协调作用的结果，构成了本文最核心的分析贡献。但方法高度耦合于IndexTTS2单个骨干，且在特征选择上完全依赖配对情感数据，让“即插即用”的承诺在通用性上打了折扣；缺乏与最新激活转向工作（如EmoSteer-TTS）的直接对比，也让SOTA声明略显仓促。 📌 核心摘要 本文针对LLM-based TTS系统情感控制缺乏可解释性的问题，提出利用稀疏自编码器（SAE）在语义骨干中学习并调控情感相关稀疏特征。核心管线的第一步是在冻结的TTS骨干（IndexTTS2）上训练一个过完备的Top-k SAE（维度1280→4096→1280, k=32），将残差流中稠密的隐状态分解为可解释的稀疏特征激活。第二步，在离线分析阶段，通过对齐文本和说话人音色，构建配对的中性-情感样本，并基于提出的句子级情感选择性评分（emotion selectivity score，简化为配对激活频率差），可靠地筛选出与目标情感高度相关的Top-m个潜在特征。 ...

📄 STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits #音视频生成 #语音合成 #扩散模型 #自回归模型 #多模态模型 6.8/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | #音视频生成 | #扩散模型 | #语音合成 #自回归模型 | arxiv 👥 作者与机构 第一作者：Foivos Paraperas Papantoniou（Imperial College London, UK） 通讯作者：Foivos Paraperas Papantoniou（Imperial College London, UK） 作者列表：Foivos Paraperas Papantoniou（Imperial College London, UK）、Stathis Galanakis（Imperial College London, UK）、Rolandos Alexandros Potamias（Imperial College London, UK）、Bernhard Kainz（Imperial College London, UK; FAU Erlangen–Nürnberg, Germany）、Stefanos Zafeiriou（Imperial College London, UK） 💡 毒舌点评 这篇论文把一个音频驱动说话人脸生成和一个新视角合成任务塞进了同一个框架，工程整合能力值得肯定，自强迫训练策略和纯ID驱动生成确实让动画没那么“僵尸”了。但本质上，它就是拿Arc2Face当骨架，套上AnimateDiff的时间层，加个ReferenceNet，再用自强迫和唇读损失微调一下——每个组件都是现成的，论文没在理论或架构上给出让人眼前一亮的新洞见。最致命的还是不提供代码和模型，在如今“没有开源就别想拿高分”的顶会气氛下，这种做法无异于自断一臂，尤其是实验结果里那些微小的LSE-C领先，没给置信区间，完全是给人留质疑的把柄。 ...

📄 Two-dimensional quantization for geometry-aware audio coding #语音编码 #语音合成 #音频生成 7.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 7.6/10 | 前25% | #语音编码 | #语音合成 | #音频生成 | arxiv 👥 作者与机构 第一作者/通讯作者：Tal Shuster (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 作者：Eliya Nachmani (School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel) 注：原文脚注中通讯作者仅为 Tal Shuster，与已有分析不同。 💡 毒舌点评 这篇论文用一个巧妙的几何直觉——将独立标量量化扩展到二维结构化网格——解决了神经音频编解码中效率和利用率的两难问题。实验覆盖度不错，尤其是在低码率下能用一个量化器挑战一堆级联 RVQ 的基线，很有杀伤力。但论文对为什么是二维、为什么菱形网格更好的分析偏经验主义，缺乏从率失真理论或音频特征统计特性角度的深刻解释；此外，仅在与 FSQ 和 WavTokenizer 的对比中严格控制了训练数据和配置变量，与其他 SOTA 模型对比时使用了异构的训练数据和配置，削弱了部分 SOTA 声明的直接可比性。 ...

📄 Unlocking Speech–Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning #语音交互 #语音大模型 #模型融合 #参数高效微调 #指令微调 #语音合成 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音交互 | #模型融合 | #语音大模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Congrui Du（University of California, Santa Barbara, USA） 通讯作者：Yang Zhang（MIT-IBM Computing Research Lab, IBM Research, USA） 其他作者：Kaizhi Qian（MIT-IBM Computing Research Lab, IBM Research）、Shiyu Chang（University of California, Santa Barbara） 💡 毒舌点评 这篇论文用一个极其简单的权重算术绕过了SLM领域“卷数据”的军备竞赛，洞察深刻，但成也萧何败也萧何——仅用30k小时数据就达成此性能令人眼前一亮，但其方法的脆弱性同样引人注目：输出格式极度依赖后期强制修正、语音能力上限被韵律分词器锁死、对预训练数据结构的病态依赖，以及依赖外部ASR的pipeline设计，使其离一个实用、鲁棒的SLM新范式尚有距离。它更像一个巧妙的概念验证，而非可直接部署的突破。 ...

📄 An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation #语音合成 #语音识别 #多模态模型 6.8/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ✅ 6.8/10 | 前50% | #语音合成 | #自回归模型 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 第一作者：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University） 通讯作者：未说明 作者列表：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University）、Jinchuan Tian（Carnegie Mellon University）、Siddhant Arora（Carnegie Mellon University）、Shinji Watanabe（Carnegie Mellon University） 💡 毒舌点评 这篇文章为解决语音语言模型的高通量推理痛点提供了一个精巧的工程方案，尤其是 Paired Request Co-Scheduling 对 CFG 开销的消解颇具巧思，不是简单的“拼组件”。然而，实验对比维度过于单薄，仅与原始 PyTorch 串行推理比较，缺乏与 naive CFG 实现或其他推理框架的横向对打，让“80% 吞吐保持”这一核心卖点缺少足够的说服力。更关键的是，全文未提供任何延迟指标，对于实时语音交互场景而言，这几乎是不可接受的遗漏。 ...

📄 SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings #语音合成 #对比学习 #自监督学习 #低资源 #参数高效微调 5.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.4/1.5 📝 5.8/10 | 前50% | #语音合成 | #对比学习 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Priyam Mazumdar（University of Illinois Urbana-Champaign） 通讯作者：未说明 作者列表：Priyam Mazumdar（University of Illinois Urbana-Champaign）、Yurii Halychanskyi（University of Illinois Urbana-Champaign）、Steven Guo（University of Illinois Urbana-Champaign）、Mark Hasegawa-Johnson（University of Illinois Urbana-Champaign）、Volodymyr Kindratenko（University of Illinois Urbana-Champaign, National Center for Supercomputing Applications） 💡 毒舌点评 本文利用对比学习将Wav2Vec2声学信息注入字符嵌入以替换G2P模块，在极低资源英语TTS上取得了显著的WER下降（如1小时数据从24.7%降至7.5%）。思路直接，工程落地价值清晰。但是，实验对比严重不足，未能与任何基于SSL离散单元或其连续表征直接建模的TTS强基线进行对比，导致无法判断“声学注入”方案相较于完全端到端声学模型的独特价值。音素基线仅使用与下游语音域不匹配的g2pE，这一对比漏洞使得SPARCLE的巨大优势说服力存疑。此外，模型和代码的零开源承诺让社区无法验证其有效性，削弱了研究贡献。 ...

📄 Using embeddings to predict spoken word duration and pitch in Mandarin monosyllabic words #语音合成 4/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.6/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0/1.5 📝 4/10 | 后50% | #语音合成 | #语音合成 | arxiv 👥 作者与机构 第一作者：Xiaoyun Jin（University of Tuebingen, Quantitative Linguistik） 通讯作者：未说明 作者列表：Xiaoyun Jin（University of Tuebingen, Quantitative Linguistik）、Mirjam Ernestus（Radboud University, Center for Language Studies）、R.Harald Baayen（University of Tuebingen, Quantitative Linguistik） 💡 毒舌点评 本文试图从语境化嵌入中"榨取"时长和基频的预测信号，思路有趣但方法过于简陋：全程仅用线性映射，且在f0轮廓预测上未能击败词类内部排列基线，暴露出语义嵌入对词例级韵律细节解释力的天花板。论文的实证贡献仅停留仅停留在"存在预测力"的层面，未与任何现代韵律模型对比，代码数据双缺，导致结论的可信度和工程启发性均大打折扣。 ...

📄 A Geometric Perspective on Composable Emotion Steering in Text-to-Speech Models #语音合成 #模型比较 6.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.6/10 | 前50% | #语音合成 | #模型比较 | arxiv 👥 作者与机构 第一作者：Siyi Wang（未说明） 通讯作者：未说明 作者列表：Siyi Wang（未说明）、James Bailey（未说明）、Ting Dang（未说明） 💡 毒舌点评 这篇文章用局部本征维度和线性探测画了一幅漂亮的表征几何地图，把 SLM 和 CFM 在情感空间里的家底翻了个底朝天，视角新颖、逻辑自洽。但故事在高潮处戛然而止——联合引导的干扰分析全凭定性推测，连个消融实验或简单的解耦尝试都没有，好比侦探指出了嫌疑人却没拿出决定性证据；更致命的是，完全没有和标签调控、提示工程等低成本外部方法碰一碰，让“引导到底好在哪”成了悬案。 📌 核心摘要 要解决的问题：在混合情感语音合成中，自回归语音语言模型（SLM）和条件流匹配解码器（CFM）作为激活引导位点时，其表征几何特性如何系统性地影响情感引导的可控性与语音质量，此前缺乏比较研究。 方法核心：利用线性探测评估情感类别在激活空间中的线性可分离性及其跨说话人泛化能力；引入局部本征维度（LID）与 \(\Delta\text{LID}\) 指标刻画情感子空间的几何结构；随后在 CosyVoice2 的 SLM 和 CFM 上执行单点及联合激活引导，评估混合情感合成的质量与比例控制。 与已有方法相比的新处：首次从表征几何角度对比 SLM 和 CFM 作为引导位点，揭示了两者在情感解耦、说话人泛化、子空间维度上的本质差异，为引导位点的选择提供了量化几何依据；发现联合引导会引入相互干扰而非互补增益，并进行了初步归因。 主要实验结果：SLM 单点引导在比例控制指标（\(\rho\)、H-Rt）上显著优于 CFM，且几乎不损失说话人相似度；CFM 引导虽能提升情感强度，但严重损害说话人相似度。联合引导虽能进一步提升情感强度（TEP），却导致比例控制精度和语音质量的下降。关键数据见下表。 Data Config E-SIM↑ TEP↑ ρ↑ H-Rt↑ S-SIM↑ WER↓ CREMA-D No-steer .743 .065 – – .871 1.07 CFM α=1.0 .767 .097 .098 .691 .858 0.76 CFM α=2.0 .786 .160 .193 .717 .807 0.79 SLM α=3.0 .762 .100 .166 .709 .872 1.01 SLM α=5.0 .779 .149 .209 .724 .870 0.78 Joint α=1.0 .767 .131 .112 .695 .859 1.02 Joint α=2.0 .787 .163 .176 .711 .808 1.06 IEMOCAP No-steer .903 .197 – – .888 6.70 CFM α=1.0 .910 .218 .138 .729 .885 6.08 CFM α=2.0 .909 .272 .117 .721 .844 6.15 SLM α=3.0 .911 .228 .186 .744 .891 5.86 SLM α=5.0 .915 .253 .215 .755 .890 6.27 Joint α=1.0 .912 .237 .193 .746 .884 6.05 Joint α=2.0 .911 .274 .170 .737 .845 6.29 实际意义：为混合情感 TTS 系统选择引导位点提供了明确的几何判据：SLM 因其独立、低维的情感子空间，是精确比例控制的首选；CFM 因说话人-情感纠缠，单独��导需谨慎。对联合引导的警告也为多站点控制策略设计提供了有价值的参考。 主要局限性：未与基于标签或提示的外部情感控制方法对比，无法确立激活引导的独特优势；联合引导的归因分析仅停留在现象描述和定性推测，缺乏消融实验或解耦补偿策略；几何分析对该模型的依赖性未在其他混合 TTS 架构上验证。 🔗 开源详情 代码：未提及 模型权重：未提及 数据集：ESD（https://github.com/HLTSingapore/Emotional-Speech-Data）；CREMA-D（https://github.com/CheyneyComputerScience/CREMA-D）；RAVDESS（https://zenodo.org/record/1188976）；IEMOCAP（https://sail.usc.edu/iemocap/） Demo：未提及 复现材料：未提及 文中引用的开源项目： CosyVoice2（https://github.com/FunAudioLLM/CosyVoice） Qwen2.5（https://github.com/QwenLM/Qwen2.5） Emotion2Vec（https://github.com/ddlBoJack/emotion2vec） WavLM（https://github.com/microsoft/unilm/tree/master/wavlm） Whisper（https://github.com/openai/whisper） 激活引导方法：引用了 Wang et al. (2026) 和 Xie et al. (2025)，但未提供具体代码链接。 🏗️ 方法概述和架构 该论文采用“先分析几何，后验证引导”的两阶段研究框架，旨在建立表征几何特性与下游引导可控性之间的映射关系。整体流程围绕 CosyVoice2 这一典型的混合 TTS 架构展开，该架构包含一个自回归的语音语言模型（SLM）和一个条件流匹配解码器（CFM）。研究首先对两个模块的激活空间进行探查，然后将从中提取的情感方向向量注入到对应模块，以合成混合情感语音，并评估效果。 ...

📄 AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation #多模态模型 #语音合成 #自回归模型 #模型压缩 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前25% | #语音合成 | #模型压缩 | #多模态模型 #自回归模型 | arxiv 👥 作者与机构 作者：Kien T. Pham, I Chieh Chen, Qifeng Chen, Long Chen (通讯作者)。 机构：香港科技大学（The Hong Kong University of Science and Technology）。 ...

📄 FlexiSLM: A Dynamic and Controllable Frame Rate Spoken Language Model #自监督学习 #语音合成 #语音识别 #模型压缩 7.2/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #模型压缩 | arxiv 👥 作者与机构 本文由香港中文大学（深圳）和字节跳动联合完成。作者为：Jiaqi Li, Chaoren Wang, Xiaohai Tian, Mingjie Chen, Xinyu Liang, Xu Li, Yufan Lin, Junwen Qiu, Jun Zhang, Lu Lu, Haizhou Li, Zhizheng Wu。其中，通讯作者为jiaqili3@link.cuhk.edu.cn和wuzhizheng@cuhk.edu.cn。 ...