语音合成

📄 StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs #语音分词 #量化 #鲁棒性 #语音识别 #语音合成 🔥 9.0/10 | 前10% | #语音分词 | #量化 | #鲁棒性 #语音识别 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yuhan Song（北京大学计算机科学技术学院，多媒体信息处理国家重点实验室） 通讯作者：Linhao Zhang（微信AI，腾讯基础模型技术中心）；Houfeng Wang（北京大学计算机科学技术学院，多媒体信息处理国家重点实验室） 作者列表：Yuhan Song（北京大学）、Linhao Zhang（腾讯微信AI）、Chuhan Wu（腾讯微信AI）、Aiwei Liu（腾讯微信AI）、Wei Jia（腾讯微信AI）、Houfeng Wang（北京大学）、Xiao Zhou（腾讯微信AI） 💡 毒舌点评 亮点在于将“集成学习”的思想巧妙应用于单模型的量化过程，通过比特级别的投票实现了强纠错能力，设计非常聪明。短板在于虽然实验全面，但对多分支架构如何影响所学语义表征的内在可解释性探讨不足，更多是经验性的验证。 🔗 开源详情 代码：论文明确提供了公开代码仓库链接：https://github.com/Tencent/StableToken。 模型权重：论文声明“We will release our model checkpoint upon acceptance”，表明计划开源模型权重。 数据集：训练使用了多个公开数据集（如LibriSpeech, GigaSpeech等），列表见附录B.1。论文本身未创建或要求下载新的非公开数据集。 Demo：论文未提及在线演示。 复现材料：提供了极其详细的训练细节、配置、超参数（见附录B）以及下游任务评估设置（见附录F），复现指引非常充分。 论文中引用的开源项目：主要依赖Whisper (OpenAI), Qwen2.5 (Alibaba), HiFi-GAN等开源模型或框架作为基础组件。 📌 核心摘要 要解决什么问题：现有的监督式语义语音分词器（如S3 Tokenizer， CosyVoice）虽然在无噪声条件下效果良好，但对微小的声学扰动（噪声）极其敏感。即使在高信噪比（SNR）下，输出的离散语音标记序列也可能发生剧烈变化，这大大增加了下游语音大模型（SpeechLLM）的学习负担，是导致其在现实噪声场景中性能下降的关键原因。 方法核心是什么：提出StableToken，通过架构与训练的协同设计来解决上述问题。其核心是： 投票-LFQ模块：用多个并行的线性投影分支（“投票者”）替代传统的单一量化路径，每个分支独立生成一个二进制表示。在推理时，对所有分支在每个比特位上进行多数投票，形成最终稳定的标记序列。 噪声感知共识训练：在训练时，将纯净音频输入给多数分支，将添加扰动的音频输入给少数分支，并设计一个共识损失，强迫所有分支（尤其是受噪声干扰的分支）输出的预量化表征向全体分支的平均值对齐，从而显式地学习噪声不变性。 与已有方法相比新在哪里：不同于以往试图通过单路径架构或设计鲁棒损失（如NAST， R-Spin）的方法，StableToken首次引入了多分支比特级投票的量化范式。这提供了更细粒度的纠错机制，即使多个分支在标记级别出错，只要比特级别的错误是稀疏的，仍可能恢复出正确标记。同时，其训练策略将噪声鲁棒性直接作为优化目标，而非仅依赖最终的ASR损失。 主要实验结果如何： 分词器级别：在FLEURS基准测试的多种合成噪声和真实噪声下，StableToken的单元编辑距离（UED） 平均降至10.17%，相比最强监督基线（S3 Tokenizer的26.17%）相对降低了61.1%，是新的SOTA（见表1）。同时，在LibriSpeech和SEED-TTS上的重建质量（WER和MOS）也达到或超过了SOTA水平（见表2）。 下游任务级别：集成StableToken的SpeechLLM在ASR（CHiME-4基准测试WER降低约30%）、语音情感识别（SER）和文本到语音（TTS）任务上均表现出显著更强的噪声鲁棒性，尤其在低SNR条件下优势更为明显（图3）。 实际意义是什么：该工作为构建更鲁棒、可靠的端到端语音大模型提供了关键的基础组件。稳定的语音标记是连接连续语音信号与离散文本空间（LLM）的可靠桥梁，有助于提升语音理解与生成系统在真实世界复杂噪声环境下的性能与可用性。 主要局限性是什么：1) 多分支架构虽计算开销小，但仍增加了少量参数和前向计算；2) 论文未深入探讨其生成的标记表征在语义或声学特性上的具体变化与可解释性；3) 虽然实验覆盖了多种噪声，但对极端未见过的噪声类型或复杂声学场景的泛化能力仍需更多验证。 🏗️ 模型架构 StableToken的整体架构建立在经典的“编码器-解码器”语音识别模型（初始化自Whisper-large-v3）之上，并在编码器中点插入核心创新模块。 ...

📄 Toward Complex-Valued Neural Networks for Waveform Generation #语音合成 #生成模型 #对抗学习 #音频生成 #信号处理 ✅ 7.5/10 | 前25% | #语音合成 | #生成模型 | #对抗学习 #音频生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hyung-Seok Oh（高丽大学人工智能系） 通讯作者：Seong-Whan Lee（高丽大学人工智能系） 作者列表：Hyung-Seok Oh（高丽大学人工智能系）、Deok-Hyeon Cho（高丽大学人工智能系）、Seung-Bin Kim（高丽大学人工智能系）、Seong-Whan Lee（高丽大学人工智能系） 💡 毒舌点评 这篇论文首次将复值神经网络完整地引入iSTFT基声码器的生成器和判别器，构建了一个优雅的复数域对抗框架，理论动机清晰，并通过详实的实验（尤其是消融研究）证明了复值建模相比简单参数扩增的优越性。然而，其主要短板在于工程实用性：复值网络内存占用翻倍，且论文坦承多GPU训练优化不足，导致其训练效率提升有限，实际部署时的内存与计算成本仍是显著瓶颈。 🔗 开源详情 代码：提供了代码仓库链接：https://hs-oh-prml.github.io/ComVo/。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用了公开的LibriTTS和MUSDB18-HQ数据集，论文中说明了获取和使用方式。 Demo：论文中未提及提供在线演示。 复现材料：提供了非常详细的训练配置、超参数表（表20）、架构细节、损失函数公式（附录C）、数值验证结果（附录F）和计算图可视化（附录G），复现材料充分。 论文中引用的开源项目：引用了iSTFTNet、HiFi-GAN、BigVGAN、Vocos、APNet、APNet2、FreeV等基线的开源实现；评估工具引用了UTMOS、auraloss（MR-STFT）、PESQ、cargan（Periodicity/V-UV）；辅助工具引用了complextorch库用于实现高斯技巧。 📌 核心摘要 问题：现有iSTFT基声码器使用实值神经网络处理复数频谱图的实部和虚部，这种分离处理的方式限制了模型对频谱复数内在结构（实-虚部耦合关系）的建模能力。 方法核心：提出ComVo，一个端到端复值神经网络声码器。其生成器和判别器（复值多分辨率判别器cMRD）均采用原生复数运算。创新点包括：引入相位量化层作为非线性正则化；提出分块矩阵计算方案以减少冗余运算，提升训练效率。 新在何处：据作者所知，这是首个同时在生成器和判别器中使用复值神经网络进行iSTFT波形生成的声码器，建立了真正的复数域对抗训练框架。 主要实验结果：在LibriTTS数据集上，ComVo在多项客观指标（UTMOS 3.6901, PESQ 3.8239）和主观评价（MOS 4.07）上优于Vocos、BigVGAN等强基线。在MUSDB18-HQ音乐数据集上也表现最佳。消融实验表明，复值生成器+复值判别器（GCDC）组合效果最佳，且复值建模优于将参数量翻倍的实值模型。分块矩阵方案将训练时间减少25%。 实际意义：为语音合成中的频谱建模提供了新范式，有望通过更好地建模相位信息来生成更自然的语音波形。 主要局限性：模型内存占用约为实值模型的2倍；多GPU训练存在未优化的问题；相位量化等模块采用了“分离式”设计，尚未探索更深入的复数域非线性。 🏗️ 模型架构 ComVo是一个基于生成对抗网络（GAN）的iSTFT基声码器，整体架构如图2所示。 ...

📄 TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems #语音合成 #模型评估 #基准测试 #多语言 #鲁棒性 ✅ 7.0/10 | 前25% | #模型评估 | #基准测试 | #语音合成 #多语言 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Christoph Minixhofer（爱丁堡大学语音技术研究中心） 通讯作者：未说明 作者列表：Christoph Minixhofer（爱丁堡大学语音技术研究中心）、Ondrej Klejch（爱丁堡大学语音技术研究中心）、Peter Bell（爱丁堡大学语音技术研究中心） 💡 毒舌点评 亮点：论文构建了迄今最全面的TTS系统公开评测框架，涵盖20个系统、4个测试域、14种语言，并发布了超过1万条主观评分数据，这本身就是一项耗时耗力的重要基础设施贡献。短板：TTSDS2指标本身创新有限，本质是多个特征分布的Wasserstein距离集成，且计算开销大（每分需约10分钟CPU时间），其最大优势——“跨域一致性”更像是一个精心设计和调优的工程成果，而非理论突破。 🔗 开源详情 代码：提供了流水线代码仓库链接：github.com/ttsds/pipeline。 模型权重：TTSDS2本身是一个评估算法，不涉及模型权重。论文中评估的20个TTS系统中，大部分开源代码和权重（见表6附录A）。 数据集：a) 主观评测数据集：hf.co/datasets/ttsds/listening_test；b) 自动化生成的评测数据集：可通过上述流水线重建，噪声参考集在 hf.co/datasets/ttsds/noise-reference。 Demo：提供了多语言基准排行榜网站 ttsdsbenchmark.com，可查看各系统分数。论文未提及交互式Demo。 复现材料：论文提供了详细的算法伪代码（算法1）、因子特征选择表（表1）、附录中的听测问卷细节（附录B）、以及所有实验数据的详细表格（附录C-H）。 论文中引用的开源项目：Whisper（语音识别与转录）、FastText（语言识别）、Pyannote（说话人分割）、Demucs（音乐分离）、VERSA（评估工具包）、以及所有被评测的20个TTS系统。 📌 核心摘要 解决的问题：现有TTS评估方法（主观MOS耗时费力且不可比，客观指标在域外泛化差且与主观分相关性弱）已无法满足评估高质量、接近真人水平的现代TTS系统的需求。 方法核心：提出TTSDS2，一个分布式的、因子化的客观评估指标。它从Generic、Speaker、Prosody、Intelligibility四个感知维度，提取多种特征，并计算合成语音特征分布与真实语音分布、噪声分布之间的2-Wasserstein距离，归一化后得到分数。 与已有方法相比新在哪里：a) 是首个在4个差异巨大的域（干净朗读、嘈杂、野外、儿童语音）和14种语言上，都能与主观评分（MOS/CMOS/SMOS）保持 Spearman 相关系数 ρ > 0.5 的单一指标。b) 发布了一个持续更新、可自动化复现的多语言TTS评测基准和流程。c) 收集并发布了大规模、跨系统的主观评测数据集（11,282条有效评分）。 主要实验结果： TTSDS2在所有4个域、3类主观评分（共12个评测点）上的平均Spearman相关系数为0.67，是唯一一个在所有评测点上ρ > 0.5的指标（表3）。 相比之下，其他15个指标中表现最好的Speaker Similarity类指标（RawNet3）平均相关系数为0.6，但存在域失效；MOS预测网络（SQUIM）平均为0.57。 对20个开源TTS系统的排名中，TTSDS2与MOS和CMOS在Top 4和Bottom 3系统上达成一致（图2）。 实际意义：为TTS社区提供了一个可靠、稳健、可自动化的跨语言、跨域评估标尺和持续更新的基准排行榜，有助于更公平、更高效地比较和推进TTS技术，尤其对评估那些声称达到“人机难辨”水平的系统至关重要。 主要局限性：a) 计算成本高（CPU-bound）。b) 仍无法完全替代主观评测（最高相关系数约0.8）。c) 无法检测TTS系统可能存在的语义错误（如转录不忠实），需辅以WER等指标。d) 评估粒度为句子级别，不支持长文本。 🏗️ 模型架构 TTSDS2并非一个生成模型，而是一个评估指标框架。其核心架构如下： ...

📄 VibeVoice: Expressive Podcast Generation with Next-Token Diffusion #语音合成 #语音大模型 #扩散模型 #多说话人 🔥 8.5/10 | 前25% | #语音合成 | #扩散模型 | #语音大模型 #多说话人 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Zhiliang Peng（Microsoft Research） 通讯作者：Furu Wei（Microsoft Research） 作者列表：Zhiliang Peng（Microsoft Research）、Jianwei Yu（Microsoft Research）、Wenhui Wang（Microsoft Research）、Yaoyao Chang（Microsoft Research）、Yutao Sun（Microsoft Research）、Li Dong（Microsoft Research）、Yi Zhu（Microsoft Research）、Weijiang Xu（Microsoft Research）、Hangbo Bao（Microsoft Research）、Zehua Wang（Microsoft Research）、Shaohan Huang（Microsoft Research）、Yan Xia（Microsoft Research）、Furu Wei（Microsoft Research） 💡 毒舌点评 这篇论文通过超低帧率的连续语音分词器和下一个token扩散框架，为“像人一样聊一小时”这个语音生成领域的终极难题提供了一个工程上非常扎实且效果显著的方案，尤其在长篇、多人对话生成上取得了SOTA。但论文的“多说话人”实验部分，对于超过4人或存在激烈抢话、声音重叠等极端复杂对话场景的鲁棒性验证略显不足，现实世界的播客可能比测试集更“混乱”。 ...

📄 Accent Conversion: A Problem-Driven Survey of Sociolinguistic and Technical Constraints #语音转换 #语音合成 #综述 #跨语言 ✅ 7.5/10 | 前50% | #语音转换 | #综述 | #语音合成 #跨语言 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Yurii Halychanskyi（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院，国家超级计算应用中心） 通讯作者：Yurii Halychanskyi（同上） 作者列表：Yurii Halychanskyi（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院，国家超级计算应用中心）、Jianfeng Steven Guo（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院，国家超级计算应用中心）、Volodymyr Kindratenko（伊利诺伊大学厄巴纳-香槟分校，西贝尔计算与数据科学学院，国家超级计算应用中心，东亚语言文化系） 💡 毒舌点评 亮点：成功地将口音转换这一技术问题，嵌入到社会语言学约束（偏见、公平）和技术瓶颈（对齐、解耦、低资源）的双重框架中进行系统性梳理，视角比传统工程综述更深刻。短板：本质上是对现有工作的“重新包装”和“排序”，缺乏算法层面的新见解或对某一具体问题的深度技术突破，对于寻求具体模型设计灵感的读者帮助有限。 🔗 开源详情 代码：论文中未提及代码链接。该论文是一篇综述文章，未提出新的算法或开源代码仓库。 模型权重：论文中未提及。 数据集：论文在第7节“Datasets”和表1中总结并引用了多个常用于口音转换研究的英语语音数据集。这些数据集为第三方公开数据集，论文本身未提供新的数据集或直接下载链接。具体引用的数据集及其获取途径（根据论文引用推断）如下： VCTK: https://datashare.ed.ac.uk/handle/10283/3443 (论文引用 [VCTK]) Common Voice: https://commonvoice.mozilla.org/ (论文引用 [CommonVoice]) Speech Accent Archive (SAA): https://accent.gmu.edu/ (论文引用中对应为 [47]，指向A.C. Cohn的论文) CMU Arctic: http://www.festvox.org/cmu_arctic/ (论文引用 [CMU-Arctic]) L2-Arctic: https://btsync.csl.illinois.edu/BTSync/publicpage/publicprojects/L2-ARCTIC.html (论文引用 [L2-Arctic]) AccentDB: https://github.com/rahuly1/AccentDB (论文引用 [AccentDB]) UME-ERJ: 论文中提及但未给出明确链接，通常需通过原论文获取。 LibriLight, LibriSpeech, LibriTTS, LibriTTS-R, LJSpeech: 这些是常用于语音合成与识别的通用数据集，并非为口音转换专门设计，但论文指出AC研究常借用它们。获取链接如 LibriSpeech 等，但论文本身未给出。 Demo：论文中未提及。 复现材料：论文中未提及。该论文为综述，未提供自身的实验细节、训练配置或检查点。 论文中引用的开源项目：论文主要引用了数据集和方法（如DTW、PSOLA等），并未明确引用除数据集外的其他独立开源项目或工具。因此，此部分标记为“未提及”。 补充信息 [核心摘要/细节详述] 补充：论文第5节明确阐述了口音转换（AC）与其他语音处理任务的具体关系，指出： ...

📄 Few-Shot Accent Synthesis for ASR with LLM-Guided Phoneme Editing #语音识别 #语音合成 #数据增强 #少样本 #大语言模型 ✅ 7.5/10 | 前25% | #语音识别 | #数据增强 | #语音合成 #少样本 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yurii Halychanskyi（伊利诺伊大学厄巴纳-香槟分校） 通讯作者：未说明 作者列表：Yurii Halychanskyi（伊利诺伊大学厄巴纳-香槟分校）、Nimet Beyza Bozdag（未说明）、Mark Hasegawa-Johnson（未说明）、Dilek Hakkani-Tür（未说明）、Volodymyr Kindratenko（美国国家超级计算应用中心） 💡 毒舌点评 该论文将TTS适应、LLM发音编辑和ASR微调打包成一个流程，思路清晰且实验严谨，特别是随机音素基线的引入颇具巧思，有效剖析了方法生效的机制。然而，其核心贡献更像是“现有技术的巧妙组合与调优”，在解决口音问题的本质（如建模口音特异性韵律或音素变体规则）上并未取得突破，更多是绕过了这个难题。 🔗 开源详情 代码：论文中未提及代码链接（如 GitHub 仓库）。 模型权重：论文中未提及提供具体模型权重下载链接（如 HuggingFace/ModelScope）。 数据集：论文中使用了以下数据集，但未提供统一的获取链接： LJSpeech：开源英语语音数据集（标准美式英语）。 ESD (Emotional Speech Dataset)：开源多语言情感语音数据集，此处使用其英语子集。 L2-ARCTIC：开源口音语音数据集，包含印度英语和韩语英语说话人，带有发音转录标注。 CMU Arctic：开源英语语音数据集，此处使用其 CLB 说话人作为标准美式英语源。 Demo：项目主页与演示链接：https://claussss.github.io/few_shot_accent_synthesis_demo/ 复现材料：论文中未提及提供完整的训练配置、检查点或附录等复现材料。但论文正文详述了主要实现细节（如声学特征、训练参数等）。 论文中引用的开源项目： Montreal Forced Aligner (MFA)：强制对齐工具。链接：https://montreal-forced-aligner.readthedocs.io/ REAPER：基频（F0）提取算法。链接：https://github.com/kaldi-asr/kaldi/tree/master/egs/sre08/v1/local/reaper OpenAI Whisper：ASR 模型（用于评估）。链接：https://github.com/openai/whisper UTMOS：语音自然度预测模型。链接：https://github.com/sarulab-speech/UTMOS22 SpeechBrain：音频/语音处理工具包（此处用于口音分类器）。链接：https://github.com/speechbrain/speechbrain HiFi-GAN：神经声码器。链接：https://github.com/jik876/hifi-gan daft_exprt：论文所构建的声学 TTS 骨干网络（论文引用为 [daft_exprt]，但未提供独立仓库链接，可能是内部代码或基于此项目的修改）。 📌 核心摘要 问题：自动语音识别（ASR）系统在口音语音上性能下降，而获取大��目标口音标注数据成本高昂，现有的增强方法通常需要分钟到小时级别的语音，不适用于真正稀缺的口音场景。 方法核心：提出一个少样本流水线。首先，用少于10条目标口音语音，对一个基于音素条件的文本到语音（TTS）解码器进行说话人和风格适应。然后，利用大语言模型（LLM）在音素层面进行口音感知的编辑，生成口音条件化的发音。最后，用合成的语音数据微调一个自监督ASR模型。 创新点：与已有工作相比，新在：a) 将LLM作为发音编辑器引入少样本口音合成流程，通过上下文学习进行可解释的音素修改；b) 设计了匹配编辑率的随机音素基线，以区分语言结构增益和简单的随机扰动增益；c) 在极少数据（3-5条参考语音）下实现了有效的TTS适应。 实验结果：实验在印度英语和韩国英语上进行。合成数据在跨说话人评估中显著降低了真实口音语音的词错误率（WER）。例如，在印度英语（说话人RRBI）上，WER从25.3%降至14.6%。在少样本设置下（N=3），用合成数据混合少量真实数据训练（Real+Synth）比仅用真实数据更稳定且WER更低。随机基线显示音素扰动本身是强增强信号，但LLM编辑提供了额外的、更忠实于口音的增益。 实际意义：为解决口音ASR的冷启动问题提供了一种实用方法，尤其适用于目标口音数据极度稀缺的场景（如区域性方言或少数民族口音），有望提升ASR系统的包容性和公平性。 主要局限：a) 当前系统从源语音继承韵律，并未显式建模口音特异性的韵律变化；b) 适应仅针对单个参考说话人，未解耦口音和说话人身份，限制了多说话人泛化；c) ASR增益部分源于通用的音素扰动，LLM带来的结构化编辑收益在数据量增大时可能减弱。 🏗️ 模型架构 该系统是一个包含多个阶段的流水线，如图1所示。其核心组件及数据流如下： ...

📄 JaiTTS: A Thai Voice Cloning Model #语音合成 #语音克隆 #自回归模型 #流匹配 #低资源 ✅ 7.5/10 | 前25% | #语音合成 | #自回归模型 | #语音克隆 #流匹配 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Jullajak Karnjanaekarin (Jasmine Technology Solution) 通讯作者：未明确说明（论文提供了共同邮箱 jts.ai.team@gmail.com） 作者列表： Jullajak Karnjanaekarin (Jasmine Technology Solution) Pontakorn Trakuekul (Jasmine Technology Solution) Narongkorn Panitsrisit (Jasmine Technology Solution) Sumana Sumanakul (Jasmine Technology Solution) Vichayuth Nitayasomboon (Jasmine Technology Solution) Nithid Guntasin (Sirindhorn International Institute of Technology) Thanavin Denkavin (Sirindhorn International Institute of Technology) Attapol T. Rutherford (Jasmine Technology Solution, Chulalongkorn University Department of Linguistics) 💡 毒舌点评 JaiTTS在泰语这一垂直赛道上确实“秀了一把肌肉”，性能数据（如CER低于人类基准）和人类盲测胜率都相当漂亮，证明了其在目标语言上的强大实力。然而，论文对模型“黑箱”的保护可谓严密，除了引用VoxCPM作为骨架，核心训练细节（如参数规模、优化器设置）几乎全部隐去，且没有任何开源复现的迹象，这使得其卓越的性能更像一个无法验证的“展示柜”，而非可供学术共同体推进的“开放工具”。 ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 EmoTransCap: Dataset and Pipeline for Emotion Transition-Aware Speech Captioning in Discourses #语音情感识别 #语音合成 #多任务学习 #数据集 #多语言 ✅ 7.5/10 | 前25% | #语音情感识别 | #多任务学习 | #语音合成 #数据集 | arxiv 学术质量 7.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Shuhao Xu（机构未明确说明，作者列表中编号为1） 通讯作者：Rui Liu（作者列表中编号为1，且标注为Corresponding Author） 作者列表：Shuhao Xu (1), Yifan Hu (1), Jingjing Wu (1), Zhihao Du (1), Zheng Lian (2), Rui Liu (1) 机构信息：论文正文和作者列表中仅标注了编号1和2，未提供具体机构名称。作者Zheng Lian (2)来自编号2的机构。根据致谢部分，该研究获得国家自然科学基金等资助，但未说明具体所属单位。 💡 毒舌点评 亮点：本文首次系统性地定义并攻克“语篇级情感转换描述”这一任务，构建的首个大规模双语合成数据集（EmoTransSpeech）为这个被忽视但重要的领域提供了宝贵的燃料。 短板：数据集完全依赖合成，情感转换的标注也主要依赖模型（MTETR）和LLM自动生成，这虽然高效，但可能使得数据分布过于“干净”和可控，削弱了其在复杂、模糊的真实对话场景中的验证价值。 ...