语音合成

📄 Qwen3.5-Omni Technical Report #多模态模型 #语音对话系统 #多语言 #语音合成 🔥 8.5/10 | 前25% | #语音对话系统 | #多模态模型 | #多语言 #语音合成 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表： Bing Han (未说明) Baosong Yang (未说明) Bin Zhang (未说明) Bo Zheng (未说明) Dayiheng Liu (未说明) Fan Zhou (未说明) Hongkun Hao (未说明) Hangrui Hu (未说明) Jin Xu (未说明) Jianxin Yang (未说明) Jingren Zhou (未说明) Keqin Chen (未说明) Le Yu (未说明) Mingkun Yang (未说明) Peng Wang (未说明) Pei Zhang (未说明) Qize Yang (未说明) Rui Men (未说明) Ruiyang Xu (未说明) Shuai Bai (未说明) Sibo Song (未说明) Ting He (未说明) Xize Cheng (未说明) Xingzhang Ren (未说明) Xian Shi (未说明) Xiong Wang (未说明) Xinyu Zhang (未说明) Xinfa Zhu (未说明) Yunfei Chu (未说明) Yuanjun Lv (未说明) Yuchong Sun (未说明) Yongqi Wang (未说明) Yuxuan Wang (未说明) Yang Zhang (未说明) Zhifang Guo (未说明) Zishan Guo (未说明) Ziyang Ma (未说明) (以及数十位贡献者，论文中未提供其具体机构信息) 💡 毒舌点评 亮点：工程整合能力极强，在215个涵盖理解、推理和交互的音频/音视觉基准上全面达到SOTA，尤其在语音对话和多语言识别上超越了Gemini-3.1 Pro，展现了扎实的“刷榜”实力。短板：作为技术报告，其创新性主要体现在将现有技术（MoE、ARIA、长上下文）进行大规模组合与优化，而非提出颠覆性的新范式，读起来更像一份详尽的“产品说明书”而非“科学发现”。 ...

📄 SpeechParaling-Bench: A Comprehensive Benchmark for Paralinguistic-Aware Speech Generation #基准测试 #语音大模型 #语音合成 #多语言 #模型评估 ✅ 7.5/10 | 前25% | #基准测试 | #模型评估 | #语音大模型 #语音合成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ruohan Liu (南京大学) 通讯作者：Chaoyou Fu (南京大学) 作者列表： Ruohan Liu (南京大学) Shukang Yin (南京大学) Tao Wang (南京大学) Dong Zhang (小米) Weiji Zhuang (小米) Shuhuai Ren (小米) Ran He (南京大学) Caifeng Shan (南京大学) Chaoyou Fu (南京大学) 💡 毒舌点评 亮点：这篇论文把“副语言生成评估”这个模糊地带彻底标准化了，从不到50个特征扩展到100多个，还设计了从静态控制到动态变化再到情境适应的递进式任务，评估流水线也用上了“成对比较”来对抗主观性，工程上相当完备。短板：数据全靠合成，用TTS生成的“用户查询”和真实人类说话的副语言信息可能差了十万八千里，这导致整个基准测试的生态位有点尴尬——它测的是模型对“合成指令”的服从度，而非对“真实人类语音”的理解力。 ...

📄 Text-To-Speech with Chain-of-Details: modeling temporal dynamics in speech generation #语音合成 #掩码生成建模 #自回归模型 ✅ 7.0/10 | 前25% | #语音合成 | #掩码生成建模 | #自回归模型 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 中 👥 作者与机构 第一作者：Jianbo Ma（论文工作完成于Dolby Laboratories；现任职于Canva Research） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表： Jianbo Ma（论文工作完成于Dolby Laboratories；现任职于Canva Research） Richard Cartwright（论文工作完成于Dolby Laboratories；现任职于Canva Research） 💡 毒舌点评 亮点：论文巧妙地将“粗到细”的生成思想从传统的语义-声学token维度，拓展到了时间分辨率维度，提出了一个逻辑自洽且实验有效的CoD框架，为TTS建模提供了新视角。短板：实验评估过于依赖WER这一客观指标，完全缺失了MOS等主观听感评价，而语音合成的终极标准是“好不好听”，这使得其“更自然”的结论说服力大打折扣。 🔗 开源详情 代码：论文提供了GitHub仓库链接（https://github.com/…，具体链接在论文HTML版本的“GitHub Issue”部分可见）。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用的是公开数据集（LibriTTS, MLS），但论文未提供其处理后的具体版本或下载指引。 Demo：论文中未提及在线演示。 复现材料：提供了较详细的训练超参数、模型配置、数据处理描述，有利于复现。 论文中引用的开源项目：SoundChoice G2P (SpeechBrain), Wespeaker, DAC, Brouhaha, MaskGIT。 📌 核心摘要 问题：现有基于离散token的TTS模型，其“粗到细”的生成范式主要体现在从语义token到声学token的转换，而对语音固有的时间动态（temporal dynamics）缺乏显式建模。 方法核心：提出Chain-of-Details (CoD)框架，将语音生成分解为多个渐进的时间层级。每个层级对应不同的时间分辨率（token率），从最粗糙（低时间分辨率、捕获宏观结构）到最精细（高时间分辨率、添加细节）。所有层级共享一个统一的码本和一个双向Transformer解码器。 创新点：与已有方法相比，CoD首次将时间维度的粗到细建模显式引入TTS生成过程。它不依赖独立的音素时长预测器，而是让最低时间层级自然完成音素规划。同时，采用共享解码器的设计提升了参数效率。 实验结果：在LibriSpeech test-clean上，CoD-Base（263M参数）WER为3.09%，优于同等数据量下的KD-NARSIS（5.9%）和StyleTTS 2（4.0%）。在SeedTTS测试集上，CoD-Base（263M参数）WER为2.89%，与参数量近4倍的MaskGCT（1B，2.62%）性能相当。消融研究证实，增加时间层级数能显著降低WER。 实际意义：CoD框架以更少的参数实现了具有竞争力的合成质量，证明了显式时间动态建模的有效性，为构建更高效、更自然的TTS系统提供了新思路。 主要局限性：评估体系不完整，缺乏MOS等主观评价指标，无法全面评估语音自然度和韵律质量；未报告推理速度等效率指标；对更长时间层级（如4级）的效果未深入探索。 🏗️ 模型架构 CoD框架遵循一个两阶段流程：1）音频离散化，2）基于掩码的生成建模。核心创新在于第二阶段采用了级联的多时间层级结构。 ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #零样本 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Aoduo Li (广东工业大学，邮件地址：3123009124@mail2.gdut.edu.cn) 通讯作者：Hongjian Xu (广东工业大学，邮件地址：123457890wasd@gmail.com) 其他作者： Haoran Lv (广东工业大学) Shengmin Li (华南理工大学) Sihao Qin (华南理工大学) 💡 毒舌点评 亮点：巧妙地将14B参数LLM的“角色思考过程”（Chain-of-Thought）蒸馏成一个仅11.8M参数的轻量级“韵律翻译器”，实现了从语义理解到声学控制的跨模态桥接，这个想法非常优雅且实用。槽点：实验严重依赖一个特定的动漫角色数据集，虽然证明了方法在该领域的有效性，但其在通用语音、其他语言或更严肃风格上的泛化能力有待商榷，有点像“在二次元世界里当王者”。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/（论文中提供了链接占位符，实际应指向具体仓库）。 模型权重：已公开。在HuggingFace或其他平台发布了P2P Adapter、参考音频库等组件的预训练模型。 数据集：已公开发布了AnimeTTS-Bench（包含初始3角色版和扩展50角色版），包含音频、标注和角色配置。 在线Demo：论文中提供了在线体验地址的链接占位符。 依赖的开源项目：论文中明确依赖或基于以下开源项目：GPT-SoVITS v4（TTS骨干）、Qwen 2.5 14B（教师LLM）、Sentence-BERT、ECAPA-TDNN、emotion2vec、HiFi-GAN等。 📌 核心摘要 本文针对现有语音合成系统在生成角色驱动、情感丰富的语音时难以同时保持角色身份一致性和情感表达准确性的问题，提出了ATRIE框架。其核心是Persona-Prosody Dual-Track (P2-DT) 架构，将语音生成解耦为静态的音色轨道（通过标量量化保持身份锚点）和动态的韵律轨道（通过分层流匹配生成情感韵律）。关键创新在于一个离线知识蒸馏过程，利用一个大型语言模型（Qwen 2.5 14B）作为教师，通过思维链推理生成包含情感理由和数值化韵律目标（VAD分数等）的监督信号，来训练一个轻量级的P2P适配器。该适配器在推理时无需LLM参与，可高效地将文本和角色描述映射为韵律控制参数，引导GPT-SoVITS v4骨干网络合成语音。实验在自建的AnimeTTS-Bench（50个角色）上进行，ATRIE在角色一致性分数（CCS: 0.86）、情感表达准确率（EEA: 0.84）和跨模态检索平均精度（mAP: 0.75）上均达到SOTA，同时保持了实时推理能力（RTF: 0.18）。局限性包括对参考音频库的依赖、长句情感强度维持的挑战，以及当前评估集中于动漫风格。 🏗️ 模型架构 ATRIE系统是一个两阶段框架（离线蒸馏，在线推理），其核心是P2-DT架构，整体流程如下： 输入：文本T，角色配置P（包含性格描述、说话模式等）。 语义理解与韵律目标生成（离线/教师阶段）： 教师Persona-LLM (Qwen 2.5 14B)：接收T和P，输出两部分：(a) 思维链理由R：一段解释为何角色会以某种情感说话的文本；(b) 数值化韵律目标p_tgt：一个包含{V, A, D, F0_rel, E_rel}（效价、唤醒度、时长、相对基频、相对能量）的JSON。 CoT到目标的映射：理由R通过冻结的Sentence-BERT编码为768维语义嵌入h_R。 轻量级适配器训练（学生阶段）： 学生P2P Adapter (11.8M参数)：一个4层Transformer，通过交叉注意力对齐文本语义标记和音素级声学帧。包含4个并行预测头，分别预测韵律标量（F0, E, D, P）。 训练损失：结合了MSE损失（对齐预测韵律p_hat与教师目标p_tgt）和语义对齐损失（对齐适配器中间表示h_adapter与h_R）。此外，引入了对比损失，确保生成的韵律嵌入z_i与目标角色锚点z_p接近，而与其他角色z_j远离，从而学习一个角色判别的韵律空间。 在线推理阶段： 输入：文本T，角色配置P，参考音频库ℛ。 步骤1：P2P Adapter根据T和P预测韵律控制参数C和角色语义嵌入。 步骤2：参考音频选择：根据预测的VAD目标，从库中检索最匹配的参考音频r*。 步骤3：TTS骨干 (GPT-SoVITS v4)：以T、r*和韵律参数C为条件，生成语义令牌，再通过声学解码器和HiFi-GAN声码器输出最终波形y。 双轨融合： 音色轨道：从参考音频r*中提取全局音色嵌入z_timbre，并通过标量量化（SQ）稳定化，作为身份锚点。 韵律轨道：P2P Adapter预测的动态韵律流，通过8步流匹配生成。 融合：静态音色和动态韵律在GPT-SoVITS的方差适配器层融合，共同指导声学生成。 关键设计理由： ...

📄 NVBench: A Benchmark for Speech Synthesis with Non-Verbal Vocalizations #语音合成 #基准测试 #多语言 #大语言模型 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：刘梦（Liumeng Xue）（南京大学，智能软件与系统实验室） 通讯作者：刘梦（lmxue@nju.edu.cn），郭毅可（Yike Guo）（推测为资深作者） 其他作者： 卞伟真（Weizhen Bian）（南京大学） 潘家浩（Jiahao Pan）（香港科技大学） 王文轩（Wenxuan Wang）（香港中文大学） 任逸林（Yilin Ren）（北京航空航天大学） 康博宇（Boyi Kang）（西北工业大学） 胡敬斌（Jingbin Hu）（上海交通大学） 马子阳（Ziyang Ma）（南京大学） 王帅（Shuai Wang）（南京大学） 钱欣源（Xinyuan Qian）（南京大学） 李宏毅（Hung-yi Lee）（台湾大学） 郭毅可（Yike Guo）（香港科技大学） 💡 毒舌点评 亮点：这是一篇“基建狂魔”式的论文，终于有人把语音合成里那些“嗯嗯啊啊”的非语言声音（NVV）的评估给标准化了，45类分类法和双语数据集做得相当扎实，为后续研究立好了靶子。 槽点：作为基准测试论文，它本身不提出新的合成模型，有点像“只测评不造轮子”，对于追求算法创新的读者来说可能不够“性感”；而且用LLM当裁判，虽然努力控制偏见，但“AI评AI”的可靠性争议依然存在。 🔗 开源详情 代码：已开源。论文提供了GitHub链接：https://github.com/lmxue/NVBench。代码应包含数据集构建脚本、评估指标计算代码等。 模型权重：不适用。本文不发布新模型，而是评估现有模型。 数据集：已开源。论文明确指出数据集可通过项目主页获取：https://lmxue.github.io/NVBench/。包含4500个（英汉各2250）经过验证的NVV实例。 预训练权重：不适用。 在线 Demo：论文中未提及在线Demo。 引用的开源项目：论文评估了多个开源TTS系统（如ChatTTS, Bark, CosyVoice 2等），并使用了Whisper、CLAP、DNSMOS等开源工具进行评估。 📌 核心摘要 这篇论文旨在解决语音合成（TTS）领域中一个关键但被忽视的问题：如何标准化评估系统生成非语言声音（NVV，如笑声、叹息）的能力。作者提出了NVBench，一个包含45类NVV统一分类体系的双语（英/中）基准。其核心方法包括：1）构建了一个每类50例、总计4500例的高质量平衡评估数据集；2）设计了多轴评估协议，将通用语音质量与NVV特有的可控性、放置准确性和感知显著性分离开来；3）综合运用客观指标、人工听测和基于LLM的多评判员评估，对15个代表性的TTS系统（涵盖提示式和标签式控制）进行了全面测评。主要发现表明，NVV的可控性常常与整体语音质量解耦，而低信噪比的口腔音和长时情感性NVV（如哭泣）仍是持续的技术瓶颈。该工作为公平、全面地比较和改进NVV合成能力提供了一个标准化框架。 🏗️ 模型架构 注意：本文并非提出一个新的合成模型，而是提出一个评估基准框架。其核心“架构”是评估流程和数据集构建流程。 整体流程：输入为包含NVV指令的文本（标签式[laugh]或提示式“…said with a laugh”），经过待测TTS系统生成语音，再通过NVBench的评估协议进行多维度分析。 核心组件： NVV分类体系：一个包含6大类（呼吸、喉/生理、笑声谱、哭泣谱、情感发声、口腔/其他）和45个细分类别的结构化树状体系。 数据构建流水线：三阶段流程：a) 从现有双语语音数据集中用LLM挖掘NVV种子；b) 基于分类体系，用LLM按统一模式生成文本-描述对；c) 自动检查与人工审核迭代，确保每类50个高质量样本。 评估协议： 客观指标：包括通用指标（WER/CER， DNSMOS）和NVV特异性指标（针对标签式系统的精确率/召回率/F1， 标准化标签距离NTD；针对提示式系统的CLAP分数）。 主观指标：5分制Likert量表，评估自然度、质量、NVV感知效果（PE）、指令跟随（IF）等。 LLM多评判员评估：使用Gemini 2.5 Pro作为评判员，采用匿名化、随机化、多轮评估等策略，评估指标与主观测试对齐。 数据流：待评估的TTS系统是黑盒，输入是NVBench数据集中的text_with_nvv（标签式）或caption_with_nvv（提示式），输出是合成语音。该语音被送入ASR、质量评估模型、NVV检测器（基于GT约束的Gemini验证）以及人类/LLM评判员，得到多维度分数。 💡 核心创新点 统一的NVV分类与数据集： 是什么：首次提出了一个涵盖45类、覆盖从呼吸到哭泣等广泛NVV的统一分类法，并据此构建了英汉双语平衡评估数据集。 之前：现有系统和数据集支持的NVV类型有限、碎片化、标签不一致，无法进行系统化评估。 效果：为领域提供了共同语言和可复现的测试基础，使跨系统比较成为可能。 解耦的多轴评估协议： 是什么：明确将评估维度拆解为“通用语音质量”和“NVV特定能力”（可控性、放置、显著性）。 之前：评估往往将NVV视为风格的一部分，与语音质量混在一起，难以诊断具体弱点。 效果：能精确揭示系统在哪方面强或弱（如某系统音质好但NVV控制差），指导针对性改进。 面向NVV的客观指标设计： 是什么：为标签式控制设计了基于“地面真值约束验证”的NVV检测方法，并由此计算精确率、召回率、F1和标准化标签距离（NTD）。 之前：缺乏直接评估NVV生成正确性和时间位置准确性的标准客观方法。 效果：实现了可扩展、可量化的NVV可控性评估，与主观感知形成互补。 全面的系统测评与洞察： 是什么：对15个前沿系统（商业与开源，提示式与标签式）进行了大规模测评，揭示了“质量与可控性解耦”、“长时/细微NVV是瓶颈”等关键现象。 之前：缺乏在统一基准下对不同控制范式系统的横向比较。 效果：为研究社区提供了清晰的现状图景和未来研究方向（如提升覆盖度、改善长时NVV建模）。 🔬 细节详述 训练数据：不适用。本文是评估基准，不训练新模型。评估数据集通过三阶段流水线构建，最终包含45类×50例×2语言=4500个高质量NVV实例，源自对InstructTTSEval数据集的挖掘和LLM辅助生成。 损失函数/训练策略：不适用。 关键超参数/训练硬件：不适用。 评估细节： 客观指标：使用Whisper-large-v3（英）和paraformer-zh（中）进行ASR转写。使用DNSMOS P.835预测语音质量。CLAP分数用于提示式系统的语义对齐。对于标签式系统，使用Gemini 2.5 Pro作为验证器，给定合成语音、原文本和目标NVV类型，判断NVV是否存在并插入标记，从而计算位置误差。NTD是匹配样本的位置误差按文本长度归一化后的均值。 主观测试：通过Prolific平台招募97名评分者，对每种语言随机抽取450个样本（每类10个）进行5分制评分。 LLM评估：使用Gemini 2.5 Pro，采用低温采样（0.2）、固定种子、多轮三折评估、匿名化比较等策略以保证稳定性。每个样本由4个独立LLM评判员子集评估。 系统覆盖：评估了7个提示式系统（如Gemini 2.5 Pro/Flash, GPT-4o mini TTS, Qwen3-TTS）和8个标签式系统（如ElevenLabs, ChatTTS, Orpheus TTS, CosyVoice 2）。 📊 实验结果 主要指标对比（摘要）： 提示式系统（英语）： 最佳质量/自然度：Gemini 2.5 Pro (主观自然度4.07， DNSMOS OVRL 4.30)。 最佳可控性（NVV IF）：Gemini 2.5 Pro (主观2.74)。 最佳语义对齐（CLAP）：Qwen3-TTS (0.45)。 最佳客观质量（DNSMOS）：GPT-4o mini TTS (OVRL 4.14)。 标签式系统（英语）： 最佳综合（主观）：ElevenLabs (自然度4.60， 质量4.71， NVV PE 3.92， NVV Accuracy 4.21)。 最佳NVV正确性（客观F1）：Orpheus TTS (0.728)。 最高覆盖度：ElevenLabs (0.27)， Dia (0.29)。 关键发现： 质量与可控性解耦：例如，CosyVoice 2在中文上主观质量分很高(4.35)，但NVV准确性(1.65)和显著性(1.56)较低。Gemini 2.5 Flash的WER很差（因生成额外内容），但主观自然度很高。 NVV类型难度差异大：热图分析显示，笑声、咳嗽等突发性NVV普遍得分较高；而口腔音（如tsk, lipsmack）和长时情感音（如crying, sobbing）在所有系统上得分都低。 控制范式差异：标签式系统覆盖度有限但控制精确；提示式系统理论覆盖所有类型但实现不稳定，易出现内容边界问题。 消融实验（有无显式NVV控制）： 对比了Gemini 2.5 Pro（提示式）和ElevenLabs（标签式）在有无NVV指令下的输出。 主观结果：ElevenLabs在启用NVV后，自然度、质量和表达力均提升（CMOS为正）。Gemini 2.5 Pro在启用NVV后，表达力提升不明显，且自然度和质量有所下降（CMOS为负）。 客观结果：启用NVV后，所有系统的WER/CER均上升，表明标准ASR和质量评估器对NVV不友好。 LLM评判 vs 人类评判：LLM评判的排名趋势与人类主观测试大体一致（如ElevenLabs在标签式中领先），但具体分数存在差异，表明LLM评估可作为有效补充但不能完全替代人类。 ⚖️ 评分理由 创新性：7/10。创新性主要体现在系统工程和评估框架上：构建了首个全面的NVV分类与数据集，并设计了多轴评估协议。这不是算法模型的突破，而是领域基础设施的重要创新。 实验充分性：9/10。实验设计极为充分。数据集构建流程严谨；评估维度全面（客观、主观、LLM）；对比系统数量多、种类全（15个）；分析深入，包含消融、热图、跨语言对比等。数据详实，结论可信。 实用价值：8/10。对语音合成领域有很高的实用价值。为NVV合成这一模糊的评估目标提供了清晰、可操作的度量标准，能直接指导系统开发和比较。开源数据集和代码进一步放大了其价值。 灌水程度：2/10。论文内容紧凑，直指问题核心。摘要、方法、实验、分析环环相扣，没有明显的冗余内容或夸大表述。所有承诺的评估都在实验部分得到落实。 🖼️ 图片与表格 图1: NVBench概览图 | 保留: 是 - 理由：清晰展示了基准的整体流程，包括数据集（分类法+双语集）、两种控制方式（提示式、标签式）、待测TTS系统、以及多轴评估协议（客观、主观、LLM），是理解论文工作的核心示意图。 图2: 按NVV类型划分的感知效果热图（英语） | 保留: 是 - 理由：直观展示了不同系统在45类NVV上的感知效果（PE）得分，清晰揭示了系统间差异、类型难度差异（如笑声易、口腔音难）以及标签式系统的覆盖度缺口，是核心结果图。 图3: 按NVV类型划分的感知效果热图（中文） | 保留: 是 - 理由：与图2对应，展示了中文评估结果，体现了基准的双语评估能力和跨语言发现的一致性。 表1: NVV分类体系 | 保留: 是 - 理由：列出了完整的45类NVV及其所属的6个大类，是本文的核心贡献之一，必须保留以明确评估范围。 表2: 评测的TTS系统及数据集详情 | ���留: 是 - 理由：详细列出了15个被测系统和6个参考数据集支持的NVV类型及数量，是理解评测范围和对比基线的关键信息。 表3: 客观指标结果 | 保留: 是 - 理由：提供了所有系统在WER/CER、DNSMOS、CLAP、覆盖率、精确率/召回率/F1、NTD等客观指标上的详细数值，是进行量化对比的基础。 表4: 主观听测结果（均值±标准差） | 保留: 是 - 理由：提供了所有系统在自然度、质量、NVV感知效果等主观指标上的详细评分，是评估系统实际听感的关键数据。 表5: LLM多评判员评估结果（与ElevenLabs的对比分数） | 保留: 是 - 理由：展示了使用LLM作为评判员的评估结果，体现了这种新型评估方法的可行性与趋势，是方法的重要组成部分。 表6: 有无NVV控制的CMOS对比结果 | 保留: 是 - 理由：展示了消融实验的结果，直接证明了显式NVV控制对感知质量的影响，支持了论文的核心发现之一（控制范式差异）。 📸 论文图片 ...

📄 Qwen3.5-Omni Technical Report #语音合成 #语音识别 #音频大模型 #预训练 #强化学习 🔥 评分：9.5/10 | arxiv 👥 作者与机构 论文作者：Qwen Team (通义千问团队) 核心贡献者：Bing Han, Baosong Yang, Bin Zhang, Bo Zheng, Dayiheng Liu, Fan Zhou, Hongkun Hao, Hangrui Hu, Jin Xu, Jianxin Yang, Jingren Zhou, Keqin Chen, Le Yu, Mingkun Yang, Peng Wang, Pei Zhang, Qize Yang, Rui Men, Ruiyang Xu, Shuai Bai, Sibo Song, Ting He, Xize Cheng, Xuejing Liu, Xingzhang Ren, Xian Shi, Xiong Wang, Xinyu Zhang, Xinfa Zhu, Yunfei Chu, Yuanjun Lv, Yuchong Sun, Yongqi Wang, Yuxuan Wang, Yang Zhang, Zhifang Guo, Zishan Guo, Ziyang Ma 等（按字母顺序排列，*表示通讯作者） 所属机构：根据作者姓名和项目背景推断，主要来自阿里巴巴达摩院（DAMO Academy） 和阿里云。论文未明确标注机构，但“Qwen Team”和“Alibaba Cloud”是明确的线索。 💡 毒舌点评 亮点：这是一份堪称“全模态大模型工程教科书”的技术报告，从架构设计（混合MoE、ARIA）、训练策略（三阶段预训练、四阶段后训练）到评测体系（215个任务）都展现了无与伦比的系统性和工程实力，性能直接对标并超越了Gemini Pro，证明了中国团队在顶级多模态竞赛中的硬实力。 槽点：论文读起来像一份极其详尽的“产品说明书”和“实验报告”，技术细节虽多，但对于“为什么这样设计”的深层科学原理探讨略显不足，更像是在展示“我们做到了”，而非完全解释“我们为何能以及如何想到的”。此外，不开源核心代码和模型，让学术社区只能“望API兴叹”。 ...

📄 Text-To-Speech with Chain-of-Details: modeling temporal dynamics in speech generation #语音合成 #生成模型 #端到端 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Jianbo Ma (Canva research， 工作在Dolby完成) 通讯作者：Jianbo Ma (Canva research), Richard Cartwright (Canva research) 其他作者：Richard Cartwright (Canva research， 工作在Dolby完成) 💡 毒舌点评 亮点是把图像生成VAR模型“先画轮廓再填细节”的聪明思路，成功搬到了语音合成上，让模型学会了“先搭时间骨架再填声学血肉”，思路优雅且有效。槽点是实验部分虽然扎实，但总感觉规模（数据、模型变体）还可以再大一些，让这个“由粗到细”的故事讲得更震撼；另外，创新深度上更像是对现有技术（掩码生成、多阶段）的精巧组合与适配，而非开辟全新范式。 🔗 开源详情 代码：已开源。论文中提供了GitHub链接（https://github.com/），但未在文本中给出具体仓库地址。 模型权重：论文中未明确提及是否公开预训练模型权重。 数据集：使用了公开数据集LibriTTS和MLS English，但经过了自定义筛选。 在线Demo：论文中未提及。 依赖的开源工具/模型： 音频编解码器：DAC (Descript Audio Codec) G2P：SoundChoice G2P (来自SpeechBrain) 说话人编码器：Wespeaker 基础架构：Llama-style Transformer， 受DiT启发的自适应LayerNorm 方法灵感：MaskGIT (用于迭代去掩码调度) 📌 核心摘要 本文针对文本转语音（TTS）任务，提出了一种名为“细节链”（Chain-of-Details, CoD）的新框架。要解决的问题是现有TTS方法在建模语音生成的时域动态（从粗略时序到精细声学细节的渐进过程）方面存在不足。使用的方法是将语音生成分解为多个时间分辨率递增的阶段，在每个阶段使用掩码生成建模，并通过一个共享的Transformer解码器来预测该分辨率下的语音令牌。取得的效果是在LibriSpeech和SeedTTS测试集上，CoD模型（特别是Base版本）以显著更少的参数（263M）实现了优于或可比多个强基线（如KD-NARSIS, StyleTTS 2, VALL-E）的词错率（WER），证明了其参数效率和生成质量。消融实验进一步验证了多时间层级建模的有效性。局限性在于实验主要集中在英文单 speaker 场景，且创新本质是现有范式的有效扩展而非根本性变革。 ...

📄 MINT-Bench: A Comprehensive Multilingual Benchmark for Instruction-Following Text-to-Speech #语音合成 #基准测试 #多语言 #模型评估 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Huakang Chen (陈华康)（西北工业大学，音频、语音与语言处理实验室，ASLP@NPU） 通讯作者：Lei Xie (谢磊)（西北工业大学，音频、语音与语言处理实验室，ASLP@NPU） 其他作者： Jingbin Hu (胡景斌)（西北工业大学，ASLP@NPU） Liumeng Xue (薛刘猛)（南京大学，智能科学与技术学院） Qirui Zhan (詹启瑞)（西北工业大学，ASLP@NPU） Wenhao Li (李文浩)（西北工业大学，ASLP@NPU） Guobin Ma (马国斌)（西北工业大学，ASLP@NPU） Hanke Xie (谢涵科)（西北工业大学，ASLP@NPU） Dake Guo (郭大可)（西北工业大学，ASLP@NPU） Linhan Ma (马林汉)（西北工业大学，ASLP@NPU） Yuepeng Jiang (蒋月鹏)（西北工业大学，ASLP@NPU） Bengu Wu (吴本固)（宇图智能，北京） Pengyuan Xie (谢鹏远)（灵光乍现科技，上海） Chuan Xie (谢川)（灵光乍现科技，上海） Qiang Zhang (张强)（灵光乍现科技，上海） 💡 毒舌点评 亮点：这篇论文精准地戳中了指令跟随TTS领域的“阿喀琉斯之踵”——评估。它不像某些工作那样“造轮子”，而是“造尺子”，并且是一把设计精巧、刻度分明、还能换着语言用的“多功能智能尺”。其分层分类和诊断性评估的思路，为混乱的评估现状带来了急需的秩序。 槽点：尺子本身好不好用，很大程度上依赖于“持尺人”（即评估器Gemini）。虽然论文做了人类一致性验证，但将评估标准很大程度上托付给一个商业黑盒API，总让人感觉根基不够稳固，未来可能需要更开放、可复现的评估模型。 🔗 开源详情 代码与工具：论文明确承诺将开源数据构建和评估工具包。项目主页为 https://longwaytog0.github.io/MINT-Bench/，并提供了用于接收反馈的GitHub Issue链接。 数据集：MINT-Bench基准数据集本身将开源，包含10种语言的指令-文本对。 模型权重：本文不涉及提出新的TTS模型，因此不涉及模型权重开源。但评估中使用了多个开源和商业模型。 在线Demo：论文主页提供了Demo链接。 依赖的开源项目：评估中使用了开源ASR模型（Paraformer-zh, Whisper Large-v3）和说话人嵌入模型（WavLM-Large）。 📌 核心摘要 这篇论文旨在解决指令跟随文本转语音（TTS）领域缺乏系统化评估工具的问题。当前评估存在覆盖不全、诊断粒度粗、多语言支持弱等缺陷。为此，作者提出了MINT-Bench，一个全面的多语言基准测试。其核心方法包括：1）一个基于10种原子声学属性的分层多轴分类法，系统性地组织了从简单到复杂（如组合、动态、角色扮演）及特殊（如非言语事件）的控制案例；2）一个三阶段数据构建流程（节点规范->结构化标签规划->指令-文本对生成），确保生成语义清晰、无属性泄露的测试用例；3）一个分层混合评估协议，依次评估内容一致性（基于ASR和WER）、指令跟随（基于大型音频语言模型判断）和感知质量/音色多样性。在十种语言上的实验表明，当前系统远未解决该问题：商业系统整体领先，但开源模型在中文等本地化场景中已具竞争力；内容保真度高不等于可控性强，复杂的组合和副语言控制仍是主要瓶颈。该工作为可控、多语言的语音生成研究提供了重要的诊断和评估基础。 ...

📄 AST: Adaptive, Seamless, and Training-Free Precise Speech Editing #语音合成 #流匹配 #零样本 #数据集 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Sihan Lv（浙江大学，推断） 通讯作者：Meng Xi（浙江大学，推断） 其他作者：Yechen Jin（浙江大学，推断），Zhen Li（浙江大学，推断），Jintao Chen（浙江大学，推断），Jinshan Zhang（浙江大学，推断），Ying Li（浙江大学，推断），Jianwei Yin（浙江大学，推断），Meng Xi（浙江大学，推断） 机构说明：所有作者邮箱均为 @zju.edu.cn，论文未明确标注具体学院或实验室名称，根据致谢中的“Zhejiang Key Laboratory Project”可推断为浙江大学相关实验室。 💡 毒舌点评 把图像编辑里玩烂的潜空间反演（Latent Inversion）搬到语音流匹配模型上，再缝个动态“弱事实引导”当创可贴，居然就把一群专门训练过的语音编辑模型按在地上摩擦——这恰恰说明语音领域在TTS模型免训练适配上的思路有多贫瘠。不过槽点也很明显：WER相比基座IndexTTS-2不降反升（2.43% vs 2.91%），说明为了保住未编辑区域的“原汁原味”，编辑区域的文本准确性还是被献祭了一点；而且LibriSpeech-Edit数据集靠Qwen3-8B生成目标文本，编辑质量全看大模型脸色，可靠性存疑。 🔗 开源详情 代码：论文中未提及是否开源代码或推理实现。 模型权重：AST本身无额外训练权重，完全依赖公开的预训练模型IndexTTS-2。IndexTTS-2的权重是否公开论文未明确说明。 数据集：论文提出并声称发布（“we release”）LibriSpeech-Edit数据集（2000条样本，总时长3.6小时），但未在正文中提供具体下载链接、HuggingFace仓库或数据许可协议。 预训练权重：基于IndexTTS-2。 在线Demo：论文中未提及。 依赖的开源工具：Whisper large-v3（OpenAI）、Qwen3-ForcedAligner-0.6B（阿里巴巴）、Qwen3-8B（阿里巴巴）、WavLM（微软）。 📌 核心摘要 本文针对现有语音编辑方法依赖任务特定训练、未编辑区域时间一致性差的问题，提出了AST（Adaptive, Seamless, and Training-free），一种基于预训练AM-FM（自回归-流匹配）范式TTS模型的精确语音编辑框架。AST首先通过逆Euler ODE求解器将原始语音反演至潜空间，然后利用最长公共子序列（LCS）进行词级对齐，将未编辑区域的反演潜流与编辑区域的高斯噪声进行潜变量重组（Latent Recomposition）。为防止拼接边界出现伪影，论文提出了自适应弱事实引导（AWFG），根据当前潜流与原始反演流的偏差动态加权mel空间引导信号。此外，AST天然支持局部风格编辑（如情感、方言）。为填补公开基准空白，论文还发布了LibriSpeech-Edit数据集（2000条，3.6小时）和词级动态时间规整指标（WDTW）。实验表明，AST在说话人相似度（0.986）和时间一致性（WDTW 0.2025）上达到SOTA，WER比专门训练的基线降低近70%，且无需任何额外训练。 🏗️ 模型架构 AST的整体架构是一个免训练的推理框架，依附于一个预训练的AM-FM（Autoregressive Model-Flow Matching）TTS模型（论文使用IndexTTS-2）。其核心不是重新设计网络层，而是在已有模型的潜空间中进行“手术刀式”干预。完整输入输出流程如下： 输入：原始mel-谱图 $m_{\mathrm{ori}}$、原始转录 $y_{\mathrm{ori}}$、目标转录 $y_{\mathrm{tgt}}$、声学提示 $m_{\mathrm{ref}}$。 ...

📄 Hierarchical Codec Diffusion for Video-to-Speech Generation #语音合成 #扩散模型 #多模态模型 #零样本 #跨模态 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Jiaxin Ye（Fudan University） 通讯作者：Hongming Shan（Fudan University，hmshan@fudan.edu.cn） 其他作者： Gaoxiang Cong（Institute of Computing Technology, Chinese Academy of Sciences；University of Chinese Academy of Sciences） Chenhui Wang（Fudan University） Xin-Cheng Wen（Harbin Institute of Technology (Shenzhen)） Zhaoyang Li（Fudan University） Boyuan Cao（Fudan University） 💡 毒舌点评 亮点：这篇论文像个严谨的“交通协管员”，终于把 RVQ 不同层级当成了不同的车道——让嘴唇和身份去底层飙内容，让表情去高层管情绪，治好了 VTS 领域长期存在的“视觉条件瞎注入”的拥堵病。 槽点：虽然口口声声“首个”层次化离散扩散，但骨子里是 SEDD + MaskGCT Codec + DiT AdaLN 的“学术拼好饭”；更妙的是训练时偷偷用真实音频的 GE2E 特征来 stabilize 模型，推理时却只能看脸硬撑，这算不算一种“开卷考试练出的学霸”？ ...