语音合成

📄 MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model #语音合成 #自监督学习 #多模态模型 #流式处理 5.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 0.6/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.7/10 | 前50% | #语音合成 | #自监督学习 | #多模态模型 #流式处理 | arxiv 👥 作者与机构 未提及 💡 毒舌点评 这篇论文试图为“社交世界”下一个定义并打造第一个模型，野心不小。技术上，把22B参数的怪兽塞进单GPU跑到47.5 FPS，听起来像在炫耀工程肌肉。然而，审稿人的嗅觉告诉我，“社交交互优化”这个标签贴得有点急——你的benchmark里有“社交”吗？还是说只要能实时出视频就算社交了？那抖音特效是不是早就达标了？技术细节像走马观花，Self-resampling，ROPD，听着很酷，但具体怎么干的、干得有多好，全靠读者脑补。最要命的是，连代码、权重、数据都不开源，这“可复现性”基本是零分预定。这篇论文更像一个声势浩大的“我们开始了”的宣言，而非一个论证扎实、可供他人跟进的完整研究。 📌 核心摘要 该工作首次定义了“社交世界模型”这一研究方向，旨在生成以人类社交动态为中心的交互式音视频内容，区别于专注于物理环境或游戏世界探索的先前世界模型。为探索该方向，作者构建了MaineCoon原型，这是一个具有22B参数的首个实时音视频自回归模型。它支持实时流式生成和亚秒级交互，在单GPU上实现了高达47.5 FPS的帧率。论文声称，这是首个针对社交交互应用优化的实时音视频生成模型。为实现高效稳定的训练与推理，论文引入了多项新技术：Self-resampling、跨模态表征对齐、领域感知偏好优化以及强化在线策略蒸馏（ROPD）。同时，设计了首个智能体流式推理框架，通过智能体缓存管理和提示规划，支持千秒级甚至更长的生成并缓解漂移问题。这些创新加速了训练并优化了实时推理性能。作者认为该工作不仅为高质量、低延迟、长时域音视频自回归模型设立了新的性能基准，也指出了下一代AI原生社交平台所需的范式转变。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重获取链接。 数据集：论文中未提及。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 MaineCoon是一个端到端的自回归音视频生成模型，旨在实现实时交互式社交世界生成。其核心架构与训练流程可概括如下： ...

📄 PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation #语音合成 #生成对抗网络 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | #语音合成 | #生成对抗网络 | arxiv 👥 作者与机构 华南理工大学（Xiaofen Xing 为通讯作者）、DexForce Technology、佛山大学 💡 毒舌点评 这篇论文动机清晰，把“人形机器人做动作时，如果先按人的身体来生成再‘套’上去会出问题”这个工程直觉，包装成了“体现鸿沟”这个听起来高深的概念。提出的IK-EER和PhysDrift框架在思路上有一定道理，也做了一些实验。但问题在于：1）作为一篇顶会论文，实验的对比基线有点“复古”，很多是几年前的方法（如GMR、PHC），缺乏与最新机器人动作生成工作的直接对比。2）所谓的“机器人原生生成”方法，只是把Flow Matching的输出从人形参数空间换成了机器人关节角空间，核心生成模型（GestureLSM）是别人的，创新点有点像在别人搭好的厨房里换了口锅做饭。3）“真实部署”的展示过于简略，一个顶会论文，连一个定性的视频或更详细的场景描述都吝啬提供，说服力大打折扣。4）MDF的理论性质（如收敛性）只是给了个Proposition，没有证明，略显单薄。总的来说，一篇合格的工作，但离顶尖还有差距，有点“PPT论文”的味道——框架画得漂亮，实操细节模糊。 📌 核心摘要 针对现有人形机器人协同语音动作生成采用的“人类中心”流水线（先在SMPL-X等人类表示空间生成动作，再重定向到机器人），本文指出其存在根本性的“体现鸿沟”——人类动作流形与机器人可执行动作流形不匹配，导致重定向过程会压缩动作多样性并削弱语音-动作同步性。为此，本文提出了两阶段解决方案：首先，提出IK-EER框架，在重定向过程中联合优化运动学可行性和语音-动作时间对齐，构建高质量的机器人原生运动数据集。然后，提出PhysDrift框架，一个体现感知的机器人原生生成模型，它直接从语音预测可执行的机器人关节轨迹，无需中间人类身体表示。PhysDrift引入运动漂移场（MDF）来替代传统的速度场学习，并在损失函数中加入物理约束和语音同步约束。大量实验和真实机器人部署表明，该机器人原生方法在语音对齐、物理合理性、运动平滑度（Jerk显著降低）和实时生成效率（2880 APS）上均优于传统流水线和直接适配的生成模型，证明了体现感知建模对人形机器人的重要性。 🔗 开源详情 代码：论文中未提供代码链接。 模型权重：论文中未提供模型权重。 数据集：BEAT2数据集（获取链接：https://github.com/ICT-Research/BEAT2） Demo：论文中未提及Demo。 复现材料：论文中未提供。仅在实验部分简要说明了训练细节：在单个 NVIDIA A100 上训练 1000 个 epoch，使用 Adam 优化器，学习率为 1e-4，但未提供配置文件、检查点或详细附录等具体复现材料。 论文中引用的开源项目：BEAT2（https://github.com/ICT-Research/BEAT2） 🏗️ 方法概述和架构 本文方法旨在解决人类中心流水线带来的体现鸿沟问题，其核心思想是绕过人类动作表示，直接在机器人关节空间进行动作策划与生成。框架包含两个紧密耦合的模块：数据策划模块IK-EER和生成模型PhysDrift。 ...

📄 ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion #语音合成 #语音识别 6.2/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 6.2/10 | 前50% | #语音合成 | #语音识别 | arxiv 👥 作者与机构 论文摘要未提供作者与机构信息。根据arXiv ID 2606.20179，作者与机构信息需查阅原文。 💡 毒舌点评 一篇专注于解决特定语言（希伯来语）G2P问题的应用论文。其核心价值在于巧妙地将无监督音频信号引入，缓解了标注数据稀缺这一顽疾，思路值得肯定。但整篇论文给人一种“点子不错，但打磨不够精细”的感觉。伪标签生成管道的具体细节和误差分析似乎不足，伪音化架构虽说是“enforcing character-level alignment”，但其与传统序列模型（如Transformer）在强制对齐上的本质区别和优势论证略显薄弱。新提出的MILIM基准数据集作为核心贡献之一，其构建标准、数据规模、与现有基准的差异等关键细节在摘要中完全缺失，令人失望。声称“surpasses previous state-of-the-art methods”却未在摘要中给出任何具体指标提升，缺乏说服力。承诺开源是好的，但只有口头承诺而没有实质链接，大大降低了其即时影响力和可复现性。整体而言，这是一个有潜力的工作，但需要更扎实的细节支撑和更诚实的评估陈述。 📌 核心摘要 针对现代希伯来语的G2P转换任务，由于其元音附标文字特性（元音通常不书写），存在数据稀缺、正式规则与口语发音脱节、现有方法难以利用字符对齐性等挑战。现有方法要么依赖稀缺的注音数据预测音标符号，要么采用直接的序列到序列IPA预测但在有限数据下效果不佳。本文提出的ReNikud方法包含两个核心创新：(1) 弱监督音频监督：利用一个基于音素的ASR系统，对数千小时无标注希伯来语音频进行伪标签生成，获得反映自然口语发音的音素转录。(2) 伪音化架构：在模型设计上，强制在每个字符位置预测对应的IPA音素，利用了元音附标文字固有的字符级对齐特性作为归纳偏置。在现有的希伯来语G2P基准测试以及新提出的面向口语的MILIM基准上，ReNikud均优于先前的最佳方法。作者承诺将发布代码和训练好的模型。 🔗 开源详情 ��情 代码：论文中仅声明“We will release our code”（我们将发布代码），但未提供任何具体的代码仓库链接或平台信息。 模型权重：论文中仅声明“and trained models”（以及训练好的模型），但未提供任何具体的模型下载链接或平台信息。 数据集：论文提到了新提出的MILIM benchmark，但未提供任何获取该数据集的链接或详细信息。 Demo：论文中未提及任何在线演示。 复现材料：论文中未提供训练配置、超参数设置、检查点等具体的复现材料信息。 论文中引用的开源项目：论文中未明确引用或列出任何第三方开源工具及其链接。 标签 #语音合成 #语音识别 #弱监督学习 #伪标签生成 #序列到序列模型 主任务标签：#语音合成 主方法标签：#弱监督学习 #伪标签生成 #序列到序列模型 补充标签：#低资源 #数据增强 #预训练 ...

📄 Repurposing a Speech Classifier for Guided Diffusion-Based Speech Generation #语音合成 #扩散模型 #参数高效微调 7.9/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.9/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.9/10 | 前50% | #语音合成 | #参数高效微调 | #扩散模型 | arxiv 👥 作者与机构 作者：Rostislav Makarov, Timo Gerkmann 机构：汉堡大学（University of Hamburg, Germany） 💡 毒舌点评 这篇论文的出发点不错，想把分类器“废物利用”做生成，想法挺有吸引力。但“废物”这个词可能不准确，人家分类器好好的。论文声称“高语音质量”和“单骨干模型”带来了好处，但在某些指标上，尤其是FID，Score Subnet并不总是赢，有时还略逊于需要单独分类器的U-Net+Classifier。在“参数高效”和“计算高效”的卖点上，确实省了一些参数和计算量，但代价是引入了更复杂的训练流程（需要先训练好一个分类器，再训练子网络）和推理时对JEM风格梯度计算的依赖。作者在低数据和零样本引导上的消融实验是个亮点，显示了方法的潜力，但这部分实验规模较小。总体而言，这是一个扎实的工程改进，但离“颠覆性”或“新范式”还有距离，更像是一个在特定约束下（如内存、计算预算有限）的优雅解决方案。 📌 核心摘要 本文研究了一种紧凑的替代方案，将常规训练的噪声条件语音分类器重新用于基于扩散的语音生成。作者从冻结的、在log-Mel空间训练的噪声条件分类器骨干网络出发，附加一个轻量级的生成子网络（Score Subnet）。该子网络重用分类器的中间表示（前向taps），并通过反向传播分类器的基于能量模型（JEM）风格的边际对数密度来获得梯度taps。仅训练这个子网络，采用去噪分数匹配（DSM）目标。该方法证明了一个预训练的分类器可以被重新用于条件生成，在单骨干模型中架起了判别建模与条件语音合成之间的桥梁，实现了高语音质量，同时减少了内存占用和计算成本。 🔗 开源详情 代码：论文提供了明确的项目主页链接，其中包含代码：https://sp-uhh.github.io/classifier-to-diffusion/。 ...

📄 Transcript-Free Flow-Matching Text-to-Speech via Speech Feature Conditioning #语音合成 #自监督学习 #语音增强 #多任务学习 #对比学习 7.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #语音合成 | #自监督学习 | #语音增强 #多任务学习 | arxiv 👥 作者与机构 作者：SooHwan Eom, Hee Suk Yoon, Eunseop Yoon, Mark Hasegawa-Johnson, Chang D. Yoo 机构：1 Korea Advanced Institute of Science and Technology, South Korea; 2 University of Illinois Urbana-Champaign, United States ...

📄 FineCombo-TTS: Collaborative and Precise Controllable Speech Synthesis Using Text Descriptions and Reference Speech #语音合成 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #语音合成 | arxiv 👥 作者与机构 作者：Zhou Shuoyi, Yang Yixuan, Hu Peiji, Zhong Yifan, Wang Yicheng, Wu Zhisheng, Zhou Zhiyong 机构：清华大学（作者邮箱后缀@mails.tsinghua.edu.cn） 💡 毒舌点评 故事讲得不错，但“首个”的claim需要更扎实：论文声称是首个联合架构，但联合控制（参考语音+文本）并非全新概念（如ControlSpeech）。其核心创新在于解耦方式的差异（统一表征 vs. 分模块控制），但“首个”的断言在引言部分略显武断，需更严谨地界定“联合”的具体含义和区别。 FineEdit数据集：工程贡献大于科学创新：构建大规模配对数据集是值得肯定的工程贡献，但其构建方法（利用现有数据集的变体、配对）属于数据工程范畴。分析中“首个大规模”的表述需谨慎，应明确其“用于相对属性控制”的特色而非单纯规模。 评估指标自定义需更多解释：“Controlled Accuracy”和“Uncontrolled Variation”的具体计算方式（如相似度阈值、归一化方法）在论文正文中未详细说明，这影响了结果的可解释性和可比性。作为顶会论文，关键指标的定义应当透明。 基线选择合理，但对比深度不足：选择修改VoxInstruct作为联合控制基线是合理的。然而，实验主要对比了单一修改后的基线，未能与更多现有方法（如直接将参考语音属性作为输入拼接的方法）进行对比，削弱了对方法优越性的全面论证。 技术细节的“黑箱”部分：TTS骨干网络的具体架构（如Transformer层的维度、注意力头数、时长预测器的实现）描述简略。残差风格编码器的具体结构（来自MegaStyleSpeech的哪一部分）也未明确。这些细节对于复现至关重要。 局限性分析浮于表面：论文及分析主要将局限归因于数据和未来工作。然而，CFM-based Predictor在推理时需要迭代采样（虽然未明确步数），其计算开销是实际部署的重要考量，但论文和分析均未讨论。此外，对FineEdit数据集中情感配对可能存在的“表演性情感”偏差未作探讨。 📌 核心摘要 本文针对可控语音合成（TTS）中单一模态控制（仅参考语音或仅文本描述）灵活性不足，以及现有联合方法耦合松散的问题，提出了FineCombo-TTS。该框架将参考语音和文本描述统一建模，在声学属性潜在空间中，通过一个基于条件流匹配（CFM）的语音方差预测器，学习从源属性到目标属性的细粒度变换，从而实现精确、灵活的属性（韵律、情感、音色）控制，且无需显式解耦。为支持这种相对属性控制的学习，作者构建了首个结构化的三元组配对数据集FineEdit。实验表明，FineCombo-TTS在控制精度、自然度和说话人相似度上均优于强基线。 ...

📄 GRIDEX: Grid-Grounded Forensic Explanations for Deepfake Spectrogram Analysis #多模态模型 #语音合成 #强化学习 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.6/10 | 前50% | #语音合成 | #强化学习 | #多模态模型 | arxiv 👥 作者与机构 Thi Ngan Ha Do, Tingmin Wu, Alsharif Abuadbba, Kristen Moore 澳大利亚联邦科学与工业研究组织（CSIRO, Australia） 作者邮箱：do.nganha11@gmail.com, Tina.Wu@data61.csiro.au, Sharif.Abuadbba@data61.csiro.au, Kristen.Moore@data61.csiro.au 💡 毒舌点评 论文抓住了一个真实且重要的法医取证痛点：从“是/否伪造”的黑盒判断，转向提供“哪里伪造”及“为什么是伪造”的可审计证据链。GRIDEX的结构化输出设计（区域ID+类别字段+证据陈述）是方法论上的亮点，试图让解释模仿标准的证据记录，这比生成一堆漂亮的但无法验证的热力图或自由文本要实用得多。数据构建流程（利用VLM生成初稿，LLM验证，人工校正）思路清晰且有一定自动化规模。然而，这篇论文的“科学严谨性”与其“工程实现”的野心之间存在一道明显的鸿沟。最大的槽点在于其“取证”之名下的评估体系完全依赖于自我构建的“伪地面真值”。差异图作为监督信号的假设（仅适用于声码器伪造且需要完美的真伪配对）过于理想化，这严重削弱了结论在真实、未知伪造类型上的说服力。其次，解释的“深度”令人失望，其字段（T, F, P）的定义过于粗粒度（例如音素只分三类），生成的证据陈述（En）与训练数据的ROUGE-L分数低得可怜（0.084），这更像是一个“结构化填充”任务，而非真正的、有洞察力的法医分析。所谓的“错误传播”和“热点偏差”问题，在作者自己的实验中已经暴露无遗（Query 2端到端性能骤降），但论文的应对方案（课程学习）显然治标不治本。最后，缺乏任何人类专家评估，直接宣称其对“法医取证”有用，这种结论下得过于武断。总体而言，这是一个有趣的原型系统，展示了VLM在结构化输出任务上的潜力，但距离一个可靠、通用、深入的取证分析工具还有很长的路要走。 📌 核心摘要 本文提出GRIDEX，一个用于深度伪造语音频谱图取证分析的两阶段视觉语言模型（VLM）流水线。针对现有深度伪造检测模型仅提供全局判断而缺乏可验证、定位化解释的缺陷，以及现有可解释方法（如显著性图或自由文本）在法医鉴证中可审计性差的问题，GRIDEX旨在为频谱图中的伪像区域生成结构化的取证解释。该框架包含两个顺序执行的查询任务：Query 1通过在频谱图上应用固定网格并进行Top-3选择，定位最可疑的伪像区域；Query 2针对每个选定的区域，生成一个包含区域标识符（Cn）、时间上下文（T，语音/非语音）、频带（F，低/中/高）、音素类别（P，元音/辅音/清音）以及证据陈述（En，描述伪像及其听觉影响）的结构化解释元组。为训练该模型，作者基于VocV4语料库构建了首个区域接地的解释数据集，包含20,512个频谱图样本和61,536条解释，其中伪像监督信号源自成对的真伪音频差异图，而自由文本解释（En）则通过一个两步流程（VLM解释器生成初稿，LLM验证器润色与验证）自动生成。训练策略采用监督微调（SFT）与分组相对策略优化（GRPO）相结合的两阶段方式，并使用分阶段的低秩适配器（LoRA）分别处理Query 1和Query 2，以缓解任务间的干扰。在自建数据集上的实验表明，GRIDEX在区域定位任务上（\(R@3\)：0.386， \(nDCG\)：0.411， \(mAP\)：0.333）显著优于多个强大的开源VLM基线（如Qwen3-VL-8B， InternVL3-78B），其端到端生成的解释在覆盖度（\(CovAvg\)：0.884）和语义相似度（\(BERTF1\)：0.413）上也优于基线。消融研究证实了网格粒度选择、GRPO-1中的命中奖励以及分阶段优化策略的有效性。论文坦诚讨论了系统的主要局限，包括流水线中的错误传播（Query 1的定位错误会严重损害Query 2的解释质量）和GRPO训练可能引发的热点偏差（模型倾向于反复预测少数固定区域ID）。结论指出，GRIDEX在实现基于区域接地的结构化取证解释上迈出了第一步，但提升定位精度和多样性、增强模型对错误传播的鲁棒性以及扩展至跨数据集泛化是未来关键方向。 ...

📄 MagpieTTS-LF: Inference-Time Long-Form Speech Generation Without Training on Long-Form data #语音合成 7.9/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #语音合成 | arxiv 👥 作者与机构 Paarth Neekhara, Shehzeen Hussain, Ryan Langman, Xuesong Yang, Roy Fejgin, Subhankar Ghosh, Jason Li。隶属于 NVIDIA Corporation。 💡 毒舌点评 这篇论文精准地戳中了现有TTS系统在长文本生成上的痛点（韵律漂移、边界伪影），并提出了一个非常实用、即插即用的“纯推理时”解决方案。其核心价值在于“不改模型，只改策略”，具有很强的工程吸引力。然而，论文在技术细节的深挖（如超参数为何如此选择）、新数据集的公开透明度、以及泛化性声明的严谨性上，都留有明显的“草稿感”，像是一个出色的工程实践报告，而非一篇理论扎实、无懈可击的学术论文。 📌 核心摘要 本文提出了 MagpieTTS-LF，一种无需在长文本数据上重新训练，仅在推理时对现有 MagpieTTS 模型进行改进以生成连贯长文本语音的方法。其核心创新在于：1) 引入软注意力先验分布，引导模型在保持单调对齐的同时保留远距离上下文信息；2) 设计一种有状态的块生成算法，在独立的句子块之间传播注意力先验状态、编码器隐藏状态和文本历史，以维持韵律连续性和说话人一致性；3) 利用历史文本历史进行话语级的韵律规划。在自建的长文本评估集上，MagpieTTS-LF 在可懂度（WER/CER）、韵律边界连续性（Δ Energy）、说话人一致性（SSIM）和自然度稳定性（UTMOSv2）等多个维度上，均显著优于 XTTS、Qwen3-TTS 和 VibeVoice 等基线模型。 ...

📄 Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors #语音合成 #语音生成 7.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.3/10 | 前50% | #语音合成 | #语音生成 | arxiv 👥 作者与机构 作者：Michael Finkelson, Daniel Segal, Eitan Richardson, Shahar Armon, Nani Goldring, Poriya Panet, Nir Zabari, Benjamin Brazowski, Or Patashnik, Yoav HaCohen 机构：Lightricks, Tel Aviv University (特拉维夫大学) ...

📄 Reliable Neural-Codec Text-to-Speech by ASR Self-Verification and Distillation: Near-Zero Catastrophic Failures Across Models and Codecs #语音合成 #自监督学习 #正则化微调 #强化学习 #知识蒸馏 #低资源 7.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | #语音合成 | #自监督学习 | #正则化微调 #强化学习 | arxiv 👥 作者与机构 作者：Ali Asaria, Tony Salomone, Deep Gandhi 机构：Transformer Lab 通讯作者：deep@lab.cloud ...