语音编辑

📄 FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation 标签：#统一音频模型 #流匹配 #音频理解 #语音合成 #语音编辑 8.7/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 🔥 8.7/10 | 前25% | 文档类型：模型报告 | 评分置信度：高 | #音频理解 | #流匹配 | #统一音频模型 #语音合成 | arxiv 👥 作者与机构 第一作者：Junjie Li（Xiaohongshu（正文仅给出统一机构行，未逐作者映射）） 通讯作者：Fenglong Xie（正文脚注给出通讯邮箱） 作者列表：Junjie Li、Xuelong Geng、Kun Xie、Feiyu Shen、Yichen Wu、Ziqi Dai、Yichen Han、Yan Jia、Kai Huang、Junjie Chen、Yixuan Li、Manzhen Wei、Fenglong Xie、Lei Xie、Xu Tang、Yao Hu（机构：Xiaohongshu） ...

📄 FireRedTTS3: Unified Speech Generation and Editing with Semantically Enriched Speech Representations 标签：#语音合成 #语音克隆 #语音编辑 #生成模型 #多语言 9.0/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 🔥 9.0/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #语音合成 | #生成模型 | #语音克隆 #语音编辑 | arxiv 👥 作者与机构 第一作者：Feiyu Shen（小红书） 作者团队：Kun Xie、Yichen Wu、Ziqi Dai、Yichen Han、Junjie Li 等；机构为小红书及合作团队。 💡 毒舌点评 这项工作抓住了连续语音表征的关键矛盾：既想保留声学细节，又想借助文本 LLM 的指令能力。RedAE 的语义教师设计确实漂亮，公开模型和多任务评测也很完整；但“简单”并不等于没有工程代价，训练 tokenizer、LLM-DiT 和多种编辑评测的成本很高，开放域音色、长文本和极端方言仍需要独立验证。此外还有几处需要追问：连续自回归表示在长文本与多说话人混合场景下的误差累积没有系统报告；多语言覆盖有限，粤语的高字符错误率被归因于 Whisper-large-v3 的识别能力上限而非方法本身；训练数据许可与商业使用边界也语焉不详——这些对想落地的团队都是关键信息。 ...

📄 VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation 标签：#语音合成 #流匹配 #语音编辑 #语音克隆 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.8/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #语音合成 | #流匹配 | #语音编辑 #语音克隆 | arxiv 👥 作者与机构 第一作者：Jiarui Hai（Johns Hopkins University；实习于 Adobe Research） 通讯作者：未明确标注 作者列表：Jiarui Hai（Johns Hopkins University；实习于 Adobe Research）、Karan Thakkar（Johns Hopkins University）、Ke Chen（Adobe Research）、Yunyun Wang（Adobe Research）、Jiaqi Su（Adobe Research）、Rithesh Kumar（Adobe Research）、Mounya Elhilali（Johns Hopkins University）、Zeyu Jin（Adobe Research） 💡 毒舌点评 亮点：把 TTV 的"character voice"场景推进到了非人声角色，DSP + 生成式仿真的混合数据思路确实补上了以往数据分布的关键缺口，且统一生成/克隆/编辑三任务在一个 MM-DiT 内的做法对工程落地有实际价值。短板：token-level AdaLN 本质上是 diffusion forcing 思路在音频多条件建模中的迁移，3D-RoPE 也只是位置编码的结构化扩展，方法新颖性更多在组合而非原理层面；核心公式缺失、架构细节依赖 demo page，读起来更像一份重型系统报告而非严格方法论文。 ...

📄 Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing 标签：#语音编辑 #扩散模型 #音频修复 #Transformer #零样本 7.3/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音编辑 | #扩散模型 | #音频修复 #Transformer | arxiv 👥 作者与机构 第一作者：Iftach Shoham（Ben-Gurion University of the Negev）与 Tali Dror（Ben-Gurion University of the Negev），论文标注为共同一作 作者列表：Iftach Shoham、Tali Dror、Oren Gal（University of Haifa）、Haim Permuter（Ben-Gurion University of the Negev）、Gilad Katz（Ben-Gurion University of the Negev）、Eliya Nachmani（Ben-Gurion University of the Negev） 通讯作者：未说明 💡 毒舌点评 把 RVQ 码本的粗到细层级显式编码进离散扩散的条件因子化，是比直接 flatten 所有码本更贴合语音 codec 结构的建模选择；代码仓库也给了。但语音编辑任务上相对 VoiceCraft 的 WER 只从 0.124 降到 0.121，差距几乎落在标准差范围内；实验只用了 RealEdit 一个基准，没有对比任何扩散/流匹配类非自回归方法，也没有人工听感评测。修复任务在短 gap 上的 MCD 优势很突出，但整体说服力仍配不上方法设计的优雅度。 ...

📄 dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model 标签：#语音编辑 #自回归模型 #音频理解 #Transformer #模型评估 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型：模型报告 | 评分置信度：高 | #语音编辑 | #自回归模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Hankun Wang（小红书 dots 团队，上海交通大学计算机科学与工程系 X-LANCE 实验室） 通讯作者：未说明 作者列表：Hankun Wang（小红书 dots 团队，上海交通大学 X-LANCE 实验室）、Bohan Li（未说明）、Shi Lian（未说明）、Xiaoyu Gu（未说明）、Jing Peng（未说明）、Da Zheng（未说明）、Colin Zhang（未说明）、Kai Yu（上海交通大学 X-LANCE 实验室） 💡 毒舌点评 该论文用 XML 标签把语音编辑任务“结构化”成可检查的合约，在指令遵循和局部保真上确实甩开了现有开放模型，想法直击自由文本指令的歧义痛点。但作者迄今只放出来 demo 页面和基础 TTS 模型权重，编辑模型本身仍未开源，对声称的“可检查”接口形成了微妙的反讽；情感编辑和组合编辑的成功率仍处于勉强可用的区间，显然离专业创作需求尚有距离。 ...

📄 UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling #语音合成 #语音编辑 #扩散模型 #数据增强 7.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.3/10 | 前50% | #语音合成 | #数据增强 | #语音编辑 #扩散模型 | arxiv 👥 作者与机构 第一作者 Chuanbo Zhu 与合作者 Wuyou Zhou, Rongxiu Zhong, Shilei Zhang, Kun Qian 来自上海交通大学。通讯作者 Yike Guo 与 Wei Xue 同样来自上海交通大学，并关联北京通用人工智能研究院（BigAI）。 ...

📄 RIVET: Robust Idempotent Voice Attribute Editing #语音编辑 #语音转换 #低资源 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前50% | #语音转换 | #语音编辑 | #低资源 | arxiv 👥 作者与机构 Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj 卡内基梅隆大学 (Carnegie Mellon University) 💡 毒舌点评 这篇工作的出发点不错，抓住了语音编辑在大数据时代的一个真实痛点——脏标签。用“幂等性”这剂药方听起来也挺高大上，直觉上说得通。但仔细一看，这药方的“药效”和“适用症”证明得不够扎实。最大的问题是，作者自己搭了个简易擂台（去掉核心损失的自身架构），就宣布自己赢了。这就像只跟昨天的自己比赛，说服力打折扣。而且，对“年龄”这个属性，药效好像不太灵（在EARS上甚至变差了），论文却轻描淡写带过，没给出像样的病理分析。方法部分对模型“怎么做手术”的细节描述比较模糊，光给了个公式和示意图，让人不清楚这“潜在表示空间”的约束到底落在VITS的哪个部位。总之，想法有价值，但就像一篇刚完成初步临床试验的新药报告：看到了希望，但离证明其广泛有效性和弄清所有副作用，还有不少路要走。 📌 核心摘要 本文针对语音属性编辑模型因训练数据中的标签噪声而导致编辑不稳定和身份漂移的问题，提出了RIVET训练框架。其核心在于利用幂等性原理（\(f(f(x)) = f(x)\)）作为正则化。具体实现上，RIVET在模型的编码潜在表示空间（同时针对说话人嵌入和语音潜在表示）施加一致性约束，通过最小化原始编码与“编辑-重建”再编码之间的差异，使模型在噪声标签下也能学习到稳定的映射。实验表明，该方法能有效提升模型在自然噪声（GLOBE）和可控合成噪声（EARS）下的编辑成功率和说话人身份保持能力，尤其是在性别编辑和对抗噪声方面效果显著。 🔗 开源详情 代码：https://github.com/DareenHarthi/rivet (提供了完整的训练和评估代码) 模型权重：论文中未提及提供预训练模型权重。 数据集：论文使用GLOBE和EARS数据集，但未提供直接获取链接，需从官方渠道获取。 Demo：论文中未提及。 复现材料：论文中包含主要的训练细节（如优化器、学习率），但未提供具体的配置文件或脚本。 🏗️ 方法概述和架构 RIVET是一个端到端训练的语音属性编辑框架，其核心组件包括三个部分：说话人编码器、属性编辑模块和语音生成器，并通过引入幂等性损失进行联合优化。 ...

📄 MMAE: A Massive Multitask Audio Editing Benchmark #语音编辑 #多任务学习 #基准测试 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音编辑 | #多任务学习 | #基准测试 | arxiv 👥 作者与机构 论文作者众多，包括Ziyang Ma, Ruiqi Yan, Ruiyang Xu等30余人。论文未明确说明所有作者的具体所属机构。 💡 毒舌点评 这篇论文的工作定位有点尴尬。作为一个“Benchmark”论文，它自称是“首个全面的评估测试台”，但问题在于：1. 它只提出了一个数据集和一个评估框架，并没有提出新的模型或算法。这本质上是一篇“资源论文”，而非“方法论文”，在顶会上通常处于竞争劣势。2. 从给出的实验结果看（EMR<5%，复杂任务为0%），它更像是一份给现有模型判了“死刑”的诊断报告，但报告本身并未提供“治病”的方法。3. 论文最大的价值在于定义了问题空间（7种模态、6级复杂度、8种操作）和评估标准，但这种分类工作是否具备足够的洞察力和普适性，值得怀疑。它更像是一个庞大的工程分类清单，而非深刻的科学发现。4. 论文声称解决了“评估基础设施滞后”的问题，但评估框架（基于rubric分解为17,741个标准）的具体设计、验证过程和有效性论证在摘要中完全缺失，使得其核心贡献的可靠性存疑。5. “人机协作”构建数据集的具体流程未说明，是让人标注还是用模型生成后校对？这直接影响数据质量。总的来说，这是一篇工整但平庸的资源型论文，缺乏让顶会审稿人眼前一亮的理论或技术火花。 📌 核心摘要 MMAE是一个面向通用指令式音频编辑的大规模多任务评测基准。它旨在解决当前音频编辑评估体系分散、局限于简单任务和特定子领域的不足。基准包含2000个高保真样本，涵盖7种音频模态，并建立了一个从基本修改到多轮推理的6级任务复杂度分类体系。其核心创新在于提出了一种基于评分标准（rubric）的评估框架，将开放式任务分解为数万个可验证的标准，以精确评估模型的指令遵循和上下文一致性。对现有模型的评估表明，当前系统在精确编辑方面表现极差，暴露了显著的性能瓶颈。 🔗 开源详情 代码：论文中声称发布了基于Python的评估框架，但未提供任何具体的代码仓库链接（如GitHub URL）。 模型权重：论文未提及发布任何模型权重。本文是介绍一个评测基准，而非新训练的模型。 数据集：论文中声称包含2,000个样本，但未提供任何具体的下载链接或数据托管页面（如HuggingFace， ModelScope）。 Demo：未提及在线演示链接。 复现材料：未提及。 论文中引用的开源项目：论文提到了“Nano-banana 2”和“Gemini-Omni”作为相关工作的例子，但未提供这些项目的具体链接或完整名称。 🏗️ 方法概述和架构 MMAE并非一个算法模型，而是一个用于评测音频编辑模型的基准体系。其核心方法架构包含两个紧密耦合的部分：任务与数据的分类体系，以及配套的自动化评估框架。 ...

📄 SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing #语音编辑 #多任务学习 8.7/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #语音编辑 | #多任务学习 | arxiv 👥 作者与机构 Hanlin Zhang (香港城市大学计算机科学系， 共同第一作者)， Daxin Tan (华为Leibniz研究中心AI实验室， 共同第一作者)， Dehua Tao (华为Leibniz研究中心AI实验室)， Xiao Chen (华为Leibniz研究中心AI实验室， †共同通讯作者)， Haochen Tan (华为Leibniz研究中心AI实验室)， Linqi Song (香港城市大学计算机科学系， †共同通讯作者)。 ...

📄 CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS #语音编辑 #强化学习 #多模态模型 #自回归模型 #语音识别 #数据增强 ✅ 7.2/10 | 前25% | #语音编辑 | #强化学习 | #多模态模型 #自回归模型 | arxiv 学术质量 7.2/7 | 影响力 7.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Junyang Chen (陈俊阳), Yuhang Jia (贾宇航), Hui Wang (王辉), Jiaming Zhou (周佳明), Yongchang Gan (甘永昌), Yong Qin (覃勇)。 机构：南开大学计算机科学学院（1），南开大学人工智能学院（2）。通讯作者：chenjunyang@mail.nankai.edu.cn, qinyong@nankai.edu.cn。第一作者与通讯作者标注。 💡 毒舌点评 摘要写得像广告文案，充满了“substantially”、“deeper”、“unlocks”这类形容词。方法部分看似复杂，但核心就是给GRPO换了一套更适合编辑任务的奖励函数。实验结果在多个benchmark上看起来都不错，但仔细一想，和SOTA的差距有时只有零点几个百分点，而且很多baseline其实并不强。最有趣的是，这篇论文发现一个编辑模型居然能提升其基础TTS模型的性能，这到底是编辑任务的特殊性，还是仅仅因为用更多数据（虽然是构造的）和RL微调了一遍LLM？此外，声称“首个编辑导向的奖励组合”需要打上问号，因为相关工作ECPA已经用了GRPO，奖励设计思路有重叠。代码、模型权重均未开源，复现门槛极高。 📌 核心摘要 本文提出了CosyEdit2，一个基于两阶段后训练框架的语音编辑模型。第一阶段使用监督微调（SFT）在配对编辑数据上初始化模型能力。第二阶段引入编辑导向的组相对策略优化（GRPO），核心创新在于使用无需目标语音的构造数据（将任意TTS语料转换为编辑提示）和针对编辑任务设计的多奖励信号（内容正确性、声学保持、说话人一致性）对语言模型进行强化学习。实验表明，该模型在语音编辑任务上达到了与强基线可比或更优的性能，尤其在声学一致性方面表现突出，并且其获得的强化学习优化能力能够意外地提升基础模型的零样本TTS性能，揭示了两个任务间的相互促进关系。 🔗 开源详情 代码：论文未提供CosyEdit2的代码仓库链接。演示页面 https://cjy1018.github.io/CosyEdit2 主要用于展示音频样本，未提及包含代码。 模型权重： CosyEdit2模型：论文中未提供CosyEdit2（包括各阶段微调后的LLM、Flow、BigVGAN）的权重下载链接。 CosyVoice2模型：作为基础模型，其链接为 https://huggingface.co/FunAudioLLM/CosyVoice2-0.5B。 数据集： GigaEdit-S：阶段一训练数据，源自GigaSpeech-S，未提供独立下载链接。 LibriTTS / LibriTTS-R / YODAS2：用于训练BigVGAN的混合数据集。论文引用了LibriTTS，但提供的Hugging Face链接 https://huggingface.co/datasets/keithito/lj_speech 实际是LJ Speech，并非LibriTTS，此处表述有误。YODAS2和Ming-Freeform-Audio-Edit等评估集均未提供链接。 VoiceBank-DEMAND-16k：用于声码器重建实验，链接为 https://huggingface.co/datasets/JacobLinCool/VoiceBank-DEMAND-16k。 SEED-TTS-EVAL：评估基准，链接为 https://github.com/bytedance/Seed-TTS-Eval。 Demo：提供了音频样本演示页面 https://cjy1018.github.io/CosyEdit2。 复现材料： 训练细节与模型配置：附录B-D详细描述了架构、超参数和训练流程，是复现的关键信息。 评估脚本与指标：提及使用了评估脚本和指标（WER, SS, DNSMOS, MCD），但未提供具体评估代码。 论文中引用的开源项目：包括CosyVoice2、Qwen2.5、WhisperX、BigVGAN（提供链接 https://huggingface.co/nvidia/bigvgan_v2_22khz_80band_256x）、nlpaug、RoBERTa、pymcd等。 🏗️ 方法概述和架构 CosyEdit2构建于CosyVoice2的语音-语言建模骨干之上，将其零样本提示式接口重构为语音编辑任务。其架构包含五个核心模块：文本分词器、语音分词器、自回归文本-语音语言模型（LLM）、条件流匹配模型（Flow）和BigVGAN声码器。 ...