📄 用自然语言指令改语音:VoxCanvas-41M 如何造数据并揭示编辑如何学会
评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zhikang Niu:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
- Wenming Tu:X-LANCE Lab, Shanghai Jiao Tong University, China;Beijing Institute for General Artificial Intelligence, China
- Yalin Li:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
- Yanru Huo:X-LANCE Lab, Shanghai Jiao Tong University, China;Beijing Institute for General Artificial Intelligence, China
- Junxi Liu:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
- Tianrui Wang:机构信息未能在本次解析中与作者逐人可靠绑定
- Ruiqi Yan:X-LANCE Lab, Shanghai Jiao Tong University, China
- Junxuan Liang:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
- Zilong Zheng:Beijing Institute for General Artificial Intelligence, China
- Ziyang Ma:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
- Xie Chen:X-LANCE Lab, Shanghai Jiao Tong University, China;Shanghai Innovation Institute, China
📌 核心摘要
指令式语音编辑的输入是原始语音加自然语言指令,输出是只改指定位置而保留说话人、韵律和声学环境的语音。其难点在于缺少大规模成对数据,且编辑须按指令精确定位并只改目标片段,同时保持转写一致与说话人相似,单跨、多跨与位置指代等操作的学习规律尚不清楚。本文先用Qwen3-ASR-1.7B重转写和Qwen3-ForcedAligner-0.6B获得词级时间戳以确定可编辑区间,再用Qwen3.6-35B-A3B按模板生成单跨、多跨和位置指代的内容指令,使转写与时间戳共同约束指令构造。随后用F5-TTS只重生成掩蔽编辑区并保留区外波形,掩蔽区两侧各外扩0.5秒以减轻边界不连续,最后经时长规则、语音识别转写一致性和WavLM-TDNN说话人相似度三重过滤加人工抽查构成VoxCanvas-41M。与已有切分拼接式GigaEdit相比,该链路能生成原文不存在的新词和39类非言语事件的插入删除对,并用逆向配对以真声为目标缓解合成伪影。在SpeechEditBench上,用VoxCanvas-41M以LoRA微调AuK后得到VoxCanvas-Edit,内容编辑平均准确率从91.05%提升到95.22%,副语言编辑从53.25%提升到54.50%,适用范围限于中英单轮内容和插入删除类副语言编辑。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音编辑要输入什么并保留什么
语音编辑的输入是已有的一段语音和一条自然语言指令,目标是只改指令指定的区域,同时保留未改区域的说话人音色、韵律和背景环境。例如播客后期要把一句话里的词换掉,听众不应听出拼接痕迹。
与整句重新合成不同,编辑必须做到定位准确和衔接自然。定位是指知道哪几个词或哪几秒要动,衔接是指改完后前后波形和混响连续。论文把任务分成内容编辑和伴随发声编辑。内容编辑改文字对应的语音,伴随发声编辑增删笑声、咳嗽、叹息等 39 类非文字事件。
初学者容易把编辑理解成转写后改文本再合成。实际难点在于训练需要成对数据,即同一说话人、同一环境下改前和改后两段音频加指令,而自然录音很难两次完全一致,切割拼接又会引入断裂,因此大规模配对数据稀缺。
补洞式与指令式两条路线有何不同
补洞式方法把编辑看作遮罩补全。训练时随机遮住一段语音,用文本和剩余音频预测被遮部分。推理时需要给出编辑后文本和精确的待改音频区间,通常依赖外部语音识别和强制对齐工具得到区间。它的优点是不需要配对编辑数据,缺点是推理链条依赖对齐且难以用一句话做多处灵活组合。
指令式方法直接以原语音加自然语言指令为输入生成编辑后语音,不再需要编辑后文本和精确区间。本文属于这一路线。此前公开可训练数据只有约 0.5M 和 2.1M 的切割拼接数据,缺乏自然语言指令、多跨组合、位置指代和伴随发声覆盖,这正是本文要补的缺口。
另一条相关工作是图像和通用音频的指令编辑,它们已证明大规模合成配对可以驱动编辑能力,但语音有更强的时间连续性和说话人一致性要求,不能直接照搬。
论文要解决的两个具体困难是什么
第一个困难是数据。同一人读改前改后两句很难保持非编辑区完全一致,直接录制不可扩展。按规则切割拼接真实语音只能使用已有的词,边界容易突变。合成配对则需要准确的词时间戳和非文字事件边界,还要过滤内容错误和音色漂移。
第二个困难是学习过程不清。插入、删除、替换是否一样难学,数据量、任务混合比例、生成任务是否有帮助,先学简单再学复杂是否有用,这些都会影响数据配比和训练策略,但此前多只报告最终模型效果。
因此论文同时做两件事。用可扩展管线构造约 41M 中英配对,每种语言约 20.5M 对,并在此基础上用微调验证数据有效性,再用受控小模型系统研究数据规模、任务交互、编辑与生成关系、课程学习、数据方向和内容与伴随发声的学习轨迹。
整条数据管线如何从原始语音走到过滤后数据集
管线起点是开源语音库,内容编辑用 Emilia 的中英文子集,伴随发声编辑用 6 个已有非文字语音库。先重转写和强制对齐得到词时间戳,再用大语言模型生成编辑后文本和指令,接着用上下文语音合成只重生成编辑区,最后经规则、多模型过滤和人工抽查得到配对。
下图是管线的全貌,先看主路径再看定位与合成如何衔接,有助于理解后文每个组件的输入输出,图中从左上分类到左下收集再到中间对齐与指令生成最后到合成与质检形成闭环。
看图路径: 1. 先沿从原始语音到过滤后数据集的主链条看六个方框的顺序;2. 再看中间对齐分支如何给出起始和结束时间并交给合成;3. 最后看质量控制分支中规则过滤与多模型过滤如何汇合
论文图 1。原论文 Figure 1::“Overview of the speech editing data construction pipeline. ASR: automatic speech recognition; LLM: large language model; TTS: text-to-speech.”。
从像素可见,中间对齐面板用波形加词框标出开始与结束时间,右侧指令面板列出单跨、多跨、位置指代和伴随发声的指令与编辑后文本,底部合成面板以遮罩加文本为条件输出两路波形,右下质检面板把规则过滤与语音识别和说话人验证汇合后再经人工抽查得到过滤后数据集。
编辑类型如何划分并变成可执行的指令
内容编辑分 3 类。单跨是在一处插入、删除或替换,多跨是一条指令做 2 到 6 处互不重叠的编辑,每处独立选操作,位置指代是用序数、全部出现、句边界或时间区间指定位置。伴随发声编辑是插入或删除非文字事件。
原语音 × 编辑指令 × 目标语音: 原语音是要保留说话人和环境的部分输入,编辑指令是用自然语言说明改哪里和怎么改,目标语音是只在指定区域改变后的结果,三者组成编辑三元组,训练时模型以原语音加指令为条件去生成目标语音。
指令生成时先按规则选编辑区。插入和替换用大语言模型根据原文本和目标位置生成新内容,要求语法流畅且语义连贯,删除直接去掉所选内容。最终指令按模板拼装,例如在某个词后加词、删除某个词前面的词。多跨先抽取编辑数再一次生成多处操作,要求区间不重叠。
单跨编辑 × 多跨编辑 × 位置指代编辑: 单跨编辑只改一处,分为插入、删除、替换,多跨编辑是一条指令同时做 2 到 6 处不重叠修改,位置指代编辑是用第几个、全部出现、句首或时间区间来定位,三者分工覆盖从简单定位到灵活组合的指令形式。
位置指代的特殊之处是需要把第几个、从第几秒到第几秒等信息写进指令。时间指代直接用对齐时间戳构造,全局替换则生成一个替换词并应用到所有出现处。
时间戳和合成如何只改指定区域
为精确定位,论文用 Qwen3-ASR-1.7B 重转写全部源音频,再用 Qwen3-ForcedAligner-0.6B 做强制对齐。内容编辑的区域由对齐词或插入位置决定,伴随发声的位置由已有标注和周围词时间戳推断。合成用 F5-TTS,以编辑后文本和未改音频上下文为条件重生成被遮罩区。
为避免边界不连续,遮罩区向两侧各扩展 0.5 秒,扩展区之外的音频保持不变。这样既让模型听到上下文音色和环境,又不改动远处波形。合成目标可能带入瑕疵,因此对单跨、多跨和伴随发声采用反转策略,把合成语音当源、真实语音当目标,指令取逆操作。
位置指代因逆向不一定成立而保留原方向。反转的动机是让真实录音做监督,后文用音质实验验证该选择能否保护自然度和说话人相似度。
质量过滤和模型训练各更新了哪些参数
质量控制有三道自动过滤加人工抽查。规则过滤去掉合成后超过 30 秒的样本,转写过滤要求英文词错误率为零,中文转为拼音后拼音错误率为零,非文字编辑的期望文本不含标注事件以便只验文字保留,说话人过滤用 WavLM-TDNN 提取音色向量,要求原合成相似度高于 0.5。
强制对齐 × 上下文语音合成 × 数据反转: 强制对齐给出每个词的时间戳以确定要遮罩重生成的区域,上下文语音合成以编辑后文本和周围未改音频为条件只重生成该区域,数据反转把合成语音当源、真实语音当目标以获得更干净的监督,三者组合减少边界突变并保护音质。
主验证模型是把 AuK 用 LoRA 微调得到 VoxCanvas-Edit。AuK 由冻结的 Qwen2.5-Omni 编码器、音频变分自编码器和流匹配 Transformer 组成,编码器提取源语音和指令语义特征,变分自编码器把源语音编成隐变量,Transformer 预测流速度生成编辑后隐变量再解码。微调只更新约 20M 参数,约占原主干 1.3%,秩 16,学习率 5×10−4,训练一个轮次。
学习动态分析用更小的同结构模型,主干约 278.31M 参数,4 个双流块加 8 个单流块,隐维 1024,16 头,默认英文从零训练 200K 步,推理用指数滑动平均权重、32 步、引导系数 2.0。
用什么基准和指标衡量改对没有
主评测用 SpeechEditBench 的中英文内容和伴随发声子集,报告编辑准确率,对应其联合成功指标。学习动态分析另用完全匹配和编辑成功。完全匹配要求归一化转写与目标完全一致,编辑成功只要求指定操作成功。多跨另引入子编辑成功率,即每条样本中成功子编辑的平均比例。
完全匹配 × 编辑成功: 完全匹配要求转写后全文与目标文本归一化后完全一致,编辑成功只要求指定操作做对,例如插入内容出现或删除内容消失,前者严格反映全文正确性,后者反映操作是否执行,二者搭配区分操作学会与全文写对。
另 1 基准是 Ming-Freeform-Audio-Edit 的语义编辑,报告词错误率、编辑准确率、说话人相似度和未改区词错误率。英文用 Whisper-Large-v3 转写,中文用 Paraformer。所有主实验和动态分析都用 3 个随机种子平均。
\[\mathrm{EM}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}\left[\mathcal{N}(y_{i})=\mathcal{N}(\hat{y}_{i})\right],\]上式计算完全匹配,N 为样本数,分子统计归一化后转写完全一致的样本数,方向是越高越好,它反映全文正确性。
\[\mathrm{ES}=\mathrm{ACC}=\frac{1}{N}\sum_{i=1}^{N}t_{i},\]上式计算编辑成功或准确率,t 为每样本是否改对的示性,方向同样越高越好,它只考核指定操作是否执行。伴随发声还需内容保留通过语音识别阈值,联合成功要求目标事件与内容保留同时通过。
重转写能否提升生成的内容准确性
要回答的问题是训练转写质量是否影响语音生成。比较条件是同一架构与同一训练配置在 Emilia 上从头训练 1.1M 步,仅训练转写不同,分为原始转写与 Qwen3-ASR-1.7B 重转写。指标方向是词错误率越低越好,说话人相似度与 UTMOS 越高越好。
下表对比 3 种测试集上的内容准确性、说话人保持与预测自然度,是理解后文为何全量重转写的关键证据。
| Benchmark | Transcripts | WER (%)↓ | SIM↑ | UTMOS↑ |
|---|---|---|---|---|
| Seed-TTS zh | Original | 1.462 | 0.756 | 3.01 |
| Seed-TTS zh | Qwen3-ASR | 1.411 | 0.751 | 2.91 |
| Seed-TTS en | Original | 1.600 | 0.669 | 3.76 |
| Seed-TTS en | Qwen3-ASR | 1.469 | 0.662 | 3.66 |
| LibriSpeech-PC | Original | 2.146 | 0.664 | 3.93 |
| LibriSpeech-PC | Qwen3-ASR | 2.126 | 0.657 | 3.88 |
表中可见重转写在 3 组测试上均降低词错误率,同时说话人相似度最多下降 0.007,UTMOS 最多下降 0.10,说明内容准确性提升而说话人一致性与预测自然度仅有小幅变化。该表保留了原文的全部测试条件与单位,可作为复现转写选择的起点。
插入删除替换谁更难学且谁更吃数据
第二个问题是每种基本操作需要多少数据。受控实验对插入、替换、删除分别用 3 种规模训练,其余结构和步数一致,指标仍是完全匹配与编辑成功,越高越好。下表先把 3 种规模与约对应时长放在一起,便于理解后文为何把插入与替换归为一类。
| 条件 | 样本量 | 约对应语音时长 |
|---|---|---|
| 删除/插入/替换小规模 | 50K | 100 小时 |
| 删除/插入/替换中规模 | 500K | 1,000 小时 |
| 删除/插入/替换大规模 | 5M | 10,000 小时 |
上表整理自原文连续句,覆盖 3 种操作各自的 3 种数据量与时长,说明规模实验控制了操作类型而只改变数据量,单位与千分位保留原文写法。
下图比较单操作独立训练时三者的收敛速度,横轴是训练步数,纵轴是完全匹配与编辑成功,读图时先分清左、右 2 组再看颜色图例。
看图路径: 1. 对比左图完全匹配与右图编辑成功中三条曲线的相对高低;2. 观察删除曲线在训练早期上升最快的阶段;3. 注意插入曲线全程偏低且爬升最慢的位置
论文图 4。原论文 Figure 4::“Convergence curves of individual editing tasks under single-operation training.”。
图中可见删除最早爬升并在约 50K 步趋稳,替换居中,插入最慢且全程偏低。英文与中文趋势相似,但绝对值不同,且删除的编辑成功远早于完全匹配饱和,说明操作做对不等于全文完全写对。小数据在后期还出现下降,疑为过拟合。由此论文把插入与替换称为生成密集型操作。
混合训练与数据配比如何改变学习速度
任务交互实验比较单操作、两两混合与三者联合。插入加删除会明显拖慢插入而删除基本不受影响,删除加替换也会拖慢替换,插入加替换则加速插入早期学习但替换变慢。三者联合时插入的拖慢基本消失,说明不利的两两组合不一定在更大组合中延续。
配比实验比较生成密集型与删除的不同比例,下表先明确 3 种配比的对应关系,括号内为插入比替换比删除,便于对照后文曲线图例。
| 比较对象 | 生成密集型比删除 | 插入比替换比删除 |
|---|---|---|
| 偏删除配比 | 1:1 | 1:1:2 |
| 均等配比 | 2:1 | 1:1:1 |
| 偏生成配比 | 10:1 | 5:5:1 |
上表完整覆盖原文报告的 3 种配比写法,冒号与括号保留原意,说明实验只改变两类操作的相对占比而不改变总步数,比较条件公平。
下图展示只做编辑与两种编辑生成配比的编辑收敛差异,可直观看出适度生成监督的加速作用,读图时注意左右两图分别为完全匹配与编辑成功。
看图路径: 1. 对比只做编辑与编辑加生成两条曲线在早期的差距;2. 观察 1 比 1 与 1 比 10 两种生成配比的相对位置;3. 注意编辑成功图早期波动与完全匹配图稳定爬升的区别
论文图 7。原论文 Figure 7::“Effect of joint editing and generation training on editing convergence. The left and right panels show Exact Match (EM) and Edit Success (ES), respectively.”。
图中可见编辑与生成 1 比 1 在完全匹配和编辑成功上早期爬升最快,1 比 10 反而低于只做编辑,说明配比需要平衡。用预训练生成检查点初始化也能加速插入与替换,后期差距缩小,说明主要提升效率而非最终上限。
课程顺序数据方向与伴随发声有何特殊表现
课程学习比较 3 种策略。先单跨后多跨、只用多跨从零训练、单多跨 1 比 1 联合从零训练。多跨评测集为 1000 条,每种编辑数 2 到 6 各 200 条。结果是先单跨后多跨收敛最快且总体最好,联合训练反而比只用多跨更慢,说明已学会的基本操作可作为组合基础。
语音编辑 × 零样本语音生成: 语音编辑需要理解原语音内容并定位再生成新区段,零样本语音生成是给定文本和提示音频生成全新语音,前者可看作以理解为基础的生成任务,后者提供合成新内容的能力,二者联合训练时可以互相提供可迁移的生成与定位信号。
数据方向比较前向、反向、1 比 1 混合,均从同一生成预训练初始化并在均衡混合上训练 50K 步,用 UTMOS 和说话人相似度衡量自然度与一致性。反向在两项上均高于前向与混合,支持用真实录音做目标可减少合成瑕疵的解释。该结论在 50K 步均衡混合条件下成立。
内容与伴随发声对比用中文插入与删除各单训,在相同步数比较。为减少定位影响构造 100 条配对样本,共享位置锚点,并用大模型判断目标词或事件是否出现在指定位置。插入时伴随发声更快,删除时两者轨迹相近。
下表把数据集总量与微调代价放在一起,说明大规模合成加小代价微调是本文的可运行策略,数字与单位均来自原文连续句。
| 项目 | 规模 |
|---|---|
| 数据集总量 | 约 41M 对 |
| 每语言规模 | 约 20.5M 对 |
| 微调可训练参数 | 约 20M |
| 占主干比例 | 约 1.3% |
上表说明主验证只更新极小比例参数即获得两个基准上的持续提升,但绝对提升数字只在本文基准、协议与种子平均下成立,换基准或阈值需重测。
哪些能力与条件还没有被验证
数据集覆盖中英内容与伴随发声的增删,但不含情感、风格变换和依赖历史的多轮编辑。论文讨论指出多条内容指令常可合并为单条多跨指令,难点是回退或复用历史的指代,提出可用大语言模型规划器把多轮转为显式单轮,但多轮训练本身的必要性仍是开放问题。
评测方面伴随发声依赖模型打分,原文因原打分模型不可用而换用新版音频裁判,分数阈值与内容保留阈值会影响联合成功。学习动态多用英文小模型从零训练 200K 步,结论能否外推到中文大模型、更长训练或其它架构需谨慎。
数据管线依赖重转写、对齐、合成与多道过滤,任何一环的语言覆盖或事件标注偏差都会进入数据。人工只做抽查,不能保证逐条无误。合成扩展 0.5 秒、相似度 0.5 阈值等选择是工程折中,未必对所有场景最优。
复现第一步要准备什么并先跑通什么
复现先按论文管线准备开源语音与已有工具链。内容用 Emilia 中英文,伴随发声用 6 个非文字库,转写与对齐分别用 Qwen3-ASR-1.7B 与 Qwen3-ForcedAligner-0.6B,合成用 F5-TTS 并按词时间戳遮罩重生成,两侧各扩展 0.5 s。指令生成用大语言模型按附录提示词只生成插入或替换片段,删除直接去掉,最终按模板拼装。
接着实现三道过滤。合成语音长于 30 s 丢弃,英文要求 word error rate(WER)为零,中文转拼音后 pinyin error rate(PER)为零,音色相似度用 WavLM-TDNN 高于 0.5,再加人工抽查。单跨、多跨与伴随发声做反转,位置指代保留原方向。
模型侧先复现小模型配置。语义编码器冻结 Qwen2.5-Omni-3B,音频变分自编码器冻结,Transformer 主干 4 加 8 块,隐维 1024,16 头,AdamW 融合版学习率 1×10−4,热身 2500 步,16 卡每卡 18000 帧,指数滑动平均 0.9999。主验证则用 LoRA 微调 AuK,秩 16,学习率 5×10−4,批量 2.24M 帧,一个轮次。评测固定 3 种子平均,并严格区分完全匹配与编辑成功。
关于可用性,原文脚注给出数据集、管线与演示链接,但本次未验证可达性,不应声称已公开可用或可运行,需自行核对链接与权重状态后再谈开源复现。
什么时候值得尝试这种数据与训练搭配
当已有指令编辑基线但缺配对数据,或需要中英插入删除替换加简单伴随发声时,该管线值得尝试。它的价值在于用对齐加上下文合成把定位与保留解耦,再用反转与过滤保护音质,微调少量参数即可提升内容与伴随发声准确率。
实践上先保证删除已稳定,再重点补插入与替换数据,三者均等是测试中的稳妥起点。需要新内容生成时可加入适量生成数据或用生成预训练初始化,但生成占比过高会反损编辑。若目标是多跨,先训好单跨再转多跨比直接混合更省步数。
仍需补的验证包括更长训练下的规模收益、其它配比与语言上的交互是否一致,以及伴随发声在真实录音评测中的稳定性。绝对提升数字只在本文基准、协议与种子平均下成立,换基准或阈值需重测后再做选型。
📎 论文与评分元数据
排名:前50% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
