只改那一刻、其余不动：用指令加区间实现多声混合的时间定位编辑

英文题目：Edit the Moment, Keep the Rest: Time-Localized Audio Editing via Instruction

会议身份：conference:interspeech:2026:conference-paper-id:jung26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #指令微调 #环境声 #音频生成

评分：6.7/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jinwoo Jung：机构信息未能从会议 PDF 纯文本可靠映射
• Gihun Son：机构信息未能从会议 PDF 纯文本可靠映射
• Won-Gook Choi：机构信息未能从会议 PDF 纯文本可靠映射
• Joon-Hyuk Chang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理复调混合音频的时间定位编辑，输入为原始混合波形加自然语言指令与时间区间，输出为仅在指定区间改动的波形，难点在于同类事件多次出现时需选中特定实例并保持其余背景不变。方法链分为三步：首先在线合成三元组以构造共享背景与前景混合的输入目标对并生成含起止时间的指令，其次将参考区间与编辑区间编码为时间嵌入并经交叉注意力与时间步条件双路注入扩散变换器，最后对移动与延长任务拼接源事件掩码以显式标记待保留实例。相比仅做粗粒度增删改或依赖事件类控制信号的已有编辑器，该机制同时约束选哪个实例与改哪里，因而统一支持增加、删除、替换、移动与延长五种操作。为验证细粒度控制，作者在1000个合成混合样本上以0.1 s分段F1评测目标区间事件正确性，EMKR在增加任务目标区达到87.7%，远超SAO-Instruct的26.9%与AudioEditor的44.2%。结论仅适用于合成设定的前景背景叠加场景，对真实稠密重叠、长时混响或未见声类的外推尚未验证。原文未披露训练之外的推理与部署成本。

🔗 开源与复现资源

• 演示资源：https://jinwoo0302.github.io/emkr-demo/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，哪些必须原样保留？

这篇论文处理的对象是一段已经混好的音频，里面有持续的背景声和若干短促的前景事件，例如街道底噪上叠加多次狗叫或打字声。输入包括三样东西：原始混合音频、一句自然语言编辑指令、两个结构化时间区间。指令会写明做什么和在什么时间做，例如在 4.0 秒到 4.5 秒之间加一声狗叫。两个区间分工不同，一个标出输入中要参照或要动的位置，一个标出编辑结果应该出现或消失的位置。

目标输出是一段新的混合音频，要求只在指定时间完成增加、删除、替换、搬移或延长，其余背景和其他同类事件尽量原样保留。必须保留的信息包括背景声纹、非目标事件的位置与音色，以及搬移和延长任务中源事件本身的声学身份。初学者容易把这件事理解成整段重新生成，实际上论文要求的是局部手术：动一处而不重写全片。评估也围绕这两端展开，一端看目标时间是否出现想要的事件，另一端看非编辑时间是否与原音频一致。

演示页当前可用，链接状态为可用，作者在摘要脚注给出在线试听地址，本文只据此说明可试听，不转述听感结论。

已有编辑路线为何在多声混合中定不准时间？

论文把相关工作分成 3 条路线。第一条是指令驱动的扩散编辑，例如支持加删换的模型和支持自由形式编辑的模型，它们能按文字改内容，但通常不指定改在哪 1 秒，遇到同一类事件出现多次就无法只改其中 1 次。第二条是免训练编辑，利用时频掩码或交叉注意力操作来定位，或用反演强度控制编辑幅度，这类方法不需要为编辑重新训练，但对具体某 1 次事件实例的精确定位能力有限。

第 3 条是引入时间信号的生成与编辑，例如按事件类别指定何时出现，或用事件滚动等控制输入给出时间条件，它们能控制某类声音何时发生，却不是跟随自然语言编辑指令去改已有混合中的某 1 次出现。论文指出，多声混合的难点在于实例混淆：类别相同但时刻不同，模型需要同时理解语义类别和时间实例。已有方法要么缺时间，要么缺指令，要么缺实例标识，因此在需要 100 毫秒级精度的搬移和延长上表现不足。

本研究的选择是保留指令接口，同时显式加入两个时间区间和源事件掩码，把类别、时刻和实例三者绑定。

五类编辑任务各自改变了什么时间关系？

论文定义了 5 类任务，每类对输入与目标的时间关系要求不同。增加是从干净背景出发，在编辑区间内混入一个新的前景事件，参考区间与编辑区间一致。删除是从已混入多个同类实例的混合出发，选中其中一个参考区间并在编辑区间内将其拿掉，目标区应只剩背景。替换同样选中一个实例，但在编辑区间内换成另一类别的前景声音。搬移选中源实例所在的参考区间，再采样一个不重叠的目的编辑区间，把声音从起点拿掉并放到终点。

延长要求编辑区间包含参考区间，保留参考区间内原片段不变，再向外生成连贯的延续。举例来说，搬移铃声从 4.5 秒到 6.6 秒移到 3.4 秒到 5.5 秒，就是典型的起点与终点分离；延长口琴从 6.8 秒到 8.8 秒到 6.1 秒到 10.0 秒，就是包含关系的延续。理解这 5 类任务的关键是先分清哪里是源，哪里是目标，哪里必须不动。

多声混合 × 实例级时间定位编辑： 多声混合指背景声与多个前景事件在时间上叠加，同一类声音可能出现多次；实例级时间定位编辑指只改其中某 1 次出现而不碰其他同类出现和背景。二者搭配的原因是混合越复杂，粗粒度整段改越容易误伤，组合意义是把编辑对象从声音类别缩小到带起止时间的 1 次出现。

模型总览：一次编辑走过哪些表示与模块？

论文的方法简称改此刻留其余，骨干是稳定音频开放模型，包括变分自编码器、基于第五代转换器的文本编码器和扩散变换器。1 次编辑的流程可以沿一个样本走完：输入混合波形先被变分自编码器编码成潜变量序列，同时加入前向加噪得到带噪潜变量；指令文本被文本编码器变成语义嵌入；4 个时间标量被时间嵌入层变成时间嵌入；源事件掩码标出参考区间。

扩散变换器在潜变量域做文本条件去噪，输入是带噪潜变量、干净潜变量和掩码的拼接投影，条件是语义嵌入加时间嵌入与步数嵌入，最终预测噪声并经解码器得到编辑后波形。训练用的三元组在上半部分在线合成，推理时的模块连接在下半部分展示。下面的导读先帮你定位图中上下两排的分工，再看标记后解释各箭头的真实含义。

下面这段先说明该总览图为什么值得细读，它把数据构造与模型推理放在同一张图里，上下对照才能看懂监督从哪里来、条件从哪里进。

看图路径： 1. 先看上半部分五列任务：输入波形与目标波形如何因前景叠加位置不同而变化；2. 再看每列下方指令句中时间数字与箭头指向的参考区间和编辑区间；3. 接着沿下半部分从左向右走输入音频经编码器、时间嵌入与掩码进入扩散变换器再解码的路径；4. 最后对照右侧五段编辑后频谱，确认只在指令时间附近发生变化

论文图 1。原论文 Figure 1：“Overview of EMKR, an instruction-driven framework for interval-based, time-localized audio editing in polyphonic mixtures.”。

该图上排是五任务的数据生成示意，前景库、背景库和指令库汇合后按任务规则产生输入音频与目标音频，每列下方都有一句带具体秒数的指令，例如增加、删除、替换、搬移和延长的英文指令。下排左侧是输入音频的频谱示例，中间是编码器、时间嵌入器、文本编码器、多头自注意力和多头交叉注意力组成的扩散变换器结构，右侧是 5 段编辑后音频的频谱。中间的源事件掩码只在搬移和延长时激活，时间嵌入同时走交叉注意力分支和步数嵌入分支。读图时不要把同色块当成同一对象，要按箭头区分主潜变量路径与条件路径。

时间信息如何进入文本注意力和扩散步数？

时间条件的输入是 4 个标量，分别是参考起点、参考终点、编辑起点和编辑终点。每个标量经过时间嵌入层映射为 768 维向量，共得到 4 个嵌入。模型用两条路径注入扩散变换器。第一条是把 4 个时间嵌入作为附加标记拼到文本嵌入序列之后，一起参与交叉注意力，使模型能联合注意指令语义与两个区间，在 5 类任务间保持一致的时间控制。第二条是把 4 个嵌入拼成 3072 维向量，经多层感知机投影后加到扩散步数嵌入上，并作为时间条件标记拼到变换器输入。

这样做的分工是语义路径管选什么事件，时间路径管在何时动手。论文强调这与原来只用全局开始时间和总时长的做法不同，原来只能控制生成片段的起点与长度，现在能控制混合内部的局部区间。初学者可以这样复述：时间数字先变成向量，再分别送入管语义的注意力和管去噪节奏的步数条件。

参考区间 × 编辑区间： 参考区间负责指出输入音频中要动哪一段，编辑区间负责指出结果音频中增删改后应出现或消失在哪一段。前者管选择，后者管落点，搭配理由是搬移和延长需要起点与终点不一致，组合后模型能区分移走哪里与放到哪里。

源事件掩码为何只在搬移和延长中打开？

源事件掩码是一个与潜变量对齐的二值序列，在参考区间内为 1，其余为 0。记输入混合的干净潜变量为编码结果，带噪版本为扩散某步的噪声潜变量，模型把带噪潜变量、干净潜变量和掩码沿通道拼接后再经多层感知机投影，作为变换器输入。掩码只在搬移和延长时激活，在增加、删除和替换时置零。

理由是搬移需要把源事件从起点搬到终点并保留其音色，延长需要保留原片段并向外生成连贯延续，两者都是保真关键任务，若无显式实例提示，模型容易改错背景或其他同类出现。掩码的作用是明确指出哪个实例是源，促使模型在搬移时从参考区间取走并放到编辑区间，在延长时以参考区间为锚向外扩展，同时少动其余混合。论文的消融显示打开掩码后非编辑区和源区的保持更好，目标区控制也更准。

区间时间条件 × 源事件掩码： 区间时间条件把 4 个时间标量变成嵌入并送入文本交叉注意力和扩散步数嵌入，负责告诉模型何时编辑；源事件掩码在参考区间置 1 其余置 0 并与潜变量拼接，负责标出要保留声纹的源实例。二者搭配是因为只知道时间仍可能认错实例，组合后一个管时间约束、一个管身份保持。

训练三元组是在线合成的，监督从哪里来？

训练不使用预先存好的固定编辑对，而是每步在线生成。对于每个样本，先从背景集合抽一段背景声作为输入与目标共享的底噪，再从前景集合抽一段前景事件并抽一个指令模板，然后按任务规则在指定时间把前景与背景混合，得到输入音频与编辑目标音频，最后把事件名与区间填入模板得到指令，例如在 4.0 秒和 4.5 秒之间加狗叫。增加是干净背景加目标区间混合；删除是多实例混合中去掉被选实例；替换是去掉被选实例并在同区间混入另一类别。

搬移是从参考区间拿掉并放到不重叠的目的区间；延长是把被选实例从参考区间扩展到包含它的更大区间并保持原段不变。模型从稳定音频开放的预训练检查点初始化，用优化器训练 60,000 步，批量 32，学习率取 5 乘 10 的负 5 次方，在单张显卡上约 40 小时。监督来源是合成的目标波形，梯度路径是扩散去噪损失回传到变换器与新增的时间嵌入和投影层，论文未报告冻结哪些原始参数，因此复现时应把哪些层可训练记为缺项，不要从模型名称推定全部微调或全部冻结。

在线时间编辑数据生成 × 三元组： 在线时间编辑数据生成指每步现抽背景片段、前景片段和指令模板并按任务规则混合出输入与目标音频，三元组指输入音频、目标音频与带时间的自然语言指令。前者是构造动作，后者是监督形式，组合意义是不需预先存固定编辑对也能持续提供带精确起止时间的监督。

数据、基线与指标如何组织才能比出定点能力？

背景声从 10 秒音频描述语料和较长片段中随机采样，前景事件从环境声分类集、大规模标注集及较短片段中抽取，测试集用同样的即时混合流程合成 1000 个编辑样本，且背景、前景与指令组合与训练集不重叠，任务间均衡。基线包括指令编辑模型、免训练反演编辑的两种强度、免训练的目标描述编辑，以及同骨干的自由形式指令编辑，分类器无关引导尺度按预实验取 10，反演方法用 100 步去噪并用大语言模型由混合元数据生成描述。

客观指标分 3 组：分布相似性看整体是否像真音频，事件正确性用声事件检测的分段分数看指定时间是否出现目标事件，信号保真用对数谱距离与尺度不变信失真比看波形与频谱差异。主观评测请 10 名听众按 5 分制打感知质量、内容相关、时间准确与背景忠实 4 维。区域级评估把每段音频切成非编辑区、源区和目标区，非编辑区比编辑前后是否一致，目标区在 0.1 秒粒度上算事件分数以检验 100 毫秒精度，删除的目标区只剩背景故不算该分数。

整段级评估在全片上算分布距离与 1.0 秒和 0.1 秒事件分数。

区域级与整段级结果支持了什么，又付出了什么？

要回答定点改是否成立，需要同时看目标区是否改对、非编辑区是否没被误伤，以及与可运行基线的条件是否一致。下表把区域级主要数字放在同一版式下比较，指标方向是分段分数越高越好，对数谱距离越低越好，信失真比越高越好。表前的问题是：在增加、删除、替换、搬移和延长五任务中，本方法是否在目标时间更准，同时在非编辑时间保持不差。比较条件是同一套在线合成测试集与同一区域划分，基线均为论文实际可运行的已有编辑器。

表后解释需要同时讲收益与代价。本方法在增加与替换的目标区超过 80%，明显高于其他方法，论文报告这支持了 100 毫秒级定点控制；搬移与延长同样领先，但搬移目标分数相对较低，说明搬移仍是最难的。非编辑区距离保持最好或次好，说明改到位的同时误伤较小。

代价是主动修改必然改变波形，某些区域的信失真比不如几乎不动原音频的基线，例如同骨干基线有时距离更小却是因为没执行编辑，主观时间与内容分很低。未胜出项也要指出：本方法在增加与替换的目标分数甚至略超真值，论文解释为弱标注源数据常在事件标签中留下静音间隙，而模型把指定区间填得更满，这不是超真值证明更真，而是标签口径差异。

非编辑区保真度 × 目标区正确性： 非编辑区保真度用对数谱距离和尺度不变信失真比衡量其余背景是否被误改，目标区正确性用 0.1 秒分段事件分数衡量指定时间是否出现想要的事件。前者管不误伤，后者管改到位，搭配理由是只看一端会掩盖只改不动或大面积重写的取巧，组合才能判断定点编辑是否成立。

拿掉源事件掩码后，搬移和延长哪里变差？

消融只针对保真关键的搬移和延长，比较打开与关闭源事件掩码。论文报告，关闭掩码时模型缺少源实例的显式提示，可能连带改动背景或其他同类出现；打开后两任务在非编辑区与源区的保持都改善，目标控制也改善。搬移的目标分段分数上升且目标对数谱距离下降，但目标信失真比略降，原因是搬移本身要求较大的波形变化，分数与波形距离方向不一致。延长的目标分段分数上升，说明时长控制更好。

这一组对照支持掩码有助于区分源实例并减少误改，但它没有证明掩码在增加、删除和替换中也有用，因为那些任务训练时掩码恒为零，未评测即为边界。复现时应只在搬移和延长打开掩码，若全任务打开则偏离原文条件。

哪些结论尚未验证，哪些数字不能直接换算？

首先是整段级与主观的边界。整段分布距离与事件分数显示本方法整体更接近参考分布，但总体趋势不等于每组每步都成立，搬移目标的波形失真仍提示大改动的代价。其次是标签与指标口径。区域级 0.1 秒分数与整段 1.0 秒分数是不同聚合对象，数值相同也不是同一指标，不能把分段分数差值放到模型列下当成可部署收益，也不能把自动分数当成人评。百分点与相对百分比不同，论文说超过最佳基线约 25% 时应理解为有限解释，需回到原表核对是哪个分辨率。

第三是未测量项。论文未报告误判率、延迟、推理开销与输出帧率，也未给出统计显著性方法，因此不能承诺这些量得到改善。第四是数据边界。测试集是合成混合，背景、前景与指令组合虽与训练不重叠，但仍来自同一套混合流程，真实录音中混响、重叠与标注噪声可能更大，属待验证。最后是实现缺项。

论文未明确冻结与更新的层、梯度是否经过变分自编码器与文本编码器、掩码对齐到潜变量帧的具体下采样方式，复现需补这些验证。

要复现应先准备什么，再跑哪组对照？

复现先做三件事。第一是按原文准备数据管线：背景取音频描述语料与较长片段，前景取环境声与大规模标注集及较短片段，用在线混合按五任务规则生成输入、目标与带时间的指令，并保留参考区间与编辑区间的元数据用于训练与区域评估。第二是用同骨干预训练检查点初始化，加入四标量时间嵌入与源事件掩码拼接投影，保持训练步数、批量与学习率与原文一致，记录单卡约 40 小时的预算仅为参考，实际耗时随硬件与实现而变。

第三是按原文跑可运行基线：同骨干指令编辑取引导尺度 10，反演编辑取两种起始强度与 100 步去噪，描述编辑用同一大语言模型流程由混合元数据生成描述，避免用事后最优或人工精修描述代替可部署条件。评估时先复现区域划分，非编辑区算距离与信失真比，目标区在 0.1 秒粒度算事件分数，删除不算目标分数；再算整段分布距离与两种粒度事件分数，并请听众按 4 维打分。整段与主观数字可整理如下，方向是分布距离越低越好，事件分数与主观分越高越好。

表后说明使用方式与限制。整段数字显示本方法分布距离最低且两种粒度事件分数最高，支持整体质量与定位兼得而非二选一；主观 4 维最高且接近真值，尤其时间与内容优势明显。但要注意整段表是跨任务平均，不能代替区域级结论；主观仅 10 名听众，样本量有限。

免训练描述基线的主观分在原文中未完整报告，空缺即为未评测，不应补写。若复现中发现同骨干基线距离更小但事件分数很低，应检查其是否几乎未编辑，这正是原文指出的取巧现象。

何时值得尝试这种带区间的指令编辑？

当任务满足 3 个条件时值得尝试：混合中有多个同类事件只需改其中 1 次，编辑时间必须精确到亚秒级，且其余背景需要保留。典型例子是教学示例而非效果承诺，例如把第二次出现的打字声删掉而不碰第 1 次，或把某段铃声搬到另 1 秒而不改底噪。此时应提供明确的参考区间与编辑区间，并在搬移和延长中打开源事件掩码。若只有类别而无时间，或整段重写也可接受，则不必引入这套区间条件。

还需补的验证包括真实录音上的泛化、掩码对齐误差的影响、以及推理成本与延迟的测量。代码与权重可用性方面，本文证据只给出演示页可用，未给出代码开源或权重下载的声明，因此应写本次未能确认代码与权重可达，不要把演示可用等同于系统可运行。回到中心判断：显式区间加源掩码把编辑从改类别推进到改实例，这是论文最强的证据所在，而搬移的大波形变化与合成数据边界是主要代价与限制。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总