粗框也要贴边、对时也要对帧：声画同步实例编辑的空间与时间分工

英文题目：Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

会议身份：conference:cvpr:2026:conference-paper-id:Zheng_Audio-sync_Video_Instance_Editing_with_Granularity-Aware_Mask_Refiner_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #流匹配 #音视频 #音视频生成

评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Haojie Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Shuchen Weng：机构信息未能从会议 PDF 纯文本可靠映射
• Jingqi Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Siqi Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Boxin Shi：机构信息未能从会议 PDF 纯文本可靠映射
• Xinlong Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为原视频、粗粒度实例遮罩与文本编辑指令，输出为目标实例外观或语音被改写且音画同步、背景与非目标声音保持不变的视频，难点在于粗遮罩空间不准与音频视频帧级同步难以兼顾。音频同步视频主干先将文本、视频与精选音频编码为隐token并以帧级交叉注意力生成编辑结果，为后续约束提供时序对齐基础。粒度感知遮罩精炼器以视频token替代文本并注入精度因子与音频线索，将粗遮罩迭代精化后回送主干作为区域约束，实现空间精度与时间引导分离。随后自反馈音频智能体经分离-生成-混音-返工产生精选音频，为前两步提供时序引导并形成闭环。与仅做场景级对齐或反演再生的已有方法不同，该框架显式分离空间精化与音频引导并互相反馈，具有实例级可控意义。在音频智能体评测设置下，自反馈音频智能体在AF条件的Acceptable或Perfect占比指标为91%以上，高于在RP条件的Acceptable或Perfect占比指标85%。该结论适用边界受限于单主发声实例短片段编辑，多实例需串行处理，长视频与极端遮罩退化尚未验证，其训练成本为在8块NVIDIA A800硬件上训练160k步。

🔗 开源与复现资源

• 演示资源：https://hjzheng.net/projects/AVI-Edit/ — 链接可访问（HTTP 200）
• 第三方资源：https://elevenlabs.io — 链接可访问（HTTP 200）
• 第三方资源：https://openai.com/index/sora-2/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，必须保留什么？

这篇论文研究的不是从零生成有声视频，而是对已有视频做声画同步的实例编辑。输入有三样东西，一段原视频及其伴音，一个粗糙的实例掩膜用来指明要改哪一个实例，一段文本描述用来指明往哪个方向改。输出是同一场景的新视频与新伴音，要求目标实例的画面与声音都按文本改变，而背景画面与非目标声音尽量保持不动。举例来说，框住画面左侧的长发女性并写换台词，输出就要换她的语音但不换她的脸，这是例子。

框住路上的车并写换颜色，输出就要换车漆但不换道路，这也是例子。 初学者容易把这理解为先改画面再配音的两步流水线，论文强调必须在生成过程中就保持逐帧声画对齐，否则口型动作与声音事件的时刻会对不上。项目演示页在证据中声明当前可用，补充材料中有生成视频与音频，但本解读只依据文字证据复述方法。

必须保留的信息包括骨干基于 Wan2.2，掩膜精修器用精度因子控制粒度，音频智能体走分离生成混音返工 4 步，数据集的规模与标注，对比基线与评测指标。 凡是教学举例都会标明是例子，不引入无源数值。后续按学习依赖展开，先讲已有路线为何不够，再讲 4 个场景如何定边界，然后走完 3 组件链路，再讲数据构造与联合训练，最后讲实验条件、结果反证与复现清单。记住这条主线，就不会把空间精度与时间同步两件事混在一起。

已有路线为什么做不到实例级声画同步？

第一条路线是纯视觉视频编辑。论文点名的 VideoPainter 与 VACE 等方法用双分支编码器或涂鸦姿态等辅助条件做空间控制，时间一致性比早期基于图像模型的方法好，但从设计上就不接收音频。改完画面后原伴音要么被丢掉要么对不上，这类方法适合只换外观的任务，不适合要换台词或音效的任务。它们的空间控制是实例级的，但时间控制没有声音参与。 第二条路线是音频引导的图像生成，例如把音频映射到文本词元再送入文生图模型。

由于图像是静态的，音频被压缩成全局语义，无法提供何时开口、何时水声变大的逐帧信号。这条路线有声音语义，但没有视频的时间轴。第三条路线是声画同步的视频生成与编辑，生成侧同时合成声音与画面，编辑侧用跨模态对比做场景级对齐。论文指出场景级对齐不够细，对象级而无时间控制也不够，代表是反演再生范式难以指定事件精确时刻。 对初学者而言，记住同输入同目标的对照才公平。

同样给掩膜与文本，纯视觉方法不比同步，场景级同步方法不比实例边界，生成模型直接改编辑任务需要额外说明如何处理背景保留，否则比较条件不一致。论文把缺口定位为实例级空间控制加细粒度时间控制，这正是后续两大组件要补的位置。

四个代表场景如何定义任务边界？

论文用 4 个场景把任务说具体。第一是语音修改，保持女性外貌不变，只换她说的内容，这考验语音替换与口型重同步。第二是外观改变，保持原语音不变，只换男性角色的帽子衣服等外貌，这考验背景保留与外观可编辑性。第三是语义类别转换，把狗变成猫，同时把犬吠变成猫叫，这考验画面与声音同时跨类别。第四是纯音频驱动的动力调整，只用音频线索改变水流动态，这考验音频作为时间控制信号的独立作用。

4 个场景共用同一接口，粗掩膜指谁，文本说怎么改，策划后的音频说何时发生。 下面这张图把 4 个场景并排展示，左侧是带粗掩膜的输入帧与原波形，右侧是输出帧与新波形，中间用箭头表示编辑方向，顶部绿条给出文本描述，橙色波形给出声音包络，读图时要把三者对照起来看。

看图路径： 1. 先按左侧黄底小标题区分语音修改、外观改变、类别转换与纯音频动力调整四行；2. 再对比每行左侧输入帧上的浅色粗掩膜与右侧输出帧的人物服装或动物形态变化；3. 最后看每行上下两条橙色波形包络，确认语音段与猫叫段的声轨是否同步变化

论文图 1。原论文 Figure 1：“AVI-Edit effectively edits audio-sync video instance based on a coarse instance mask to indicate the target instance and a text description to specify the edit direction.”。

读图时不要只看人物变没变，要同时核对三件事。第一是掩膜是否只盖住目标实例，例如第一行只盖金发女性，第二行只盖路人，第三行只盖狗，第四行只盖水柱。第二是文本中颜色服装与台词是否在输出中落实，例如蓝外套与猫叫描述。第三是波形包络的变化是否与事件对应，例如猫叫时刻出现明显突起，水流场景保持连续。论文报告生成视频与伴音在补充材料中，正文只把这张图当作能力示意，不当作定量证据。

三组件如何分工并连成一条链路？

整条链路可以沿一个样本走一遍。假设输入是一段聚会视频，文本要求把女性换成穿蓝夹克红内衬的男性并说新台词，掩膜粗略框住女性，伴音是原环境声，这是例子。第一步是编码，文本经编码器变成文本词元，视频经变分自编码器变成视频隐码，掩膜下采样成掩膜词元并附带精度信息，原伴音送入音频智能体。第二步是策划音频，智能体输出混音后的声轨，再经语音编码与卷积变成音频词元。

第三步是生成，视频骨干与掩膜精修器都收到音频词元，精修器把粗掩膜收紧，骨干用精细掩膜做背景保留，用文本决定改成什么，用音频决定何时开口，最后解码得到输出视频。 整体框架图把这三块并列画出，左侧是编码，中间两列是视频骨干与掩膜精修器，右侧是音频智能体，音频词元用横向连线同时注入中间两列，图例区分了文本视频掩膜精度与音频等词元类型。

看图路径： 1. 先沿顶部用户输入到左中视频分支再到左下输出视频的主路径看数据流向；2. 再看中间掩膜下采样到精修掩膜的分支如何汇入视频词元与精度信息；3. 最后看右侧音频智能体从伴音到编辑计划再到分离生成混音返工的闭环箭头

论文图 2。原论文 Figure 2：“Illustration of our AVI-Edit framework.”。

解释这张图时注意图例与堆叠。绿色菱形是文本词元，浅蓝方块是视频词元，红色是可选控制词元，灰色是掩膜词元，深灰是精度，橙色圆圈是音频词元。中间每列都堆叠自注意力、多模态交叉注意力、前馈与帧级交叉注意力并重复多次，右侧从上到下是音频描述、编辑计划、分离与生成模型、混音、多模态智能体打分与返工箭头。理解了这条主路径，后面分别讲空间与时间两个分支就不容易迷路，也能明白为何音频要同时送给生成与精修。

粒度感知掩膜精修器怎样把粗框变贴合？

白话说，粒度就是掩膜有多糙。英文叫 granularity，论文用精度因子 precision factor 来量化，取值在零到最大值之间，最大值表示退化最严重例如包围盒，零表示精确轮廓。精修器的英文是 granularity-aware mask refiner，简称 GAMR，它的结构与视频骨干类似，也是扩散变换器，但有两个关键改动。一是把多模态交叉注意力中的文本词元换成视频词元，让模型依据视觉语义推理边界。二是保留帧级交叉注意力接收策划音频，让边界推理与事件时刻对齐，同时把精度因子经线性编码后通过归一化与门控注入每一块。

实例掩膜 × 精度因子： 实例掩膜的分工是指示画面中哪一个实例允许重画、其余背景必须保留，精度因子的分工是量化这块掩膜有多粗糙，越接近包围盒取值越大、越接近真实轮廓取值越小；二者必须搭配是因为用户输入天然粗糙，模型若不知道粗糙程度就无法决定收紧力度，组合后精修器能在每一步去噪中按精度条件把粗框逐步收敛到贴合物体边界。

训练时为了模拟用户给的糙掩膜，论文从数据集中取视频与精确掩膜真值，再用一组预定义的高斯模糊核按采样到的精度退化成任意粒度的输入，核尺寸与标准差由精度决定。监督用聚焦损失衡量生成的下采样掩膜与真值下采样掩膜的差异，超参数在原文中给出。

推理时是迭代精修，在常微分方程求解的第零步输入用户粗掩膜与其精度，之后每一步把上一步估计的掩膜当作新的输入掩膜，并按预设退化计划调整精度，每步精修后的掩膜直接作为视频骨干背景保留用的掩膜。 这种做法的好处是粗输入也能用，代价是每步都要跑精修器，推理开销比直接用粗掩膜大。复现时要注意冻结与微调范围，原文冻结空时变分自编码器，只微调扩散变换器，不能把编码器也一起大幅改动，否则隐码尺度会漂移。

视频骨干与音频智能体如何分管画面与时间？

白话说，视频骨干负责画画面，音频智能体负责定时间。视频骨干英文是 audio-sync video backbone，基于 Wan2.2 搭建。它的输入隐码构造是把噪声隐码与原视频隐码按掩膜插值，掩膜内用噪声以便重画，掩膜外用原视频以便保留背景。主干每块在自注意力、多模态文本交叉注意力与前馈之后，加一层帧级交叉注意力读取策划音频词元，从而实现逐帧对齐。另有统一接口容纳可选控制，涂鸦与姿态用逐元素相加注入，参考图用拼接注入。训练目标是流匹配，预测从噪声到干净隐码的速度场，推理是从高斯噪声解常微分方程得到编辑后的干净隐码。

帧级交叉注意力 × 策划音频词元： 策划音频词元的分工是把保留声与新合成声按时间轴混成一条可控声轨，帧级交叉注意力的分工是让视频每 1 帧只读取对应时刻的音频特征；搭配理由是口型开合与水流快慢都需要逐帧信号而非全局语义，组合意义是把音频的时间控制力注入视频扩散主干，使事件发生时刻可由声音直接驱动。

音频智能体英文是 self-feedback audio agent，走分离生成混音返工 4 步。先用音频描述器把原伴音转成语义摘要，再用视觉语言模型结合视频、粗掩膜、摘要与文本输出编辑计划，包括保留什么与生成什么。分离侧是领域专用集合，含人声与非人声事件两个子模型。生成侧是音轨集合，含语音音乐音效 3 类，用外部文本转语音、文本转音乐与文本转音效实现。两路得到保留分量与生成分量后混音成策划音频，再由多模态大模型打感知质量分，超过阈值才接受，否则给出改进指令分别反馈给分离与生成模型，直到达标或达到最大迭代数。

分离模型 × 生成模型： 分离模型的分工是从原伴音中取出需要保留的成分例如掌声与环境声，生成模型的分工是按文本合成需要新增的成分例如男声音乐与音效；搭配理由是编辑既要留住非目标声又要创造目标声，单一模型难以兼顾人声与非人声，组合意义是通过混音拼成完整策划音频，再由多模态模型打分决定是否返工。

这个设计的搭配理由是鲁棒性，人声最适合专用模型，非人声事件与音乐音效各有专长，混音后统一打分能拦截不自然的结果。限制是依赖外部现成音频组件与大模型判断，质量阈值与最大迭代数的具体取值正文未报告，复现时需自行设定并记录，不能从模型名称推定实现细节。

数据怎样构造，模型怎样联合训练？

数据集叫 AVISET，为实例级声画对应而建。来源分两路，一是公开视频五千多小时，包括电影与短片与声音数据集，二是开放网络视频五千多小时，均保留伴音。视频过滤先用场景检测切单镜头，再用光流去静态低运动片段，再用美学预测器去低画质。音频过滤先用音频美学模型去低质，再用全模态模型分成人类语音与非语音事件。语音路用说话人检测与转写找活跃说话人并丢弃多人同时说话，非语音路过滤多发声实例并预测语义类别。

实例掩膜用开放词汇分割按人框或事件类别生成，并丢弃过小或空掩膜。文本标注用视觉语言模型生成场景级描述，测试集额外生成改写指令并经志愿者人工核验。

流匹配目标 × 掩膜精修目标： 流匹配目标的分工是教视频主干预测从噪声到干净隐码的速度场以生成画面，掩膜精修目标的分工是用聚焦损失教精修器输出贴合真值的二值掩膜；搭配理由是画面生成与区域定位需要联合优化否则背景会被误改，组合意义是以权重系数把两项损失相加并同时微调两个变换器，使生成时使用的掩膜本身就是精修后的结果。

训练细节是冻结空时变分自编码器，只微调扩散变换器，联合损失为流匹配损失加权重为 1.0 的掩膜精修损失，共训练多 10000 步，用多卡加速，空间分辨率 720，优化器与学习率在原文中给出。下表把可复现的构造与训练条件收拢在一处，数字写法保留原文，单位只在原文明确处给出，便于对照实现是否一致。

表前已提出比较问题，用多大什么样的数据、以什么预算训练出空间与时间两路能力，表中给出划分规格预算与监督来源，指标方向是规模越大覆盖越广但过滤越严则分布越干净。

表后需要强调代价与边界，多人同说与多声源被过滤掉，这保证训练干净但也意味着模型未在原文条件下学过多目标混杂，冻结编码器节省显存但也把细节上限交给预训练，复现时若换编码器版本需重新核对隐码尺度。

与谁比，在什么条件下测什么？

除自建数据集外，论文还在公开的 AvED-Bench 上测泛化，并按相同流程为其补标实例掩膜。每次从测试划分随机抽取部分片段。基线有 3 类，AvED 按原文设置重实现，因代码不可用。Ovi 本是生成模型，用零样本修复策略适配为编辑，即只把掩膜区换成高斯噪声。VACE-Foley 是串行基线，先用视频编辑改视频再用音频生成配音频，三者都在自建集上微调。

定量对比时为公平起见给所有方法真值掩膜与文本，定性对比时则给粗掩膜与文本以模拟真实用法。指标分 3 组，视觉质量用视频距离越低越好与 inception 分越高越好，帧一致性用相邻帧相似度越高越好，对齐用文本视频与音频视频越高越好，以及唇同步一个越高越好一个越低越好。公开集不含人物说话视频，故唇同步不适用。 用户偏好研究从三方面选最好，声画同步、文本对齐与总体偏好。音频质量研究从音频保真度、保留完整度与文本音频一致性四档打分。

下表把抽样与人力条件收拢，数字保留原文写法，便于核对协议是否一致。

表前的问题是结果在什么协议与人力下可信，表中给出抽样量人力与公平条件，指标升降方向不同不能混读。

表后解释收益与代价，统一真值掩膜让比较聚焦生成与同步能力，但也掩盖了粗掩膜鲁棒性的差异，定性行用粗掩膜补上了这一环。人力样本量较小，偏好百分比波动较大，不能把 1 次小样本偏好当成部署收益，仍需更大规模复测。自动指标不能当人评，数值相同不代表同一指标。

主结果在什么条件下成立，未胜出项是什么？

论文报告在 2 个数据集上多数定量指标占优。左侧人物说话行与右侧车辆行并排展示了定性对比，AvED 出现闪烁与时间不一致，Ovi 右侧车辆明显变小且位置漂移，串行基线左侧未能合成目标语音，而本方法在保持背景的同时换了人物与车辆并给出连续声轨。

定量上自建集的视频距离与 inception 分、文本对齐与音频对齐以及唇同步，公开集的视频距离与对齐项均报告为最好，但原文强调是在统一给真值掩膜并微调基线的条件下成立，换成粗掩膜时基线未被设计处理粗输入，差距可能更大但那已不是同条件公平对比。 下面这张对比图把输入与各基线与本方法按行排列，每行上方有橙色波形，可逐帧核对声画是否对齐，顶部绿条文本给出编辑方向。

看图路径： 1. 先读顶部绿条文本确认左侧换蓝夹克红内衬男性与右侧深色复古车的编辑方向；2. 再逐行对比输入与各方法输出的人脸服装与车辆尺寸位置是否落实文本；3. 最后对比每行上方橙色波形连续性，观察基线声轨与本方法声轨的形态差异

论文图 3。原论文 Figure 3：“Qualitative comparison results with state-of-the-art methods for audio-sync video instance editing.”。

看图时先读顶部绿条文本确认编辑方向，左侧要求换成蓝夹克红内衬男性并说新台词，右侧要求深色复古车沿路行驶。再看各行输出是否落实服装颜色与车辆外观，例如左侧是否出现蓝夹克红领，右侧车辆是否保持合理尺寸。最后看波形连续性，各行波形形态差异明显，但波形高度不直接等于响度校准，不能单凭粗细断定音质好坏。

未胜出项也要保留，用户偏好中生成基线仍拿到约三成选票，串行基线在部分对齐项接近，说明单看画面或单听声音时差距小于综合指标。 策划音频的人评是另一类证据，下表为原文音频质量研究的百分比结果，行是四档评价，列是 3 个方面，数字保留原文写法。表前的问题是策划音频是否同时做到逼真、留住背景声、对齐文本，表中用四档分布回答，越高档越好。

表后解释主要收益与具体代价，可接受加完美的比例在三方面都超过 80%，其中完美档在保真度最高、保留项最低，说明混音返工拦截了一部分不自然结果，但留住非目标声仍是最难的一环。失败与边缘合计不足 20%，不能推广为每段都完美，复现时应同时报告自动指标与人评，不把自动对齐当成人耳听感。

拿掉精度因子、精修器与音频智能体各发生什么？

消融在随机退化为粗掩膜的条件下测鲁棒性，共 3 个变体。去掉精度因子时精修器失去粒度指引，图中女性头部区域估计不准，定量上视频距离与对齐下降。去掉掩膜精修器时只能用初始粗掩膜，图中头部后方墙面被误改，说明背景保留失效，定量下降更明显。去掉音频智能体而换成通用音频编辑模型时，音频指导变差，音频视频对齐与唇同步分数下降，图中波形形态变化最直观。

这支持两个判断，空间分支靠精度因子与精修器保边界，时间分支靠策划音频保同步。 下面这张消融图按输入、去精度因子、去精修器、去音频智能体与完整模型排列，可逐行核对同一文本下的人物表情与背景，顶部文本要求左侧长发女性说新台词。

看图路径： 1. 先确认顶部输入行浅色掩膜只盖住左侧长发女性而非右侧人物；2. 再逐行对比去掉精度因子、去掉精修器、去掉音频智能体三行的人脸与背景墙变化；3. 最后看每行上方波形疏密差异，体会音频指导缺失时声轨形态的变化

论文图 4。原论文 Figure 4：“Visual results of ablation study with baseline variants.”。

观察时先确认输入行掩膜只盖左侧女性，再看去精度因子行的人脸完整性，去精修器行的背景墙是否被改动，去音频智能体行的波形是否更碎。注意像素不能精确读出的数值不要硬写，定量差异以原文表格为准，此图只作机制示意。限制是消融只报告了粗掩膜条件，未报告真值掩膜下各组件是否仍必要，也未测量去掉组件后的推理加速，不能从结构简化推定延迟改善。总体趋势不等于每组每步都成立，复现时要固定随机退化种子再对比。

什么还没做到，哪些验证是缺的？

论文明确的局限是多目标实例需串行处理，逐个跑一遍，不能同时编辑多个实例。这意味着人群对话中要换两个人就要跑 2 次，时间与一致性成本翻倍，未来工作才考虑并行多实例。这是原文直接报告的边界，不是推测。未验证的边界包括多人同时说话与多声源混杂在数据构造时已被过滤，模型在这些条件下的行为未报告。公开集无说话人，故唇同步的泛化只在自建集上成立，不能推广到所有说话场景。

质量阈值与最大返工迭代数未给出具体值，返工循环的最坏延迟未知。推理开销、输出帧率与实际延迟未测量，不能承诺实时或成本改善。训练资源只报告训练用卡，推理成本需分别讨论。缺失证据不是技术错误，但复现与选型时要把这些当作待补验证，不能把总体趋势推广到每组每步都成立。相关性不是因果，自动指标提升不等于人耳一定觉得更好。

对研究生而言，最容易误读的是把过滤当成能力。数据干净带来训练稳定，但也意味着混杂声源与遮挡边界等难例不在训练分布内，部署前必须自建难例集补测，否则会高估鲁棒性。

要复现应先准备什么，再跑什么？

先准备数据与代码条件。数据侧按原文流程切单镜头、过滤静态低质、区分语音与非语音、生成实例掩膜与场景描述，测试集的改写指令需人工核验自然度。模型侧下载对应大视频权重，冻结空时编码器，只微调扩散变换器，联合权重取 1.0，学习率按原文设置，训练分辨率 720。

音频侧准备分离的人声与非人声模型各一，生成的语音音乐音效模型各一，以及音频描述器、视觉语言模型与打分多模态模型，混音可用常规音频拼接工具实现，但阈值与最大迭代需自行设定并记录。 评测侧每集抽取 100 段跑自动指标，另抽小样本做多人偏好与几十段音频质量打分，注意自动指标与人评分别报告，不混放。资源状态方面，官方演示页本次可达可写已公开，外部语音与视频链接为第三方引用，只说明来源不代表本研究产物。

基线复现注意一个为重实现，一个需加零样本修复适配，一个为 2 阶段串行，三者都要在同一数据上微调后才能对比。 动手顺序建议先用粗掩膜跑通精修可视化，确认边界是否贴合，再固定音频阈值跑小批量听感测试，最后才扩大到自动指标。还需记录随机种子、退化核参数与返工次数，否则消融条件无法对齐。未报告的梯度路径与重置时机不要猜，直接按原文冻结与更新范围实现。

何时值得尝试这套方法？

当任务同时满足三点时值得尝试，要改的是某一个实例而非全场景，要保留背景与非目标声音，要指定事件发生的时刻或换台词。若只换全片风格或只做无声剪辑，用纯视觉编辑更轻。若只要配一段全局音乐，用场景级同步即可。选择本方法的收益是粗框可用的空间精度与策划音频的时间控制，代价是依赖外部音频模型与打分模型，以及多实例串行。

动手前先用粗掩膜跑通精修可视化，确认边界是否贴合，再固定音频阈值跑小批量听感测试，最后才扩大到自动指标。 还需补的验证是混杂声源、多实例并行与推理延迟三项，补完才能谈部署。回到中心矛盾，把声音丢给模型不等于同步，只有让每 1 帧都能读到对的时刻的声音，并让每 1 像素都知道自己属不属于目标，声画同步的实例编辑才可复现。

对初学者来说，复述时抓住两句话即可，空间靠精度感知的精修保边界，时间靠分离生成混音返工保时刻，其余都是为这两句服务的工程细节。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 21 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总