标签：#音视频生成 | #扩散模型 | #可解释性
评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sagi Polaczek：Tel Aviv University, Tel Aviv, Israel
- Noa Kraicer：Tel Aviv University, Tel Aviv, Israel
- Gal Metzer：Tel Aviv University, Tel Aviv, Israel
- Zhuo Ning：Simon Fraser University, Burnaby, Canada
- Ali Mahdavi-Amiri：Simon Fraser University, Burnaby, Canada
- Daniel Cohen-Or：Tel Aviv University, Tel Aviv, Israel
- Raja Giryes：Tel Aviv University, Tel Aviv, Israel
📌 核心摘要
论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入什么、要改变什么、必须保留什么？
输入是一句英文文本提示，输出是一段带同步声音的视频。模型要同时生成视频帧序列和时间对齐的音频流，两路都以同一文本为条件，并且在去噪过程中通过注意力互相看见对方。想改变的是当提示与模型学到的常见搭配冲突时的绑定错误：指定鹦鹉说话却让海盗说话，指定骑士发出马嘶却让马张嘴，指定泰迪熊低吼却让毛怪发声。必须保留的是生成质量本身，包括主体一致性、背景一致性、美感和音频文本对齐，不能为了归属正确而把画面或声音弄坏。
一个教学示例可以帮助定位难度。假设提示写海盗沉默、鹦鹉说“We are lost at sea”。理想输出要求鹦鹉区域的视频块更多关注发声音频，音频在说话动作词附近更活跃，海盗区域不抢声音也不被染上鹦鹉颜色。基线的问题不是随机噪声，而是系统性地把声音拖向视觉上更像说话者的实体。这正是后文要用注意力信号诊断和干预的对象。
这篇工作在已有路线中的位置
第一条路线是文本到图像扩散中的注意力操控与泄漏研究。白话说，注意力权重记录了哪个图像位置在看哪个文本词，英文是 cross-attention。已有方法在推理时增强被忽视的词、对齐句法、分离竞争实体或强制布局。泄漏的另一面也被反复记录：条纹猫旁边的斑点狗可能生成条纹狗，原因被归为相似主体间的特征混合、布局与噪声先验冲突、句尾嵌入纠缠或 logits 分配错误。
第二条路线是视频与音频视频联合生成。早期系统先生成无声视频，音频在生成环路之外。后来的双分支设计用跨模态注意力耦合两个并行的扩散变换器，也有关闭的统一序列去噪方案。开放基础模型 LTX-2 是本文实验的载体，它同时提供无音频的文本到视频变体和联合的文本到音频视频变体，且共享基本相同的视觉主干。
本文的位置不是重新设计耦合结构或加速稀疏化，而是把实体级语义泄漏和声源归属当作诊断目标，在预训练好的生成器上做无训练的推理时干预，并且同时覆盖三角形的 3 条边。原文明确区分了互补工作：评估空间对齐的工作用视觉目标与立体声方向估计，引用条件分支需要额外训练，而本文针对提示指定的源绑定，不需要辅助训练或参考输入。
注意力三角把什么耦合在一起？
白话说，注意力三角就是文本令牌、音频令牌、视频块 3 组节点两两做交叉注意力的结构，英文是 attention triangle。一个文本属性可以直达视频，也可以先到音频再被带到视频，反方向同样存在。两条视频查音频与音频查视频的矩阵连乘，还会形成视频到视频的有效耦合，这种 2 阶路径在任何单层里都看不见。
交叉注意力 × 注意力三角： 交叉注意力是查询序列用查询向量去加权求和键值序列的混合操作，负责把条件语义铺到生成位置；注意力三角是文本、音频、视频 3 类令牌两两交叉注意力的组合结构，它把直接路径文本到视频和间接路径文本到音频再到视频耦合在一起，组合后新增的含义是单边修不好泄漏，因为语义可以绕过被修的一边从另一条边到达错误实体。
论文把音频视频边称为薄弱环节。假设是音频令牌只编码时间位置而不编码帧内空间坐标，视频块则是时空位置，迫使对应更多依赖学到的语义兼容性而非显式空间对齐。这仍是假设，原文说干预实验能证明该边是泄漏的主要贡献者，但不能据此确立时间位置编码是唯一失效机制。
声源归属泄漏 × 外观泄漏： 声源归属泄漏负责回答声音算在谁头上，例如明明指定鹦鹉说话却让海盗张嘴；外观泄漏负责回答长相被谁带偏，例如海盗长出鹦鹉式特征，二者搭配的原因是同一组跨模态偏置既能搬运动态口型绑定又能搬运静态外貌属性，组合后说明只修文本边或只修音频视频边只能解决其中一类，必须联合转向。
要现在看海盗与鹦鹉的四格对比，因为它把两类泄漏的解耦展示得最干净。左上基线同时坏两处，右上与左下各修好一处，右下才同时修好，这直接预告了后文消融的结论：没有单条边能控制跨模态路由。
看图路径： 1. 先读底部英文提示，确认指定说话者是鹦鹉且海盗保持沉默；2. 对比左上基线与右上文本转向：海盗外貌是否恢复，红色语音图标还在谁一侧；3. 对比左下音视频转向与右下全转向：绿色语音图标位置与海盗面部变化；4. 核对每格左上角小三角图标的灰红绿边，确认当前修的是哪条边
论文图 1。原论文 Figure 1.：“The Attention Triangle in Audio-Video Models.”。
四格像素可以这样核对。底部提示明确鹦鹉是唯一说话者，海盗不动不说话。左上基线格海盗面部呈现鹦鹉式喙状结构且红色语音条标在海盗脸侧，白色小三角 3 条边均为灰色。右上文本转向格海盗恢复人脸但红色语音条仍在海盗一侧，小三角中两条文本边变红。左下音视频转向格绿色语音条移到鹦鹉一侧但海盗仍带喙状痕迹，小三角中底部音频视频边变红。
右下全三角转向格绿色语音条在鹦鹉左侧、海盗为人脸且小三角三边变绿。这种红绿与语音条位置的对应把部分干预的残留泄漏变成了可复述的视觉证据。
转向方法走完一次需要哪两遍去噪？
方法全景是两遍流程。第一遍是不加干预的基线生成，用来提取 3 类锚点并固定下来。第二遍是加偏置的转向生成，在每个变换器块和每个去噪步对 3 类交叉注意力 logits 做加法偏置。输入是清洗掉标注标签后的同一提示与同一种子，表示是文本词索引集合、视频源掩码、音频声音掩码，组件是音频视频一致性偏置与两条文本条件偏置，目标是让音频与视频流重新接地到提示语义，输出是外观与归属同时正确的视频。
跟着一个样本走。先用海盗鹦鹉提示跑基线并解码帧，用 SAM3 按意图源文本提示做分割，二值化后缩放到隐变量网格得到硬视觉掩码；同时汇总音频查文本注意力中指向说话动作词的显著性并归一化到 0 到 1，得到软声音掩码。然后在转向遍中每一步都加上 3 组偏置，不再更新锚点。训练阶段不存在，复用的 LTX-2 参数全程冻结，更新信号也不是梯度，而是推理时直接改 logits。
3 种变体用来做对照。Ours-Text 只动文本到视频与文本到音频，Ours-AV 只动音频视频双向，Ours-Full 三边全动。开销是大约 2.5 倍未转向生成，包含 1 次完整基线去噪轨迹、帧解码与 SAM3 分割。
一致性与偏置如何把掩码变成 logits 操作？
先讲音频视频边。视觉锚是硬的外部掩码，音频锚是软的模型显著性，这种不对称是因为视觉有可靠分割器而音频没有。源视频掩码与声音音频掩码的外积表示源声配对，非源与非声的外积表示背景配对，两部分相加得到一致性矩阵， mismatched 的源声错配自然取低值。
\[\mathbf{P}_{VV}^{\mathrm{eff}}\;=\;\mathbf{P}_{VA}^{(\ell)}\mathbf{P}_{AV}^{(\ell+1)}\;\in\;[0,1]^{N_{V}\times N_{V}}.\]上式是诊断用的有效视频到视频矩阵，不是转向偏置本身。符号中 P_VA 是视频查音频的行归一注意力，P_AV 是音频查视频的行归一注意力，上标表示层号，下标 N_V 与 N_A 是视频块与音频令牌数。目标是把鹦鹉区域的均匀分布先推到音频再推回视频，看质量是否被搬到海盗，从而让隐藏路由显形。梯度不经过这里，它只用于可视化与机理分析。
一致性矩阵 × 偏置矩阵： 一致性矩阵负责用视觉源掩码与音频声音掩码的外积给出哪对视频音频位置应该在一起，分工是描述目标；偏置矩阵负责在 softmax 前加到注意力 logits 上改变加权，分工是执行干预，二者搭配是因为一致性是 0 到 1 之间的软目标不能直接改注意力，取负差距再乘以强度后才能变成可加的 logits 惩罚。
转向执行的偏置形式如下式所示，含义是对不一致的配对按差距施加惩罚。
\[\mathbf{B}_{A\to V}=-\lambda(\mathbf{1}_{N_{V}\times N_{A}}-\mathbf{G}_{VA}),\qquad\mathbf{B}_{V\to A}=\mathbf{B}_{A\to V}^{\top},\quad\lambda>0.\]这里 G_VA 是一致性矩阵，1 是全 1 矩阵，lambda 大于 0 是最大惩罚强度，B_A 到 V 加到视频查音频 logits，B_V 到 A 是其转置加到音频查视频 logits。原文固定 lambda 为 10，并指出惩罚形式等价于加 lambda 乘 G，因为相差的行常数会被 softmax 丢弃，写成惩罚是为了让强度读作对冲突单元的最大 logits 扣分。
再讲两条文本边。视频查文本的预期单元是源视频掩码与源文本指示的外积，冲突单元是源视频配竞争文本加上竞争视频配源文本。音频查文本把软声音掩码先按阈值 0.3 二值化，再与声音动作文本指示做外积得到预期，冲突是发声音频配竞争文本加上竞争音频配声音文本。若没有提供竞争源索引，冲突掩码消失，偏置退化为单纯增强预期。强度固定为 beta 为 0.5、gamma 为 2.0，不对称地更重压制冲突而非抬高预期。
预期单元 × 冲突单元： 预期单元负责标记提示指定的配对，例如鹦鹉区域配鹦鹉词、发声音频配说话动作词；冲突单元负责标记与竞争源交叉的配对，例如鹦鹉区域配海盗词，搭配的原因是注意力是归一化竞争，只增强正确项会被中性词稀释，只压制错误项会缺少正向锚点，组合后用不同强度同时拉高预期并压低冲突才能稳定绑定。
一行展开 × 视频到音频到视频回路： 一行展开负责把注意力矩阵看成马尔可夫转移并做右乘传播，分工是给出分析工具；视频到音频到视频回路负责把视频查音频矩阵与音频查视频矩阵相乘得到视频到视频的有效耦合，分工是暴露隐藏路径，二者组合后新增的诊断能力是单层矩阵看不到的间接搬运变得可见，例如从鹦鹉出发经音频桥回到海盗。
没有训练阶段时什么被冻结、什么被计算？
本工作没有训练阶段，没有可学习参数更新，没有辅助损失与微调。LTX-2 权重、SAM3 分割器、文本编码器在整个流程中保持冻结。唯一随样本计算的是锚点与偏置：文本锚来自用户标注的意图源短语、声音动作短语与可选竞争源短语，去掉标签后映射到清洗提示的词索引；视觉锚来自基线解码帧的 SAM3 二值掩码；音频锚来自基线去噪过程中音频查文本注意力的跨步聚合。
确定性求解的说法在这里应理解为推理时确定性加偏置，而不是求解优化问题。基线锚提取需要 1 次完整去噪轨迹，转向遍在每块每步加偏置，不做反向传播、不重置锚点。阈值、强度与掩码构造全程固定，不按提示调参。部署阶段与评估阶段是同一套流程，区别只是评估时对同一提示跑多个种子并送入裁判与人工，而展示时选代表性种子做可视化。
挑战集、基线、指标与统计如何组织？
数据集是人工循环构造的泄漏挑战集，不是随机采样。流程是 1 位作者先写让意图源与视觉上更像声源的竞争源冲突的提示，生成后人工检查同步音画，保留出现清晰绑定失败的，剪掉无泄漏或不可判的，再对成功家族做实体、声音、措辞与种子的变异并保留有效变体。结果是故意富集失败的集合，适合检验干预能否修复已知失败，不适合估计日常生成的泄漏发生率。每个实例标注意图源、请求声音动作、竞争源与种子，比较时所有 LTX-2 方法用同一清洗提示与同一种子。
基线包括原生 LTX-2 联合生成、无音频的视频诊断变体、外部 Ovi 基线、适配到音视频的 Bounded Attention，以及 Ours-Text 与 Ours-AV 两个部分转向。定量主体是 100 个挑战提示乘 4 个匹配种子，每方法 400 个视频。Qwen 声源归属用 Qwen3-Omni 做两遍反序平衡的五选一，隐藏原始生成提示，只给目标事件描述与两个候选源，取首个答案位置的 5 个数字 logits 并归一化，再映射到意图源、竞争源、两者、事件缺席、来源不明，报告条件分数为意图源质量除以可见源总质量。VA-Judger 做成对偏好，每对展示两种顺序，用确定性解码并对胜负做双序平均，另有 CLAP 音频文本对齐、VBench 主体一致性、背景一致性与美感，以及人工三轴偏好。
硬件与预算在单张 48 GB 的 RTX A6000 上测量，常用配置为 960 乘 544、97 帧、20 步，基线约 5.5 分钟每片段，全流程约 13 到 14 分钟每片段，峰值内存约 29 GB，项目累计约 1300 个 A6000 GPU 小时。人工研究共 30 份完整提交、480 条成对记录，每人 16 试次且同一提示种子不重复出现，Same 视为平局并从显著性检验的决定票中排除。
主结果在什么条件下比基线好？
要回答的比较问题是：在同一提示同一种子、同一裁判协议下，全三角转向是否同时改善归属与保真，而部分转向是否留下可解释的残留。统一条件是上述 100 提示 4 种子的匹配生成，指标方向均为越高越好，Qwen 看条件归属，CLAP 看音频文本对齐，VBench 看视觉一致性与美感。
| 方法 | Qwen 归属 | CLAP 音频文本 | VBench 主体一致 | VBench 美感 | 背景一致 |
|---|---|---|---|---|---|
| 原生 LTX-2 | 0.1216 | 0.375 | 0.988 | 0.590 | 0.981 |
| Ovi 外部基线 | 0.1207 | 0.357 | 0.971 | 0.571 | 0.975 |
| Bounded Attention | 0.0925 | 0.384 | 0.981 | 0.588 | 0.981 |
| Ours-Text | 0.1140 | 0.374 | 0.989 | 0.598 | 0.984 |
| Ours-AV | 0.1302 | 0.384 | 0.989 | 0.589 | 0.983 |
| Ours-Full | 0.1349 | 0.383 | 0.990 | 0.604 | 0.986 |
上表依据论文正文整理，不冒充原表排版，Qwen 均值与 VBench 最优值来自原文连续句，CLAP 保留均值附近的小数精度，标准差见后文解释。最公平的净收益是 Ours-Full 在 Qwen 上从 0.1216 到 0.1349 领先所有音频方法，同时 VBench 三项取最优且 CLAP 为 0.383 接近最优的 0.384，说明归属改善没有以明显保真损失为代价。失败项是 Bounded Attention 的 Qwen 仅 0.0925，低于原生基线，说明只约束文本到视频的说话区域不能克服音频视频先验。不能推出的结论是泄漏发生率与绝对口型准确率，因为挑战集是失败富集且 Qwen 分数本身是条件概率，数值偏低不代表随机生成大面积失败。
骑士马嘶的像素提供了与数字同向的案例证据，值得在读数后立刻核对，因为静态帧能看到口部放大框而声音归属仍需视频确认。
看图路径： 1. 先读底部提示，确认马嘶声只能由骑士发出且马闭嘴沉默；2. 比较右上 AV 转向中银灰色马形鼻口与右下全转向的骑士头盔，区分骑士外观泄漏和原有马匹；3. 确认右下全转向三帧的放大框都稳定在骑士头盔且马外形未变
论文图 6。原论文 Figure 6.：“Horse-neigh attribution. The prompt asks for a horse neigh that should be produced by the knight rather than the horse.”。
像素细节改变判断的方式很具体。底部提示要求马闭嘴沉默、骑士是唯一马嘶源。左上基线 3 帧的黄色放大框都落在棕马嘴部，左下文本转向的放大框仍在马嘴且马嘴张开更大，右上音视频转向面板出现了前景银灰色马形，黄色框对准它的马形鼻口；这对应论文所说的骑士获得马样外观，而不是原来的棕马简单变色，背景仍能看到另一匹棕马。右下全转向的黄色框位于骑士头盔，旁边的马仍保持马的外形。
静态帧及作者标示支持外观泄漏对象的区别，真正的声音归属仍须同步视频确认；不能单凭放大框认定谁实际发声。
更宽的裁判与人工偏好是否同向？
要回答的第二个比较问题是：除窄的声源归属外，整体音画偏好与人工判断是否也指向同一方法。这里必须分开两套协议。VA-Judger 使用 100 个提示和 4 个种子的匹配输出，每个参照 400 对、双顺序呈现，比较提示保真、音视频一致、音频质量、视频质量与完整性。人评另用 37 个独特提示/种子样例、118 个有效比较组成刺激池，30 人各完成 16 试次，共 480 条记录；只比较原生 LTX-2、Bounded Attention、Ours-Text 和 Ours-AV，不含 Ovi。人评评估归属、视觉泄漏和整体质量。
| 自动裁判比较对象 | Ours-Full 偏好 | 样本协议 | 汇总方式 | 指标方向 |
|---|---|---|---|---|
| 原生 LTX-2 | 59.1 百分比 | 同提示与种子 | 双序平均 | 越高越好 |
| Ovi | 68.1 百分比 | 同提示与种子 | 双序平均 | 越高越好 |
| Bounded Attention | 73.3 百分比 | 同提示与种子 | 双序平均 | 越高越好 |
| Ours-Text | 57.6 百分比 | 同提示与种子 | 双序平均 | 越高越好 |
| Ours-AV | 59.9 百分比 | 同提示与种子 | 双序平均 | 越高越好 |
上表只列 VA-Judger 逐参照分数。其顺序呈现一致性为 51.2% 到 69.3%，因此论文解释的是双序平均，不把 1 次呈现的胜负当作稳定判断。独立人评中，排除 Same 平票后的总体决定票分别有 79.2% 选择 Ours-Full 的声源归属、82.9% 选择其较少视觉泄漏、80.1% 选择其总体质量。这 3 个比例聚合 4 种人评参照，不属于某一单独参照，更不包含 Ovi；图 9 的堆叠百分比则把 Same 票也放在分母中。
最公平的净收益是 Ours-Full 对 5 个参照的 VA-Judger 偏好从 57.6 到 73.3 百分比且区间都在 50 之上，5 维增益全为正，人工在决定票中约八成选择 Ours-Full。反例是顺序一致性偏低，说明单次呈现顺序会影响裁判，因此原文只用双序平均做结论。不能推出的是语音特质与生成抑制在静帧中的程度，原文明确提醒这两类失败必须看带同步音频的视频，静态表格会低估它们。
跨域的泰迪熊与毛怪、猪与马、男女声互换等例子说明同一模式在写实人、动物与卡通中重复出现，但它们属于定性泛化展示，不改变主表的统计口径。
哪条边负责哪类错误？
消融要回答的是 3 条边是否各司其职。海盗鹦鹉的四格已经给出定性答案，这里用注意力可视化与 2 阶回路补上机制证据。分析对象是同一提示同一种子的基线与转向，注意力分数是对发声活跃音频键求和、按头与去噪步平均后的空间分数。
看图路径： 1. 先看底部音频波形时间轴，确认发声集中在约 2.0 秒到 3.5 秒；2. 对比左侧基线高亮在海盗脸胸的弥散暖色与右侧集中在鹦鹉的窄亮带；3. 注意右侧除高分区域外做了去饱和，目的是突出转向后的定位
论文图 4。原论文 Figure 4.：“Mitigating audio-to-video attention leakage.”。
左右两幅的对比是直接的。左侧基线暖色高亮弥散在海盗脸与胸部，鹦鹉处几乎没有聚集，底部波形显示发声段集中而高亮仍错位，说明视频查音频把活跃语音算到了视觉上更像人的区域。右侧转向后高亮收窄到鹦鹉身体纵带，其余区域去饱和，说明偏置把同一批活跃音频键的归属拉回提示指定实体。这种前后变化支持音频视频边是归属错误的主要通道。
2 阶回路进一步说明错误不是单层扩散，而是经音频桥的搬运。把鹦鹉区域的均匀分布先推到音频再推回视频，中间音频分布弥散反映 1 维时间嵌入对 2 维空间区分不足，回来的质量落在海盗脸上就暴露了误路由。
看图路径： 1. 从左图鹦鹉处的种子质量出发，沿 v 到 a 箭头看中间音频桥曲线；2. 确认中间音频令牌质量曲线是起伏的弥散分布而非单峰；3. 沿 a 到 v 箭头看右图返回质量落在海盗面部，确认间接误路由
论文图 5。原论文 Figure 5.：“Audio-mediated video-to-video leakage.”。
三面板的执行顺序是左种鹦鹉、中看音频桥、右看返回。左图亮带在鹦鹉，中图质量曲线在 0 到 100 音频令牌上起伏而无单峰，右图亮斑回到海盗面部与胸部。这种从指定源出发经弥散桥回到竞争源的轨迹，正是文本正确指定也可能被音频视频边覆盖的可视化论据。转向后原文报告质量返回鹦鹉，补充图还给出狗猫与北极熊 2 例的意图源质量大幅回升而竞争源质量下降，但具体百分比属于补充证据，正文只用它佐证方向而非主结论。
文本边与音频视频边的分工在马与泰迪熊 2 例中重复出现。Ours-Text 能 sharpen 文本绑定却留下了声音错配，Ours-AV 能把声音拉过去却把竞争外观带给意图源，只有全转向同时保住两端。这说明耦合约束下单边修补会被另一条边的先验抵消。
哪些情况修不好、哪些结论不能外推？
第一类边界来自模型已有表示。转向只能重路由模型已表达的关联，不能可靠创造远离学习分布的音视频绑定。若基线音频完全无接地或意图源视觉静态，锚点信号太弱就难以纠正。第二类边界来自视觉锚的分割误差。小目标、遮挡或歧义实体的 SAM3 掩码出错会直接带偏偏置。
第 3 类是成本与范围。额外锚提取使推理变贵，实验集中在 LTX-2 风格的显式跨模态注意力架构，是否迁移到共享自注意力的单流架构仍是未来工作。
证据边界也要说清。音频视频边是主要贡献者的结论来自可视化、去掉音频的 T2V 与 T2AV 对比以及部分转向消融，但原文明确说这些干预没有确立时间位置编码是唯一机制。T2V 与 T2AV 共享视觉主干时加入音频诱发外观与说话泄漏，木偶与狗猫 2 例很直观，但它证明的是音频分支的因果贡献，不是空间缺失的唯一解释。
下表把论文正文中固定的取值与适用条件放在一起，数值写法保留原文精度和原文单位编写，便于核对复现条件和代价。
| 维度 | 固定取值 | 适用条件 | 代价或风险 | 来源说明 |
|---|---|---|---|---|
| 音视频强度 | λ=10 | 全部 LTX-2 实验 | 冲突单元按该强度扣分 | 不按提示调参 |
| 文本增强与压制 | β=0.5 γ=2.0 | 有无竞争源均可 | 不对称重压制 | 冲突缺席时退化 |
| 音频二值阈值 | θA=0.3 | 文本到音频面 | 本文未给阈值扫描 | 软掩码直接用于音视频边 |
| 推理配置 | 960×544 97 frames 20 steps | 单卡测量 | 约基线 2.5 倍 | ≈29 GB; baseline LTX-2 takes ≈5.5 min/clip |
上表依据论文正文整理，数值写法保留原文精度，分钟与 GB 单位与原文一致，这里的成本列使用原文报告的约 2.5 倍整体开销；独立实测段同时保留基线约 5.5 分钟与完整流程约 13 到 14 分钟每片段、峰值约 29 GB，二者不是新增计算得到的性能。它的作用是把可复现的固定选择与适用条件放在一起，避免读者把展示用的最优帧当成可部署收益，也避免把单卡延迟与输出帧率混为一谈。
要复现应先做哪几步？
先准备同一清洗提示与同一种子。用户标注意图源短语、声音动作短语与可选竞争源短语，标注标签在文本编码前去掉，再映射到词索引。跑一遍基线生成并保存注意力与解码帧，用 SAM3 按意图源文本提示生成源掩码与竞争掩码，二值化阈值 0.5 后缩放到隐网格；音频侧汇总指向声音动作词的音频查文本显著性并归一化，阈值 0.3 得到二值版。
再跑转向遍。偏置在每块每步加入：音频视频双向用一致性差距的负惩罚，文本两边用预期增强减去冲突压制，强度取 lambda 为 10、beta 为 0.5、gamma 为 2.0。核对时先看 Qwen 式归属是否从基线向 Ours-Full 移动，再看 VBench 与 CLAP 是否没有大跌，最后人工抽查发声段的口型同步。常见误解有三：把单边转向当成完整方法，把 T2V 无音频的好转当成归属已解决，把静帧好看当成声音已归位。前两者的反例正是 Ours-Text 与 Ours-AV 的残留泄漏，后者需要听波形发声段并看嘴部运动才能判定。
若结果偏离预期，优先核对变量是分割掩码是否落在正确实体、音频显著性是否覆盖发声段、竞争源标注是否缺失导致冲突项消失。这些都是原文明确给出的信息条件，不要先调强度。
什么条件下值得尝试这个思路？
当任务是联合生成且提示故意让声音违背视觉典型性时，这个三边同时加偏置的思路值得尝试，例如让骑士发出马嘶、让泰迪熊发出怪吼、让鹦鹉而非海盗说话。它的优点是不训练、不改权重、可解释性强，且部分转向本身就是诊断工具：只修文本边看归属是否还错，只修音视频边看外观是否串扰，就能定位薄弱边。代价是多 1 次基线去噪加分割，延迟与能耗上升，小目标与遮挡场景更依赖分割质量。
更一般的启示是原文所说的注意力教训：加强跨模态耦合的注意力可能放大偏置驱动的路由而非解决它。增加耦合会创造新的间接路径，让学到的先验覆盖提示绑定。因此在设计联合生成时，不能默认更多跨模态注意力等于更好对齐，而应同时检查直接绑定与经第三模态的间接搬运，并为声音这类缺少空间坐标的模态补更强的接地监督或空间表征。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses