📄 更新位置与奖励权重都在漂移时：用跨模态响应重新布线音视频扩散强化学习
标签：#音视频生成 | #强化学习 | #音视频 | #扩散模型
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Songlin Yang：机构信息未在 arXiv HTML 中可靠披露
- Xiaotong Zhao：Tencent Video
- Jiacheng Zhang：The University of Hong Kong
- Zhe Wang：机构信息未在 arXiv HTML 中可靠披露
- Toyota Li：Tencent Video
- Eric Liu：Tencent Video
- Alan Zhao：Tencent Video
- Anyi Rao：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
联合音频视频生成以文本提示为输入并同步输出视频流与音频流，难点在于模态质量、语义对齐与时间同步目标互相冲突且负责的跨模态通路随训练漂移。所提自适应奖励路由先以双向交叉注意力门前响应估计各令牌与各层的影响力，再把该影响力转为令牌损失权重与跨模态键值梯度缩放，随后在各模态分支内估计奖励梯度冲突并以平滑残差修正预设偏好权重。相对固定权重聚合的 GDPO 与纯几何加权的 MARBLE，该设计既保留用户偏好下限又允许冲突自适应，且路由随当前模型重算而非冻结于初始检查点。在 JavisBench 的 10140 个提示上，LTX-2 主干的平均 DeSync 从 OmniNFT 的 0.390 降至 0.341，同时音频质量与一致性指标全面领先，LTX-2.3 上趋势一致。原文另称在统一单流 JavisDiT++ 上亦有验证，但正文主表与消融均围绕 LTX 系展开。其适用边界受限于模态令牌可识别且方向性交互响应可分离的双流结构，对模态表征不可分或交互响应不可达的模型尚未验证，属明确的失败条件与外推受限范围。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
要解决什么联合生成难题：质量、对齐与同步为何难兼得？
这篇论文研究的输入是一个文本提示，输出是一段同时包含画面与声音的短视频。评价要求至少覆盖 4 个方面：画面本身是否好看且稳定，声音本身是否自然且美学质量高，画面与声音是否各自符合文本描述，以及声音与画面在语义与时间上是否对得上。举例来说，一个例子是中文新闻播报，画面要保持主播身份与演播室结构稳定，声音要是严肃的中文播报语调且与口型节奏大致同步；另一个例子是狗叫，画面中狗张嘴与叫声出现的时间要对应。
初学者容易以为只要分别训好视频模型与音频模型再拼起来即可，但论文指出联合模型用两条流加双向跨注意力互相 conditioning，奖励责任与梯度路径不如单流模型直观。
论文把后训练表述为动态多奖励优化，包含两个耦合维度。第一个维度是更新应该作用在哪里：先把奖励分配到负责的模态分支，再把分支更新定位到具体的 token 与跨模态交互层。第二个维度是多个奖励如何协调：不同奖励在同一样本上经常给出相反的偏好，且合适的平衡随优化过程变化。原文用探测说明静态方案会过时：一方面比较基座与训练后检查点的同步关键层分布，发现重要层段发生移动；另一方面跟踪只用梯度几何得到的权重，发现同步目标的权重趋近于零，意味着重要但弱的目标被压制。这就引出中心矛盾：模型函数在变化，固定布线与固定权重无法持续跟踪。
在进入方法细节之前，先借助原文的动机图建立直觉。该图包含 4 个面板，分别从前向消融、反向梯度、奖励冲突与权重漂移 4 个角度论证动态化的必要性。阅读时不要把热力颜色深浅直接当作绝对性能，而要看基座与训练后模式的差异；也不要把权重曲线向下都理解为性能下降，而要结合纵轴是权重系数来理解为目标被抑制的风险。
看图路径： 1. 先看左上面板按层段切分的消融热力，对比基座与训练后高值格位置是否移动；2. 再看中间两组梯度随层变化曲线，对比基座与训练后红色与蓝色峰值层的偏移；3. 再看左下奖励冲突矩阵，找出颜色最深的奖励对并读出冲突比例；4. 最后看右下随训练步变化的权重曲线，确认哪条同步相关曲线趋近于零
论文图 1。原论文 Figure 1:：“Joint audio-video post-training requires adaptive update routing and reward coordination.”。
上面这张动机图报告的内容可以这样复述。左上按层段关闭跨模态键值输出并测量同步指标，基座与训练后退化最大的层段不一致，说明同步关键层移动了。中间两组图分别测量音频分支与视频分支中层内查询梯度与跨模态键值梯度的范数随层变化，训练前后峰值位置偏移，说明反向梯度路径也在变化。左下统计每对奖励在逐提示归一化偏好符号相反的比例，非对角越深表示分歧越大，说明固定分支分配不够。
右下跟踪纯几何权重的训练轨迹，同步相关权重衰减到接近零，说明只看梯度兼容性会丢掉用户认为必要的目标。四者共同支持既要动态定位更新，也要用偏好锚定的方式动态协调奖励。
已有路线在什么条件下有效，又在哪里卡住？
第一条相关路线是联合音视频生成。按论文梳理，既有把预训练专家通过跨模态投影连接的方案，也有统一扩散 Transformer 的方案，还有本文基座采用的双流加双向跨注意力的方案。双流的好处是各自保留模态专用表示并互相 conditioning，代价是奖励应该归因给哪条分支、梯度应该经过哪层跨过去变得不显然。这与单流模型形成对照：单流中 token 与层的归属相对直接，而双流中同一损失的梯度会通过对方分支的键值路径回流，因此需要显式讨论分支、token 与层 3 个层级。
第二条路线是扩散模型的强化学习。组相对策略优化类方法不用评论家网络，用组内相对优势估计好坏，并被扩展到流式生成的在线优化。扩散前向过程强化学习则构造隐式正负策略，直接在采样的流匹配时间步上做监督。OmniNFT 在此基础上为联合音视频加入模态信用分配、层级梯度处理与区域加权，但其层路由用基座模型固定下来。本文保留前向过程形式，但把固定规则换成从当前模型重新计算的 token 与层路由，这是与直接前作的关键差异。
第三条路线是多奖励优化。固定标量加权不能响应变化的冲突；解耦归一化的方法保留每个奖励的独立信号，但聚合权重仍是预定义的；多任务学习中的公共下降方向、冲突梯度投影与局部一致性优化等思想被引入扩散强化学习，形成按梯度几何动态调权的方法。论文指出几何系数反映的是梯度是否兼容，而不是目标是否重要，也没有编码模态责任。因此本文把冲突估计限制在每个目标负责的分支内，并把几何结果只作为对先验的残差修正，而不是替代先验。
形式化设定是什么：流匹配、前向策略与多奖励如何衔接？
基座用两条流共享同一时间步。每条模态潜变量做线性插值，模型联合预测两个速度场，两条流通过双向跨注意力交换信息。音频到视频的门控输出加到视频流，视频到音频的门控输出加到音频流。符号上用模态、rollout 样本、奖励、token、Transformer 块与流匹配时间步分别索引，初学者先记住分支、样本与奖励 3 个下标的含义即可，后文所有加权与求和都围绕它们展开。
前向过程强化学习构造隐式正策略与负策略，分别是已更新策略与可训练策略的线性组合。对每个提示，已更新策略生成一组样本，把每个样本的奖励减去组均值再除以组标准差得到优势，再裁剪映射到 0 到 1 的最优性概率。大于二分之一表示该样本好于同组同伴，应更靠近正策略；小于二分之一则相反。目标是对正负策略的预测误差按该概率加权回归，不需要学习价值函数，只表达样本相对同伴的好坏。
多奖励时把上式独立用于每个奖励，得到每个奖励的优势。固定协调直接用预定义权重求和，冲突感知协调则在归一化奖励梯度的加权和范数最小的单纯形上选权重。前者保留显式偏好但不能适应冲突，后者适应局部几何但不编码偏好与模态责任。论文要解决的正是两者缺点的交集：既要适应变化的冲突，又不能让主导奖励淹没弱但必要的目标，还要把更新送到当前真正重要的位置。
总流程如何把四个自适应层级串起来？
论文给出的方法全景包含 4 个层级：奖励重加权、模态分支分配、token 级信用分配与层级跨模态梯度路由。直观顺序是先决定每个目标出多大力，再决定每个目标交给哪个分支，然后决定分支损失在哪些 token 上强调，最后控制所得梯度以多大比例穿过跨模态边界。算法流程是每轮先用已更新策略生成一组样本并在采样时收集跨注意力预门响应，再对每个奖励独立归一化得到优势，接着用当前响应计算 token 权重与层路由系数，同时用平滑后的冲突系数算出分支自适应权重，合成各分支优势并映射为最优性概率，最后计算 token 损失并经由路由后的键值路径反向传播，再按调度更新已更新策略。
下图把采样、评估、重加权、路由与损失 5 个阶段画在同一张框架图中，适合对照上面的文字顺序阅读。注意采样框中文本同时 conditioning 视频与音频，评估框中同一组样本在不同奖励列上好坏不一致，这正是需要分支感知协调的经验证据。重加权框输出两个分支的优势与概率，路由框输出两套 token 权重与层聚合系数，最后在损失框按分支分别回归。
看图路径： 1. 沿左上采样框追踪视频隐藏状态与音频隐藏状态如何经过自注意力与跨注意力汇合；2. 看右上评估框中同一组四个样本在视频、音频与跨模态三列上的好坏分布是否不一致；3. 看右中重加权框如何把先验权重与冲突修正相加得到分支优势；4. 看左下路由框如何把层内聚合与跨层聚合分别变成 token 权重与层缩放
论文图 2。原论文 Figure 2:：“Overview of Adaptive Reward Routing. Our framework adapts reward-driven optimization at four levels: reward reweighting, modality-branch assignment, token-level credit allocation…”。
结合像素可以这样解释这张框架图。左上采样部分显示视频隐藏状态与音频隐藏状态各自经过自注意力，再分别与文本做跨注意力，最后经过音频到视频与视频到音频的跨注意力与前馈网络生成视频音频样本对。右上评估部分对同一组样本给出视频、音频与跨模态三列好坏标记，同一行样本在不同列上表情不同，直观呈现奖励冲突。右中重加权部分把先验权重与冲突修正相加得到分支优势，再映射为分支概率。
左下路由部分把每层的跨注意力输出按层内聚合得到 token 权重，按跨层聚合得到层系数。右下损失部分把分支概率与 token 权重同时作用于正负策略的平方误差。整条链路从样本到表示再到目标最后到梯度是闭合的，没有跳过未说明的模块。
位置自适应一：跨模态影响代理如何变成 token 与层权重？
直接度量方向影响的做法是关闭音频到视频或视频到音频再比较速度预测，但训练中重复这种干预需要额外前向计算。论文改用前向已经产生的量：对应跨注意力路径的预门响应。对每个目标 token，取该路径输出向量的二范数作为方向响应，在中间到偏晚的去噪窗口内收集并在策略优化前分离梯度。原文在机制分析中验证该代理与直接干预的一致性，因此后文把它当作高效代理使用。
\[d_{v,i}^{l,t}=\|o_{a\rightarrow v,i}^{l,t}\|_{2},\qquad d_{a,i}^{l,t}=\|o_{v\rightarrow a,i}^{l,t}\|_{2}.\]上式定义了视频侧与音频侧的方向响应。符号输入是第层、某时间步、某目标 token 的跨注意力输出，计算目标是得到该 token 在该层该时刻受到对方模态影响的标量强度。音频响应做全局归一化，视频响应在每帧内归一化，目的是防止帧级幅度差异主导权重。实现上先在选定时间步与跨模态块上平均，再做百分位裁剪的最小最大归一化，最后映射为正的损失权重。
\[\lambda_{m,i}=1+(\lambda_{\max}-1)\operatorname{Norm}_{99}\!\left(\frac{1}{|\mathcal{B}||\mathcal{T}|}\sum_{l\in\mathcal{B}}\sum_{t\in\mathcal{T}}d_{m,i}^{l,t}\right).\]上式是 token 级路由。输入是某分支某 token 在选定层与时间步上的平均响应，输出是大于等于一的损失权重，上限由超参数控制。计算目标是让跨模态影响大的位置在分支损失中占更大比重。应用位置是后文分支策略损失的 token 求和，权重同时出现在分子与分母，构成加权平均而不是改变总尺度。
层级路由把同一响应在 token 与选定时间步上平均，得到每层的分数，再在块间归一化并经温度参数转换为软分离系数。系数越大表示该层越弱耦合。
\[\alpha_{m}^{l}=(1-\widetilde{\delta}_{m}^{l})^{1/\tau}.\]上式输出每层每个方向的分离系数。随后对源键或值张量做路由表示：前向值保持不变，反向梯度按一减系数缩放。影响强的层保留更多梯度，弱耦合层逐渐分离。音频到视频与视频到音频独立路由，这是与固定层手术的关键区别：路由图每轮从当前模型重算，而不是沿用初始化时的图。
前向过程强化学习 × 双向跨注意力： 前向过程强化学习负责把采样样本的奖励比较转化为对速度预测的加权回归目标，不展开反向采样似然；双向跨注意力负责在音频流与视频流之间交换键值信息，是奖励更新跨越模态边界的通道。两者搭配的原因是奖励先决定每个分支样本该靠近正策略还是负策略，而跨注意力决定该压力以多大强度传给对方分支，组合后形成按当前耦合强度分配的分支损失与跨层梯度缩放。
token 级路由 × 层级路由： token 级路由分工是回答同一分支内哪些位置更值得更新，对跨模态响应强的目标 token 放大损失权重；层级路由分工是回答跨模态梯度允许以多大比例通过哪一层，对响应强的层保留更多反向梯度、对弱耦合层逐渐分离。搭配理由是只加权 token 会让梯度仍被不重要的层稀释，只缩放层会让重要局部被平均淹没，两者分别在损失求和与反向键值路径上起作用，组合后实现位置与通道同时自适应。
权重自适应二：偏好先验与分支冲突如何做残差混合？
动机是预定义权重表达想要什么，但不能响应冲突；梯度系数响应冲突，但可能因早期梯度噪声压制弱目标。做法是两者结合而非二选一。每个奖励只通过它监督的分支探测：视频与音频奖励用各自的分文，跨模态奖励用两个分支。然后在每个分支内求解冲突感知的系数，探测时关闭 token 路由，避免当前 token 权重污染几何度量。预热之后，平滑后的系数作为对先验的残差修正。
\[\omega_{m,k}=\begin{cases}\omega_{m,k}^{\mathrm{prior}},&e偏好先验 × 分支内冲突系数： 偏好先验分工是表达用户希望各奖励保持的相对重要性，在训练全程提供非零下限；分支内冲突系数分工是根据当前负责分支上的奖励梯度几何估计冲突，在预热后给出自适应修正。搭配原因是纯几何加权会因早期梯度噪声丢掉弱但必要的同步目标，纯固定权重又无法响应变化的冲突，组合成残差形式后先验锚定方向、残差跟踪变化。
训练目标如何从分支优势走到可反向的损失？
自适应权重先为每个模态分支产生独立优势，对属于该分支的视频或音频奖励加跨模态奖励加权求和。跨模态奖励同时进入两个分支，这是分支路由的显式安排：同步目标不只归给单侧，而是让两侧都承担。
\[A_{m}^{(n)}=\sum_{k\in\mathcal{K}_{m}\cup\mathcal{K}_{c}}\omega_{m,k}A_{k}^{(n)},\qquad m\in\{v,a\}.\]上式输入是各奖励的组相对优势与分支自适应权重，输出是视频分支与音频分支各自的合成优势。随后每个分支优势用与单奖励相同的映射变成最优性概率。
组相对优势 × 最优性概率： 组相对优势分工是把同一提示下多个 rollout 样本的原始奖励减去组均值再除以组标准差，得到可比的相对好坏；最优性概率分工是把分支优势裁剪并映射到零到一区间，决定正策略损失与负策略损失的混合比例。搭配理由是直接用原始奖励尺度差异大且不稳定，先组内标准化消除提示难度与量纲影响，再映射为概率权重才能稳定地驱动隐式正负策略回归。
对样本的每个 token，负感知的损失把正策略误差与负策略误差按分支概率加权，并分别除以对应策略在该模态上的分离均值绝对残差，目的是消除不同样本与策略间的尺度差异。token 路由权重再对该分支所有 token 做加权平均，得到分支策略损失。最后把 2 分支相加并加上向固定参考策略的正则项。反向时经过路由后的键值路径，层缩放直接控制跨模态梯度流量，而前向数值不受影响，这是用停止梯度实现软路由的典型做法。原文未报告部分优化器超参数与计算预算的完整细节，复现时应以原文算法流程与损失定义为准，不从基座名称推定未说明的实现。
实验条件是什么：在哪些模型、数据与奖励上比较？
论文在两个联合音视频扩散基座上验证方法，均为双流加双向跨注意力结构，适合研究跨模态、token 与层的自适应定位。训练提示来自视频声音数据集衍生的语料，每条记录包含模态专用的音频与视频描述以及联合提示。评估用完整基准的大规模提示集，覆盖多样的音视频生成场景，生成输出按统一协议归一化为固定时长、帧率与音频采样率。比较强调同数据、同低秩适配与同优化预算下独立训练多个随机种子，基座与原作者发布检查点则用相同生成与评估协议直接评测。
优化的奖励覆盖 5 个互补信号：视频质量用两个图像视频质量模型，音频质量用音频美学模型，文本音频对齐用对比音频文本模型，音视频同步用同步误差模型。训练时把同步误差转为越大越好，评估时仍报告原始越小越好的同步误差。基线覆盖 4 个互补维度：无后训练的预训练基座、固定权重聚合的解耦归一化方法、按全局梯度冲突动态调权的无模态路由方法，以及为前向过程设计的静态多模态路由方法及其原作者发布检查点。评估指标分 4 组：音视频质量、文本一致性、音视频一致性与音视频同步，前 3 组越大越好，同步误差越小越好。
下表把可核对的数据规模与输出协议整理成宽表，数字与单位均来自原文连续句，阅读时注意时长、帧率与采样率是生成输出的归一化条件，不是训练提示本身的属性。
| 条件 | 提示规模 | 基准规模 | 输出协议 | 音频协议 |
|---|---|---|---|---|
| 训练后训练语料 | 19,487 条音视频提示 | — | — | — |
| 评估基准 | — | 10,140 条提示 | 4 秒，24 帧每秒 | 16 千赫兹音频 |
表前已说明比较问题是方法是否在相同基座与相同预算下同时改善质量、对齐与同步，公平条件是同数据与同优化预算加多种子平均，指标方向是质量与一致性越大越好、同步误差越小越好。表后需要强调的是该表只解决可比性基础，不支持任何性能判断；真正的性能差异要看主结果与训练轨迹，且总体趋势不等于每个提示都成立。原文未公开代码与模型权重的可达状态，本次也未发现完成网络验证的资源绑定，因此不能声称代码或权重已公开。
主结果与训练轨迹支持什么判断，又有什么代价？
定性例子覆盖中文新闻播报、风格化英语讲述、双人对话与狗叫 4 种场景。原文报告基座存在明显的主体与外观漂移，静态路由改善提示保真但保留时间不一致，而本方法更好地保持请求主体与场景结构并减少身份与外观漂移。看定性图时应把它当作例子理解，不把单样本视觉差异当作定量证明，定量结论仍以基准指标与多种子统计为准。
定量方面原文报告本方法在两个基座上总体最强，在每个基座下 10 个指标中的 9 个取得最好。固定聚合改善视觉质量但恶化若干音频与同步指标，呈现固定加权的不平衡；全局冲突感知缓解部分冲突，静态多模态路由引入模态感知优化，但两者都没有同时适应奖励协调与更新路由。训练轨迹显示本方法达到最高的平均奖励，并在 5 个分量奖励上保持更有利的轨迹，而基线在音频、视频与同步目标上的进展不均衡。这支持最终增益来自协同多奖励优化，而不是以牺牲一个目标为代价换取另一个目标。
下图展示 5 个单奖励与平均奖励随训练的变化，以及路由与加权两条消融链的平均奖励轨迹，阅读时先按图例确认 4 种方法的颜色归属，再区分分布曲线与单点标记的含义。
看图路径： 1. 先确认图例中四种方法的颜色，再逐个对比五个单奖励子图的高低与波动；2. 重点看同步相关子图与其他质量子图是否同时上升还是此消彼长；3. 再看右列两张消融曲线，从起点到终点比较逐级叠加是否拉开差距；4. 注意横轴训练步覆盖的区间与纵轴是否为原始奖励值而非归一化平均
论文图 4。原论文 Figure 4:：“Reward dynamics and component ablations.”。
对上图的解释要结合纵轴含义。左侧 5 张子图纵轴是各自奖励的原始值，右侧平均是 5 个归一化奖励的算术平均，曲线向上表示对应奖励变好。绿色代表本方法在同步与美学相关轨迹上明显高于灰色固定加权与棕色全局调权，紫色静态路由居中。右侧两张消融图显示从固定基线出发逐步加入 token 加权、层缩放、分支感知、残差混合与预热后曲线逐步抬升，完整方法最高。像素不能精确辨别的中间步数值不硬读，只报告相对顺序与是否均衡。限制是轨迹图未给出延迟与计算开销，平均趋势也不等于每一步都单调上升。
路由与加权的每一级是否都必要：代理保真度如何验证？
路由消融在固定加权上逐步引入 token 加权与层缩放。token 加权通过强调跨模态响应强的 token 改善局部信用分配，层缩放通过保留重要交互层的梯度进一步改善一致性与同步，两者结合得到最强的纯路由配置，说明 token 与层自适应互补。加权消融从全局调权基线出发且不继承路由，逐步加入分支感知平衡、残差混合与预热。分支感知把奖励交互分配到负责分支，残差混合保留预定义偏好先验而不是被几何系数替代，预热通过延迟动态加权等到梯度关系可靠再适应。
完整模型总体最好，说明自适应定位与偏好保留的奖励协调解决不同但互补的失效模式。中间配置可能偏向不同目标，不必在每个指标上单调提升。
机制验证用直接路径干预检验代理是否找到真正影响输出的跨模态路径。在 4 个训练检查点上固定提示、噪声潜变量与时间步，逐个关闭全部跨模态块中的每一块，输出变化越大表示该路径越重要。层级保真度用代理排序与干预排序的秩相关衡量，动态跟踪比较当前代理与冻结在初始化的代理，token 级则比较屏蔽高分组、随机组与低分组时的输出变化。
下表把层级代理保真度的关键数字整理为宽表，包含方向、相关性与检查点条件，数值写法保留原文形式以便复述时核对。
| 验证维度 | 方向 | 当前代理相关性 | 冻结代理相关性 | 干预条件 |
|---|---|---|---|---|
| 层排序保真度 | 音频到视频 | 0.98 | — | 逐个关闭 48 块之一 |
| 层排序保真度 | 视频到音频 | 0.97 | — | 逐个关闭 48 块之一 |
| 动态跟踪 | 音频到视频与视频到音频 | 保持在 0.96 以上 | 下降到 0.56 与 0.38 | 4 个训练检查点 |
表前提问是预门响应范数能否替代昂贵的逐层干预，公平条件是固定提示、噪声与时间步并在全部层上分别干预，指标方向是秩相关越大表示代理与干预越一致。表后解释是当前代理在 2 个方向都接近一，支持它可靠识别重要层；而冻结代理随训练下降到 0.5 左右，说明重要层移动且固定布线会过时。未胜出项是冻结代理，它在基座附近仍准确，只是在训练后变差，这恰好界定了静态路由的适用边界：短时微调可能可用，长程后训练需要重算。
下表进一步整理 token 级干预的效应量，条件是屏蔽目标 token 中得分最高、随机与最低的 10%，指标是最终预测的相对变化，越大表示被屏蔽组越重要。
| 被屏蔽组 | 占比 | 音频到视频效应 | 视频到音频效应 | 比较基准 |
|---|---|---|---|---|
| 高分组 | 10% 目标 token | 1.62 倍于随机组 | 1.74 倍于随机组 | 等尺寸随机组 |
| 随机组 | 10% 目标 token | 基准 | 基准 | — |
| 低分组 | 10% 目标 token | 明显更小 | 明显更小 | 等尺寸随机组 |
表前提问是高代理分数的 token 是否功能上更重要，公平条件是 3 组屏蔽尺寸相同且只阻断收到的跨模态信息，指标方向是相对变化越大表示越重要。表后解释是高分组的变化约为随机组的 1.62 倍与 1.74 倍，且在 2 个方向一致，直接支持高分 token 更具功能影响。限制是该结论只在 10% 的屏蔽比例与当前干预协议下得到验证，换比例或换时间窗口是否成立待验证。
上表对应的像素证据在下图的 3 个面板中，阅读时注意左图横纵轴都做了归一化以便可视化，点靠近对角线表示一致；中图纵轴是层排序一致性，实线与虚线的分离表示动态重算的价值；右图纵轴是相对变化，柱高顺序表示重要性排序。
看图路径： 1. 在左散点图中看横轴代理分数与纵轴干预效应的点是否落在对角线附近；2. 在中折线图中对比实线当前代理与虚线冻结代理随检查点的分离时机；3. 在右柱状图中比较高分组、随机组与低分组的相对变化高度顺序；4. 注意三组柱状都区分两种跨模态方向，确认结论在两个方向一致
论文图 5。原论文 Figure 5:：“The proxy correctly identifies influential cross-modal layers and tokens.”。
对上图的像素解释是左散点中两类方向的点都沿对角线分布，图例给出两个接近一的相关系数；中折线中当前代理在 4 个检查点保持高位，冻结代理在中后期明显下滑；右柱状中高分组高于随机组，随机组高于低分组，且两种方向的顺序一致。这些共同支持跨注意力响应代理能识别功能重要的层与 token，而初始化冻结的路由随训练变旧。
还有哪些边界没有测到：奖励、框架与架构各缺什么？
奖励方面，原文明确指出尚无统一奖励能同时刻画模态质量、语义一致性与时间同步，人类偏好模型可提供互补的总体信号，但不能替代细粒度模态专用监督。开发全面的音视频奖励仍是重要方向。这意味着当前 5 个奖励的组合是现有条件下的代理，不是同步与美学的完备定义，换奖励或加人类评价可能改变结论。
框架方面，原文采用前向过程强化学习是为了稳定地直接监督采样的流匹配时间步，避免反向过程似然估计。路由可通过 token 损失与梯度路径扩展到其他扩散目标，奖励协调只需要奖励梯度。未验证的推测是其他在线组相对优化是否同样受益，原文未给出这部分对照，因此只能说可能可迁移，不能承诺同样提升。
架构方面，原文在双流基座上做了完整比较与消融，结论部分还提到在统一单流基座上的验证。路由适用的前提是模态 token 可识别且方向交互响应可分离，奖励协调则与架构无关。模态表示不可分或交互响应不可访问的模型仍是未来工作。对初学者而言，复现前应先确认自己模型的跨注意力输出能否按方向取出并按 token 与层聚合，否则无法直接套用本文的路由公式。
复现先做什么：按一个样本走完输入到梯度的最小闭环？
先准备可运行的双流联合音视频扩散基座，确认音频流与视频流的隐藏状态、查询键值与双向跨注意力模块的位置，以及门控输出加到对方流的代码路径。这是后续取出预门响应的前提，若取不到方向响应，就只能复现分支加权部分。接着准备训练提示与 5 个奖励模型的调用方式，明确每个奖励越大越好还是越小越好，并在训练时把同步误差转为越大越好，评估时仍用原始越小越好，避免方向搞反。
然后按单个提示走通最小闭环。用已更新策略为同一提示生成一组样本，保存采样时的预门响应范数。对每个奖励独立做组内标准化得到优势，用先验权重合成视频与音频分支优势并映射为分支概率。对每个分支的每个 token 计算正负策略误差并做尺度归一化，再用 token 权重做加权平均得到分支损失。反向时对源键值做软分离表示，前向不变、反向按重要性缩放，2 个方向独立设置。预热轮之前只用先验权重，预热后在刷新轮用分支内几何系数做残差修正并滑动平均。
核对清单包括是否固定了提示、噪声与时间步来做代理验证，是否在探测冲突时关闭 token 路由，是否保留跨模态奖励同时进入两个分支，是否用多随机种子报告均值与波动。原文未报告完整的训练超参数、硬件预算与推理开销，复现报告应明确标注这些缺项，不从模型参数量推定训练成本，也不把自动指标当作人类评价。若只能复现部分组件，优先复现分支感知残差加权，因为它不需要改梯度路径，更容易在新架构上验证收益。
何时值得尝试这种动态布线，何时不必？
当后训练需要同时满足模态质量、文本对齐与时间同步，且观察到不同奖励在同一样本上给出相反排序，或者固定加权下同步指标停滞而视觉质量继续上升时，值得尝试本文的思路。另一个信号是训练前后重要层或梯度峰值发生移动，此时静态层手术很可能已过时，动态重算路由更可能带来均衡增益。若任务只有单一质量目标，或奖励之间基本一致且训练很短，动态协调的收益可能有限，不必引入 4 层自适应。
尝试时建议从诊断开始：先统计奖励冲突矩阵，再跟踪纯几何权重的轨迹，最后做小规模的逐层关闭干预，确认关键层是否移动。若冲突小且关键层稳定，用固定权重加轻量 token 加权即可；若同步权重被压制或关键层明显漂移，再加入分支内残差修正与层缩放。评估要同时报告质量、对齐、一致性与同步 4 组指标，并给出训练轨迹的均衡性，而不只报告平均值。
回到中心判断，论文把联合音视频后训练重新表述为随模型演化不断重组的信用分配问题，用当前跨模态响应定位更新，用分支内冲突修正先验权重。证据支持该组合在两个基座上更稳定有效，机制分析支持代理的保真度与动态必要性。未验证的是统一奖励、跨框架迁移与不可分架构的适用性，这些是补验证时应优先回答的问题。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses