英文题目：SyncRA: Learning Temporal Correspondence in Omni-Modal Models
标签：#音视频问答 | #对比学习 | #音视频 | #多模态模型
评分：7.5/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zelong Xu：University of Wisconsin–Madison
- Yan Li：University of Wisconsin–Madison
- Wenhe Hu：University of Alberta
- Xiyang Hu：Arizona State University
📌 核心摘要
全景视频问答的输入是长视频流与伴随音频及自然语言问题，输出为选项或文本答案，难点在于模型可分别识别声音与画面却不跟踪二者在同一时刻的局部时间对应关系，从而把话语配给错误场景。同步引导表示对齐（Synchrony-Guided Representation Alignment，SyncRA）先利用处理器原生时间元数据把联合上下文中的音频与视觉隐状态按共享区间均值池化，再经共享线性投影与L2归一化映射到64维余弦空间，随后在同一视频内以对称InfoNCE拉近同时刻对并推开异时刻候选，最后与答案交叉熵按权重联合优化并在推理时丢弃投影头。与固定时间码或片段级关联等替代监督相比，该设计直接以输入共现定义正例并保留视频内竞争，从而强制区分时刻而非仅增强单模态时间可读性。在Qwen3-Omni的100视频交换诊断上，AllFour指标从答案微调的34.00%提升至62.50%，且在4个主干与5个公开基准构成的20组比较中平均准确率全部提升。该结论目前仅在60秒至180秒剪辑与多选题交换协议下得到验证，对开放式回答与更长视频的外推尚未检验。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，必须保留什么信息？
本文的输入是一个视频片段及其完整音轨，再加一个自然语言问题。输出是选择题的选项字母或开放问答的简短答案。评价时模型必须同时听到声音和看到画面，不能只用其中一个模态猜答案。
必须保留的信息有 3 条。第一，训练只用一个固定的 1 万问子集，来自 1782 个视频，片段时长 60 到 180 秒，目的是隔离监督信号的作用。第二，评测用 5 个公开视频基准的准确率及其等权平均，同一骨干内所有方法共享题目、媒体与分母。第三，推理阶段不增加任何新模块，训练期加入的投影头在训练后丢弃。
研究对象是全模态模型，即把文本、音频、视频 token 放在同一上下文中联合编码，再生成答案的模型。这类模型能分别识别声音里说了什么、画面里有什么，却经常把某一句话贴到错误的画面上。论文把局部音画时间对应定义为核心能力：知道给定声音时刻伴随的是哪个视觉观察，而不是只知道两者曾出现在同一片段。后续的方法、诊断与表示分析都围绕这一时刻配对展开。
同输入同目标的相关路线有何不同？
在同输入同目标上，与本文最接近的是强调必须同时用音频和视觉的评测，例如 Daily-Omni 和 AVUT，以及研究时间戳表示的工作。它们提供任务和指标，但不提供训练期如何把时刻对应写入回答模型中间表示的方案。复现时应把它们当作评测条件，而不是可直接替换的训练方法。
在同监督上，长期存在用音画同时性做自监督的工作，把同时帧音频对作为正例、把其他视频或错位时间作为负例。它们的监督多作用于独立编码器，而 SyncRA 把同时对比作用于正在回答问题的同一骨干的中间状态。这一区别决定了梯度会同时影响回答路径的参数，而不只是学一个独立的检索编码器。
另一条相近路线把时间对比与交错文本隐变量推理联合训练。论文明确说明截至 2026 年 9 月 26 日该仓库只有说明文档和论文，无法在相同骨干、数据与预算下做受控对比，因此本文的受控对比只覆盖同数据同预算同骨干的训练目标变体。在同运行阶段上，中间表示监督的代表是对齐扩散模型到预训练视觉特征，而 SyncRA 的监督来自输入自身的时间元数据，无需事件标注和外部教师。复现时不需要寻找对齐教师，只需要能拿到每个 token 的时间区间归属。
为什么普通问答高分不能证明时间配对学会了？
问题来自结构与监督两层缺口。结构上，各自模态内的时间编码不等于跨模态的时间对齐。论文对代表性骨干的探测报告显示，流逝时间可从中间音频和视觉状态线性解码，但直接匹配同时刻音频视觉状态很弱，并且向深层恶化。也就是说，模型保留了时间信息，但没有把两个模态组织进共享的时间结构。
监督上，时间对齐的音画数据稀缺，联合 token 在预训练中占比小，答案级监督让局部配对保持隐式。如果问题可以从全局语义或单模态答对，模型无需区分正确与错误的时间配对。因此，普通问答准确率高，并不保证模型跟踪了时间配对本身。
局部音画时间对应 × 答案级监督： 局部音画时间对应指知道某一句话播出时当前可见哪一幕，分工是约束时刻级别的跨模态配对；答案级监督只约束最终选项正确，分工是约束语义级别输出，搭配理由是答案可从单模态或全局语义猜对而不必区分错位配对，组合意义在于必须在答案损失之外显式增加时刻配对目标。
为直接测量，作者构造受控交换诊断。对每个源视频取 4 个不重叠等长窗口，各放一个完整多词口语线索。问题固定为当说出该短语时可见哪一幕。4 个版本是原始、只换音频、只换视频、同时换，交换为窗口 1 与 3 互换、2 与 4 互换，保持窗内顺序和总时长不变。只交换单流会改变正确答案，同时换则保持原配对只是平移到新位置。问题与选项顺序跨版本不变，不给时间戳和版本标签。
下面这张动机图把上述诊断变成可复述的操作，左侧看交换的是哪个单流，右侧看答案是否跟随配对变化。
看图路径： 1. 先看左侧三条时间带中绿框画面在原始与交换条件下是否变化；2. 再看右上雷达图五个轴上四种方法的包络大小与凹陷位置；3. 最后看右下四格中四种方法在两次交换下给出的字母与对错标记
论文图 1。原论文 Figure 1:：“A motivating example and the swap diagnostic.”。
该图左侧用胶片加波形展示原始、视频交换、音频交换 3 条时间带，绿框标出心力衰竭所在时刻对应的画面变化，正确答案随之从解剖心脏模型变为监视器上的 3 维心脏模型。右侧雷达图比较 4 种方法在 4 个版本加 AllFour 轴上的包络，SyncRA 包络最大。右下四格显示只有 SyncRA 在 2 次图示交换下都选对，另 3 种方法在至少 1 次交换下保留原场景答案。这说明答案跟随的是输入中的当前配对，而不是视频全局语义或单一模态记忆。
SyncRA 在回答路径的哪一层加了什么监督？
SyncRA 的全景是在普通问答微调上并联一条仅训练期存在的支路。顶部是普通问答路径：音视频 token 与问题进入全模态骨干，经过前若干块得到中间状态，再经后续块生成答案 token，用答案交叉熵训练。底部是同步引导的表示对齐：在选定块输出处，按原生时间网格对音频和视觉隐藏状态分别做区间内均值池化，经共享矩阵投影并归一化，再用对称对比把同时区间拉近、把同视频其他区间推开。
该支路的梯度更新投影矩阵和允许的骨干参数，答案损失的梯度继续穿过后续层。训练结束后丢弃投影头，架构与推理开销不变。接口只依赖 token 时间元数据而非特定注意力布局，因此适用于稠密与混合专家骨干。层选择在微调前用冻结基座状态上的共享线性探针完成，每个骨干在约 1/4、二分之一、四分之三深度各取一个候选层，用视频内对称区间对比拟合探针并在验证视频上选择检索命中最高的合格层。微调时重新初始化投影矩阵，不复用探针权重。
下图是复述时最关键的全景，先走完一个样本的主路径再讲支路，避免把投影头误认为推理组件。
看图路径： 1. 沿顶部从视频帧与问题经前后两组块到答案损失的主路径看数据流向；2. 看底部从原生时间网格经均值池化到共享矩阵再到相似度矩阵的支路；3. 确认底部总损失写法与推理时丢弃投影头的标注位置
论文图 2。原论文 Figure 2:：“Overview of Synchrony-Guided Representation Alignment (SyncRA).”。
该图顶部箭头从视频帧加问题进入前段块得到隐藏状态，再经后段块生成答案并计算答案损失。底部从原生时间网格出发，经均值池化得到每区间音频向量与视频向量，共用矩阵加归一化后形成相似度矩阵，对角为正例、非对角为同视频负例，双向归一化得到对称对比损失。总损失为答案损失加 0.1 倍对齐损失。图中标注了可训练参数与冻结部分，以及推理时丢弃投影头的说明。复述时应强调支路只在训练时存在。
区间池化、共享投影与双向对比如何计算？
先沿一个样本走完输入到目标。设处理器给出多个同时含音频和视觉 token 的有效区间，区间是采样单元而非语义事件。同一区间内的观察因在输入中共现而构成正例，不要求描述同一物体。每个 token 在选定块的输出为上下文状态，按模态归属与时间元数据分到区间集合。对每个区间，把其中音频 token 集合与视觉 token 集合分别求均值，得到音频区间向量与视觉区间向量。这一步把变长序列压缩为每区间一个向量。
\[a_{k}=\frac{1}{|A_{k}|}\sum_{i\in A_{k}}h_{i}^{(\ell)},\qquad v_{k}=\frac{1}{|V_{k}|}\sum_{i\in V_{k}}h_{i}^{(\ell)}.\]上式把区间内音频状态与视觉状态分别平均，分母为集合大小，输出为该区间两种模态的池化状态。接着用同一个无偏置矩阵把两种模态从隐藏维度映射到 64 维，做归一化后用余弦相似度除以温度系数得到分数矩阵。共享矩阵的作用是让跨模态可比，归一化使分数为余弦，温度控制分布锐利程度，原文固定为 0.07。
\[z_{k}^{a}=\frac{Wa_{k}}{\|Wa_{k}\|_{2}},\qquad z_{k}^{v}=\frac{Wv_{k}}{\|Wv_{k}\|_{2}},\qquad s_{kj}=\frac{(z_{k}^{a})^{\top}z_{j}^{v}}{\tau}.\]上式给出归一化后的区间特征与音频区间到视频区间的缩放相似度。然后在每个视频内部做双向区间分类：音频到视频方向把同序号作为正确类别，视频到音频方向同样如此，2 个方向的交叉熵再平均。所有候选都来自同一视频，从而固定来源身份和全局上下文，要求区分同一录制内的不同时刻。
\[\mathcal{L}_{\mathrm{SyncRA}}=-\frac{1}{2K}\sum_{k=1}^{K}\left[\log\frac{\exp(s_{kk})}{\sum_{j=1}^{K}\exp(s_{kj})}+\log\frac{\exp(s_{kk})}{\sum_{j=1}^{K}\exp(s_{jk})}\right].\]上式分子为同时对的指数分数，分母为同视频所有区间的指数和，前后两项分别对应两个检索方向。若样本有效区间少于两个，则该样本只用答案监督。最后把辅助目标与最终答案交叉熵相加，权重固定为 0.1。
\[\mathcal{L}=\mathcal{L}_{\mathrm{answer}}+\lambda\mathcal{L}_{\mathrm{SyncRA}},\qquad\lambda=0.1,\quad\tau=0.07.\]上式表明总损失为两项之和，温度与权重按原文实现取固定值。辅助头仅增加 64 乘隐藏维度的训练参数，推理时丢弃。
原生时间区间 × 视频内负样本： 原生时间区间是处理器已有的采样时间网格，分工是无标注地给出谁与谁同时；视频内负样本指同一视频的其他区间，分工是固定说话人与全局语义只让时刻不同，搭配原因是跨视频负样本会被来源身份走捷径，组合意义是把判别压力集中到何时而非何物。
共享线性投影 × 对称 InfoNCE： 共享线性投影指音频和视觉共用一个无偏置矩阵映射到 64 维并做归一化，分工是建立可比的余弦空间；对称 InfoNCE 指音频找视频和视频找音频两个方向的区间分类，分工是拉近同时对并推开同视频其他时刻，搭配原因是无竞争的拉近允许所有区间坍缩，组合意义是形成既对齐又可区分时刻的表示。
需要强调的是，正例定义为时间共现而非语义一致，负例定义为同视频其他时间而非其他视频，这两点是与跨视频对比和固定时间码监督的本质区别。成员归属依据时间元数据而非序列邻接，因此即使模态 token 分块存放也能支持。
训练数据、更新范围与优化如何固定？
训练使用固定平衡的 10,000 例子集，含 5000 道选择题和 5000 道开放问答，覆盖 10 类任务。所有方法共享该划分、相同媒体输入和固定样本顺序。选择小而平衡语料是刻意设计：监督来自输入时间而非额外数据或标注，与答案微调同数据同预算对比时，差异可归因于监督信号。检查点按验证集答案负对数似然最低选择，不看基准分数与表示诊断。
下表给出训练、验证与总计的问数与源视频数，是复现时必须固定的划分口径。
| Split | Questions | Source videos |
|---|---|---|
| Training | 9,500 | 1,367 |
| Validation | 500 | 415 |
| Total | 10,000 | 1,782 |
该表说明训练集与验证集的来源视频不相交，总计 1 万问来自 1782 个视频。10 类任务每类 1000 问。所有方法共享该划分与相同媒体输入，检查点选择不使用基准分数。代价是语料规模较小，增益随数据规模如何变化尚未测量。
优化统一为常用设置，有效批量较小、训练两轮，辅助维度 64、温度 0.07、权重 0.1，有效区间少于两个时只用答案监督。监督块按骨干固定，稠密与混合专家模型的更新范围不同，但同一骨干内各目标的更新范围固定。对比基线包括未微调的发布检查点、只监督最终答案的答案微调、监督所附推理再加答案的文本推理微调，以及 3 个辅助目标变体。文本推理微调与主方法共享数据划分、优化与可训练模块，目标为推理加最终答案行。
诊断与基准分别测什么，条件如何对齐？
受控诊断用 100 个独立源视频，其中 81 个来自 Daily-Omni、19 个来自 LVOmniBench，与训练验证源不重叠。每个视频贡献 4 个唯一口语线索，分布在 4 个等长不重叠窗口，每个线索播放期间目标场景稳定唯一且在实际采样帧中可见，标注由独立语音识别加人工检查后固定。每个线索在 4 个版本下独立提问，共 400 问每版本、1600 问每检查点。问题模板固定，不给时间戳。评估用贪心解码与固定解析，生成与解析失败计错。配对自助区间按源视频重采样并保留其全部线索与版本，检查点固定。
交换诊断 × AllFour： 交换诊断指把窗口只换音频、只换视频或同时换，分工是制造配对改变与配对不变的对照输入；AllFour 指同一语音线索在四个版本下必须全部答对才计分，分工是要求答案跟随当前输入配对，搭配原因是单版本正确可能靠单模态猜中，组合意义是把是否跟踪时间配对变成可测量的行为指标。
5 个公开基准覆盖通用、长上下文与音频中心理解，报告每基准准确率与五者等权平均。答案微调与 SyncRA 各做 3 次独立随机种子训练并报告均值与样本标准差，另两种为单检查点。同一骨干内所有方法用相同题目媒体与分母，解析规则固定。为明确监督位置的选择依据，下表给出冻结基座上探针拟合与验证的可用视频数、探针媒体范围与最终选定块。
| Backbone | Candidates | Fit/validate | Probe media scope | Selected |
|---|---|---|---|---|
| Qwen2.5-Omni | 7, 14, 21 | 200/415 | Full training clip; 2 FPS, at most 256 frames; native 2 s grid | 21 |
| MiniCPM-o 4.5 | 9, 18, 27 | 200/415 | First 60 s; native 1 s audio–video intervals | 9 |
| Qwen3-Omni | 12, 24, 36 | 198/408 | Full training clip; 2 FPS, at most 256 frames; actual temporal grid | 36 |
| Nemotron | 13, 26, 39 | 200/415 | First 120 s; 2 FPS; native 2 s intervals | 26 |
该表比较 4 个骨干的候选块、拟合与验证视频数、探针媒体范围与选定块。两组稠密与混合专家模型的相对深度选择不同，说明选择在微调前完成且适配各架构。拟合用前 200 个训练源视频，验证用全部验证源视频。表中选定块即主实验的监督块，微调时不再复用探针权重。代价是探针媒体范围按骨干做了截断以控制开销，复现时需按原表范围执行而非统一用全片。
对应敏感问答与通用问答是否同时提升？
主结果分两层。第一层是交换诊断上的对应敏感问答。SyncRA 在 4 个骨干上都提高 AllFour，且 4 个配对自助区间都不包含零。最大版本级提升都出现在单流交换下，即正确答案必须跟随改变的配对时。第二层是 5 个公开基准的通用问答。
SyncRA 在全部组合上平均准确率高于答案微调，每个骨干的平均增益远超各自运行间波动，且每个骨干最大或次大增益落在最需要同时用音频和视觉的基准上。文本推理微调在每个骨干的平均上都不如答案微调，而 SyncRA 同时超过两者。
下图展示预测如何跟随当前配对，是行为层面的直接证据，需要逐个版本对照正确格的位置。
看图路径： 1. 先按原始与联合交换看对角线格是否为高亮正确格；2. 再按音频交换与视频交换看正确格是否移到交换后的对应列；3. 对比上下两组中保留原场景预测的比例变化
论文图 4。原论文 Figure 5:：“Qwen3-Omni Run 1 scene-prediction matrices for Vanilla SFT and SyncRA.”。
该图按原始、音频交换、视频交换、联合交换四列展示答案微调与 SyncRA 的场景预测矩阵。每行聚合一个线索序号在 100 个源视频上的分布，列为原始场景身份。原始与联合交换的正确格在对角线，单流交换的正确格移到交换后的对应列。SyncRA 在单流交换下保留原场景的比例明显下降，而在联合交换下重新集中到原配对，准确率随之上升。这支持 SyncRA 的答案更可靠地跟随当前输入中的对应关系。
为便于核对基线、策略与指标方向，下表把诊断增益、检索变化与总体结论放在同一宽表中。
| 对比条件 | 指标方向 | 答案微调 | SyncRA | 差距与结论 |
|---|---|---|---|---|
| 交换诊断 | AllFour 准确率（%） | 34.00 | 62.50 | 单流交换下提升最大，配对自助区间不含零 |
| 表示检索 | 同区间 R@1（%） | 13.39 | 96.91 | 写入骨干自身未投影状态 |
| 通用问答 | 平均准确率越高越好 | 答案微调基线 | SyncRA 更高 | 在全部 20 组组合上高于答案微调 |
该表第一行给出代表性骨干从答案微调到 SyncRA 的 AllFour 变化，第二行给出未投影检索的变化，第三行给出通用问答的一致模式。主要收益是对应敏感性与通用问答同时提升，具体代价是诊断仍是 100 源视频的选择题，未检验开放生成中是否同样跟随配对变化。表中未胜出项是部分对照在聚合问答上接近 SyncRA，说明仅看聚合问答分会掩盖是否跟随当前配对的差异。
增益来自局部配对、视频内竞争还是权重运气？
消融围绕监督关系、对齐损失与超参数展开。监督关系上，比较错误视频内配对、共享时间戳目标与片段级音视频关联。它们的聚合问答准确率接近 SyncRA，但 AllFour 明显分化，即使最强的固定时间码也落后直接局部配对较大差距。SyncRA 在 4 个骨干上都是这些目标中平均最高的。对齐损失上，比较无竞争的余弦拉近、独立成对排序与联合归一化的对比，保持相同共现正例与训练设置。
对比的 AllFour 最高，而三者聚合问答差距很小。把所有区间映射到同一向量可使余弦损失为零而对比损失仍为正，说明只有正向吸引不强制区分时刻。权重上，在较大范围内都比答案微调提高较多，默认值最高。监督深度上，在两个 tested 块监督都超过答案微调，且监督位置决定对应在网络中何处集中。
下表把可运行的对照策略与点估计集中呈现，聚合问答相近而 AllFour 分化是关键反证。
| 对比条件 | 指标方向 | 对照策略 | SyncRA | 差距与结论 |
|---|---|---|---|---|
| 对齐损失 | AllFour 越高越好 | 46.25% | 62.50% | 达到 62.50% 而对照为 46.25%，差距明显 |
| 对齐损失 | AllFour 越高越好 | 40.50% | 62.50% | 对照为 40.50%，对比形式不可少 |
| 监督关系 | AllFour 差距越大越好 | 固定时间码对照 | 直接局部配对 | 落后 17.75 个百分点，关系本身驱动增益 |
该表显示对比在 AllFour 上高于成对排序，固定时间码落后局部配对较大差距，余弦对照更低。主要收益来自局部配对目标加对比形式两者兼备，具体代价是需要有效区间数至少为二，否则该样本退化为纯答案监督。未胜出项是固定时间码与片段级关联在聚合问答上并不差，复现时若只看聚合问答会误判它们已足够。
中间层监督 × 未投影检索： 中间层监督指在选定块输出上加辅助损失，分工是在对应尚可访问的深度施加压力；未投影检索指不用训练投影头直接用骨干隐藏状态做同时区间最近邻，分工是检验能力是否写入骨干而非只存在于投影头，搭配原因是投影头训练后会被丢弃，组合意义是只有未投影空间也出现对角线才说明推理可用表示被改变。
该面板展示固定验证片段上未投影区间均值音频与视频状态的余弦相似度，训练后对角线明显集中，是表示层面与行为增益对应的关键证据。
看图路径： 1. 对比四个面板中对角线是否从弥散变为细亮斜线；2. 确认横轴为视频时间纵轴为音频时间且色标范围的含义；3. 观察非对角区域是否仍保留较高的背景相似
论文图 3。原论文 Figure 3:：“Temporal correspondence in dense and MoE backbone states.”。
该图 4 个面板共享同一颜色标尺，横轴为视频时间、纵轴为音频时间。答案微调下面板呈弥散块状，SyncRA 下面板出现细亮对角线，说明同时刻状态被拉近。需注意非对角仍有较高背景相似，因为同一视频全局语义相近，对角集中不等于非对角为零。结合延迟与供体替换控制，检索跟随的是何时而非何物。深度扫描显示增益峰值在被监督块并在末块仍可见，支持在中间层施加时间监督。
哪些边界尚未被测量？
论文明确列出四项局限。第一，交换诊断是 100 源视频上的选择题，是否在开放生成中跟踪配对变化未经检验，扩展到开放生成是自然下一步。第二，定量机制分析多用代表性骨干甚至单次运行，热图提示另 3 个骨干有类似变化但未完全扩展。第三，最小增益出现在基座已跟踪配对最好的骨干上，在更好对齐的模型上还能加多少仍开放。第四，所有微调都用同一紧凑语料以隔离监督信号，时间标签可扩展到更大语料而无标注成本，但增益随数据规模如何变化未测量。
此外，统计上诊断用源视频配对自助区间固定检查点，基准用 3 次运行的均值与样本标准差，结论依赖多组组合的一致模式而非单次运行的精度。未测量误判率、延迟与成本时，不应承诺这些量得到改善。训练资源、推理开销与输出延迟应分别讨论，总体趋势不等于每组每步都成立。教学上易错的是把时间可解码等同于跨模态已对齐，把聚合问答分接近等同于对应能力接近，以及把投影空间的高检索等同于骨干已改变。原文用跨模态解码转移、AllFour 分化与未投影检索 3 组证据分别纠正了这三点。
复现先固定什么，再跑什么？
复现先固定数据与划分。训练集与验证集的来源视频不相交，共 1 万问，源标识为发布视频编号，诊断源与训练验证源不重叠。所有方法共享该划分与相同媒体输入，检查点按验证答案负对数似然选择。接着固定更新范围与优化。优化按常用设置执行，辅助维度、温度、权重取固定值，有效区间少于两个时只用答案监督。
监督块按骨干取固定值，微调时新建投影矩阵。评估用贪心解码、固定模板与解析，失败计错，分母固定。
下表给出各骨干的更新范围，同一骨干内各目标保持一致，是复现时必须对齐的公平条件。
| Backbone | Update scope |
|---|---|
| Qwen2.5-Omni-7B | Full understanding/Thinker fine-tuning, including text, visual, and audio modules; speech generation is not trained. |
| MiniCPM-o 4.5 | Full understanding fine-tuning; text-to-speech is disabled. |
| Qwen3-Omni-30B-A3B | Routed experts and router gates are frozen; other permitted modules are trained. Trainable backbone parameters: 2,715,593,328 / 31,719,205,488 (8.56%). |
| Nemotron-3-Nano-Omni-30B-A3B | Routed experts are frozen; routers, shared experts, and other permitted modules are trained. Trainable backbone parameters: 3,640,738,752 / 33,015,546,816 (11.03%). |
该表显示稠密模型做全量理解微调，混合专家冻结路由专家，两个混合专家模型的可训练占比分别为 8.56% 与 11.03%，参数计数不含辅助投影。优化与辅助配置按附录设置执行，监督块固定。资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开，复现应以论文附录的划分、优化、层选择与评测细节为准。相近的隐变量推理工作因缺少训练推理代码与数据集，原文未做同条件对比，复现时不应将其作为可运行基线。
何时值得尝试 SyncRA，还需补哪项验证？
当任务需要知道某一句话播出时当前画面是哪一幕，而现有答案微调已能分别识别语音与画面但配对错误难以被用户察觉时，值得尝试 SyncRA。它把同时性变成中间层显式目标，监督来自处理器已有时间元数据，无需事件标注与外部教师，训练后丢弃投影头且推理不变，接口只依赖时间归属因而可跨稠密与混合专家复用。
预期效果是交换诊断的 AllFour 提升与通用问答的全面小幅提升，尤其在需同时用音画的基准上更明显。适用条件是每个样本有至少两个有效区间且时间元数据可靠，权重在较大范围内都有效果，默认取中间值。还需补的验证包括开放生成的配对跟踪、更大语料下的增益曲线、在已高度对齐模型上的附加值，以及除准确率外的延迟与成本测量。
教学上的易错点是把时间可解码等同于跨模态已对齐，把聚合问答分接近等同于对应能力接近，以及把投影空间的高检索等同于骨干已改变。复现时应先固定划分、更新范围、监督块与评测分母，再比较答案微调与 SyncRA，最后用交换诊断检验答案是否真正跟随当前配对。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses