📄 受损音频下如何保住视觉线索：OP-CAD 把干净教师监督压向声学敏感位置
英文题目：OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning
标签：#音视频问答 | #知识蒸馏 | #音视频 | #鲁棒性
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Xingming Shui：机构信息未在 arXiv HTML 中可靠披露
- Dapeng Chen：机构信息未在 arXiv HTML 中可靠披露
- Bowei Liu：机构信息未在 arXiv HTML 中可靠披露
- Jingqi Tian：机构信息未在 arXiv HTML 中可靠披露
- Minfu Li：机构信息未在 arXiv HTML 中可靠披露
- Kun Yi：机构信息未在 arXiv HTML 中可靠披露
- Jiapeng Hong：机构信息未在 arXiv HTML 中可靠披露
- Yansong Tang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
任务输入为视频、损坏音频、问题与选项，损坏来自环境噪声或竞争语音，视频与问题不变，输出为限定格式的证据加选项字母，难点是声学干扰不改变画面却会误导跨模态判断。方法为三段式特权自蒸馏：先构造干净与损坏配对音频并经配对筛选划分鲁棒集与热身集，再用验证答案配 Gemini 3 Flash 证据做有监督热身以统一输出结构并初始化学生与冻结教师，最后按 10 dB 到 5 dB 到 0 dB 课程执行在策略蒸馏，学生始终在损坏输入下采样当前策略回复，教师在相同前缀上用干净音视频加验证答案提供目标。监督分配另设不含答案的干净音视频、损坏音视频与纯视觉上下文，以 Jensen-Shannon 散度度量音频移除敏感度与损坏敏感度，回复内归一后取最大值并经停止梯度映射为 1 至 1.5 的有界权重，均匀特权蒸馏为其增益为零的特例。在 Daily-Omni 竞争语音三信噪比平均上该方法为 63.55%，相对同协议均匀对照提升 2.93 个百分点，环境噪声提升 3.48 个百分点，OmniVideoBench 两类干扰分别提升 2.83 和 3.80 个百分点，且聚合干净准确率未见下降。结论限于受控合成干扰、两套问答基准、单骨干单次运行，未验证真实场景与长时漂移。鲁棒训练实测成本已披露，推理仅用学生直答，无需教师与干净参考。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，哪些信息不能丢？
这篇论文研究音频视觉问答。每次输入包括一段视频、一轨音频、一个问题和若干选项，要求模型先写一段音视证据，再给出一个选项字母。训练与评测刻意构造配对输入：视频、问题、选项顺序和采样保持不变，只改变音频。干扰分为环境噪声和竞争说话人声两个家族，强度取 10、5、0 分贝三档信噪比。目标是在音频被干扰时，仍能利用残留音频证据和未受影响的视觉上下文做出正确判断。
必须保留的信息有 3 类。第一是共享视觉上下文，因为声学干扰不直接改变视频，它是受损下仍可用的互补线索。第二是干净音频中的无失真声学证据，它在训练时作为特权参考存在，推理时不再提供。第三是验证答案，它只用于构造特权蒸馏目标，不进入权重计算，避免把答案泄露变成权重信号。
输出在训练时是学生从受损输入按当前策略采样的一条回答，最多 128 个新词，包含证据段和答案段。在评测时是同样的结构化回答，按答案字段抽取选项字母，无法解析计为错误且不重新生成。对初学者可以这样理解：教师拿着干净录音和标准答案，逐词批改学生在噪声环境下写出的同一份草稿，改得多用力取决于该词有多依赖音频或多容易被噪声改变。
本文后续按任务与相关路线、问题难点、方法全景、组件计算、训练构造、实验条件、结果与反证、消融、局限、复现与收束展开，每一步只讲原文实际做的安排，不引入原文之外的效果断言。
同输入同目标的相关路线在比什么？
第一条线是音频视觉理解与声学鲁棒性。已有工作从图像文本走向视频与音频视觉联合建模，也出现了关注跨模态冲突、声学退化和模态依赖的评测。处理思路包括按模态可靠性调整融合，以及先做声源分离再做模态路由。本文的不同在于不改输入处理与融合结构，而是研究训练期特权监督：在视频不变、音频受损的问答条件下，用干净音频视觉输入的特权信息指导学习。
第二条线是特权信息与在线蒸馏。知识蒸馏让学生模仿教师预测，特权学习允许教师在训练时看到学生看不到的更完整模态或更干净输入。自回归模型的在线蒸馏强调在学生自己生成的前缀上给教师指导，覆盖学生实际访问到的生成状态。原文采用的均匀在线特权自蒸馏把验证答案等特权路径作为监督，但所有位置权重相同，没有利用预测对音频信息或干扰的敏感度。
第三条线是音频条件蒸馏与监督分配。文本条件教师引导音频推理、干净教师给出噪声下一致性信号等工作聚焦纯音频任务，而本文保留共享视觉上下文，用干净音频视觉作公共参考，通过音频移除与损坏两组对照决定词级监督强度。对照基线因此选了同一骨干、同一数据与同一训练协议下的监督微调、分组相对策略优化与均匀在线特权自蒸馏，其中均匀版本是检验加权机制的直接对照。
这样划分的意义是把比较限定在同输入、同目标、同运行阶段。类别差异不能当成同条件胜负，只有共享初始化、数据预算与噪声课程的对照才能说明分配机制本身的增量。
问题具体难在哪里？
难点在于既要抵抗干扰又要保留有用的音频证据。如果简单压低音频权重，模型可能在需要听声辨义的题上连干净证据也丢掉。如果均匀模仿干净教师，又会把有限监督平均分给与音频无关的词，关键位置得不到足够纠正。原文用配对输入把这个问题变得可训练：同一视频问题下，干净音频视觉与受损音频视觉只差音频，纯视觉输入则进一步拿掉音频。
三者共享视频、问题、选项和同一学生前缀，因此教师预测的差异可以直接归因于音频条件变化。这是后文两路敏感度的前提。若前缀不同，差异可能来自文本历史而非音频，归因就不成立。原文因此要求所有教师条件评分同一条学生轨迹。
举一个教学用的例子，不代表原文数值：问题问画面外是否有流水声，受损音频混入人声，学生在证据里写到流水一词时教师预测变化很大，而写到画面中静物一词时变化很小，那么前者就应得到更强的干净教师纠正。原文要解决的是如何把这种直觉变成每个位置可计算的权重，同时在全回答保留基线监督，避免只学高权重词而破坏语言连贯性。
沿一个样本走通训练全景
沿一个样本走一遍最清楚。输入是视频、受损音频、问题和选项，记为受损条件。把音频换成干净版本得到干净条件，去掉音频得到纯视觉条件，再把验证答案加入干净条件得到特权教师输入。前三者不含验证答案且共享视觉与文本，用于计算分配信号。特权输入用于构造蒸馏目标。学生从受损输入采样一条回答，教师在同一前缀下分别给出 4 种条件的下一词分布，比较都落在学生实际生成的状态上。
框架分 3 段。第一段构造配对数据并做失败导向筛选，第二段先做监督热身再按信噪比课程做鲁棒训练，第 3 段在每条在线轨迹上做干净教师监督并按敏感度加权。推理时只用学生直接从音频视觉输入作答，不需要干净音频、验证答案或额外教师前向。下面的总览图把 2 阶段的输入、模型与监督流画在一起。
以下导读帮你读懂总览图的主路径与分支汇合，先看数据流再看监督流，注意教师冻结而学生更新。
看图路径： 1. 先沿上排从左向右看干净数据如何经声道混响与混合变为受损音频，再看成对筛选如何分流到热身与课程；2. 再看下排学生受损 rollout 与四路冻结教师上下文如何汇入同一前缀的词目标与权重；3. 最后看右侧音频依赖与干扰敏感度两排权重如何重加权为上调词
论文图 2。原论文 Figure 2:：“Overview of the OP-CAD training framework.”。
上排是第一阶段，干净音频视觉问答数据经过声道、混响与环境或语音混合得到三档信噪比的受损音频，再用基座模型对干净与受损的成对预测把样本分流到监督热身与课程训练，课程按 10 到 5 再到 0 分贝推进。下排是第二阶段，学生从受损音频视觉展开在线回答，冻结教师用干净加答案、纯视觉、干净无答案、受损无答案 4 种上下文对同一前缀打分，分别产出词目标与两路敏感度权重，最终做音频感知的加权蒸馏。像素右侧特意把音频依赖与干扰敏感度画成两排权重再重加权，说明监督强度来自对照而非均匀分配。
监督目标与分配权重分别如何计算？
先讲白话再给符号。白话是学生分布向特权教师分布靠拢，但每个词的靠拢力度不同。记学生受损前缀分布与特权教师分布的词级逆向散度为蒸馏损失，这是学习目标。记干净与纯视觉、干净与受损之间教师预测的散度为两路敏感度，这是分配依据。两者相乘再按总权重归一化就是最终目标。
特权信息 × 在线蒸馏： 特权信息指训练时教师可见而学生不可见的更完整输入，这里是干净音频视觉输入加验证答案，分工是给出更准确的学习目标；在线蒸馏指教师不对离线固定文本打分，而是对学生当前策略从受损输入新生成的同一前缀逐位置给出下一词分布，分工是把监督落在学生实际访问到的生成状态上；两者搭配的理由是目标更准且位置对齐，新增作用是避免干净离线目标与受损下学生状态错位。
词级蒸馏损失用逆向散度形式，教师用干净音频视觉加验证答案，学生用受损输入，温度为 1 且用完整词表，教师侧截断梯度，只有学生分布参与求导。符号与输入如下式所示。
\[D_{i}=\mathrm{KL}\!\left(p_{S,i}^{n}\,\middle\|\,p_{T,i}^{c,+}\right).\]分配信号用散度度量教师预测差异，公共参考都是干净音频视觉无答案条件，对照分别是纯视觉与受损条件，前者捕捉超出视觉的音频信息，后者捕捉干扰造成的变化，权重计算时均不揭示答案。
\[A_{i}=\operatorname{JS}(p_{T,i}^{c},p_{T,i}^{v}),\qquad N_{i}=\operatorname{JS}(p_{T,i}^{c},p_{T,i}^{n}),\]为消除两路信号量纲差异，原文在每条回答内按各自最大值归一化到 0 到 1 区间，若最大值不超过极小阈值则置零。取两者最大值作为位置得分，再做基线 1 加有界增量，增量系数为 0.5，因此权重落在 1 到 1.5 之间，双信号同时强也不会叠加越界，权重经停止梯度视为常数。
\[s_{i}=\max(\widetilde{A}_{i},\widetilde{N}_{i}),\qquad w_{i}=1+\lambda\,\operatorname{stopgrad}(s_{i}),\quad\lambda\geq 0.\]最终目标是小批量内按权重加权的平均词损失，分母为总权重，使相对分配不变而损失尺度与均匀版本可比。增量系数取 0 时退化为均匀在线特权自蒸馏，这也是原文把均匀版本作为直接对照的计算依据。
\[\mathcal{L}_{\mathrm{OP\text{-}CAD}}(\theta)=\frac{\sum_{x\in\mathcal{B}}\sum_{i\in\mathcal{I}_{x}}w_{x,i}D_{x,i}}{\sum_{x\in\mathcal{B}}\sum_{i\in\mathcal{I}_{x}}w_{x,i}}.\]音频移除敏感度 × 损坏敏感度： 音频移除敏感度比较干净音频视觉与纯视觉下教师预测的差异，分工是找出超出视觉上下文的那部分音频信息；损坏敏感度比较干净与受损音频视觉下教师预测的差异，分工是找出声学干扰直接改变的预测；搭配理由是前者刻画模态依赖，后者刻画干扰脆弱性，组合时取两者最大值，使任一信号强的位置都得到更强的干净教师监督，同时保留全回答的基线监督。
以下导读对比均匀与加权两种监督的像素差异，重点看柱高是否一致以及右侧双信号的汇合箭头。
看图路径： 1. 先对比左侧均匀权重七个柱高完全相等与右侧柱高起伏的含义；2. 再确认右侧上方两个文本框分别标注纯视觉对照与受损对照；3. 最后看箭头如何共同指向第四个位置说明取最大而非相加
论文图 3。原论文 Figure 3:：“Token-level supervision allocation in OPSD and OP-CAD.”。
左图均匀版本所有位置权重为 1，柱高相等，含义是每个词得到相同监督。右图按音频依赖与噪声敏感度加权，柱高起伏，中间位置明显更高，含义是声学敏感预测得到更强指导。像素中右侧两路箭头共同指向同一位置权重，直观表达取最大而非相加的有界规则，这与正文权重上界的安排一致。
数据如何构造，热身与课程如何执行？
数据构造只改音频。候选问题来自 WorldSense、OmniBench 与外部指令数据的音频视觉问答子集，对归一化干净波形依次施加实测房间脉冲响应、在给定区间采样混响湿比、模拟 8 千赫兹缪律声道并重采样，再按目标信噪比做均方根缩放混合加性源。环境噪声来自公开噪声库，竞争语音来自公开说话人库，训练与评测用不相交的干扰录音、脉冲响应与说话人。视频、问题、选项顺序、答案与时间采样在每对干净受损样本内固定。
配对筛选动作用基座模型回答同一问题在干净与受损下的结果划分：干净对而受损错进入鲁棒集，聚焦被干扰破坏的样本；两者都错进入热身集，学习结构化证据与答案输出；受损下答对的样本两集都不进，无论干净是否答对。热身证据由外部生成模型按干净音频视频与验证答案生成并经人工检查是否被音视内容支持，热身一轮微调后的检查点同时初始化学生与冻结教师。
课程学习 × 词级加权： 课程学习负责跨样本的训练顺序，从 10 分贝到 5 分贝再到 0 分贝由轻到重组织干扰难度；词级加权负责样本内的监督强度，按两路敏感度决定每个生成位置的蒸馏权重；搭配意义是前者控制先学什么强度的干扰，后者控制在每条回答里哪里多学，分别对应训练顺序与细节指导强度，共同把有限预算集中到难样本的难位置。
鲁棒训练按 10 到 5 再到 0 分贝 3 阶段各训一轮，每阶段含两种干扰家族，学生适配器跨阶段沿用而优化器与学习率计划重启，长度感知组批限制在各自信噪比分区内。每个样本学生采样一条回答，所有教师条件评同一前缀，每个生成位置都计入目标，截断或不完整回答不重采样，只做监控记录。
配对筛选 × 监督热身： 配对筛选负责用基座模型在干净与受损输入下的成对预测把样本分流，干净对而受损错的进入鲁棒集，两者都错的进入热身集；监督热身负责先教会证据加答案的输出结构，并同时初始化学生与冻结教师；搭配意义是先补格式与基本证据能力，再把鲁棒训练预算集中在确实被干扰破坏的样本上，避免在已能抗干扰的样本上浪费监督。
训练用语言骨干与多模态投影上的 64 秩低秩适配，冻结音频与视觉编码器，学习率较小，有效批量为 32。推理时学生直接作答，不依赖干净参考与教师。原文明确基座筛选模型与监督教师分工不同，前者负责数据分流，后者负责在线目标，不能混为同一角色。
在什么条件下测，与谁比，看什么指标？
评测只用 Daily-Omni 全部 1197 题与 OmniVideoBench1000 题，在干净音频与两种干扰各三档信噪比下测试。比较对象包括原始骨干、监督热身检查点，以及同热身初始化、同数据与同噪声课程下的继续监督微调、分组相对策略优化、均匀在线特权自蒸馏与本文方法，其中均匀版本共享冻结教师与特权目标，是检验分配机制的直接对照。分组相对策略优化每提示采样 8 条回答并用正确性加格式奖励，继续监督微调用固定证据与答案目标。
指标是确定性多选准确率与伤害率，伤害率指每个模型自己干净答对中受损变错的比例，方向越低越好。干净正确保持率另以基座干净答对的固定题集为分母，衡量在同一题集上的保持能力。训练与评测的声学细节按原文交代：训练与评测的脉冲响应与混合索引隔离，环境与语音混合的训练与评测数量分别给定且说话人与语句文件不相交。
学生提示要求证据不超过 100 英文词加选项字母，特权教师插入私有的正确选项块并被要求不提及私有监督与音频质量，评测采样帧率与上限、答案抽取与不可解析计错规则均固定。原文报告每种方法各跑 1 次，这是解读波动与泛化时的明确限制。本次未能确认代码、模型或数据的公开可达，下列实现细节以原文附录为准，不视为当前可用。
主结果在哪些条件下成立？
要回答的核心比较问题是：在相同热身、数据与课程下，加权分配是否比同教师的均匀蒸馏更鲁棒，且干净准确率是否未见下降。公平条件是骨干、初始化、数据预算与噪声强度课程一致，指标方向为准确率越高越好、伤害率越低越好。表后需同时说明收益、代价与反例，避免把总平均推广到每一档。
以下先看配对保持率表，它固定以基座干净答对题集为分母，能区分保住原有成功与靠新答对补分，表前问题是加权是否在同一题集上保持得更好。
| Method | Clean | Env 10 | Env 5 | Env 0 | Speech 10 | Speech 5 | Speech 0 |
|---|---|---|---|---|---|---|---|
| Base | 100.00 | 87.67 | 84.46 | 80.64 | 84.59 | 78.55 | 72.38 |
| SFT | 90.14 | 84.71 | 83.60 | 78.05 | 83.85 | 77.68 | 75.09 |
| OPSD | 88.78 | 85.45 | 82.37 | 79.65 | 83.48 | 80.52 | 72.63 |
| OP-CAD | 89.40 | 88.53 | 85.45 | 81.26 | 85.20 | 81.50 | 75.96 |
上表覆盖干净与两种干扰各三档的保持率，包含基座与可运行的继续训练策略。报告显示本文方法在展示的保持率列上均超过均匀版本，这是配对分析支持保持能力的主证据，但须与全文准确率并读，因为分母不同。原文还报告本文方法在全部 12 个基准干扰信噪比条件下超过均匀版本，且干净总准确率未观察到下降，这是支持加权分配的主证据。代价在附录成本中可见：本文方法每样本需 4 路教师上下文，比均匀版本多约三成半显卡小时，约为八回答策略优化配置的三分之一，但这些是所列运行的实测成本而非等算力比较。
伤害率 × 干净正确保持率： 伤害率以每个模型自己干净答对的题为分母，统计受损后变错的比例，分工是衡量该模型自身的脆弱性；干净正确保持率以基座模型干净答对的固定题集为分母，统计各模型在受损下的准确率，分工是在同一题集上横向比较保持能力；组合使用的意义是区分总准确率上升究竟是保住了原有成功，还是靠新答对补回净分数。
以下导读帮你按行列读稳定性图，先分清标记再判断左右方向的好坏。
看图路径： 1. 先按上下两行区分两个基准，按圆点与菱形区分环境噪声与竞争语音；2. 再在左侧伤害率看越靠左越好，在右侧保持率看越靠右越好；3. 最后沿同一方法的连线比较两种干扰下的相对位置
论文图 4。原论文 Figure 4:：“Prediction stability at 0 dB: harm rate (left) and clean-correct retention (right).”。
像素左侧伤害率越靠左越好，右侧保持率越靠右越好。上行对应一个基准，下行对应另一个基准，圆点与菱形分别对应环境噪声与竞争语音，横轴为百分比，连线连接同一方法在两种干扰下的位置。上行中本文方法在两种干扰下都处于最左与最右附近，下行中本文方法在竞争语音伤害率上大幅左移，但在环境噪声保持率上仍左于基座，说明全文准确率提升不等于保住每一个基线成功。图中红色高亮行对应本文方法，浅底色便于定位，这与正文配对过渡计数的净损失减小相互印证。
两路信号与课程顺序各自贡献了什么？
消融要回答两个问题：单用一路信号是否足够，以及课程顺序是否比随机混合更好。比较条件固定初始化、课程与教师目标，只换分配规则或训练顺序，指标仍是准确率越高越好。表后需指出组合并非每格最优的具体反例。
以下课程表在等训练预算下比较轻到重课程与随机混合信噪比，表前问题是训练顺序本身是否带来受损收益。
| Training schedule | Clean | Env. | Speech | Clean | Env. | Speech |
|---|---|---|---|---|---|---|
| Randomly mixed | 69.93 | 65.16 | 62.67 | 42.30 | 38.27 | 37.13 |
| Curriculum learning | 70.09 | 66.97 | 63.55 | 41.60 | 40.23 | 38.93 |
上表显示课程学习在两种干扰、两个基准的受损平均上均高于随机混合，环境与语音均有约 1 到 2 个百分点的提升。干净准确率在一个基准上课程更高，在另一个基准上随机混合更高，说明课程的收益集中在噪声条件，干净端不具一致优势。原文在等训练预算下比较，因此支持轻到重的课程有助于声学鲁棒性，但未验证其他骨干与多次重复下的稳定性。
单信号与组合的对照在正文中报告：两路单独代理均在 4 个受损平均上超过均匀版本，组合在其中三项最优，唯一例外是在一个基准竞争语音上损坏敏感度单独代理略高于组合。这支持两路信号各有价值且组合多数更优，但组合并非每条件最优。以下单样本图展示两路峰值落在不同词上的互补情形。
看图路径： 1. 先看上方四帧河面视频与干净和噪声语谱图的配对展示；2. 再看中间问题与四个选项以及干净受损与训练后学生的选项变化；3. 最后看下方同一条错误 rollout 上两路敏感度与最终权重的词级高亮差异
论文图 5。原论文 Figure 5:：“Token-level supervision allocation on an OP-CAD training rollout.”。
像素上方是河面 4 帧与干净和噪声语谱图，问题问从视听可推断初始说话人在做什么，干净学生与训练后方法选正确选项而受损学生误选另一选项。下方是特权教师对整条错误 rollout 的监督，音频依赖在表示说话声的词附近更强，干扰敏感度在表示观察与流水的词附近见峰，最终权重保留两组峰并在别处维持基线，直观说明取最大规则如何在同一回答内兼顾模态依赖与干扰脆弱性。该图是单样本教学展示，不能推广为全训练集的出现频率。
哪些结论有限，哪些边界尚未评测？
原文结论部分明确把证据限定在一个骨干、每方法 1 次运行与受控声学损坏，附录的小样本教师敏感度诊断也声明不能确立全训练集频率。这些限制意味着单格百分点的领先不宜直接解读为跨骨干必然成立，复现时应关注多次种子与置信区间这一缺项。
未胜出项与边界同样重要。均匀版本在个别音频类型与干净单格上仍有更高值，本文方法在一个基准环境噪声的基线固定集保持率上低于基座，竞争语音最强干扰的伤害率上继续监督微调略低于本文方法。原文还指出非零的恢复计数不代表干扰有益，必须与变错计数和净变化一起读。
此外，训练成本、推理开销、输出帧率与实际延迟是分开的量，原文只报告鲁棒训练的墙钟与显卡小时，未测量延迟与误判率改善，因此不能承诺这些量同步变好。总体趋势不等于每组每步都成立，阅读单格时应回到数据集、模型、阶段、指标与聚合对象是否一致。
复现需要先准备什么，分辨哪些口径？
复现先做三件事。第一按附录声学链重建配对数据：实测脉冲响应、湿比区间、8 千赫兹缪律声道、均方根信噪比缩放与不相交的干扰与说话人划分，训练与评测的脉冲响应与混合索引必须隔离。第二按筛选规则复刻鲁棒分区与热身分区，注意一个问题可贡献多个损坏视图，视图数与问题数分别计数。第三固定提示、采样与评分：学生证据加答案格式、特权私有选项块、完整词表温度 1、权重增量 0.5 与数值阈值、每信噪比阶段各一轮且优化器重启、评测答案字段抽取与不可解析计错。
下表给出鲁棒分区的原文计数，核对时需同时对准数据集、阶段与聚合对象，视图数相同不代表问题数相同。
| Source | Questions | 10 dB | 5 dB | 0 dB | Total views |
|---|---|---|---|---|---|
| WorldSense | 619 | 416 | 524 | 712 | 1,652 |
| OmniBench | 291 | 241 | 281 | 317 | 839 |
| OmniInstruct-v1 (AVQA) | 899 | 587 | 697 | 885 | 2,169 |
| Total | 1,809 | 1,244 | 1,502 | 1,914 | 4,660 |
上表说明鲁棒训练共有 1809 个不同源问题对应的 4660 个受损视图，三档信噪比视图数向 0 分贝倾斜。核对时注意源分布差异：最大来源是外部指令数据的音频视觉问答子集，而非两个评测基准本身，评测基准仅用于评估。训练与评测的干扰录音、脉冲响应与说话人均不相交，这是防止泄露的关键口径。
下表是热身分区的对应计数，同样区分问题数与视图数。
| Source | Questions | 10 dB | 5 dB | 0 dB | Total views |
|---|---|---|---|---|---|
| WorldSense | 276 | 210 | 205 | 438 | 853 |
| OmniBench | 97 | 61 | 65 | 134 | 260 |
| OmniInstruct-v1 (AVQA) | 242 | 160 | 167 | 350 | 677 |
| Total | 615 | 431 | 437 | 922 | 1,790 |
上表显示热身另有 615 题对应的 1790 视图，三档视图同样向 0 分贝倾斜。两表合读才能算清一轮热身加 3 阶段课程共走完多少视图，以及每个信噪比阶段各自的数据量。继续监督微调按声学视图标识与蒸馏样本对齐，这是保证比较公平的细节。
下表是测试集的类别与时长划分计数，分开看是同一批样本的不同切分方式。
| Benchmark | Partition | Group counts |
|---|---|---|
| Daily-Omni | Question type | AV Align 238; Comp. 131; Ctx. Und. 193; Evt. Seq. 306; Infer. 154; Reas. 175 |
| Daily-Omni | Duration | 30s 647; 60s 550 |
| OmniVideoBench | Audio type | Music 91; Sound 147; Speech 762 |
| OmniVideoBench | Duration | (0,1] min 171; (1,5] min 340; (5,10] min 228; (10,30] min 261 |
上表是测试集的类别与时长划分计数。Daily-Omni 按题型与两种时长切分，另 1 基准按音乐、音效、语音与 4 段时长切分，官方把略超 30 分钟的 5 条记录归入最后一档，复现时保留该归属才能对齐单格。每个受损条件准确率是三档信噪比视图在该干扰家族内的平均，聚合对象是视图而非问题，这与训练分区的视图计数口径一致。
何时值得尝试，还需补哪项验证？
当任务满足 3 个条件时值得尝试本文做法：视频在干扰下基本不变因而可作共享上下文，训练时能拿到干净音频与验证答案作特权参考，回答中只有部分词真正依赖音频或易被干扰改变。做法是先做监督热身固定输出结构，再在受损 rollout 的同一前缀上用特权教师给目标，同时用干净对纯视觉、干净对受损两组无答案对照算权重，课程上由轻到重推进。
关键超参数是权重增量 0.5 决定的 1 到 1.5 有界区间、温度 1、完整词表与每阶段一轮，冻结教师而只更新学生，梯度只流经受损下学生分布。权重上下文明确不含验证答案，采样前缀、教师分布与权重均截断梯度，这些是避免答案泄露与梯度路径混淆的要点。
还需补的验证包括多次运行的波动、其他骨干与真实采集噪声下的泛化，以及等算力下与更多基线的比较，因为原文 1 次运行与受控损坏不足以支撑跨场景承诺。常见误解是把权重理解为答案泄露或把单样本高亮当成普遍规律，原文权重上下文与小样本诊断声明已排除这种解读。另一个误解是把总准确率提升等同于保住所有基线成功，伤害率与保持率的区分正是为此而设，应同时报告两者。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses