📄 只用文本训练，再用少量音视频补感知：面向联合音视频推理的文本中心后训练
标签：#音视频问答 | #强化学习 | #音视频 | #后训练
评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Ziyang Cheng：机构信息未在 arXiv HTML 中可靠披露
- Yuhao Wang：机构信息未在 arXiv HTML 中可靠披露
- Hongcheng Liu：机构信息未在 arXiv HTML 中可靠披露
- Qimin Wu：机构信息未在 arXiv HTML 中可靠披露
- Jingru Fan：机构信息未在 arXiv HTML 中可靠披露
- Chen Qian：机构信息未在 arXiv HTML 中可靠披露
- Yanfeng Wang：机构信息未在 arXiv HTML 中可靠披露
- Yu Wang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全能大语言模型要同时听声音、看画面并做多步推理，输入是带音频与视频的问题，输出是选项或答案，难点在于把分散在不同模态和时间段的证据连起来。论文先做诊断，用单跳感知题和由其组合成的多跳推理题检查九个模型，再用梯度投影比较感知损失和推理损失的局部优化方向。接着把训练按能力组织，纯文本监督微调学习推理链，再用组相对策略优化强化答案准确性，最后用少量原生音视频组相对策略优化恢复感知。与以往直接构造音视频推理数据做监督微调或强化学习不同，该路线把主要推理优化放在文本上，只留少量音视频数据做感知精修。在Qwen2.5-Omni-7B上按相同两阶段训练，在七个音视频推理基准的九个推理分数上，纯文本监督微调加组相对策略优化的几何平均提高率相对基线为25.83%，超过完整原生音视频路线。结论适用于所测的文本剧本类推理数据和多个音视频推理基准，对感知任务不成立，精修后推理仍有小幅回落。训练在8张NVIDIA A100 PCIe 80GB上以GPU小时计量，纯文本两阶段合计比完整原生音视频路线节省56.6%，其中完整原生音视频组相对策略优化需1.214B输入token和642.3 GPU小时，少量音视频精修仅需0.122B输入token和82.7 GPU小时。
🔗 开源与复现资源
- 第三方资源：https://www.alibabacloud.com/help/en/model-studio/qwen3-7-max — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全模态大模型要解决什么输入和输出问题
论文研究的对象是能同时处理文本、音频、图像和视频的全模态大模型，重点是联合音视频推理。输入是一段真实视频的声音和画面加上一道选择题或问答题，输出是选项或简短答案。必须保留的信息包括说话内容、非语音声音、画面中的实体和动作，以及它们发生的时间和对应关系。例如要判断某人的配色计划和后来对圆环的建议是否指向同一幅设计，就必须把两段音频说的话和 3 个时间点的画面放在同一条时间线上对齐。
已有路线通常是构造与音视频内容一致的推理数据，再做监督微调或强化学习，但这类数据需要覆盖长尾类别，标注和多模态训练开销都很大。论文想问的是，能不能把后训练按能力拆开，推理主要用文本练，感知再用少量音视频补，从而降低对原生音视频训练的依赖。
已有文本迁移和多模态训练路线有何不同
论文把相关工作分成两类。第一类是纯文本推理迁移，此前主要做视觉任务或音频任务，或者在推理时外挂文本推理器，或者用文本派生多模态监督。这些工作没有证明纯文本训练能解决需要跨模态、跨时间整合互补证据的联合音视频推理。第二类是多模态模型的感知与推理，已有评测发现跨模态整合的短板，有的方法用多模态训练补，有的方法让模型主动检查，还有视觉语言后训练在感知和推理之间做平衡。
论文的不同在于先做诊断，说明单跳感知正确不等于多跳推理正确，再系统比较文本训练的数据来源、模型尺度和家族，并验证完全由纯文本大模型合成的数据，最后提出先文本后少量音视频的 2 阶段范式。比较时要注意输入和阶段一致：文本路线在构造和训练都不用原生音视频，而音视频路线用真实帧和音频做监督微调和强化学习。
为什么能看清听清却连起来就错
诊断用的问题是从真实音视频标注构造的。单跳感知题考查直接抽取，多跳题把对应的单跳事实跨音频和视觉连起来，需要两步或 3 步。构造时只取 9 个模型全部答对的单跳题再组合成多跳题，覆盖因果、人物、模态、时间和主题 5 个域，视频按视频级别划分，多跳评测时不给前面的单跳题、答案和证据提示。结果是跨模型的宏观平均在原始单跳集上很高，但在组合后的多跳题上明显掉落，说明认出单个事实不保证能把它们组合成正确答案。下面的读图说明先看左图三跳准确率曲线的落差，再看右图两种优化目标下投影更新保留了多少目标下降。
看图路径： 1. 看左图从 1 跳到 2 跳、3 跳的准确率下降幅度；2. 看右图优化感知与优化推理时原始更新与投影更新的保留比例；3. 对照正文中的 94.7%、64.1% 与 81.7%、74.3% 等数字
论文图 2。原论文 Figure 2:：“Perception–reasoning gap and local update responses.”。
右图把感知和推理写成两个平均交叉熵损失，分别是在单跳题和两跳、三跳题上预测正确选项词元的损失。投影更新的思想是把一个目标的梯度中与另一个目标梯度平行的分量去掉，使对另一个训练折损失的 1 阶变化为零，再比较它还能保留多少目标下降。原文报告宏观平均在原始单跳集上为 94.7%，而组合后的多跳题仅 2 跳 64.1%、3 跳 62.3%。投影后的推理更新把推理损失降低 6.01%，是原始下降的 81.7%，对感知损失只降 0.06%，而原始更新降 2.08%；投影后的感知更新保留 74.3% 的目标下降，对推理损失只降 0.36%，而原始更新降 4.33%。这支持局部优化上部分可分开，值得用不同侧重的后训练分别主攻感知和推理。
\[\max_{\|u\|_{2}\leq 1,\;g_{s}^{\top}u=0}g_{t}^{\top}u=\|r_{t\perp s}\|_{2},\qquad\frac{\|r_{t\perp s}\|_{2}}{\|g_{t}\|_{2}}=\sqrt{1-c^{2}}.\]文本中心范式把训练分成哪两段
论文提出的文本中心后训练分两段。第一段是纯文本监督微调加强化学习，提供主要的推理优化，输入只有文本词元，包括通用推理、基于剧本的选择题、上下文问答，以及完全合成的虚构剧本和题目。第二段是减量原生音视频强化学习，只用少量真实音视频做精修，把感知恢复到基线之上，同时尽量保留推理涨幅。下图左侧用涂色本例子说明感知与推理的断裂，右侧对比原生音视频训练和本文 2 阶段路线在数据、词元和计算上的差别，读图时重点看文本词元与音视频词元在哪里进入模型。
看图路径： 1. 先看左栏音频线索、视觉线索与单跳题、多跳题的对应关系；2. 再看右栏原生路线与两阶段文本中心路线在输入词元上的差别；3. 注意第二阶段只用少量音视频做强化学习的位置
论文图 1。原论文 Figure 1:：“(a) A diagnostic case of multi-hop reasoning failure despite correct answers to corresponding single-hop questions.”。
左栏展示了音频线索给出要复制范例颜色、圆环可涂色或填黑，视觉线索给出蝴蝶范例、鹦鹉范例和鹦鹉线稿，4 个单跳题全对仍可能在多跳题选错，把圆环建议连到错误的设计上。右栏上半是原生路线，需要大量音视频词元先做监督微调再做强化学习；下半是本文路线，第 1 阶段只用文本词元先做监督微调再做强化学习，第二阶段再用少量音视频词元做强化学习，右下角示意推理大幅上升后感知先掉后回升。这种组织不是按输入模态，而是按要提升的能力来安排训练。
纯文本训练的输入经过哪些组件得到输出
沿着一个样本看，主实验以 Qwen2.5-Omni-7B 为起点，文本训练和音视频训练从同一基座出发，都走监督微调加群体相对策略优化。文本输入可以是一段剧本加一道选择题和思维链解释，模型先读文本词元，经冻结的音频和视觉编码器之外的思考器解码器生成逐步推理和最终选项。监督微调阶段用思维链做教师信号，强化学习阶段对同一提示采样 8 个回答，用规则判选项匹配和格式，奖励写成准确率加 0.1 倍格式分。
更新只动思考器的变换器解码层和语言模型部分，用低秩适配，音频和视觉编码器与跨模态投影保持冻结。输出仍是选项字母或简短答案，评测时再按各基准的官方解码和采样设置接到音视频输入上考查迁移。
\[r_{t\perp s}=g_{t}-\frac{g_{s}^{\top}g_{t}}{\|g_{s}\|_{2}^{2}}g_{s},\qquad\theta^{\prime}_{t\perp s}=\theta_{0}-\eta\frac{r_{t\perp s}}{\|r_{t\perp s}\|_{2}}.\]上式是诊断中构造投影更新的写法，不是训练损失本身，但它说明了论文如何度量两个目标的梯度夹角和 1 阶保留比例。其中梯度只算思考器解码层和最后归一化层，其余参数固定，更新前后参数变化的欧氏范数相同，以便公平比较原始更新和投影更新在留出折上的损失下降。
基于剧本的选择题为什么迁移最广
论文比较了多种文本数据源。通用推理包括数学和通用思维链，上下文问答包括需要多段证据的问答，基于剧本的选择题来自音视频数据的文本剧本，含视觉描述、对白和非语音声音，且在分段之间保持实体和时间一致。题目要求跟踪实体、更新事件状态、整合跨段证据，联合音视频题还要求音频和视觉证据互补。
结果是无论监督微调起点是通用推理还是剧本思维链，后续用剧本选择题做强化学习都达到最高的宏观平均，分别约为 48.91 和 49.39，而 2 阶段都用上下文问答只有 42.97。只有剧本选择题配置在 9 个推理分数上全部超过基线，其他完整配置虽然平均涨但至少有一项不涨。论文的解释是跟踪实体和事件状态、整合跨段证据的能力更接近联合音视频推理的真实需求。
监督微调 × 群体相对策略优化： 监督微调指用带思维链的文本问答教会模型按步骤作答；群体相对策略优化指对同一提示采样多个回答，按规则判对错和格式给奖励再更新策略。前者提供推理格式和起点，后者靠试错强化能答对选择题的推理路径，两段串联构成论文默认的文本训练管线。
减量音视频精修补回了什么
纯文本训练不管感知，减量音视频精修负责把感知补回。精修用原生音视频监督微调或强化学习，接在纯文本监督微调之后或完整纯文本管线之后。输入恢复为真实视频帧和音频，论文对音视频训练保留音频、按每秒 1 帧采样、每视频至多 180 帧。实验发现从完整纯文本管线出发再做音视频强化学习，推理宏观平均在阶段配置中最高，感知也回到基线之上；若只从纯文本监督微调出发，推理和感知都稍弱。这说明先把推理推高再用小数据精修，比一开始就混在一起练更符合 2 阶段分工。
文本训练 × 音视频精修： 文本训练指只用文本词元做监督微调和强化学习，主攻推理能力的优化；音视频精修指在推理变强之后，再用少量原生音视频数据做强化学习，恢复对声音和画面的判别能力。前者不管感知，后者数据量很小，两阶段分工对应诊断中感知与推理局部可分开优化的发现。
基于剧本的选择题 × 通用推理数据： 基于剧本的选择题指把长视频的内容转写成含视觉描述、对白和非语音声音的分段剧本，再围绕实体跟踪和跨段证据整合出题；通用推理数据指数学和通用思维链问答。前者保留了音视频任务需要的时间一致性和跨段关联，后者只提供抽象推理能力，因此论文发现前者在联合音视频推理上迁移更广。
数据如何构造、训练超参数如何设置
训练数据分文本和音视频两类。文本侧监督微调可用通用推理、剧本思维链和上下文问答，强化学习可用剧本选择题、时间问答、通用数学问答和上下文问答；默认最优配置 2 阶段都用剧本选择题，监督微调带思维链。音视频侧监督微调和强化学习用原生推理和选择题。
合成数据完全由纯文本大模型从抽象场景、任务类型和分布统计生成虚构分集剧本，再生成选择题和推理讲解，不用任何原生音视频输入，经过程序校验结构、时间和格式，再做模型检查一致性和干扰项合理性，并人工抽查一部分。优化用低秩适配，秩为 16，缩放为三十二，亚当优化器加前 5% 线性热身后余弦衰减，强化学习对概率比裁剪到 0.8 到 1.2。
主模型文本与音视频训练用同一套超参数，训练在 8 卡英伟达 A100 上进行，输入词元按分词器和训练模板计数，强化学习只计提示词元不计生成词元，计算量按卡数乘 wall 时间计入在线采样和优化。
在哪些基准、按什么指标和成本来评
推理评测用 7 个基准共 9 个分数，包括日常全模态、完形填空、视频基准、社交三子任务、长视频推理、视频理解和世界感知；感知评测用幻觉基准总体、音乐音视频问答两个版本、音视频问答限定题型和下一问答的描述子集。每个基准用官方指标换算到 0 到 100 分制，宏观平均为不加权均值，推理和感知分别计算；几何平均提升为相对各自基线比值的几何平均减一。成本分开报告每阶段的训练输入词元数和显卡小时。
外部基线用官方数据和阶段复现并在同硬件上测计算量。需要提醒研究生的是，百分点和相对百分比不同，例如平均分涨 9.59 分与几何平均涨 25.83% 是两回事；不同基准的分数不能直接相加解释为同一能力。
宏观平均分 × 几何平均提升： 宏观平均分指把多个基准的官方分数在 0 到 100 尺度上不加权平均，反映绝对水平；几何平均提升指把每个推理分数先算相对基线的比值，再取几何平均减一，反映相对改善的平均幅度。前者看最终多少分，后者看相对起点涨了多少，论文同时报告两者以兼顾水平和涨幅。
纯文本训练带来多大推理涨幅和多少计算节省
比较的核心问题是，在相同起点下纯文本路线能否超过完整原生音视频路线，以及省多少计算。指标方向都是越高越好，成本越低越好。下表整理原文连续句中的关键数字，条件是 Qwen2.5-Omni-7B 上的最佳文本配置与基线和合成数据的对比。
| 训练路线 | 推理宏观平均分 | 几何平均提升 | 输入与计算对比 | 合成数据表现 | 适用条件 |
|---|---|---|---|---|---|
| 纯文本监督微调加强化学习 | 39.80 到 49.39 | 25.83% | 比完整音视频路线少 56.6% 显卡小时 | — | 最佳剧本选择题配置 |
| 全合成文本训练 | 39.80 到 47.50 | 21.01% | 构造和训练都不用音视频 | 涨 7.70 分 | 纯文本大模型生成 |
| 原生音视频路线 | 低于纯文本约 2.02 分 | 低于纯文本 | 多 61.3% 词元和更多计算 | — | 全量音视频数据 |
上表说明纯文本监督微调加强化学习把宏观平均从 39.80 提高到 49.39，涨 9.59 分，几何平均提升 25.83%，超过完整原生音视频路线且少 56.6% 显卡小时；全合成数据从 39.80 到 47.50，涨 7.70 分，几何平均涨 21.01%，且构造和训练都不用音视频。原文还报告它在 9 个推理分数上全部超过基线，而每个外部基线至少有一项下降；在三 B 模型和两个家族的小模型上同样涨，三十 B 模型只做文本监督微调也涨。限制是这些涨幅依赖剧本选择题这类贴近跨段整合的数据，换成其他数据源则不能保证九项全涨。
纯文本训练对感知有什么代价
要回答的问题是推理涨了，感知是跟着涨还是掉了。比较条件是同一基座分别走纯文本和原生音视频两段，感知指标越高越好。下表用原文连续句整理诊断落差、投影保留和感知变化，说明代价只在有证据的范围内成立。
| 测量对象 | 单跳与多跳准确率 | 投影更新保留 | 感知宏观平均 | 精修后恢复 | 结论范围 |
|---|---|---|---|---|---|
| 诊断 9 模型平均 | 94.7% 到 64.1% 和 62.3% | — | — | — | 感知对不等于推理对 |
| 推理投影更新 | — | 81.7% 且感知只降 0.06% | — | — | 局部部分可分 |
| 感知投影更新 | — | 74.3% 且推理只降 0.36% | — | — | 局部部分可分 |
| 纯文本两段 | — | — | 77.37 到 76.41 | 高出基线 | 先掉后用小数据补回 |
| 文本中心精修 | — | — | 恢复到基线之上 | 省约 90% 词元且保留 93.5% 推理涨幅 | 权衡得到缓解 |
表后解释是，诊断中单跳 94.7% 而两跳 64.1%、三跳 62.3%，投影后推理保留 81.7%、感知保留 74.3%，说明局部可以分开优化。纯文本两段把感知宏观平均从 77.37 降到 76.41，几何平均降 1.25%，7 个感知分数都降 0.11 到 1.77 分，而原生音视频路线七项全涨。减量音视频强化学习用比全量少约 90% 的输入词元，把感知拉回基线之上，并保留最佳纯文本管线 93.5% 的推理几何平均涨幅。这是在先把推理推高、再用小数据补感知的前提下成立，不等于纯文本本身能保护感知。
换数据源或混数据会怎样
论文做了数据源消融。监督微调后接不同强化学习数据时，剧本选择题始终最高；把剧本选择题与开放问答混起来做监督微调，监督阶段平均从 39.92 到 44.03 看似更好，但再做同样的剧本强化学习后只到 46.26，低于只用选择题做监督微调的 49.39；与通用推理混也只到 47.90，低于分开用的两个结果。混合后强化学习阶段的涨幅变小，且社交子任务会出现回落。
这说明监督阶段平均高不等于最终高，数据搭配要在完整两段后看。另一个未胜出项是上下文问答两段只有 42.97，平均涨但覆盖面不如剧本选择题。研究生复述时要强调，最优结论限定在论文试过的几类文本数据和同一后续强化学习数据下成立，换题型或换评测集需要重测。
合成数据和智能体任务上还能迁移吗
合成数据实验把构造和训练的音视频依赖都去掉。纯文本大模型先规划虚构分集，再扩展视觉描述，最后生成选择题和推理讲解，场景覆盖日常、手工、娱乐、体育和社交。程序和模型校验结构、时间、答案唯一性和干扰项合理性。在 4 个不同尺度和家族的模型上，合成文本训练都带来宏观平均上涨，七 B 模型涨 7.7 分， within 与剧本选择题差距在一到两分以内。这支持不收集和标注音视频也能扩充推理训练数据，但论文只报告推理侧涨幅，没有说合成数据能保护感知。
附带的智能体实验用纯文本智能体轨迹训练，再到需要多轮工具调用和跨模态证据整合的任务上评测，总体通过率从 3.6 到 13.1，接近原生多模态训练的 13.3，中等和困难子集提升明显。这把结论从单轮问答扩展到智能体推理，但仍是迁移效果，不是部署保证。
结论在什么条件下才成立、还有哪些没测
首先，推理涨幅依赖评测集合和聚合方式，宏观平均和几何平均只在论文列出的 9 个推理分数和 5 个感知分数上计算，换基准或改权重会变。其次，最优数据源结论只在试过的通用、剧本、上下文和时间问答范围内成立，混合数据的负结果也只试了两种混合。再次，感知恢复依赖减量音视频强化学习，若完全不用音视频，感知仍低于基线。
还有，诊断的梯度分析只算思考器解码层和最后归一化层、固定其余参数，且在两个更新范数下验证充分下降，结论是局部 1 阶意义上的部分可分，不能推广为全局无关。论文没有报告误判率、延迟和推理开销，训练计算节省不等于部署更快。容易误解的是把几何平均提升当成每项都涨那么多，实际上它是比值的几何平均；把合成数据涨幅当成不需要任何音视频，包括评测也不需要，这是错的，评测仍用真实音视频。
要复现第一步做什么、需要哪些关键设置
复现先从同一基座出发，文本与音视频路线用同一套超参数以保证公平。第一步是准备剧本选择题文本，监督微调带思维链，再用同一批题目做强化学习，每提示采样 8 个回答，奖励为准确率加 0.1 倍格式分，概率比裁剪到 0.8 到 1.2。只更新思考器解码器和语言模型，冻结音频视觉编码器和投影，低秩适配秩 16。评测严格跟各基准官方解码、最大长度和采样，社交问答和完形填空按论文的提示处理。
成本按分词器模板数非填充输入词元，强化学习只计提示词元，显卡小时按卡数乘时间含在线采样。若做合成数据，要按场景、任务类型和模态要求生成剧本和题目，再做程序和模型校验并人工抽查，不能跳过答案唯一性检查。来源方面，论文正文只给出第三方模型文档链接，当前是否可达不代表作者已开源权重或代码，复现前要分开确认数据、代码和权重三件事。
什么时候值得尝试、还需补哪项验证
当你的瓶颈是联合推理而不是看不清听不清，且音视频标注和算力有限时，值得先试纯文本推理训练，特别是手头有长文本剧本或能合成跨段整合题目时。当产品要求感知不能掉，就要加上第二阶段的减量音视频强化学习，它用少约九成词元把感知拉回基线之上，同时保留大部分推理涨幅。还需补的验证包括在你自己的视频分布和题型上重测数据源选择，检查感知是否真回到业务阈值，以及补测长尾类别和多轮工具任务的稳定性。
记住诊断只支持局部部分可分，相关不等于因果，缺证据不等于技术有错。下一步最有价值的是扩大合成数据的多样性校验，并报告训练与推理的完整开销，让性能与计算的权衡在实际部署条件下可重复。
单跳感知 × 多跳推理： 单跳感知指从音视频中直接抽取一个事实，例如听到说什么或看到什么；多跳推理指把来自音频和视觉的多个事实连起来，经过两步或三步推出答案。前者考查能不能看到听清，后者考查能不能把分散证据对齐到同一实体和时间线上，二者分工不同，组合起来才构成完整的联合音视频问答。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses