标签：#音视频问答 | #强化学习 | #音视频 | #流式处理 | #基准测试
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Enjun Du：The University of Hong Kong；The Hong Kong University of Science and Technology (Guangzhou)
- Siyi Liu：The Hong Kong University of Science and Technology (Guangzhou)
- Ziyu Zheng：University of Sussex
- Jingyu Li：LIGHTSPEED
- Yiwen Guo：Independent ResearcherProject page:
- Yongqi Zhang：The Hong Kong University of Science and Technology (Guangzhou)
- Difan Zou：The University of Hong Kong
📌 核心摘要
流式全模态问答的输入是截至当前决策块为止的视频分块与同步音频，输出是在何时回答与回答什么，实际难点在于视觉线索常早于完整话语或声音事件成熟，若其被直接作为事实写入记忆，后续音频矛盾到达后仍会被沿用形成早熟跨模态承诺。OST首先以分离存储音频与视觉证据的结构化全模态状态组织已见证据，其输出进入预测器生成带验证模态与未来验证区间的待定断言。验证器在区间关闭时用指定模态的保留证据对断言进行核查，驳斥时经谱系衰减削弱依赖该断言的祖先状态并按判决条件重解码修正状态。修正后的状态进入答案门控，若支撑充分则作答否则继续等待，从而把未决解释与其未来检验及依赖关系显式绑定，使迟到音频可追溯修正。在SOVBench-O音视频上下文基准下，OST的平均准确率为87.8%，高于StreamOV的平均准确率81.6%。与直接写入记忆的流式基线不同，该机制不把早期视觉猜测固化为事实，而是保留待定与可证伪属性，其实质意义在于以未来可观测证据约束当前决策并保留纠错路径。该结论的适用边界受限于冻结Qwen3-Omni-30B-A3B骨干与短至中时长流式问答及未来窗口可观测假设，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
复现相关资源：https://enjundu.com/blog/ost/ — 链接可访问（HTTP 200）
模型相关资源：https://huggingface.co/papers/2609 — 链接不可用（HTTP 401）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，初学者要先保住哪些信息？
这篇论文研究流式音视问答。输入是不断到达的视频块与同步音频，模型只能看到截至当前决策块边界的历史，不能等整个视频结束，也不能随意回看无限长的过去。输出包含两件事：回答什么，以及何时回答。问题在流开始时已知，例如旅客问现在从哪个登机口起飞，模型要在流中决定是继续等待还是立即作答。
初学者容易把这件事理解成把声音转成文字再与图像拼接。原文强调的难点是时间差：几帧画面可能已经能读出屏幕上的字，而一句话或一个声音事件需要更长的区间才能听完整。如果过早把画面猜测写成记忆中的事实，后续推理会反复引用它，即使后面的音频已经 contradict 它，错误也会从最初的门号扩散到小结与最终答案。因此必须保留的信息有 3 类：当前看到了什么、听到了什么、哪些结论还在等未来的证据；每一类证据来自哪个模态、在哪个区间到期、支撑了哪个后续状态。
为便于复述，先固定一套称呼。白话说的早期视觉猜测进记忆后难以清除，对应 premature cross-modal commitment，本文译为过早跨模态承诺。白话说的声音与画面成熟速度不同，对应 modality-asymmetric evidence maturation，本文称为模态非对称证据成熟。后文用声明指代未来可验证的预测记录，用验证指代到期检查，用回撤指代降低受影响推理的影响，用门控指代回答时机判断。
已有路线解决了哪一段，哪一段仍是缺口？
第一条路线是音视理解。它把视觉与音频编码器接入语言模型，从早期连接冻结编码器，到改进跨模态对齐与统一处理文本、图像、音频与视频。评测覆盖音视推理与通道冲突，视觉主导的研究指出加入音频不等于模型会正确使用音频。按原文的定位，这条路线多在完整片段上评测，对证据如何随流到达、解释如何在记忆中累积，讨论较少。
第二条路线是流式视频理解。它按因果处理观测并维持紧凑历史，包括压缩视觉 token、检索过去观测、把输入块转成文本记忆，以及分离感知、决策与反应，或给离线模型加记忆与激活模型。边看边想的方法进一步维护演化的文本状态。原文认为这些工作处理了记忆与回答时机，但早期猜测如何变成持久错误的路径仍是隐式的。
第 3 条路线是批评与额外推理。它可以用已有证据修订答案，但在流中验证必须等待相关观测到达，修正还必须到达由早期解释建成的记忆。按同输入、同目标、同运行阶段对照：离线音视模型与流式模型不在同一信息条件下，直接比较完整上下文分数与因果流分数不能读成同条件胜负；朴素流式思考保留历史但缺少验证条件与依赖记录，这正是本文要补的连接件。
登机口例子如何走完从看到到答错的全程？
用论文的登机口例子串起全程。旅客问航班现在从哪个登机口走。早期画面显示屏幕写着 Gate 6，而广播刚开始说要换到 Gate 12。朴素流式思考在广播未完成时就从屏幕推出 Gate 6，并把它记成事实；后面的小结与答案继续引用这条记忆，即使广播后来说出 Gate 12，最初的 Gate 6 仍可能被重复。教学例子仅用于理解机制，不附加原文之外的数值或效果。
过早跨模态承诺 × 模态非对称证据成熟： 过早跨模态承诺指尚未到来的验证证据缺席时就把早期解释写成事实并被后继推理复用；模态非对称证据成熟指视觉几帧可辨而语音或声音事件需要更长区间才能判定，二者搭配说明了为什么流式记忆会把时间差变成持久偏差，组合意义是把修正目标从单个答案扩大到声明及其依赖的状态链。
该例子对应的形式化起点是决策块按每 4 秒推进，感知每 1 秒运行。原文用终止时间与观测序列描述信息只增不减，但每个决策只能用截至当前边界的观测。下面的导读先看清时间错位，再看机制图如何把等待与修正显式化。图前导读已经说明视觉先给 Gate 6、音频后给 Gate 12，关键是观察朴素路径缺少未来检查点，而 OST 路径把 Gate 6 标成待验证的未来音频声明。
看图路径： 1. 沿顶部音视流时间轴核对屏幕 Gate 6 先出现、语音 Gate 12 后补全的顺序；2. 对比下部朴素流式把 Gate 6 记成事实与 OST 分三阶段声明等待验证的两条路径；3. 观察视觉与音频两条证据曲线成熟速度不同以及 WAIT 回路指向下一验证点
论文图 1。原论文 Figure 1:：“Premature cross-modal commitment. The screen suggests Gate 6 before the announcement of Gate 12 is complete.”。
这张图上部是音视流时间轴：左侧画面出现大号 6 与 Gate 6 屏幕，波形下方逐步出现注意力提示与 Gate 移动的字幕碎片，最右侧画面与字幕才完整给出 Gate 12。下部左侧朴素流式把 Gate 6 记成事实并存入记忆，最终输出错误；右侧 OST 分成声明与等待、验证与回撤、充分性与回答 3 段，声明注明验证者为音频并设到期时间，验证后标记为反驳，再重解码为 Gate 12，只有当回答关键声明全部解决才回答，否则回到等待。像素能确认的是阶段划分与箭头回路，不能从线条斜率读出精确的证据强度数值。
OST 把一次决策拆成哪几步？
OST 的 1 次决策块先做当前解释，再做未来预测，最后做回答判断。当前解释用六字段 Omni-State 表示：视觉证据、音频状态、音频证据、冲突、预测与充分性，其中前 4 个字段构成状态体。音频状态取存在、缺席或不确定，音频证据描述可听事件与语音。预测字段装入被接受的声明，充分性字段由回答门控填等待或回答。
未来声明 × Omni-State： 未来声明负责记录预测文本、验证模态、未来区间与支撑范围并进入待验证队列；Omni-State 负责承载当前解释的 6 个字段并作为改写与预测的共享上下文，二者搭配使不确定解释既有可执行的到期检查又有可继承的记忆载体，组合后门控才能判断证据是否充分以及是否有回答关键声明仍在等待复查。
具体流程按原文可复述为：组装推理上下文，生成状态体；从状态体生成未来声明并经接纳规则注册；当声明的证据窗口在后续块结束时，先验证再生成该块的状态体；验证若给出反驳，则降低声明及其依赖推理的影响，再用新证据重写状态体并指导新预测；门控读取问题、暂定状态与有效推理账本，判断证据是否充分且是否有回答关键声明仍待复查。
下面的机制图把这条环路展开为 3 个面板，阅读时先走主路径再看分支条件。图前导读提示左侧是分离式证据保持，中间是声明验证回撤，右侧是充分性与回答，重点是声明如何连接未来检验与必须变化的记忆。
看图路径： 1. 从左侧视觉预算与音频预算加有界溯源记忆看到证据与推理分开存放；2. 跟踪中间决策块中未来声明的预测文本、验证模态、窗口与复查时间；3. 核对右侧回答门控同时检查证据充分与是否有回答关键声明待复查
论文图 2。原论文 Figure 2:：“Omni-Streaming Thinking (OST). Separate audio and visual retention supplies evidence for the claim–verify–retract loop.”。
这张图左侧显示感知 1 秒、决策块 4 秒，视觉预算与音频预算分别存放帧 token 与波形 token，并锁定待验证窗口直到复查完成，下方是有界溯源记忆。中间以 Gate 6 为例写出未来可验声明的预测文本、验证模态为音频、窗口与复查时间，以及注册标识与依赖链接；后续块在音频到达后做纯音频验证并标记为反驳，再降低声明加后代加小结的影响并重写为 Gate 12。右侧门控在每个块应用，只有证据充分且无回答关键声明等待复查才回答，否则进入下一决策块；过期支撑或流结束时带不确定标记回答。像素细节支持复述模块连接，不支持读出注意力权重的具体数值。
声明、验证、回撤与重写如何计算？
声明生成把当前状态体的支撑片段与未来证据的预测连接起来。每个声明记录预测文本、验证模态、未来区间与支撑范围，初始可靠性为 1 并赋唯一标识；后续状态与声明在使用其预测作前提时记录该标识，使反驳可以传播到依赖推理。接纳要求命题与问题关键相关、区间严格在未来、有验证模态、有支撑范围；容量与深度达到上限时回答支撑声明与更早到期者优先。每块最多 2 个新声明，活动声明上限 8，深度上限 3，证据窗口时长取 4 秒、8 秒或 16 秒中的固定值。
\[c_{i}=(x_{i},m_{i},I_{i},\sigma_{i})\sim\tilde{p}_{\theta}\!\left(\cdot\mid\mathcal{C}_{s},z_{s}^{\mathrm{body}}\right),\qquad I_{i}=(t_{s},t_{s}+\delta_{i}],\]上式先交代符号：小写 c 是声明，x 是预测文本，m 是验证模态，I 是未来区间，sigma 是支撑范围，t 是当前块边界，delta 是窗口时长。计算目标是从推理上下文与状态体生成预测及其验证元数据，区间左开右闭表示只用未来证据检验。原文明确的实现是预测器先给出自由文本加模态加窗口时长与支撑范围，再经接纳与注册进入登记表与预测字段；终端块不再产生新声明。
验证在区间完整后的首个块边界执行，只读声明指定模态的保留证据：音频声明读音频，视觉声明读视频，关系声明读二者。 verdict 取证实、反驳或未决，矛盾边际度量反对声明的证据强度并控制回撤与重写强度；无信息区间经校准得分上限保持在确认阈值之下，保留未决带。未决可安排 1 次重试，最多用右侧 4 秒上下文完成声学前端定稿，但评估的仍是原区间。
\[(\nu_{i},\gamma_{i})=V_{\phi}^{m_{i}}\!\left(x_{i},\mathcal{O}_{I_{i}}^{m_{i}}\right),\qquad\gamma_{i}\in[0,1],\]上式符号中 nu 是 verdict，gamma 是矛盾边际，V 是带学习打分参数的验证器，O 是指定区间与模态的证据。计算目标是把声明文本与保留媒体映射为 verdict 与 0 到 1 的边际。原文实现是冻结主干并关闭策略适配器，用共享打分头输出分数再按模态阈值划分 3 段；阈值在留出源上按模态校准。
类型化验证 × 谱系回撤： 类型化验证负责在声明指定的模态与区间上给出证实、反驳或未决并计算矛盾边际；谱系回撤负责把反驳沿记录的支撑祖先降低可靠性并通过注意力偏置减少旧推理的影响，二者搭配使新证据既能判定对错又能到达受影响的后代状态，组合意义是只降声明权重而不处理派生状态仍会留下可复用的错误记忆。
回撤沿无环溯源图传播。每个生成片段引用支撑标识，祖先集合包含传递祖先；反驳把声明分数压到随矛盾边际递减的上确界之下，后代有效可靠性取自身分数乘祖先最小值。解码时在推理注意力对数几率上加有效可靠性的对数，从而同时降低被反驳声明与其依赖推理的影响。可靠性只降不升，改写、派生状态与压缩摘要通过记录的依赖继承该上界，回撤因此在记忆复用与压缩中持续存在。
\[\rho_{i}\leftarrow\min\!\left\{\rho_{i},\alpha(\gamma_{i})\right\},\qquad\bar{\rho}_{j}=\rho_{j}\min_{k\in\operatorname{Anc}(j)}\rho_{k}.\]上式中 rho 是自身可靠性，rho 上横线是有效可靠性，Anc 是祖先集合，alpha 是随矛盾边际递减的分数上限。计算目标是先更新被反驳声明，再按最不可靠祖先限制后代影响；空祖先集合的最小值取 1。原文用最小而非连乘，避免深度依赖的指数衰减；推理注意力用加性掩码实现，重叠片段取最小有效权重，感知注意力不变。
分离式保持 × 金字塔记忆： 分离式保持负责为音频与视觉分别设预算并在模态内淘汰，同时锁定待验证区间直到声明解决或过期；金字塔记忆负责把 4 秒 Omni-State 合并为 16 秒与 64 秒摘要再汇入长期根并继承声明祖先与可靠性，二者搭配使到期验证时证据仍在且压缩后仍保留可信度，组合意义是长依赖问题既需要证据可用又需要推理组织可压缩。
重写用裁决条件延续实现：同一块内先重写当前解释，再以重写后的状态体为条件做新预测。修正分支用验证后登记表与传播后的可靠性，对照分支临时撤销本块反驳、恢复此前的可靠性与复查状态并省略相应 verdict，2 分支用相同的感知证据、证实与未决 verdict。指导强度正比于被反驳声明矛盾边际的均值，无反驳时为零；每个 token 重新计算对数几率，预测器可输出无需预测以表示无新的问题关键命题需要未来检验。
\[\tilde{\ell}_{s}=\ell_{s}^{+}+\lambda_{s}\!\left(\ell_{s}^{+}-\ell_{s}^{-}\right),\qquad\lambda_{s}=\frac{\lambda_{0}}{|\mathcal{X}_{s}|}\sum_{i\in\mathcal{X}_{s}}\gamma_{i},\]上式中波浪线 l 是引导后的对数几率，上标加减分别对应修正分支与对照分支，X 是本块被反驳集合，lambda0 是基础引导尺度，默认取 1。计算目标是在保持修正分支分布的邻近下提高被修正支持得更强的 token 的相对几率。原文定理表明引导增大时修正增益更大的 token 相对几率上升，期望修正增益非递减；实现上重写阶段用状态策略的适配器，预测阶段用学习到的预测提示并关闭该适配器，训练时重写体作为分离上下文读入。
回答门控同时检查充分性与是否还有回答关键声明等待复查。未解决但已过期的声明移出复查队列但仍保留在回答的未解决支撑中，答案携带低置信标记；流终止时剩余开放声明同样过期并按同规则作答。原文把首次同时通过两项检查的时间定义为回答时刻，否则在流终止时回答，并论证该时刻是停时。
裁决条件重写 × 回答门控： 裁决条件重写负责在反驳后用修正分支与对照分支的对数几率差引导新的状态体与新预测；回答门控负责检查充分性与是否还有回答关键声明等待复查并决定等待还是回答，二者搭配使修正先进入当前状态再进入回答时机判断，组合后流式系统才能在证据未齐时等待、在到期验证完成后尽早回答。
监督从哪里来，哪些参数真的在更新？
训练数据先由单模态工具提出覆盖语音、声音事件与视觉观测的时间戳证据候选，再由模式约束的标注器分音频与静音视频两遍结构化，第三遍绑定音视记录标识形成离线事实表。事实表只用于训练，不是模型输入。预测监督把截至当前观测的视频块与音频配对未来支撑的声明，验证监督把声明配对已实现证据，门控监督在状态包含足以回答的事实集合时标回答否则标等待；低置信或冲突事实保持未决。另构造同视频配对音频样本，通过保持不变、移除源声、替换为干扰声、叠加干扰声，训练模型按每样本的音频证据报告声音。
优化分阶段进行。主干全程冻结。先训练预测器、验证器与门控：预测器先用交叉熵学习正声明或无需预测，再用同上下文偏好对学习未来证据支持的预测，负例来自被事实反驳的模型 rollout 或同槽值替换；验证器用决定性记录训练二分类损失，排除覆盖不全、模态错误与超期记录，阈值在留出源上网格搜索；门控学习状态中已表示的充分性而非环境中已到达的充分性，以区分到达但尚未进入状态的事实。
然后用监督微调训练文本自注意力上秩 16 的适配器，批次含观测与修正状态、通用音视问答回放与匹配的 4 条件组，并加成对边际项奖励在同视频下按音频报告源声与干扰声。最后做在线策略更新，让适配器与门控走完声明验证回撤环路，用答案准确、回答时机与格式奖励优化。图前导读提示左侧是数据构造，右侧是模型训练，重点是事实表如何分别供给预测、验证、门控与策略，以及哪些模块在何时冻结。
看图路径： 1. 沿左侧原始流加到期证据到离线事实表确认训练监督只来自时间戳事实；2. 区分右侧独立部件拟合与策略适应的优化阶段及冻结与可训练部分；3. 核对策略清单中三类数据比例与推理时不再使用事实表或标注器的标注
论文图 5。原论文 Figure 5:：“OST training pipeline. Timestamped facts supply supervision for forecasting, verification, gating, and policy adaptation.”。
这张图左侧从当前观测块与到期区间出发，经单模态候选与受约束标注进入时间戳事实表，区分视觉、音频、绑定与模糊未决 4 类；中间由事实表构造预测正负对、验证器与门控记录、策略清单 3 类监督；右侧先独立拟合预测、验证与门控，再做策略监督微调与在线更新，明确主干冻结、预测与验证时关闭策略适配器、事实表与标注器仅用于训练。像素能确认阶段顺序与数据比例，不能读出学习率与梯度路径之外的实现细节，缺失的梯度路径原文未给出的部分不作猜测。
原文报告的优化设置包括预测器交叉熵学习率、偏好与验证器与监督门控的学习率、策略监督微调的批量与裁剪、在线优化的分组数、温度与非对称裁剪及散度系数，主干保持冻结。复现时应把这些当作起点而非最优保证，因为不同硬件与数据划分会改变实际收敛与时机奖励的权衡。
在什么数据与协议下比较，何为公平条件？
主评测分 3 类问题组织。第一类是流式与音视任务表现，对应原生流式测试与 4 个外部基准，比较对象包括闭源多模态、开源离线视频模型与开源在线视频模型，OST 使用冻结的 Qwen3-Omni-30B-A3B-Instruct 主干加轻量适配。第二类是跨模态偏差诊断，对应 OST-DiagBench，视频固定而音频变化，比较音频一致、缺席、矛盾、共存与字幕语音冲突下的听觉证据使用。第 3 类是环路各阶段的贡献，对应消融与匹配的无环路对照。
数据与协议按原文交代。SOVBench 是主要原生流式测试，另评 StreamingBench、Video-Holmes、Daily-Omni 与 OmniVideoBench；OST 结果使用 1 秒感知与 4 秒决策块并经门控回答，未改主干的同名行是离线 1 帧每秒评估。诊断集事件分支从多个源库筛选可听且视觉可 grounding 的片段，经有效性验证保留匹配组，最终因子比较用 510 个完整组；Clash 另用 510 个已审核条目，把语音中一个事实替换而字幕保留旧值，问题为中性填空。匹配的纯音频对照用相同波形但不给视频，测量去掉视频后能否恢复声学信息。
指标方向需先固定：内容准确率与召回越高越好，触发 F1 与回答等待的精确召回越高越好；诊断集中 Clean 源召回、Swap 归因、Mix 联合召回与 Clash 新口语事实准确率越高越好，Mute 视觉幻觉率越低越好，d 撇是 Clean 召回与 Mute 幻觉率经标准正态逆变换后的差，越高表示越能区分有声与无声。比较公平性要求同提示、同解码设置、同匹配分组按源配对，离线呈现完整片段、朴素流式按标称块携带历史并在结尾提问、OST 因果消费并由门控触发；基线值注明引自各基准来源，聚合按基准协议加权或微平均，冲突时以原文表头与附录为准，不自行编造划分口径。
主基准与诊断集分别测出了什么？
先看流式主结果要回答的问题：在因果信息与门控触发下，内容准确与回答时机是否同时改善。公平条件是同为在线模型比较，离线模型不参与触发评估。下表整理原文报告的 SOVBench 平均准确与触发 F1 的关键比较，单位为百分比，平均为按类别样本数加权的内容准确。表前已说明比较问题与公平条件，表中数值保留原文写法与精度，不做四舍五入或单位拆分。
| 条件 | 指标 | StreamOV | OST | 比较对象 |
|---|---|---|---|---|
| 音视上下文 | 平均准确 | 81.6 | 87.8 | 最强开源在线基线 |
| 音视加问答上下文 | 平均准确 | 83.8 | 88.4 | 最强开源在线基线 |
| 音视上下文 | 召回 | 73.2 | 82.5 | 需长依赖的召回类 |
| 触发 | F1 | 90.5 | 92.4 | 回答与等待触发 |
表后解释主要收益与代价。OST 在两种上下文下平均准确分别上升约 6 个百分点左右，召回类提升最大，触发 F1 也有提升且回答与等待的精确召回均更高。支持的判断是分离保持与声明验证回撤有助于让早期证据在后续决策仍可用；限制是总体趋势不等于每类每步都成立，且与闭源模型的比较因信息条件与解码不同只能作参考。未胜出项在附录的细分表中仍存在，复现时应按类别与时长分别核对而非只看平均。
再看诊断集要回答的问题：当音视频一致时高分是否掩盖了视觉偏差。图前导读提示检测平面横轴是 Mute 幻觉率、纵轴是 Clean 召回，对角线为音频盲行为，重点观察一致条件下高召回是否伴随高幻觉，以及去掉视频后纯音频成绩与含视频成绩的差距。
看图路径： 1. 在检测平面上比较各模型相对音频盲对角线与虚线轮廓的位置；2. 对比矛盾与共存柱图中空心轮廓与实心柱表示的纯音频与含视频成绩；3. 核对事实冲突面板中新口语事实在纯音频与含字幕条件下的保留差异
论文图 4。原论文 Figure 4:：“Auditory evidence use on OST-DiagBench.”。
这张图左面板显示 OST 位于高召回低幻觉区域而多条基线靠近对角线或高幻觉一侧，中面板用空心轮廓表示纯音频 donor 召回、实心柱表示含视频后的报告率，矛盾与共存下基线实心柱明显低于空心轮廓，右面板显示新口语事实在纯音频下多可恢复而含冲突字幕时基线大幅下降。像素支持比较方向，不支持读出每个散点的精确数值，精确数值以后表原文句子为准。
下表整理诊断集核心数字，d 撇越高越好，幻觉率越低越好，其余召回与准确率越高越好。表前问题是模型是否按听觉证据而非视觉暗示报告，公平条件是视频固定、音频按 Clean、Mute、Swap、Mix 与 Clash 受控变化并配对比较。
| 条件 | 指标 | 代表基线 | OST | 方向 |
|---|---|---|---|---|
| 一致 | Clean 源召回 | 92.55 | 95.49 | 越高越好 |
| 缺席 | Mute 幻觉率 | 73.73 至 81.96 | 10.39 | 越低越好 |
| 区分度 | d 撇 | 至多 1.38 | 2.95 | 越高越好 |
| 矛盾 | Swap 归因 | 基线低 | 81.76 | 越高越好 |
| 共存 | Mix 联合召回 | 基线低 | 51.37 | 越高越好 |
| 事实冲突 | Clash 新事实准确 | 至多 4.90 | 46.47 | 越高越好 |
表后需同时给出反例。原文报告 Qwen3-Omni 在 Clean 召回 92.55 的同时 Mute 幻觉率达 73.73，朴素流式下幻觉率升至 81.96 而 Clean 召回不变，说明一致时正确不能证明使用了音频；纯音频 donor 召回相近的 2 个模型在含视频时 Swap 归因出现反转，Clash 中 3 条朴素流式基线纯音频可达 80 以上而含冲突字幕时降至接近 0。OST 在保持最高 Clean 召回的同时把幻觉率降至 10.39，并在替换与共存及字幕冲突上领先，支持从检测是否存在到使用矛盾与增补音频的扩展，但 Clash 46.47 仍远非完全解决，表明强视觉文本冲突仍是边界。
拿掉环路的哪一段会损失什么？
消融要回答环路各阶段是否各自必要。公平条件是其他设置与评测条目固定，SOVBench-O 召回与平均、诊断集与 Video-Holmes 按原文样本量配对比较。下表把原文报告的替换或移除操作与其关键损失整理为可核对的行，数值保留原文精度，方向均为越高越好，d 撇除外已注明。表前问题是证据保持、未来验证、类型归属、记忆修正与回答门控各自贡献多少，条件是匹配的消融与无环路对照。
| 被移除或替换机制 | SOVBench-O 召回 | SOVBench-O 平均 | d 撇 | Swap 归因 | Video-Holmes 平均 |
|---|---|---|---|---|---|
| 完整 OST | 82.5 | 87.8 | 2.95 | 81.76 | 60.0 |
| 共享音视预算 | 74.2 | 84.0 | 2.49 | 74.90 | 56.0 |
| 自由文本暂存替代状态 | 75.3 | 84.6 | 2.34 | 68.82 | 53.8 |
| 登记时验证替代未来验证 | 74.2 | 83.6 | 2.68 | 75.49 | 57.8 |
| 无类型验证器 | 76.3 | 84.5 | 1.95 | 63.73 | 55.2 |
| 仅回撤声明不传播 | 73.2 | 85.0 | 2.84 | 78.04 | 57.0 |
| 关闭裁决条件重写 | 79.4 | 86.2 | 2.89 | 79.02 | 56.2 |
表后解释需区分两类损失。保持与组织方面的损失支持保留证据与结构化状态对长依赖重要：共享预算与自由暂存分别拉低召回与推理类分数。验证时机与内容方面的损失支持到期用指定模态检验具体未来命题：登记时验证与非预测问题替代未来命题均拉低平均，无类型验证对 d 撇与 Swap 归因损失最大。修正方面的损失支持影响与内容分开处理：仅回撤声明让派生状态仍具影响，关闭重写去掉强调已验证修正的解码对比。
未胜出或代价项是无信息上限与硬支撑门控的移除也有可测损失，而延迟匹配的纯门控无环路对照在平均上低于完整环路，支持验证与修正的增量作用。原文未测量每步延迟与算力，不能从这些分数承诺延迟改善。
另一张表聚焦回答门控与无环路对照，同样保留可运行策略而非事后最优。表前问题是在匹配响应延迟下环路是否仍有增益，公平条件是门控对照匹配平均响应块索引并保留训练、状态与分离保持。
| 条件 | 指标 | 门控无环路 | OST | 说明 |
|---|---|---|---|---|
| 匹配延迟 | SOVBench-O 平均 | 83.3 | 87.8 | 均值块索引相同 |
| 朴素流式对照 | SOVBench-O 平均 | 80.6 | 87.8 | 同训练的无环路 |
| 硬支撑移除 | SOVBench-O 平均 | 85.2 | 87.8 | 环路完整仅去门控 |
表后判断是门控等待虽能对齐时机但不能替代验证与修正；移除硬支撑检查仍有损失，说明等待回答关键声明的规则有独立贡献。限制是这些对照仍在本文训练与状态设计之内，不能推广为任意模型的通用门控效果，复现时应先跑匹配延迟对照再谈环路收益。
哪些结论有边界，哪些量本文没有测量？
直接报告的是在给定基准、匹配分组与解码设置下的分数与配对比较；有限解释的是这些分数支持声明验证回撤对长依赖与听觉证据使用的贡献；未验证推测是把总体平均改善读成每组每步成立或读成延迟与成本同步改善。原文报告了训练与推理的计算安排，但未给出可复用的延迟分解与误判率在部署分布下的估计，因此不能承诺实际延迟降低或错误率在新场景同样下降。
具体边界包括：诊断集经难度筛选与挑战集选择，报告的不确定性描述的是所选挑战集而非任意视频；Clash 仍有大量失败，OST 46.47 的准确率说明字幕与语音冲突远未解决；证据强度、出现时机与语义距离面板显示 donor 响度、位置与类别距离会改变基线行为，复现时应保留这些分层条件。相关性不等于因果：纯音频可识别而含视频丢失支持视觉抑制的解释，但不能排除提示、解码或评判器对描述风格的敏感；原文用配对检验与聚类自助法控制来源相关，仍需补新源与新干扰声的验证。
资源方面，训练涉及多阶段拟合与在线 rollout，推理在有反驳的块需要双分支评估每个生成 token，感知与决策间隔、保持下限与金字塔容量共同决定显存与计算预算。总体趋势是修正能力以额外计算与训练复杂度为代价，是否值得取决于任务对早期视觉偏差的容忍度与对回答时机的要求。
要复现先做什么，需要哪些信息条件？
复现先从信息条件做起。推理需要问题、截至当前块的视频块与同步音频、保留的感知缓冲、活动推理账本与登记表快照；训练还需要离线事实表、预测正负对、验证器与门控记录及策略清单，但事实表与标注器在推理时不再使用。关键超参数按原文保留：感知 1 秒、决策 4 秒、窗口时长固定取 4 秒、8 秒与 16 秒、最大时长与重试余量、每块新声明与活动声明与深度上限、保持下限、回撤下限与尺度、按模态校准的验证阈值与基础引导尺度。主干冻结，预测与验证时关闭策略适配器，重写与预测共用同一指导强度并在每 token 重算。
实现顺序建议先跑通分离式保持与 Omni-State 金字塔，再实现声明接纳与到期验证，最后加谱系回撤、裁决条件重写与回答门控；每加一段就用匹配的消融对照验证增益，避免 1 次性上线掩盖问题。评测先用 SOVBench 的内容与触发分别核对，再用诊断集的 Clean、Mute、Swap、Mix 与 Clash 按匹配组核对，最后做纯音频对照以分离识别能力与跨模态使用能力。
可用性方面，资源状态是正文开源声明的唯一依据：项目页当前可用，已公开演示与说明；模型权重链接本次未能确认可达，不能写成已公开或可下载。复现缺项应明确记录：原文未给出完整硬件时间分解与部分阈值的逐模态数值，附录指向的合并规则与校准细节需按原文实现补齐；若权重不可得，可先复现评测协议与诊断集构造，再用同主干的可运行基线做公平比较。
何时值得尝试 OST，如何一句话记住它？
当任务同时满足三点时值得尝试：输入是因果到达的音视流，不能等完整片段；视觉与音频成熟速度不同，早期画面容易形成可复用的猜测；错误一旦进记忆会扩散到小结与答案，需要修正到达后代。此时把不确定解释记成带模态与到期时间的声明，比直接记成事实更安全；到期用指定模态验证，比登记时验证更能利用新到达的证据。
反驳同时降低声明与后代影响并重写当前状态，比只改声明更能防止旧推理被复用；门控等待回答关键声明解决，比纯学习门控更能对齐回答时机。
一句话记忆是：先看到的不等于已证实，未到期的猜测只配当声明，到期证据才能决定记忆与答案。复现与扩展的下一步是补新源新干扰声下的分层验证、给出延迟与算力的实测分解、以及在字幕强冲突等仍失败的边界上测试更细的模态归属与重试策略。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses