英文题目：Training-Free Speech-Centric Omni Understanding with Frozen VLMs
标签：#音视频理解 | #模型融合 | #语音 | #多语言
评分：8.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.5/1.5 | 可复现 0.5/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Ankan Deria：机构信息未在 arXiv HTML 中可靠披露
- Hanoona Rasheed：机构信息未在 arXiv HTML 中可靠披露
- Xilin He：机构信息未在 arXiv HTML 中可靠披露
- Fahad Shahbaz Khan：机构信息未在 arXiv HTML 中可靠披露
- Salman Khan：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
音视频理解的输入是口语音频与图像视频帧及其时间对应，输出是联合推理后的文本或口语回答，难点在于口语内容、视觉事件与时序关系需对齐，而原生全模态常需为每个新骨干重做音频编码与跨模态对齐。第一步由Whisper前端负责提取带语言、时间戳与置信度的文本片段，并将转写结果传递至过滤环节。第二步由置信度过滤负责剔除不可靠片段并保留可信语音证据，再将保留片段连同时间锚点送入冻结视觉语言模型的语言提示。第三步由冻结视觉语言模型负责融合视觉通路的帧特征与语音文本以生成回答，并将回答送入可选语音合成以输出口语回复。与同家族原生全模态相比，该语言级路由避免修改骨干与重做音视频文本对齐，把能力扩展转为可复用的前端转写。在论文报告的评测设置下，本文方法相较MiniCPM4.5-O的BLEU-1指标从33.6升至46.3，方向为更高。适用边界是：结论仅适用于以可转写语音为主要证据的问答与翻译，在音乐、环境声及需校验声音真实性的匹配任务上不再成立。成本方面，原文指出主要代价是串行自动语音识别推理延迟，同音视频多问题可复用一次转写摊薄开销。
🔗 开源与复现资源
- 第三方资源：https://github.com/alibaba-damo-academy/MedEvalKit — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要解决什么，输出又是什么？
这篇论文面对的输入是同时包含语音或音频、图像或视频以及文字问题的混合输入。目标是在不改动视觉语言模型的前提下，让它能回答需要听懂说话内容并结合画面推理的问题。必须保留的信息包括说话的文字内容、说话发生的起止时间、转写的可靠程度，以及原模型已有的视觉理解与推理能力。输出是文字回答，必要时再用语音合成转成 spoken 回复，但合成不参与评测。
研究起点是原生全模态路线的高成本与脆弱性。每出现更强视觉语言主干，就要为其重新适配音频编码器并做大规模音频视频文本对齐，否则新主干的感知与知识无法自动迁移。同时音频时序稠密且常带噪声，与画面精确对齐困难，已有研究显示原生模型也可能忽视音频或从画面猜测声音。更关键的是联合训练可能削弱原主干的图文、视频、定位、代码、数学与领域知识能力。
原生全模态模型 × 免训练全模态： 原生全模态模型指在视觉语言模型上加专用音频编码器并做音频视频文本联合对齐训练，分工是学习声学表征与跨模态对齐；免训练全模态指冻结原模型只把语音转成文字送入语言接口，分工是复用已有视觉与语言推理。两者搭配比较的理由是判断语音理解是否必须依赖新训练的音频通路，组合意义在于把语言级路由作为对照基线来定位原生训练的必要范围。
因此论文把问题拆成 3 个可检验的子问题。第一，语言级音频路由能否在语音为主要证据时恢复全模态理解。第二，冻结主干是否比原生联合训练更好地保留原有能力。第三，在哪些任务上转写路由必然不足，需要更丰富的声学表征。全文围绕这 3 个问题组织对照实验，而不是只报告新方法在个别榜单上的分数。
同类路线做了什么，本文对照点在哪里？
第一类相关工作是原生全模态模型与主干特定的对齐。常见做法是在大语言模型或视觉语言模型外加专用声学编码器与连接器，再做音频文本或音频视频文本对齐。这类通路与特定主干和训练配方绑定，换主干就要重做多模态训练。Video-LLaMA 与 Freeze-Omni 等工作尝试冻结部分模型以降低成本，但仍要训练连接器或对齐模块。此前也有用语音转写或字幕作为语言侧证据帮助视频理解的工作，包括免训练组合与学习式建模，但没有作为原生训练的配对免训练对照，也没有系统检查原主干能力的保留情况。
第二类相关工作是冻结视觉语言模型与能力保持。现代视觉语言模型已在图文、视频、定位、语言推理与领域知识上表现较强，但已有全模态研究多只评估新增的音频能力，很少做配对主干比较来检查多模态适配是否带来能力漂移。冻结语言主干的思路被用来减少漂移，但语音模块与对齐阶段仍需训练。
本文的对照点是把整个视觉语言模型完全冻结，不在推理模型内部新增可训练音频通路。语音识别器在模型外部运行，只通过标准提示接口提供文本证据。这样既能检验语音中心理解是否可免训练获得，也能同时评估新增能力与保留能力两侧的得失，这是与上述两类工作的直接区别。
任务需要哪几种音频证据？
论文强调全模态任务需要的音频证据形态不同。第一种是恢复说话内容，例如问答、翻译、语音指令理解，关键信息是说了什么。第二种是把说话定位到视频的正确时刻，例如根据某句话找到对应片段，需要时间锚点。第三种是理解语气、非语音声音及其与视觉事件的细粒度对齐，例如判断画面中的声音是否真实出现、音乐与环境声的含义。
已有评测能显示原生模型有效，但缺少配对的免训练比较，因此无法判断每类任务是否真的需要学习式音频通路。本文把转写路由定位为强对照：如果任务证据主要是语音内容与语音视频时序，转写加时间戳可能足够；如果需要验证声音本身是否存在或理解非语音细节，转写会丢失必要证据。
举例说明时可以这样理解，例子：视频中有人说欢迎回来，问题问该话出现在哪段时间，转写加时间戳可直接匹配；若问题问背景中是否有狗叫而转写只剩人声文字，则无法验证。这种区分贯穿后文的结果与反证分析。
免训练全模态的整体链路如何走通？
免训练全模态简称 TFO，含义是把现成视觉语言模型变成语音中心全模态系统的受控免训练框架。基本假设是许多音视频理解任务中，语音主要提供语言性证据，而视觉语言模型本来就懂得在语言条件下推理视觉输入，因此把音频经由语言路由比引入学习式音频词元通路更直接。
冻结视觉语言模型 × 音频到语言路由： 冻结视觉语言模型负责保持原有视觉编码器、架构与参数不变并执行视觉语言推理；音频到语言路由负责在模型外部把音频变成带时间戳和置信度的文本证据。搭配理由是语音多为语言性证据而视觉语言模型已擅长处理语言条件下的视觉输入，组合后新增作用是在不改动视觉通路的前提下获得语音中心的全模态问答能力。
从一个样本看完整链路：输入为视频画面、内嵌或外加音频和文字问题；外部语音识别器先把音频转成带语言、置信度和时间戳的分段文本；这些文本与视觉内容、系统指令、用户问题拼成统一提示；冻结的视觉语言模型按原视觉通路处理图像或采样帧，只在语言侧多了一段音频上下文；模型输出文字回答，可选再经语音合成得到 spoken 输出。视觉通路、架构与参数全程不变。
下图是论文给出的 5 步总览，值得按输入到输出的顺序细读，它把外部识别、提示拼接与冻结推理的边界画得很清楚。
看图路径： 1. 沿左侧多模态输入经 Whisper 到中间提示构造再到右侧冻结主干的箭头走一遍主路径；2. 观察 Whisper 输出框中时间区间文本与语言置信度时间戳三个附属标记的位置；3. 对比中间提示构造中音频转写块与视觉内容块是并列拼接而非融合为新向量；4. 检查右侧主干标注的视觉编码器跨模态注意与解码器均为未改变与权重冻结
论文图 1。原论文 Figure 1:：“Overview of TFO. (1) The system accepts speech/audio, image, video, and text inputs.”。
图中左侧是语音、图像、视频与文本 4 类输入，中间经 Whisper 得到分段转写、语言与置信度、时间戳 3 类信息，再与系统指令、视觉内容、用户问题拼成最终提示。右侧是任意冻结主干与两种输出形态。关键观察是音频没有进入新的编码器分支，而是以文字块形式进入提示；主干一侧明确标注视觉编码器、跨模态注意、解码器与权重均未改变。这解释了为何该方法即插即用，也解释了为何非语音信息难以保留。
语音如何变成可信且可定位的文本证据？
音频到语言路由器用 Whisper 实现，运行在视觉语言模型之外。它把音频分解为分段转写集合，每段包含转写文字、检测语言、开始时间、结束时间和转写置信度。这 3 类信息分别对应后文使用的说话内容、时序边界与可靠性判断。符号上先理解输入输出：输入是音频波形，输出是若干候选语音段；每段的文字与时间是证据主体，置信度是筛选依据。
\[\hat{T}(A)=\{(w_{i},\ell_{i},s_{i},e_{i},c_{i})\}_{i=1}^{N},\]上式给出分段表示的定义，代码会注入原始公式。它说明路由器保留的不是整段音频向量，而是离散的文本段加属性。随后只保留置信度高于阈值的分段，论文默认阈值为 0.65。若没有分段通过阈值，则省略音频上下文，模型退回原图文或视频文本输入。这种设计直接处理静音、背景噪声与非语音区可能产生的幻觉转写。
\[T_{\tau}(A)=\{(w_{i},\ell_{i},s_{i},e_{i})\}_{c_{i}\geq\tau}.\]上式是置信度过滤的定义，同样由代码注入原式。阈值消融显示 0.60 与 0.65 表现接近，0.75 过严会滤掉有用语音并在部分榜单上下降。预处理上音频转为单声道 16 kHz 波形，用 Whisper-large-v3-turbo 以温度零确定性转写，先做语言识别再转写，长音频按 30 秒分块加 3 秒重叠处理。
置信度过滤 × 时间戳保留： 置信度过滤负责丢弃静音、噪声和非语音段产生的不可靠转写，时间戳保留负责记录每段语音的起止时间以便与视频事件对齐。两者搭配是因为只保留可靠文本还不够，时序推理需要知道话在何时说，组合后新增作用是只向冻结模型提供可信且可定位的语音证据，无可靠段时直接省略音频上下文。
融合阶段把过滤后的分段转成语言侧音频上下文。需要内容推理时保留说话段，需要时序推理时同时保留时间戳。最终提示按系统指令、视觉输入、音频上下文、用户问题的顺序拼接，语音只通过语言接口起作用。
\[y=L_{\theta}\!\left(E_{v}(V),\;P(C_{A},Q)\right),\quad\theta\ \text{frozen}.\]上式是冻结推理的总体形式，视觉表示仍走原编码器，音频上下文与问题组成提示，参数保持冻结。独立音频文件与视频内嵌音频会被分别转写并用明确标签区分，只有一个来源时用单个音频转写块呈现。
视觉不变与文字拼接如何分工？
这一节把实现细节讲完整，便于复述。视觉侧不做任何改动，图像或采样视频帧走主干原有视觉通路，得到原视觉表示。语言侧把系统指令、视觉占位、音频上下文、问题与选项约束拼在一起。提示模板区分外加音频与视频内嵌音频的来源标签，避免把两种声音证据混为一谈。
视觉通路不变 × 语言接口拼接： 视觉通路不变指图像或视频帧仍走原视觉编码器得到原有视觉表示，语言接口拼接指把系统指令、语音文本上下文和用户问题拼成提示送入语言主干。搭配理由是避免重训练破坏已学好的视觉与推理能力，组合意义是语音只改变文本上下文而不引入可训练音频模块，从而隔离能力保持与语音增益的来源。
这种分工带来两个可验证推论。第一，原主干的视频推理能力应被保留，语音增益应来自新增文本证据，消融中应能看到只加 Whisper 就提升而视觉强项不丢失。第二，去掉时间戳应主要影响需要时序对齐的榜单，而对纯内容问答影响较小。论文的消融正是按这个逻辑设计，后文结果节会用数字检验。
需要提醒的是语音合成只用于可选的 spoken 输出，不用于构造或修改任何评测音频，因此其说话人与口音不影响报告的基准结果。这一点对复现很重要，避免误以为输出端语音模型参与了理解过程。
没有训练阶段时，真实计算是什么？
本研究没有神经网络训练阶段，不修改视觉语言模型架构，不更新其参数，也不需要音频视频文本训练。所谓免训练指推理模型侧零训练，而不是整个系统没有计算。真实计算发生在两处：外部语音识别的推理计算，以及冻结视觉语言模型的提示推理计算。
具体动作是先对音频做单声道重采样与分块，再用 Whisper 做语言识别与确定性转写并按置信度过滤；然后构造包含转写与时间戳的文本提示；最后用贪心解码、温度零调用冻结模型得到回答。辅助音频模型如 SenseVoice 与 MELLOW 默认关闭，只在消融中为检验非语音补充而临时开启，且同样只以文本形式拼接，不更新主干。
因此不能把无训练等同于确定性求解。论文用温度零保证同输入同模型下输出一致，但仍受软硬件实现确定性的限制。冻结参数也不意味着系统输出确定，因为语音识别前端与提示构造仍是影响输出的变量。复现时应把这两处计算与随机性来源分别记录，而不是只记录主干是否冻结。
在什么条件下与谁比较？
评测采用 5 组配对比较，覆盖 4 个模型家族：Qwen2.5-VL-Instruct 对 Qwen2.5-Omni 的 3B 与 7B 两个尺度，MiniCPM-V-4.5 对 MiniCPM4.5-O，NVILA-8B 对 OmniVinci，Qwen3-VL-30B-A3B-Instruct 对 Qwen3-Omni-30B-A3B-Instruct。每组中原生全模态与免训练版本来自相同家族与尺度，免训练版本即冻结视觉语言主干加 Whisper 路由。
能力轴覆盖音视频全模态理解、纯音频理解、图文与视频理解、代码与数学推理、医疗问答、视觉定位，以及 21 种语言的多语言语音。按底层数据集身份计数，核心评测含 56 个不同数据集，子集、切分与评测变体不重复计数，21 个 CoVoST2 语言切分也不单独计数。补充消融中使用的 LiveSports3K 只在附录出现，不计入核心总数。
协议按输出形态区分：选择题用精确选项匹配，缺失或冲突预测计为错误；长文本生成与翻译转写用 GPT-5.6 作为裁判模型判断语义一致性；LibriSpeech 与 FLEURS 报告的是裁判模型判断的转写正确率而非词错率，达到参考内容约八成覆盖即判对；MELD 用加权 F1，代码部分用裁判模型判断方案正确性而非官方执行通过率，阅读时不能把它们当成同一指标。所有模型每榜单评 1 次，推理用贪心解码，评测工具为自研 OmniEvalKit，推理硬件为 AMD MI210 每卡 64 GB。
语音为主要证据时路由能否打平原生训练？
要回答的核心比较问题是：在相同家族与尺度下，冻结模型加语言级语音路由是否能在语音中心任务上达到原生全模态水平。公平条件是配对比较、相同榜单与相同评测流程，指标方向均为越高越好。下表整理音视频全模态层面的关键平均与增益来源，完整榜单细节见原文大表。
| 条件 | 指标 | 原生基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| Qwen2.5-3B 音视频平均 | 平均分 | 43.2 | 46.2 | Qwen2.5-Omni-3B 对 TFO-3B |
| Qwen2.5-7B 音视频平均 | 平均分 | 45.8 | 48.0 | Qwen2.5-Omni-7B 对 TFO-7B |
| MiniCPM4.5 音视频平均 | 平均分 | 54.6 | 52.4 | MiniCPM4.5-O-9B 对 TFO-9B |
| Qwen3-30B 音视频平均 | 平均分 | 54.9 | 54.1 | Qwen3-Omni-30B 对 TFO-30B |
| 语音时序增益示例 | WorldSense 等提升 | 原生较低 | WorldSense 提升 6.1 与 14.5 点 | Qwen2.5 双尺度 |
表后解释需要同时看到收益与代价。收益集中在说话内容与时序对齐为主的榜单，WorldSense、Video-Holmes、AVUT-Human 与 Daily-Omni 在 Qwen2.5 双尺度上均有明显提升，说明带时间戳的路由特别适合语音证据需随时间与画面对齐的任务。但并非每组都胜出，MiniCPM4.5 与 Qwen3 的音视频平均分别下降 2.2 与 0.8 点，VILA 仅提升 0.4 点。未胜出项提示当任务需要更紧的学习式音视频对齐或非语音感知时，原生训练仍可能占优，不能把平均趋势推广到每个榜单。
纯音频层面的一致性更强，但短板同样清晰。下表给出平均改进与主要反例。
| 条件 | 指标 | 原生基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 5 组纯音频平均 | 平均分 | 各组原生平均 | 依次提升 1.5 1.4 4.0 13.5 1.4 点 | 全部 5 个配对 |
| VILA 纯音频 | 平均分 | 50.3 | 63.8 | OmniVinci 对 NVILA-TFO |
| MMAR-Bench | 平均分 | 原生较高 | 下降 1.5 至 9.5 点 | 全部变体 |
表后判断是：路由在语音主导任务上稳定有效，CoVoST2 与 VoiceBench 在每组均提升，VILA 组 VoiceBench 增益尤大；但所有变体在 MMAR-Bench 上下降，支持转写路由难以处理音乐、声音事件与混合声学推理的结论。这正是后文局限节的直接证据。
多语言与视觉保留是否同时成立？
第二个比较问题是多语言语音覆盖能否从语音识别前端迁移到冻结模型，以及冻结是否更好地保留原视觉能力。公平条件仍是同家族同尺度配对，语言平均为 21 种语言的无加权宏平均。下表只列平均层面的可运行策略对比，不把单语言最优值当作可部署收益。
| 条件 | 指标 | 原生基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| Qwen2.5-3B 多语言 | CoVoST2 平均 | 53.0 | 60.9 | Qwen2.5-Omni-3B 对 TFO-3B |
| Qwen2.5-7B 多语言 | CoVoST2 平均 | 49.7 | 63.2 | Qwen2.5-Omni-7B 对 TFO-7B |
| MiniCPM4.5 多语言 | CoVoST2 平均 | 45.6 | 64.0 | MiniCPM4.5-O-9B 对 TFO-9B |
| VILA 多语言 | CoVoST2 平均 | 44.6 | 55.7 | OmniVinci 对 NVILA-TFO |
| Qwen3 多语言 | CoVoST2 平均 | 61.6 | 68.4 | Qwen3-Omni-30B 对 TFO-30B |
| 图像平均保留 | 图像平均 | 各组原生平均 | 依次提升 1.8 1.0 0.7 0.3 2.4 点 | 全部 5 个配对 |
表后解释要增加机制与适用条件。多语言增益在 5 组全部为正，最大增益在 MiniCPM4.5 组，且提升集中在原生较弱的语言，如爱沙尼亚语、拉脱维亚语、瑞典语与土耳其语，支持强语音识别前端可把多语言覆盖转移给冻结模型的判断。图像平均在 5 组也全部更高，文档图表与光学字符任务增益较明显；视频平均在 4 组更高而 MiniCPM4.5 基本持平，VideoMME 在每组均提升。未评测边界是这些保留结论只针对所列图文视频榜单，不能推广到未测的视觉任务。
代码数学与医疗问答进一步检验推理与领域知识保留。下表给出平均层面的对照。
| 条件 | 指标 | 原生基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| Qwen2.5-3B 代码数学平均 | 平均分 | 50.8 | 55.1 | Qwen2.5-Omni-3B 对 TFO-3B |
| Qwen2.5-7B 代码数学平均 | 平均分 | 58.9 | 61.8 | Qwen2.5-Omni-7B 对 TFO-7B |
| Qwen3 代码数学平均 | 平均分 | 73.1 | 75.6 | Qwen3-Omni-30B 对 TFO-30B |
| NVILA 代码数学平均 | 平均分 | 46.4 | 43.6 | OmniVinci 对 NVILA-TFO |
| 5 组医疗平均 | 平均分 | 各组原生平均 | 依次提升 1.7 1.2 1.6 0.5 1.5 点 | 全部 5 个配对 |
表后需点名反例。编码三项在每组均为 TFO 更高，Qwen 系视觉数学增益较大；但 NVILA 组总体下降 2.8 点，主要由数学推理拖累，说明避免重对齐一般能减少漂移但不是每组必胜。医疗问答 5 组平均全升，MedMCQA、MedQA-USMLE 与 OmniMedVQA 每组均升，Qwen3 在 MedFrameQA 上有较大提升。视觉定位上计数与点选多为 TFO 更好，但 RefCOCO 表现与模型相关，不能只看平均。
哪些组件真正带来增益，时间戳有多重要？
消融要分离冻结主干、Whisper 语音与时间戳各自的作用。以 Qwen2.5-VL-3B 为冻结主干，在 6 个音视频榜单上比较原生 3B、纯视觉主干、加 Whisper、加 Whisper 但去时间戳 4 种配置。公平条件是同一主干与同一评测流程，指标越高越好。下表保留必要基线与实际可运行策略。
| 条件 | 指标 | 基线 | 本方法 | 去时间戳 |
|---|---|---|---|---|
| Qwen2.5-VL-3B 六榜单 | UnoBench 等分数 | 纯视觉主干较低 | 加 Whisper 后六榜全升且五榜超原生 | 去时间戳后下降 |
| AVUT-Gemini | 准确率 | 加 Whisper 58.9 | 加 Whisper 58.9 | 去时间戳 56.6 下降 2.3 点 |
| Daily-Omni | 准确率 | 加 Whisper 60.6 | 加 Whisper 60.6 | 去时间戳 59.2 下降 1.4 点 |
| AVMeme-Full | 准确率 | 加 Whisper 51.3 | 加 Whisper 51.3 | 去时间戳 49.6 下降 1.7 点 |
| 推理延迟 | 秒 | 原生约 0.7 至 2.4 | TFO 约 1.3 至 3.1 | 同一音频可复用转写摊薄 |
表前已提出比较问题与公平条件，表后解释代价与反例。冻结主干本身在 WorldSense 与 Video-Holmes 上已强于原生，说明视觉推理值得保留；加 Whisper 提供缺失的说话证据，六榜全升并在五榜超过原生。去掉时间戳在 AVUT-Gemini、AVMeme-Full 与 Daily-Omni 上下降最多，支持时间戳对时序定位的针对性价值。代价是串行语音识别带来额外延迟，同一音视频被多题复用时可摊薄。未胜出项是 AVMeme 与 MMAR-Bench 仍难超原生，提示转写缺失情感、音色、音乐与环境声。
进一步的辅助模型消融显示 SenseVoice、MELLOW、AudioFlamingo2、BEATs 与 CLAP 的文本输出偶尔改善个别榜单，如 SenseVoice 在 WorldSense 上提升，但多数组合带来下降或不稳定，联合使用也不能持续超过带时间戳的 Whisper。这支持更丰富的声学证据不能靠简单文本拼接可靠恢复的判断。
转写路由在什么地方必然失效？
第一个代价是把训练成本转成推理成本。参数量与原生模型基本相当，Qwen2.5 小尺度甚至更小，MiniCPM4.5 略增。主要开销是串行的语音识别推理，在 AVMeme 上总延迟从原生约 0.7 至 2.4 秒升至约 1.3 至 3.1 秒。这是该方法的中心优势的伴随成本：省掉主干特定的音频训练与多模态重对齐，但每次新音频都要先转写。
语音主导任务 × 非语音声学推理： 语音主导任务指答案证据主要在说话内容中，转写即可恢复；非语音声学推理指音乐、环境声、语气情感和音视频是否匹配等需要原始声学细节的判断。两者对照的理由是划定转写路由的适用边界，组合意义在于说明同一套文本拼接在前者有效而在后者必然丢失信息，需要专用声学表征补充。
更根本的局限是表征层面。论文用 AVHBench 区分需要验证音频与需要验证视频的情形。音频匹配要求判断声音是否与视觉事件相符，视频驱动的音频幻觉要求验证画面暗示的声音是否真实存在，两者都需要非语音声学证据，转写会丢失。音频驱动的视频幻觉要求验证音频暗示的物体是否可见，由于原视觉通路被保留，TFO 在 4 个家族上均优于原生。这组对照清晰划出适用边界：对视觉证据的忠实推理可行，对转写中缺席的声音无法验证。
附录尝试用辅助音频模型的文本预测补充缺失线索，但结果显示 MELLOW 与 SenseVoice 只有孤立增益，整体不能持续超过单用 Whisper。结论是若要处理音乐、环境声与语气情感，可能需要比直接文本拼接更合适的融合机制，而不是简单堆更多文字描述。
要复现这套流程，先做什么？
复现应从配对基线搭起。先准备同家族同尺度的视觉语言主干与原生全模态 checkpoint，再准备外部 Whisper-large-v3-turbo 与评测工具 OmniEvalKit。音频统一转单声道 16 kHz，按 30 秒分块加 3 秒重叠，温度零做语言识别与转写，置信度阈值默认 0.65，低于阈值跳过转写，无可靠段时省略音频块。提示按系统指令、视觉输入、音频上下文、用户问题的顺序拼接，内外音频来源分别标注。
推理用贪心解码温度零，每榜单评 1 次。选择题用程序精确匹配，长文本与翻译转写用同一裁判模型配置，代码正确性只是方案正确性判断，不能当作官方执行通过率。医疗问答用 MedEvalKit 的标准化抽取与归一规则。硬件预算可参考 AMD MI210 64 GB 的配置记录推理耗时，语音识别与主干推理分开计时，以便复现延迟结论。
还需补的验证包括：换更强或更弱语音识别前端时的增益变化、在噪声与多说话人下的过滤阈值敏感性、辅助声学描述的融合方式对照，以及未覆盖语言与视觉任务的保留测试。代码开源与评测脚本可运行不等于权重可直接下载部署，复现前应区分三者状态。
何时值得尝试这种免训练方案？
当任务证据主要是说话内容与语音视频时序，且已有更强的冻结视觉语言主干可用时，这种外挂转写路由值得优先尝试。它省掉为每个新主干重做音频对齐的成本，同时更可能保留图文、长视频、代码、数学与医疗知识能力。多语言场景下若原生模型在低资源语言上较弱，强语音识别前端带来的迁移增益可能更大。
当任务涉及音乐、环境声、语气情感或需要验证声音本身是否存在时，不应期待纯转写方案。此时需要专用声学训练或新的声学融合机制，简单追加文本化声音描述在论文中并未稳定奏效。同样，若应用对首字延迟敏感，需要先测量串行语音识别的实际开销，并考虑转写复用与流式识别的工程优化。
总体判断是：语言级路由是原生全模态训练的强对照与实用起点，而不是全模态理解的终点。未来全模态模型更合理的方向可能是外部语音路由负责说话内容，精心设计的声学训练负责非语音细节，同时继续冻结或谨慎保护已成熟的视觉与推理能力。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses