英文题目：VAPO: End-to-end Slide-Enhanced Speech Recognition with Omni-modal Large Language Models
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.425
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#基准测试 #强化学习 #多模态模型 #音视频 #音视频语音识别
评分：8.4/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Rui Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Delai Qiu：机构信息未能从会议 PDF 纯文本可靠映射
- Yining Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Shengping Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Jitao Sang：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
幻灯片增强语音识别以讲座音频为主要输入、以幻灯片图像为辅助输入，输出转写文本，实际难点在于全能模态大语言模型偏向可见文字而幻觉出未被说出的幻灯片内容。所提视觉锚定策略优化先在思考块中执行光学字符识别抽取幻灯片文本，形成视觉先验并输出给后续阶段。接着在回答块中以该先验为语义锚点聆听音频生成转写，并以格式、识别、光学字符识别与视觉锚定四维奖励通过组相对策略优化完成训练。为补足实体密集数据，作者构建SlideASR-Bench，包含由上下文语音基准扩展的大规模合成语料SlideASR-S与面向真实复杂演讲环境的200实体小规模真实测试集SlideASR-R。在SlideASR-S英文评测设置下，VAPO-7B的WER为4.60，低于Qwen2.5-Omni-7B的8.15。相对将幻灯片文本或图像直接作为上下文的流水线与端到端基线，该时序解耦的先看后听链条把视觉信息约束为可引用的锚点而非待转写内容，实际意义在于抑制视觉干扰同时保留对专业实体的召回。该结论适用边界受限于合成风格训练与清晰幻灯片假设，低分辨率小字体及视觉形近字仍是失败条件，跨语种通用场景尚未验证。推理开销方面VAPO-7B在SlideASR-R上每样本延迟为7.27秒，训练使用4卡A100硬件完成800步优化，因而更适合离线高精度转写。
🔗 开源与复现资源
- 代码相关资源：https://github.com/isruihu/SlideASR-Bench — 链接可访问（HTTP 200）
- 第三方资源：https://huggingface.co/Qwen/Qwen2.5-14B-Instruct — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么？目标为何不是只听音频？
本文的输入是三元组：讲座语音、对应幻灯片图像、任务指令，目标输出是对语音的文字转写。学习目标读者先要建立的事实是，在学术报告和技术讲解中，难识别的恰恰是人名、方法名等领域实体，而这些词往往原样写在幻灯片上。
举例来说，如果音频含糊地读出一个罕见模型名，幻灯片标题可能给出其正确拼写，这就是可利用的视觉先验。本文要解决的不是通用语音识别，而是在不抄错屏幕的前提下用好这份先验。
幻灯片增强语音识别 × 全模态大语言模型： 幻灯片增强语音识别的分工是以讲座语音转写为主任务，把幻灯片图像作为辅助上下文来消解专业术语的发音模糊；全模态大语言模型的分工是统一处理文本、图像和音频，使同一模型能同时看图和听音；二者搭配的理由是幻灯片上的关键词恰好是语音中最难识别的实体，组合意义在于省掉先识别再过滤关键词的级联管线，实现图像直接作为视觉上下文的端到端识别。
下面这张图把两种范式画在同一版式中，上为多模块级联，下为单模型端到端，初学者可据此建立全文的对照框架。
看图路径： 1. 先看上半部分管线中幻灯片图像到抽取文本再到过滤文本的箭头走向；2. 再看下半部分幻灯片图像直接标注为图像即上下文进入同一模型；3. 对比左下直接输出与右下先思考再回答两条子路径的分隔虚线
论文图 1。原论文 Figure 1：“Comparison of paradigms for the SlideASR task.”。
从像素看，上半部分用 4 个方框表示幻灯片图像到抽取文本再到过滤文本最后到关键词的过程，虚线表示关键词作为文本上下文与任务指令拼接后进入大音频语言模型。下半部分幻灯片图像直接标注为图像即上下文进入全模态大语言模型，音频从左侧进入同一模型。右下角用虚线分隔直接输出与先思考再回答两条子路径，并用回指箭头表示引用关系。这张图只说明结构差异，不承担效果证据。
同输入同目标的前人路线有何异同？
按同输入、同目标、同监督来对照，上下文语音识别研究一直在试把领域标签、实体列表和对话历史拼给识别系统，以提升术语准确率。另一支是利用唇动等视觉信息辅助识别。本文聚焦的幻灯片辅助识别属于视觉分支，因为幻灯片与语音内容高度相关。
已有代表性工作包括在幻灯片语音数据集上训练的长上下文偏置网络和多媒体辅助识别系统，它们大多仍是管线思路。全模态大语言模型是近期才具备同时对齐视觉、音频和文本编码器的模型家族。它们被期望能端到端解决该任务，但论文报告它们在实际场景中会复述幻灯片文字而非转写语音。
思维链推理是另一条相关路线，通过强化学习鼓励模型先生成中间推理步骤再给最终答案。本文正是把该思想搬到语音与视觉的时间解耦上。
流水线范式 × 端到端范式： 流水线范式的分工是分模块处理，先用外部工具抽幻灯片文本并过滤领域词，再把文本上下文送给纯音频大模型；端到端范式的分工是单模型处理，直接把幻灯片图像和音频一起送给全模态大模型；二者比较的理由是前者复杂且误差累积，后者理论简洁但实测出现视觉干扰，组合意义是引出本文不是更换更大模型，而是重塑端到端内部推理顺序的研究选择。
需要提醒初学者的是，类别差异不能当作同条件胜负。例如管线用外部识别工具抽出的干净文本做上下文，而端到端用的是原始图像像素，二者输入形态不同。直接比较时必须注明输入条件，否则会把工具质量差异误读为模型能力差异。
视觉干扰如何定义与度量？
论文把视觉干扰（Visual Interference）定义为模型生成了出现在视觉上下文中、但在语音中根本没有出现过的文本。这不是一般的识别错词，而是模态主导：强的可见文本信号压制了听觉信号。
图示例子很直观，属于教学例子。同一段语音在纯音频模式下被正确转写，一旦加入对应幻灯片图像，模型却输出幻灯片上的另一段文字。该例子只展示现象存在，不证明发生频率。
视觉干扰 × 视觉干扰率： 视觉干扰的分工是定性描述失败模式，即模型输出了幻灯片上有但语音中没有出现过的词；视觉干扰率的分工是定量度量该倾向，用幻灯片独有词与预测词的集合运算判定样本是否被干扰；二者搭配的理由是只有先隔离出未被说出的可见词，才能区分合理利用上下文与盲目抄屏，组合意义是为后文论证朴素端到端失效提供可复算的指标。
下面这张对比图左侧为成功转写、右侧为视觉干扰，底部并列给出音频文本与幻灯片文本，读者可先核对二者确实不同，再看模型输出倒向哪一边。
看图路径： 1. 先读底部并列的音频文本与幻灯片文本确认二者内容不一致；2. 再对比左侧仅音频转写成功与右侧加入图像后输出幻灯片文字；3. 确认左右输出框分别与底部哪一段文本一致
论文图 2。原论文 Figure 2：“An illustrative example of Visual Interfer- ence in the end-to-end SlideASR task.”。
从像素看，顶部是同一音频波形图标分叉到左右 2 个模型框，左框仅标注语音识别，右框标注视觉上下文语音识别并额外接收右上角幻灯片缩略图。左右输出框文字完全不同，左框与底部蓝色音频文本一致，右框与底部紫色幻灯片文本一致。该图只承担定义说明，发生率要看下一张按数据集统计的整理表。
要回答的比较问题是：在相同幻灯片语音数据集上，不同全模态模型被幻灯片带偏的样本比例是否普遍偏高？公平条件是同一数据集划分与同一集合差计算逻辑，指标方向是干扰率越低越好。
| 模型范围 | 评测划分 | 干扰率下限 | 干扰率上限 | 公平条件 | 组合解释 |
|---|---|---|---|---|---|
| 多个全模态模型 | 测试集 | 12.87% | 63.28% | 同一集合差逻辑 | 区间显示普遍性 |
| 最强基线 | 测试集 | 超过 12% | 超过 12% | 同一测试集 | 下限仍处高位 |
该表由原文连续报告整理，显示即使是最强的基线也有超过 10% 样本出现干扰，而部分模型在测试集上超过 60%。主要判断是该问题跨模型普遍存在，不是单个模型的偶发行为。其限制是该表只报告现象，不解释是编码器对齐还是解码偏置导致。
看后听全景：一个样本走完输入到输出
沿一个样本走完全流程有助于建立依赖顺序。输入是幻灯片图像、讲座音频和一条指令，指令要求先识别图中文并放在思考标签内，再参考思考内容把语音识别结果放在回答标签内。
策略模型先采样多条候选输出，有的缺思考块，有的思考块抄错，有的回答块照抄幻灯片。只有思考块识别准且回答块正确锚定实体的候选才能在 4 个奖励下都得高分。输出是带有两段标签的序列，最终取回答块做转写结果。
该设计模仿人类听报告的行为：先扫一眼幻灯片建立主题先验，再把听到的模糊发音锚定到先验中的专业术语。原文明确指出朴素全模态模型同时处理视听信号、缺少中间推理阶段，而人类是时间解耦的。
下面这张框架图把输入、采样输出、展开的思考回答块与 4 个奖励画成从左到右的流水，初学者应沿箭头先看主路径再看锚定虚线。
看图路径： 1. 沿左侧输入经策略模型到中间四种候选输出的主路径看采样多样性；2. 看右侧思考块中被红框标出的实体如何连线到回答块；3. 核对最右侧四个奖励分支的文字标注
论文图 3。原论文 Figure 3：“Overview of the Visually-Anchored Policy Optimization (VAPO) framework.”。
从像素看，最左侧是幻灯片缩略图、语音条和指令框共同指向中间的策略模型图标。中间是 4 条候选输出，有的只有回答块，有的思考与回答内容错位。右侧展开一条完整候选，上为思考块内含识别文本，下为回答块内含转写文本，红色虚线从思考块中被框出的实体连到回答块中同一实体。该图只说明机制，不证明注意力必然如此。
四项奖励各算什么？符号与目标是什么？
先讲符号约定。记思考块生成文本为思考文本，幻灯片真值文本为幻灯片文本。记回答块生成文本为回答文本，语音真值转写为语音真值。记同时出现在幻灯片真值与语音真值中的关键实体集合为目标实体集。
第一项是格式奖励（Format Reward），只检查是否生成完整结构标签，目标是强制时间解耦的结构合规。第二项是光学字符识别奖励，用思考文本与幻灯片文本的一致程度打分，目标是看得准。第三项是语音识别奖励，用回答文本与语音真值的一致程度打分，目标是整体转写准。第四项是视觉锚定奖励，在目标实体集非空时计算复现比例，目标是鼓励引用与当前语音相关的视觉线索。
思考块 × 回答块： 思考块的分工是先看，要求模型先把幻灯片文字识别出来形成视觉先验；回答块的分工是后听，要求模型在听音频时引用思考块中已固定的实体做锚定；二者搭配的理由是把视觉感知与听觉转写在时间上解耦，避免强视觉信号压制弱音频信号，组合意义是形成可被奖励函数分别监督和连接的两段式推理链。
幻灯片独有词的集合差逻辑是后文干扰率的基础，其原始形式如下，读者可把它理解为先做差集再做交集判定的第一步。
\[Vexclusive = Vslide\Vaudio. These are words that\]光学字符识别奖励的计算目标是把词错误率转化为越高越好的分数，思考文本越接近幻灯片真值分数越高。
\[ROCR = max(1 −WER(Tt\]语音识别奖励同理，把回答文本与语音真值的差异转化为分数，回答越接近真值分数越高。
\[RASR = max(1 −WER(Ta\]总奖励是四项的加权和，权重为超参数，默认实验取均衡配置，敏感性分析才变动权重以观察权衡。
\[Rtotal = λ1RFormat + λ2ROCR\]光学字符识别奖励 × 视觉锚定奖励： 光学字符识别奖励的分工是保证看得准，比较思考块文本与幻灯片真值文本的一致程度；视觉锚定奖励的分工是保证用得上，统计同时出现在幻灯片真值和语音真值中的关键实体有多少被同时复现在思考块和回答块；二者搭配的理由是单有转写准或单有抄屏准都不够，必须奖励跨阶段引用，组合意义是把 2 模态各自的感知质量与跨模态引用行为同时纳入策略优化。
初学者易误解为某一项奖励越大越好，原文敏感性分析显示不同权重之间存在权衡，因此均衡权重是兼顾鲁棒性的选择，而非理论最优证明。
数据如何构造？模型如何训练与推理？
训练数据主要来自自建基准中的合成子集。该子集扩展自上下文语音识别基准，后者已按命名实体识别数据集的种子生成富含实体的口语文本，再转为语音。本文从每条样本取出领域标签和领域实体列表，送给指令模型生成包含标题和要点的正式幻灯片风格短文。
生成要求自然嵌入音频中的全部实体且控制在限定词数内，再用绘图库渲染为幻灯片图像。另有从公开学术报告视频手工收集的真实测试集，覆盖化学、医学、生物和人工智能 4 个专门领域，用于压力测试。推理操作是按提示先生成思考块再生成回答块，只取回答块做最终转写。
要回答的比较问题是：合成子集是否达到可训练量级而真实子集是否只承担评测？公平条件是按样本数、实体数和小时数分别统计，指标方向是训练集需足够大以支撑强化学习探索。
| Subset | Sample | Entity | Hour |
|---|---|---|---|
| SlideASR-S (Training set) | 6,413 | 44,240 | 67.3 |
| SlideASR-S (Test set) | 2,054 | 13,895 | 18.5 |
| SlideASR-R | 60 | 200 | 0.35 |
该表为原表明细，逐格映射样本、实体和小时数。可见合成训练集规模远大于真实测试集，主要收益是实体密度足以训练视觉锚定。代价是合成幻灯片用绘图库渲染，可能缺失真实场景的复杂图表和视觉噪声，原文在局限中明确承认这一域间隙。
资源状态需如实交代：论文声明的代码仓库当前可用，已公开可访问。文中引用的指令模型权重链接在本次核对中未能确认可达，不应写成已公开可下载。
在哪些数据与指标上测？条件如何对齐？
评测覆盖公开幻灯片语音数据集、中文唇读与幻灯片数据集，以及自建的合成英文、合成中文和真实子集。公开幻灯片语音数据集是真实英文场景，实体密度较低。自建基准专为实体密集场景设计，合成部分中英文分开报告，真实部分最具挑战。
基线包括纯音频大模型、多个全模态模型以及在原数据集上训练过的管线模型，比较时必须注明输入条件，否则不同模态输入下的数值不可比。指标分两套。公开幻灯片语音数据集用词错误率、非关键词段的无偏词错误率、关键词段的有偏词错误率和关键词召回率。
自建基准用词错误率、命名实体部分词错误率和命名实体漏检率，中文按字当词，实体部分先做编辑距离容忍的模糊匹配再计算。初学者不要把词错误率超过 100% 的爆炸值误读为百分比上限，因为词错误率含插入错误，可以超过 100%。
原文还报告了提示词细节：基线按无上下文、幻灯片文本做上下文、幻灯片图像做上下文分别给不同指令。本方法统一要求先识别图中文再参考思考内容输出语音识别结果。聚合对象是开发集与测试集分别报告，不做跨集平均。
主结果：视觉上下文何时帮忙、何时帮倒忙？
要回答的核心问题是：在相同数据集上，加入幻灯片信息是否稳定提升识别，本文方法与可运行基线相比的实际收益是什么？公平条件是区分仅音频、管线文本上下文与图像端到端 3 种输入并保留最强的音频基线与图文基线。指标方向是词错误率和实体错误越低越好、召回越高越好。
在公开真实英文集上，多数基线加入幻灯片信息后反而变差，表现为直接端到端或管线设置的数值劣于仅音频设置。相比之下，本方法有效利用视觉线索，在测试集上同时取得较优的整体数值与关键词召回。在自建基准上差异更极端：部分基线在端到端设置下出现幻觉抄屏，远差于其仅音频时的表现。
下表整理 3 组评测对象的定性对照与原文数字细节，数字写法保留原文，含义以表头为准。
| 评测对象 | 报告指标 | 基线定性行为 | 本方法报告值 | 控制变量与解释 | 成本与限制 |
|---|---|---|---|---|---|
| 公开英文测试集 | 词错误率与召回率 | 加图变差 | 词错误率数值 10.31 与召回率数值 97.32 | 同一真实英文集与图像输入 | 依赖思考块质量 |
| 合成英文测试集 | 词错误率 | 端到端爆炸 | 词错误率数值 4.90 | 同一合成英文集与图像输入 | 合成风格较干净 |
| 真实挑战集 | 命名实体漏检率 | 最佳基线仍漏检较多 | 漏检率数值 15.35 对应最佳基线数值 28.22 | 需视觉上下文的难实体 | 低分辨率小字体易错 |
该表用原文连续原句逐字覆盖关键数字，承担宽表要求的比较功能。主要收益集中在实体指标，整体词错误率也同步改善。具体代价是方法依赖思考块质量，若识别错则锚定丢失。未胜出项也要说明：在通用低实体密度场景提升幅度较小。
下面这张注意力图为机制提供辅助证据，显示生成回答块专有名词子词时模型回看思考块对应子词，图中连线构成可观察的引用痕迹。
看图路径： 1. 先读顶部音频文本与幻灯片文本确认目标实体为专有名词；2. 再看右侧词元点阵中回答块专有名词子词回连思考块的橙色线密度；3. 确认普通词连线稀疏而实体词连线密集
论文图 5。原论文 Figure 5：“Attention visualization of VAPO-7B. The dense orange connections demonstrate the visual anchoring mechanism, showing that the model explicitly attends to extracted entities in…”。
从像素看，左侧是幻灯片缩略图与音频文本对照，右侧是上下两排词元点阵，上排为目标词元、下排为源词元，橙色连线密集地从回答块中专有名词的子词连回思考块中同一实体的子词，而其他普通词连线稀疏。该图支持跨阶段引用确实发生，但不能单独证明因果，仍需结合消融中去掉视觉锚定奖励后性能变化来联合判断。
奖励与训练范式哪部分真正起作用？
消融要回答两个问题：四项奖励各自贡献如何，结构化格式与强化学习优化各自贡献如何？条件是固定基座与评测集，逐项叠加奖励或切换训练范式，指标仍是实体词错误率与漏检率越低越好。
在真实挑战集上，从基线出发先加语音识别奖励改善幅度较大，再加光学字符识别奖励进一步提纯视觉先验，最后加视觉锚定奖励达到较优。这支持了各模态感知保底、跨阶段引用封顶的判断。权重敏感性显示均衡配比鲁棒性较好，改变某一项权重会带来整体与实体指标之间的权衡。
训练范式对比显示，直接映射的监督微调效果较弱，加上思考链的监督微调明显改善，证明时间解耦本身就有收益。再用多维奖励做强化学习进一步改善，说明仅教会格式不够，还需让思考块被真正用于最终转写。鲁棒性反证是喂随机错配幻灯片时，整体数值保持稳定，说明模型在视觉不可靠时能回退到听觉。
推理成本的比较问题是：思考块带来的延迟与精度如何权衡？公平条件是同一真实挑战集上的单样本平均耗时与漏检情况，指标方向是耗时越低越好、漏检越低越好。下表保留 4 种设置的耗时与漏检对照。
| Setting | Inference time per sample | (s) |
|---|---|---|
| Slide text as context | 105.98 | 28.22 |
| Slide image as context | 172.95 | 24.75 |
| Slide image as context | 2.51 | 35.15 |
| Slide image as context | 7.27 | 15.35 |
该表为原表选择，保留 4 种设置的耗时与漏检对照。可见大参数基线管线与图像端到端耗时远高于本方法，而本方法以中等延迟换取精度提升。代价是相比同尺寸直接生成仍更慢，更适合离线转写而非实时应用。未评测边界包括连续翻页等更复杂的对齐情况。
哪些边界尚未验证？延迟与误差从哪来？
原文明确列出三项局限。任务泛化上，当前只利用幻灯片中的文字信息，未纳入其他视觉线索，未来需扩展到更多样多模态环境。真实鲁棒性上，训练依赖合成幻灯片，已在 3 个真实集上验证有效。
但合成风格与真实场景的版式多样性和视觉噪声仍有域间隙，低分辨率小字体尤其影响形近汉字的识别。推理效率上，结构化推理引入计算开销，延迟高于同尺寸模型，适合对精度要求高的离线应用。
失败案例进一步定位误差来源：思考块中把正确字误识为形近字，导致回答块失去正确锚点而跟错。这说明方法性能对视觉感知质量敏感，但这不削弱整体优势，因为纯音频模型在同样模糊输入下同样甚至更易错。
伦理部分指出主要社会收益是提升专业术语转写准确率、有助听障人士获取讲座信息，但也提醒在医疗转写等高风险场景中错误可能带来严重后果，关键应用仍需人工核对。
复现先做什么？保留哪些超参数与信息条件？
复现第一步是对齐数据与划分。合成训练与测试的样本、实体和小时数已在数据表中给出，真实集仅少量样本只做评测不做训练。合成幻灯片生成需固定领域标签与实体列表输入、标题加要点格式、自然嵌入全部实体，再用绘图库渲染。
真实集需人工比对语音与图像标出共现实体。随机种子、说话人划分等细节原文未完整报告，这是具体缺项，复现时应记录自己的划分并注明与原文可能不一致。第二步是对齐模型与优化条件。基座为全模态模型的较小与较大版本，微调步数、批量、学习率、组大小、采样温度、散度惩罚系数均按原文设置。
四项奖励权重默认均为均衡配置。提示词必须保留先识别图中文再参考思考内容输出语音结果的两段要求，基线 3 种输入条件用各自指令。评测时中文按字当词，实体先模糊匹配再计算，公开集同时报告整体与关键词分段指标。
第三步是对齐代码与权重可达性。代码仓库当前可用，可按声明地址获取。指令模型权重链接本次未能确认可达，不应假设可直接下载，复现时需注明替代版本。推理时只取回答块做分数，思考块仅做诊断与注意力分析。
何时值得尝试看后听？一句话收束
当任务同时满足 3 个条件时值得尝试：输入包含与语音强相关的幻灯片文字，难词集中在可被拼写的领域实体，且应用容忍思考块带来的额外延迟。此时先看再听的时间解耦能把视觉先验从干扰源变为锚点。
四项奖励分别保结构、保看准、保听准和保引用，缺一不可。若场景是通用口语、无幻灯片或要求实时，则增益有限且延迟成为主要代价。对研究生而言，可核对的复述应包含干扰定义、干扰率判定、思考块识别与回答块引用、组相对策略优化与均衡奖励。
记住这些数字的输入条件与指标方向，才算真正复述了方法而非重复摘要。还需要补做的验证包括更多版式噪声下的稳定性，以及与其他视觉线索结合时的行为。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses