台语发声中字落画：用三模态共识把硬字幕视频熬成 860 小时语料

英文题目：A Multimodal Semi-Supervised Framework for Automatic Construction of a Cross-Lingual Taigi Speech-Chinese Subtitle Corpus

会议身份：conference:interspeech:2026:conference-paper-id:cho26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #多模态学习 #半监督学习 #跨语言 #音视频语音识别

评分：6.1/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Cheng-Hsiu Cho：机构信息未能从会议 PDF 纯文本可靠映射
• Chih-Chung Kuo：机构信息未能从会议 PDF 纯文本可靠映射
• Yu-Siang Lan：机构信息未能从会议 PDF 纯文本可靠映射
• Chao-Shih Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Yan-Ming Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Yuan-Fu Liao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理跨语言语料构建：输入为台语语音与内嵌繁体中文字幕的视频帧，输出为与语音语义对应的中文字幕文本，难点在于语音与字幕语言不一致且无独立字幕文件可用，单看图像易受模糊与误检影响。视频预处理先用光学字符识别切分字幕片段并给出首候选文本，其输出与对应语音图像一并送入三模态音频视觉语言模型产生第二候选。字符错误率过滤仅保留双候选强一致样本对，其文本连同原图再送入视觉语言模型融合为精炼伪标签，伪标签回训音频视觉语言模型形成迭代闭环。相比单模态识别与双模态模型，该机制用音频语义约束视觉幻觉，用图像证据约束语言模型编造，使三模态互补判断优于任一单模态。在自建Golden Set上融合精炼使字幕识别CER从36.8%降至9.3%，860小时语料使Whisper跨语言转写CER从57.8%降至37.8%，台语到中文翻译BLEU从0.2016升至0.4033。在Golden Set任务下，融合精炼字幕的错误率为15.8%，低于PaddleOCR基线的错误率16.07%。该结论适用边界受限于台湾电视与网络台语节目字幕风格，对重度遮挡、强口音与非繁体字幕场景尚未验证。原文未披露训练推理成本与超参数细节。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Speech-AI-Research-Center/taigi-transcription — 链接不可用（HTTP 404） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么低资源让台语难做？

这篇解读的输入是 2026 年在悉尼国际语音通信会议发表的台语语料构造论文，目标是让刚进入语音与语言方向的研究生能复述它的方法与实验条件。必须保留的信息包括任务定义、数据划分与规模、模型组件与冻结策略、迭代阈值与提示策略、评价指标方向与关键数字，以及代码当前不可用的状态。

输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断。先把任务说白，白话的低资源是指能拿来训练模型的带标注语音与文本太少，英文名是低资源语言。台语在台湾是重要本土语言，但数字化资源长期稀缺，网上虽有大量台语影音，声音说的是台语，画面底部烧死的却是繁体中文硬字幕，而且没有独立字幕文件可下载。

硬字幕的意思是字已经和像素焊在一起，不是可切换的外挂字幕轨道，只能从图像里读。跨语言语音字幕语料的意思是语音是一种语言、字幕是另一种语言的含义对应，模型不能像同语言听写那样直接照音写字，必须跨过语言鸿沟。评价用字符错误率，英文名是字符错误率，算的是替换删除插入占总字数的比例，越低越好。

翻译质量用双语评价替补，英文名是双语评价替补，越高越好。后续所有表格都要同时核对数据集、模型、阶段、指标与聚合对象，不能只看数字升降。复述时还要记住伪标签不是人工金标，而是模型在过滤后自动生成的监督。

已有路线各解决了什么？还缺哪一块？

相关工作按同输入、同目标、同监督来对照，而不是按大类贴标签。第一条路线是从光学字符识别到视觉语言模型的字幕抽取，英文名分别是光学字符识别与视觉语言模型。传统做法用成熟的光学字符识别读干净标准图像效果尚可，但论文报告其在检测框错误时性能明显退化，且无法补偿语义上下文。

近期有人把视觉语言模型用于该任务，大语言模型的上下文知识能纠正部分识别错，但看不到特征时容易过分依赖内部知识而幻觉。教学例子是把形近字认错属于字形错，把没出现的台词编出来属于幻觉，二者错误来源不同，所以需要不同的约束。

第二条路线是多模态学习做音视理解。从对比语言图像预训练到多模态统一语义空间，再到把音视频一起接进大语言模型的视频理解模型，思路都是在复杂条件下用多路证据互相纠偏。认知科学里的麦格克效应提示人类本来就是视听联合理解语言。

本文的聚焦目标更窄，不是做通用视频问答，而是把台语语音当作独立验证源，去约束并补充视觉字幕识别。也就是说，声音不直接转写，而是提供声学语义线索来判断中文字幕里哪个字更合理。

光学字符识别 × 视觉语言模型： 光学字符识别负责从视频帧里按字形检测并逐字读出硬字幕，分工是保证视觉字形保真但缺乏语义纠错；视觉语言模型负责结合图像与语言上下文补全改写，分工是维持语义连贯但看不清时可能幻觉，二者搭配的理由是前者提供贴图的字形锚点、后者提供上下文约束，组合意义是把看错字与编台词两类不同错误放在原图前对质。

这座桥的教学意义是后文所有设计都能归到两类错误的对抗，字形错用图像与共识来压，幻觉用原图为准则与声学约束来压。如果只记一句话，就是以形校意、以声验字。第 3 条路线是半监督学习做语料构造，核心是从模型自己的预测里迭代发现新知识。与最接近的前作相比，前作用双模态做台语字幕识别，本文做的是中文硬字幕识别，是更难的跨语言设定。

跨语言硬字幕到底难在哪？看一眼真实画面

问题可以拆成三句话。第一是输入错位，训练想要的是台语语音到中文文本的对齐对，但网上视频只给台语声音加中文像素字，没有时间对齐的文本文件。第二是监督缺失，只有极少数视频自带字幕文件可当测试或种子，大多数无字幕文件的视频只能先用传统光学字符识别生成第一版候选。

第三是域差异，受控的电视台数据上训好的模型，拿到肥皂剧、历史剧、民间故事等真实多样场景会明显变差，论文在自建基准上观察到了这一点。下面这张图展示了典型的跨语言样本，语音是台语，字幕是烧死在帧底的繁体中文。读图时注意字幕不是浮层，而是画面的一部分，背景人物与亮度都会干扰识别。

看图路径： 1. 先看底部白色硬字幕在画面中的位置与样式，确认字是烧死在像素里的；2. 再对照左右两组人物场景，体会语音与字幕分属两种语言的错位关系；3. 最后观察背景复杂度和字体粘连，理解纯字形识别为何容易出错

论文图 1。原论文 Figure 1：“Typical cross-lingual Taigi audiovisual samples,”。

从像素看，两张剧照底部都有一行白色繁体中文字幕，字体较小且压在复杂背景上，左侧为室外船边多人对话场景，右侧为室内医疗场景。画面告诉我们两件事，一是字幕区域固定在底部但易受压缩模糊影响，二是语音内容与字幕文字不是逐字对应的同语言转写，而是意译对应。

这就解释了为什么纯语音识别与纯图像识别各自只能解决一半问题，也解释了后文为什么要把音频、图像、文本 3 路一起送进解码器做联合判决。单看会错字，单听会猜错意，只有对照才能定稿。

全景：两段式流程如何从视频走到语料？

方法全景分左右两半，左半是视频预处理，右半是半监督迭代精修。左半先把台语视频分成带字幕文件与不带字幕文件两类，带文件的少数可作测试，不带的多数走传统光学字符识别生成初始伪标签。所有视频再按字幕时间切分，每个字幕实例产出一个三元组，包括字幕文本、带字幕帧和对齐语音段。

右半把无字幕文件的三元组送进迭代框架，光学字符识别文本是候选一，图像加音频送进 3 模态识别模型产出候选二。两个候选算字符错误率过滤，只留强共识的，再用视觉语言模型融合成一条精修字幕，拿去微调模型后进入下一轮。最后对大量音频与伪标签对做强制对齐，得到高精度音文对齐的大语料。

3 模态音视语言模型 × 迭代伪标签： 3 模态音视语言模型负责同时看字幕帧、听台语语音并读指令来给出第二个中文候选，分工是提供与光学字符识别独立的声学语义约束；迭代伪标签负责只留下双候选高度一致的样本并用它们回训模型，分工是把共识变成下一轮监督，搭配原因是单轮模型跨域不准而全量自训会放大噪声，组合意义是形成数据变多变准与模型变强的正反馈环。

这张总览图把上面两段画成了可执行的流水线，左路负责切分出可训练的三元组，右路负责提纯伪标签并回训模型，箭头在右侧构成完整的自举优化闭环。

看图路径： 1. 先沿左侧从台语视频分叉到有字幕文件与无字幕文件两路，看切分三元组的产出；2. 再沿右侧看候选一与候选二如何汇入字符错误率过滤再进入融合精修；3. 最后看精修结果如何分叉到最终语料与回训音视语言模型的闭环箭头

论文图 3。原论文 Figure 2：“Overall workflow. (a) Video preprocessing: subtitle OCR and segmentation.”。

解释这张图时抓住 3 条线。第一条是数据线，从台语视频出发，经预处理与初始伪标签生成，再经视频切分变成切分三元组。第二条是精修线，候选一与候选二汇入字符错误率过滤，再进入基于视觉语言模型的融合精修，最后走向最终语料与强制对齐。

第 3 条是模型线，高质量伪标签去微调音视语言模型，调好的模型又回来产生新的候选二。这 3 条线说明数据量与模型精度是互相喂大的，而不是 1 次前向就能结束。原文明确说该循环是自举优化环，细节在后续小节展开。

三模态模型里谁看图、谁听声、谁拍板？

组件按一个样本走完输入到输出。输入图像进视觉编码器，论文选用高层视觉特征提取器，英文名是视觉编码器。输入音频波形进音频编码器，论文选用在台语数据上微调过的大型语音模型做声学特征提取，英文名是音频编码器，强调它不做直接转写，只给解码器提供互补的声学语义线索。

文本指令进大语言模型的分词器，论文选用原生支持常用台语字符的大语言模型做文本编码与多模态解码。视觉与音频特征先各自经过两层带激活函数的连接器投影到嵌入空间，再与文本嵌入拼接，采用早期融合策略，英文名是早期融合，让解码器在统一语义空间里联合权衡视觉、音频与指令。

训练策略上，视觉与音频两个编码器冻结，只微调视觉连接器、音频连接器与大语言模型解码器，用低秩适配技术，英文名是低秩适配。冻结的意思是参数不更新，更新的意思是梯度只流经连接器与解码器。这样做按原文的安排理由是避免全模态训练的复杂性，更好地优化特征空间映射与最终输出。

未报告的是具体秩、学习率、步数与优化器细节，复现时应视为缺项而不从模型名推定。

早期融合 × 低秩适配微调： 早期融合负责把视觉特征、音频特征和文本指令映射到同一嵌入空间后拼接送进大语言模型解码器，分工是让模型解码每个字时同时权衡 3 路证据；低秩适配微调负责只更新视觉连接器、音频连接器和解码器而冻结两个编码器，分工是用小参数量学会跨模态对齐而不破坏已学视听表征，搭配原因是全量训练 3 模态代价大且易偏，组合意义是以小改动实现多证据联合判决。

下面这张结构图是理解 3 路汇合的关键，它用黄色底板标出嵌入空间拼接的位置，蓝色与红色方框区分视觉与音频支路，值得对照正文逐框确认。

看图路径： 1. 先自下而上看三路输入如何分别进入视觉编码器音频编码器与分词器；2. 再看视觉连接器与音频连接器如何与词嵌入一起拼接后送进大语言模型；3. 最后确认顶部解码器只有一个出口，理解联合判决的发生位置

论文图 2。原论文 Figure 3：“Architecture of the proposed AVLM. It integrates SigLIP (vision encoder), Whisper Large-V2”。

从像素看，底部 3 个椭圆分别是输入图像、输入音频波形与文本提示，向上各接一个方框，包括视觉编码器、音频编码器与大语言模型分词器，再向上是视觉连接器与音频连接器，最顶部是统一的大语言模型解码器。图注写明在嵌入空间拼接，这张图的可执行观察是确认没有旁路直达输出，所有判断都发生在顶部解码器里。这也对应消融思想，关掉一路就看另一路能否兜底，后文鲁棒性表正是这样测的。

迭代精修四步如何算？阈值与提示怎么写？

训练与构造在这里是同一件事，用伪标签回训模型并扩大语料。共 4 步，每步的监督来源与计算目标都不同。第一步生成候选对，对同一视频段同时跑传统光学字符识别与 3 模态模型，各产一条中文候选。第二步做基于字符错误率的过滤，计算两条候选之间的字符错误率，只保留低于预设阈值的对，论文举例阈值为 0.25，含义是两家高度一致才认为质量更高。

第三步做基于视觉语言模型的融合，不直接二选一，而是把两条候选、各自典型错误模式与原图一起告诉融合模型。提示明确写清光学字符识别易混形近字、3 模态模型易幻觉，并要求以原图为最终依据，产出一条精修字幕。第 4 步是模型训练与迭代，用高质量伪标签微调模型，再用新模型在同一固定数据池里抽更多更好的伪标签，形成数据质量与模型性能互相促进的循环。

最后再做强制语音文本对齐，英文名是强制对齐，以缓解音频切分边界不准，得到高精度对齐语料。提示设计是关键变量，论文在自建基准上比较了 3 种复杂度递增的提示。提示一直接合并两句，提示二增加错误意识告知两路弱点，提示三再要求对照源图做最终判决。

对比的模型包括不同参数量的语言模型与视觉语言模型。报告显示简单合并效果差，增加错误意识后错误减少率达约 60%，视觉辅助再带来额外增益，最好的视觉语言模型加提示三达到最低字符错误率，因此被选为迭代框架的核心策略。

字符错误率过滤 × 视觉语言模型融合： 字符错误率过滤负责计算光学字符识别候选与音视语言模型候选之间的字符错误率并只保留低于阈值的样本，分工是快速剔除分歧大的不可靠对；视觉语言模型融合负责在保留对上对照原图把两候选改写成一条更准字幕，分工是吸收两家之长并纠正字形混淆与幻觉，搭配原因是只选其一会继承单方系统误差，组合意义是先用一致性保精度再用生成式融合提上限。

复述时注意区分原始目标、近似与停止更新，过滤步没有梯度，只是选数据。融合步的生成不直接更新被融合的两家，只产出文本，真正的参数更新发生在第 4 步回训 3 模态模型时，且编码器冻结。原文未给出过滤阈值的搜索过程与融合模型的训练细节，不猜最优阈值，只能说论文用 0.25 作示例阈值并报告了该链路的有效性。

数据、基准与指标：拿什么测、怎么算好坏？

实验按 3 个阶段组织，先验证 3 模态基线性能与鲁棒性，再评估半监督迭代优化的有效性，最后把产出语料用于下游任务看实用价值。数据用两套，第一套是电视台台语数据集，用于初始训练与性能验证，含约 134.33 小时训练数据与 12.32 小时测试数据，来源是台湾公共电视台的台语节目，提供带中文字幕的视频帧与对应真值文本。

第二套是自建的金标集，采自 8 个非电视台频道的台语视频，覆盖肥皂剧、历史剧与民间故事等多样体裁，约 7.76 小时台语语音与 13086 句中文字幕。与受控广播材料不同，金标集捕捉更多样更具挑战的真实场景，更适合评估泛化与下游性能。指标方向要先记牢，字幕识别与跨语言转写用字符错误率，越低越好。

翻译用双语评价替补，越高越好，融合质量还用错误减少率看相对改善。聚合对象是测试集上的句子级平均，原文未报告置信区间与显著性检验，也未报告硬件预算与耗时，复现时应把统计与成本视为缺项。下游分两条，用 860 小时语料继续微调大型语音模型做台语到中文字幕转写，在金标集上测字符错误率与双语评价替补。

用约 59 万平行句对微调大语言模型做台语到中文翻译，在金标集上测双语评价替补。平行句对的台语侧是用自家台语识别系统转写得到，其字符错误率为 15.3%，再与精修中文字幕对齐，这意味着翻译监督本身含噪声，解读增益时要记住这一点。关于可运行性，论文在正文给出代码链接，但本次收到的资源状态显示该链接当前不可用，状态码为 404，因此不能写已公开可用。

基线有多强？三模态相对双模态赢在哪？

要回答的核心问题是，在受控电视台测试集上，3 模态相对只看图或只听声的双模态是否在同条件下更准，指标方向是字符错误率越低越好。下表整理了论文报告的 3 组可运行对照，公平条件是同一测试集与同一字幕识别任务，区别只在模态组合，指标单位保留原文写法。

表后解释要同时讲收益与代价。报告显示 3 模态达到 7.46%，优于只看图的 10.26% 与只听声的 35.29%，支持多模态融合带来可靠增益的判断。其中只听声高达 35.29% 是一个未胜出项，它说明仅凭台语语音猜中文意译字幕非常难，也反证音频在这里的角色是辅助验证而非直接转写。

代价是 3 模态需要同时跑视觉编码器、音频编码器与大语言模型解码器，推理开销大于单模态，但原文未测量延迟与显存，不能承诺效率也改善。另一个边界是该表只在受控广播数据上测，未胜出的跨域表现要到金标集与迭代表里看，不能把此处的水平直接推广到真实多样场景。

跨语言语音转写 × 跨语言机器翻译： 跨语言语音转写负责把台语语音直接写成中文字幕，分工是验证 860 小时语料对声学到中文的端到端增益；跨语言机器翻译负责把台语识别文本再翻成中文，分工是验证同一批中文字幕作为平行语料对文本侧的增益，搭配原因是同一语料同时含有对齐语音和中文句对，组合意义是分别检验听写能力与文本转换能力是否都被伪标签带起来。

记住百分点与相对百分比不同，此处 2.80 个百分点是算术差，不是相对下降率。数值相同也不是同一指标的证据，后文迭代表的 9.3% 与此处的 7.46% 分属不同数据集与阶段，不能直接比大小来论退步。下游能否兑现还要看伪标签规模，这就引出下一节的迭代与应用。

关掉一路会怎样？提示与迭代哪步最关键？

消融与反证按两个问题组织。第一，模型是否真在用两路信息，还是只依赖一路。论文在电视台测试集上加高斯模糊与高斯噪声分别干扰视觉与听觉，比较 3 模态与双模态的退化幅度。报告显示 3 模态在干净条件下为 7.5% 左右，加视觉模糊或音频噪声时退化远小于双模态。

关掉音频的 3 模态退到 16.8%，关掉视频则退到 85.9% 附近，只听声的模型在强噪声下也明显变差。这支持视觉是主证据、音频是纠偏证据的解释，无图时任务几乎不可做，无声时仍可读但更脆弱。限制是原文只给半径与信噪比档位下的字符错误率，未报告误判率分解与统计显著性，也未测真实压缩失真，只能说在该合成干扰下鲁棒。

第二个问题是迭代链路里哪步带来质变。下表把金标集上的迭代过程整理成可复述的形态，指标仍是字符错误率越低越好，另附抽出比例看数量。公平条件是同一 500 小时无标注池与同一金标集评测，比较对象是各轮的模型直出与融合精修。

表后解释先讲正反馈。初始 3 模态在金标集上仅 36.8%，反映域不匹配，而传统光学字符识别基线为 16.07%。融合两家后精修达到 15.8%，超过任一单方，说明第一轮的过滤加融合是关键跳变。随后用 21 万高质量伪标签回训，模型直出降到 15.2%，精修到 11.9%，抽出比例从 31% 跳到 79%。

到第三轮模型收敛在 9.3%，精修为 9.4%，抽出 87% 即约 434 小时。未胜出项是提示一的直接合并，其字符错误率高达约九成量级，证明不告知错误模式与不看原图时融合会失败。未评测边界是阈值 0.25 之外的取舍与更多轮次是否过拟合，原文未报告，不宜外推。

哪些结论站得住？哪些还只是可能？

区分 3 层表述。直接报告的是，在电视台测试集上 3 模态为 7.46% 优于双模态，在金标集上迭代从 36.8% 降到 9.3%，在下游上转写错误率从 57.8% 降到 37.8%、翻译双语评价替补从 0.2016 升到 0.4033。这些是论文用表格给出的数字，可复述。有限解释的是，音频提供互补声学语义约束、共识过滤保精度、对照原图的融合提上限，这些有对照支持但未做因果分解，只能说支持而不说证明。

未验证推测的是，该范式可迁移到其他低资源语言、更大规模必继续变好、幻觉已彻底解决，这些在本文未测，应表述为可能或待验证。缺失证据不是技术错误，但要指明，未测量误判率、延迟、显存与人工可懂度，未报告阈值搜索、优化器超参数与显著性检验，未公开可运行代码。

相关性不是因果，抽出比例与精度同时上升不能证明是某一轮的某一步单独导致，只能说整条链路的正反馈成立。训练资源、推理开销、输出帧率与实际延迟要分开讨论，不能用精度趋势代替效率结论。复现时若发现某档数字对不上，应先核对数据集是电视台集还是金标集、模型是直出还是融合精修、指标是字符错误率还是双语评价替补，再谈其他原因。

要回答的核心下游问题是，迭代产出的伪标签语料能否带下游增益。下表把论文实际可运行的三档语料策略与翻译对照放在一起，指标方向是转写字符错误率越低越好，双语评价替补越高越好。

表后解释要分开两个下游。转写侧用 860 小时语料继续微调大型语音模型，字符错误率从 57.8% 降到 37.8%，双语评价替补从 0.3112 升到 0.4815，支持伪标签语料对跨语言听写有实质增益。翻译侧用约 59 万平行句对微调大语言模型，双语评价替补从 0.2016 升到 0.4033，约翻倍。

但限制同样具体，翻译的台语侧本身来自字符错误率 15.3% 的识别系统，平行对含噪声。原文未报告人工评价，不能把自动指标当成人评，也未报告训练时长与推理延迟，不能承诺成本下降。总体趋势不等于每组都成立，434 小时到 860 小时的边际增益已收窄，说明规模红利在递减。

要复现，先做什么？先准备什么数据与检查点？

复现按学习依赖排序，先做数据再做模型最后做迭代。第一步准备视频与切分，收集带字幕文件与不带字幕文件的台语视频，用传统光学字符识别生成初始候选，再按字幕时间切出音频、图像、文本三元组。检查点是三元组的时间边界是否对齐，必要时用强制对齐精修边界。

第二步准备 3 模态基线，按论文组件装配视觉编码器、音频编码器与大语言模型解码器，冻结两个编码器，只训练连接器与解码器，音频编码器先在台语数据上微调过。缺失的秩、学习率与步数需自己做小规模搜索并记录，不能从模型名推定。第三步跑过滤与融合，对同一段产出两个候选，算字符错误率并按示例阈值 0.25 初筛，再用视觉语言模型按错误意识加看原图的提示做融合，产出精修字幕。

第 4 步闭环迭代，用精修数据回训 3 模态模型，再回池抽更多数据，直到金标集上收敛。关键超参数与信息条件要保留，过滤阈值示例为 0.25，融合用视觉语言模型对照原图，迭代池固定而抽出比例逐轮上升。代码方面，本次收到的资源状态为链接当前不可用，因此只能按正文与图注重建，不可写已公开可用。

权重下载与系统可运行也未在证据中确认，需视为缺项。验证时至少复刻两类特有细节，一是关掉一路的鲁棒性档位，二是 3 种提示的融合对比，二者是判断是否真复现了机制的试金石，而不只是拟合了数字。常见误解要提前纠正，第一，音频编码器不是用来直接听写中文，拿它单独做跨语言转写会很差，它的价值是辅助判决。

第二，融合不是投票二选一，而是对照原图重写，提示一的失败证明了这一点。第三，7.46% 与 9.3% 不在同一数据集上，前者是受控广播集，后者是真实多样金标集，不能混比。第四，860 小时是伪标签而非人工金标，翻译平行对的源端还有约 15.3% 的识别噪声，增益是在噪声监督下取得的。

何时值得尝试这条路？一句话收束

何时值得尝试，如果手里有大量带硬字幕的跨语言视频、只有少量带字幕文件可作种子，且单看图或单听声都各有短板，这条先共识过滤再看图融合、最后回训的路线值得尝试。它的适用条件是字幕大致在固定区域、时间切分可用、能找到可用的光学字符识别与视觉语言模型，以及能承担多轮微调的算力。

不适用的是字幕样式剧烈变化、语音与字幕对应极弱，或无法做强制对齐的场景。收束时回到中心矛盾，跨语言硬字幕把声音与文字放在了两种语言里，单模态只能解决一半。本文的选择是用 3 模态把声学线索变成视觉判决的约束，再用迭代把少数共识滚成大规模监督。

最强证据是金标集上从 36.8% 到 9.3% 的字幕识别改善与 860 小时语料带来的下游双涨，主要代价是多模型串行与多轮训练的复杂度，以及对阈值、提示与域差异的依赖。下一步最需补的验证是人工可懂度评价、效率与成本测量，以及在另一低资源语言上的迁移复刻，这三项补齐后才能把可能变成可靠结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总