音视频语音识别

论文针对屏幕场景下仅靠音频难以判定的关键词，构建按视觉证据直接程度分三层的评测集 ScreenASR-Bench，用关键词召回与归一化视觉增益度量三类模型在纯音频与加入视觉条件下的变化，最强的提升出现在可直接读屏的层级而间接语义层级提升最小。

该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺，在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降，在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益，但合成单用时仍弱于真实数据且噪声下增益收窄。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式，用噪声嵌入管融合、用说话人嵌入管解码，在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势，代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

该研究用与 LRS3 测试集七个因素分布严格对齐的新测试集 MV2LRS3 检验五个主流视听模型，发现词错误率从 1% 以下普遍恶化到 14.0% 至 23.5%，且时长与词表偏差是主要驱动因素，视觉模态在新集上反而多数拖累音频。

针对固定对比解码在干净与强噪声间顾此失彼的问题，该工作用同一模型的全音视作专家、纯音频作弱者做减法，并以音频能量、音频熵和分布分歧三路门控逐词调节干预强度，在 LRS3 与 LRS2 多信噪比下同时改善干净与噪声词错误率，代价是每次解码需跑两次前向并增加约 136.4 ms 延迟。

针对重叠语音中部分说话人不在画面内的问题，该研究在序列化输出中增加[None] 视频标记以避免强制关联，并在 LRS3 仿真混合数据上用 WER、VWER、VTER 对照验证，其代价是多说话人加离屏时声画关联误差仍明显增大。

针对台语语音配繁体中文硬字幕的跨语言错位问题，该工作用光学字符识别与三模态音视语言模型产出双候选、再经字符错误率过滤与视觉语言模型融合的多轮迭代框架，把金标集字幕识别字符错误率从 36.8% 降到 9.3%，并以 860 小时伪标签语料把跨语言转写错误率从 57.8% 降到 37.8%，代价是依赖共识筛选与多轮微调且初始跨域泛化较弱。

论文以沙普利归因而非词错率比较六个音视模型在不同信噪比、解码阶段和输入位置的音频与视觉贡献，发现噪声加重时视觉占比上升但音频在负 10 分贝仍占约四成，且信噪比是主导因素而识别难度影响很小，代价是每条样本需 2000 次掩码前向的高计算开销。

针对高分辨率音视频序列输入大语言模型时计算过高且压缩研究只做单任务识别的问题，MTC-AVSR 用每秒 3.5 个令牌的压缩流加语言适配器与令牌对比对齐做识别加四语翻译，在 LRS3 干净集取得词错误率 0.74%，在 MuAViC 英西取得 28.1 BLEU，代价是噪声下部分语对仍弱于专用双语模型且大模型显存更高。

针对大语言模型语音识别在噪声下表示不稳的问题，VIB-AVSR 在 LLM 第 4 与第 8 层后只对音频隐状态做变分信息瓶颈压缩与插值，在 LRS2 上 babble 与 speech 噪声多信噪比下降低词错率，而干净语音性能基本保持，代价是需调压缩强度与插入位置且三瓶颈会过正则。

针对工业噪声下纯音频识别崩溃的问题，NAVIR 用逐帧空间编码加时序卷积的分解结构适配 BrainChip AKD1000，在 GRID 噪声测试下量化融合模型取得未见说话人 14.0% 与重叠说话人 3.3% 词错率，代价是未见说话人纯唇读仍高达 35.3% 且音视模型在片上吞吐下降。

该研究把朗读维基百科的语音按小节配上大模型规划加规则渲染的合成幻灯片，在英德荷三语上只用音频测出最佳平均微观词错率 10.23% 与字错率 6.48%，而全量幻灯片文本或图片的零样本提示因大段复制与插入错误而失效。

针对同一录音中多组高度重叠对话的转写与分组问题，该工作用视觉门控的目标说话人长时解码做转写、用大模型话题相似度做分组，在开发集上报告约 33.7% 词错误率和 0.97 聚类 F1，但长时视觉缺失填充与模拟数据域失配仍是主要代价。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对多人同时交谈且严重重叠的 MCoRec 任务，该工作用互视分数加语音重叠分数做会话聚类，并用 CTC/attention 与 Whisper 双模型输出融合做识别，在评测集上聚类 F1 达到 0.910，词错误率降到 48.67%，联合误差降到 0.289，代价是依赖几何假设、边界框与抽帧处理。

针对多人同时交谈的重叠语音识别问题，该工作在 AV-HuBERT 识别主路径之外并联一个在 FBank 特征层面重建目标与干扰的 AV-TSE 辅助任务，并在 MCoRec 开发集上把词错误率从 49.90% 降到 49.55%，代价是需要仿真混合数据提供干净特征监督且推理时不使用提取分支。

针对 360 度远场多说话人重叠对话的音视频识别与说话人归属问题，AUVIS 在官方基线五阶段流水线上保留基线检测与跟踪、只做切分与聚类参数解耦和网格优化，用开发集上聚类 F1 到 0.906 的 14.8% 相对提升带动联合误差 17.09% 相对下降，而识别字错误率仅相对下降 0.9% 到 0.4943。