音视频语音识别

针对多人同时说话造成的严重重叠与多会话分组难题，该工作保留基线说话人检测不变，主攻视听语音识别的数据清洗与模板化混合仿真并用大语言模型做会话聚类，开发集最好结果为词错误率 42.81% 与聚类分数 97.77%，代价是强单说话人骨干仍易误转干扰人且文本纠错收益有限。

针对多人多会话同时进行的真实鸡尾酒会转写与会话聚类问题，论文采用先用 CTRnet 消除近讲串扰再用其输出做伪标签微调 AV-TFGridNet 视听目标说话人提取的两阶段路线，在开发集上用 AV-HuBERT 转写达到 33.78% 联合错误率，代价是仍依赖说话人活动时间戳弱监督与未做提取后 ASR 适配时约 48% 说话人词错误率。

针对室内社交中最多八人四会话并行且重叠率超 90% 的问题，采用每人视觉流做说话人检测分段、音频视觉目标语音抽取去干扰、音频视觉识别转写再做大模型会话聚类的级联路线，最强可复现证据是原始开发集上提交三的 32.03/16.02 到 31.39/15.70 与聚类满分，代价是多前端多后端融合与大模型多次投票的系统复杂度。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

论文把视频会议中的识别崩溃拆成传输失真与人类过度表达两条链路，用 MLD-VC 配对数据与声学分布证据定位到语音增强导致的第一二共振峰上移，并以跨平台微调平均降低 17.5% 字符错误率为收益验证该机制。

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

AV-Dialog 针对多人干扰下跟丢目标说话人与抢话时机错乱问题，用声学码加唇部视觉做流式理解与轮次预测，在干扰下把轮次预测准确率从 54% 提升到 79%，代价是双模型并行与视觉前视带来的额外延迟与显存开销。

针对多模态大模型做音视频语音识别时视觉时间建模粗糙且深层解码逐渐丢失时序的问题，论文用编码端时间感知注意力和解码端分层时间 token 堆叠来补时间信息，在 LRS2 与 LRS3 上把纯视觉识别词错率做到更低，代价是只在英语离线句子级条件下验证且增加了投影与注意力模块的开销。

针对噪声下单流纠错被音频质量卡住的问题，论文用独立 ASR 与 VSR 双路 N-best 假设加可靠性提示词做语言空间组合，在 LRS2 上把基线相对误差降低约一半，代价是依赖上下游识别头质量并增加大模型串行纠错开销。

针对全模态模型易复述可见幻灯片文字而忽略语音的问题，论文提出先在思考块中识别幻灯片文字再在回答块中引用锚定转写，并用四项奖励做组相对策略优化，在实体密集基准上改善实体识别，同时带来思考块的额外推理开销。

该文用统一预处理把六种说话条件接入三种主流架构复测，显示纯视觉在域外全面崩溃、音视融合仅在 Lombard 夸张口型下稳定增益，而发音人清晰度与 90 度侧脸的影响远大于小角度偏移与加数据量。

针对播报式基准低估真实对话难度的问题，该工作把 1656 段双人视频会议转成 713.5 hours 训练加 60.1 hours 测试的视听识别基准，报告显示纯音频错误率从 LRS3 的 0.74–1.95% 升至 16.83–24.32%，而混合训练可把对话测试集视听错误率压到 9.83% 与干净条件下 8.48%，代价是必须自备原数据许可并复刻多步清洗 …

音视频语音识别 | 6.6/10

音视频语音识别 | 6.6/10

音视频语音识别 | 7.4/10

音视频语音识别 | 6.9/10