八人四会话强重叠下先用视觉定界再抽取转写的级联路线

英文题目：The USTC-NERCSLIP Systems for the CHiME-9 MCoRec Challenge

会议身份：conference:chime:2026:conference-paper-id:jiang26_chime

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #大语言模型 #音视频语音识别 #音视频语音分离

评分：7.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

排名：前25% | 文档类型：系统技术报告

👥 作者与机构

• Ya Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Ruoyu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jingxuan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Jun Du：机构信息未能从会议 PDF 纯文本可靠映射
• Yi Han：机构信息未能从会议 PDF 纯文本可靠映射
• Zihao Quan：机构信息未能从会议 PDF 纯文本可靠映射
• Hang Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yeran Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Kongzhi Zheng：机构信息未能从会议 PDF 纯文本可靠映射
• Zhuo Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yanhui Tu：机构信息未能从会议 PDF 纯文本可靠映射
• Shutong Niu：机构信息未能从会议 PDF 纯文本可靠映射
• Changfeng Xi：机构信息未能从会议 PDF 纯文本可靠映射
• Mengzhi Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhongbin Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Jieru Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Henghui Zhi：机构信息未能从会议 PDF 纯文本可靠映射
• Weiyi Shi：机构信息未能从会议 PDF 纯文本可靠映射
• Shuhang Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Genshun Wan：机构信息未能从会议 PDF 纯文本可靠映射
• Jia Pan：机构信息未能从会议 PDF 纯文本可靠映射
• Jianqing Gao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为单通道远场混叠音频与360度视频切分的人脸轨迹，输出为分说话人转写与会话归属，难点是最多8人多会话并行且重叠密集、目标语音持续被竞争对话压制。流水线先由音视频主动说话人检测估计帧级活动并切分说话人边界，其输出的时间段与唇动视频一起进入音视频目标语音抽取以分离重叠语音流。抽取的增强语音与全脸加唇部视觉随后送入融合Whisper与大语言模型的音视频语音识别，经后验概率平均与ROVER多系统融合生成转写。最后大语言模型以转写文本、时间戳与基线说话人顺序为输入做两阶段零样本会话聚类并经多次选择投票融合。与官方基线相比，关键机制差异在于用大规模音视频自监督预训练编码器与全脸身份线索构建三模态抽取，并在识别端以跨注意力向冻结Whisper注入视觉及用适配器连接Qwen解码器。在D’dev精修开发集评测设置下，AVTSE Model II系统的WER为30.82%，低于原始音频Original系统的WER 31.23%。该结论适用边界受限于官方开发集及其剔除3个错位样本的精修子集，对未见房间、佩戴遮挡与标注噪声的泛化尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 模型相关资源：https://huggingface.co/Qwen — 链接可访问（HTTP 200）
• 模型相关资源：https://huggingface.co/deepseek-ai — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，必须保留什么？

本文输入是室内社交场景的单通道远场音频加同步 360 度视频裁出的每人中心人脸轨迹，目标是同时完成转写与分组两件事。转写要求把每个说话人的话写对，分组要求把说话人分到各自所属会话。

过程中必须保留的信息包括说话人起止时间、增强后音频、转写文本与时间戳、说话人到会话的映射。输出按说话人计词错误率和会话聚类分数联合评价，联合错误率等于一半词错误率加上一半的一减聚类分数。

中心矛盾是传统会议假设大家围绕同一话题轮流发言，而这里最多 8 个说话人、最多 4 个会话并行，语音重叠率超过 90%。声学上几乎时刻都有竞争说话人压制目标语音，单靠音频很难同时解决分段不清、分离不清、转写不清。

原文因此选择多模态级联路线。先用视觉判断谁在说话，再用视觉辅助抽取目标语音，再做音频视觉识别，最后用语义做会话聚类。学习时先理解依赖链，没有可靠边界就没有视觉对齐起点，没有抽取或鲁棒识别就没有可用文字证据，没有文字与时间戳就没有聚类依据。

同输入同目标下已有路线处在什么位置？

同输入是音视频、同目标是重叠语音识别与说话人分组的已有路线包括纯音频分离识别、音频视觉分离、音频视觉识别预训练，以及官方基线给出的检测识别聚类流程。白话来说，纯音频路线只听声音做分离，音频视觉路线同时看嘴做分离或识别，基线路线给出可比较的完整流程。

原文把自身定位为在官方基线之外新增 4 个音频视觉目标语音抽取系统，英文名是 Audio-Visual Target Speech Extraction，缩写是 AVTSE。3 个环节都用增强的音频视觉预训练模型改进，分别是说话人检测、目标语音抽取、音频视觉识别。

相关对照保留原文实际可运行策略。检测对照是微调在官方数据上的轻量说话人检测模型，抽取对照包括原文点名的常用抽取方案，识别对照是同一开发集切分下不同容量与视觉配置的内部系统，聚类对照是基线方法与不同大语言模型分数。

原文报告显示常用抽取方案在极端干扰下反而使性能下降，而自研 4 种抽取结构均有不同程度改善。这支持在高重叠下结构与训练分布匹配比通用抽取更重要。预训练沿自监督思路改了三处，分别是新卷积前端加增强模块、预测冻结 Whisper 隐表示量化出的离散码、同时用全脸和唇部感兴趣区双视觉输入。

为什么高重叠多会话不能只靠声音切分？

问题可拆成 3 个耦合子问题。第一是时间切分，多人同时说话时仅靠能量或说话人向量很难给出每人干净起止边界，视觉嘴动与人脸活动是更直接证据。第二是信号提纯，目标语音持续被其他会话压制，单通道掩蔽估计容易残留竞争语音。

第三是内容与结构恢复。即使逐段转写正确，仍需判断哪几个说话人属于同一会话，这依赖话题连贯与问答依赖等语义线索，而非声纹距离。举例来说，两段文字内容明显接续但时间不重叠，声学聚类可能分开，而读懂文字的模型可以合并。

评价把识别与聚类绑在一起。词错误率越低越好，聚类分数越高越好，联合值越低越好。系统不能只顾一头，转写错词与分错会话都有代价。

原文还报告一个关键现象。最初按最多 7 人重叠仿真训练抽取，反而损害泛化，最终退回 2 到 3 人混合。这提示训练复杂度不是越高越好，仿真分布需要与模型容量和真实局部可解性匹配。阈值平滑窗口帧率与延迟原文未报告，复现时只能按基于阈值与后处理思路实现。

级联全景如何把一个混合样本走完？

全景按官方会话级中心轨迹独立处理。第一步，说话人检测系统对每条轨迹视频估计帧级说话活动概率，再按给定起始与结束阈值生成切分。第二步，对每个切分段做音频视觉目标语音抽取，输入混合音频加目标视觉线索，输出增强音频。

第三步，把抽取语音送入音频视觉识别系统得到文本。第四步，会话聚类系统按转写文本与时间戳把说话人分到对应会话。举例来说，一个样本从混合波形和多条人脸视频进入，先得到每条轨迹活跃区间，再对其中 1 人用其唇动序列估计掩蔽并重建波形。

接着识别把重建波形与全脸加唇部视频一起编码，再经解码器生成带时间戳词序列。聚类把该说话人多段文本与其他人文本一起读，判断话题是否连贯、是否存在问答、时间是否重叠，最终输出说话人到会话映射。

原文强调 3 个改进都围绕增强的音频视觉预训练模型。检测用预训练编码器做跨模态表示，抽取用 4 种不同预训练与多模态结构互补，识别用自监督预训练加 Whisper 与大语言模型解码器做多样集成。最终转写由 3 类框架经后验概率平均与文本投票分层组合，会话聚类由 2 阶段大语言模型集成完成。

说话人检测如何做，冻结与更新如何安排？

说话人检测模块利用预训练音频视觉编码器，原文明确写的是基础全脸编码器，以获得鲁棒跨模态表示。白话来说，编码器负责把声音和画面变成可比较的特征，分类器负责判断当前是否在说话。

结构是主二分类器做目标检测加辅助视觉分类器增强模态判别，两者都用二元交叉熵损失优化。训练采用 2 阶段迁移，先冻结编码器只微调分类器，再端到端优化整个网络。理由是先适配任务而不破坏预训练知识，再整体微调利用领域数据。

数据纳入官方数据与开源人脸说话数据集，采用统一预处理。动作包括裁掉无效片段、做几何人脸标准化与重跟踪保证空间一致，再按标注抽出每人音频与人脸轨迹并切成短段训练，总量约 200 小时。还通过在线增强模拟 2 到 4 人环境并做激进噪声注入。

后处理是时序平滑，做归一化并合并碎片化预测，以保证物理连续的说话活动时间线。原文未给出噪声配比、平滑窗口、阈值与优化器细节，这些是复现缺项。

说话人检测 × 目标语音抽取： 说话人检测分工是按帧判断目标人脸是否在说话并给出起止边界，解决定时间问题；目标语音抽取分工是以该段目标唇动或人脸为线索从混合音频中抽出目标语音，解决定内容问题；二者搭配理由是只有先切出谁在何时说话，才能给抽取提供可对齐的视觉线索，组合意义是把全程混合问题变成多段单目标增强问题，后续识别只需处理已分段音频。

该模块效果用召回率、精确率与下游词错误率衡量。召回与精确越高越好，词错误率越低越好。检测提升不自动等于最终同等下降，因为抽取与识别仍会引入误差，原文因此同时报告检测指标与接入自家识别后的词错误率。

四种目标语音抽取结构各自分工是什么？

4 种抽取系统都利用不同自监督预训练模型与多模态结构解耦重叠语音，并在每个系统内做轮次级掩蔽平均。模型一是基线，用在唇动识别任务微调过的自监督编码器从混合音频与目标唇序列抽语义音素表示，再与经压缩时序卷积网络与残差长短时记忆网络处理的对数功率谱拼接。

拼接特征送入卷积注意力网络做时序建模，最后由压缩时序卷积解码器预测理想比率掩蔽并用均方误差优化。模型二在基线结构上加入大规模配对音视频预训练的大全脸编码器，形成 3 模态框架，作用是补足音素内容之外的显式说话人身份线索。

目标语音抽取 × 音频视觉识别： 目标语音抽取分工是压制竞争说话人与噪声并输出增强音频；音频视觉识别分工是把该音频连同视觉一起转写成文字；搭配理由是抽取不可能完全干净，识别端视觉与语言模型可容忍残留干扰，组合意义是在模型三中还用识别编码器特征对重建语音做余弦相似度正则，使抽取朝更可懂方向优化。

模型三引入抽取与识别联合优化，把重建语音送入识别编码器，计算重建与干净特征的余弦相似度损失做正则，使重建语音隐式更可懂。模型四采用另一双塔结构，用并行残差网络分别处理音频与视觉流，再经多尺度时序卷积融合，预训练目标是关联音素与视素。

融合后的多模态嵌入再按模型一路数与对数功率谱结合，提供与前 3 种互补的特征空间。数据仿真用公开音视频语料加噪声库，做数据集内仿真，保留 10% 说话人不相交做干扰源。干扰构成为 45% 单人、45% 双人、10% 纯噪声，按均匀采样信噪比混合，同步音视频段做干净目标与其视觉线索。

识别端三类框架与两级融合如何配合？

识别端围绕新的自监督预训练策略发展出多样集成，包括随机初始化解码器微调、融合 Whisper、融合大语言模型解码器。预训练采用掩蔽预测目标，三处关键改动是引入卷积新前端加增强模块、改用预测冻结 Whisper 隐表示量化出的离散码、以及用全脸与唇部感兴趣区双视觉输入经各自前端后拼接。

系统配置上，第一类在预训练编码器后接随机初始化 Transformer 解码器，用混合连接时序分类与注意力损失微调，并用自适应视频时间掩蔽与音频频谱增强防过拟合。第二类建模 Whisper 主干，只用视频分支抽视觉表示，经每隔一层插入的交叉注意力注入冻结的 Whisper 编码器。

音频视觉预训练 × Whisper 主干： 音频视觉预训练分工是从大规模音视频中学习唇动与语音对应表示，提供抗噪视觉与语音特征；Whisper 主干分工是提供在大规模弱监督音频上训练好的编码器与解码器，提供强语音建模能力；搭配理由是冻结或适配 Whisper 可保留语音鲁棒性，同时用视觉分支通过交叉注意力补足被遮蔽声学信息，组合意义是让识别在重叠和远场下仍有视觉通道可依靠。

第 3 类把微调后编码器输出投影到词嵌入空间，先训适配器再联合优化低秩适配参数。另 1 分支把视觉特征先经交叉注意力注入语音基础模型编码器再投影到大语言模型，采用视觉注入预训练加识别微调 2 个阶段。第一类与第二类先在内部数据微调再做领域适配。

后验概率平均 × ROVER 投票： 后验概率平均分工是在同一词表框架内把多个模型概率加权平均，稳定同类系统输出；ROVER 投票分工是在异构框架和 N-best 文本假设之间做词对齐与多数投票；搭配理由是单一平均无法跨不同解码器词表，组合意义是先做同构平均再做异构文本投票，形成 2 级集成。

模型集成是 2 级，同一词表的系统内先做后验概率平均稳定预测，再跨异构结构与 N-best 束搜索假设做文本级投票聚合。最终转写由 3 类框架分层组合。学习率轮数束宽之外解码超参数与计算量未报告，需要复现时补记。

大语言模型两阶段聚类如何从文字回到会话？

语义线索如话题连贯与问答依赖对分组至关重要，原文用擅长上下文理解的大语言模型直接从识别转写推断说话人关系。白话来说，聚类就是按聊天内容把人分组，会话就是指围绕同一话题的一组对话。

流程是 2 阶段集成。初始聚类阶段把识别转写、时间戳与基线说话人顺序一起作为输入，独立提示大语言模型多次以产生多样候选分组。候选数在不同模型取不同值，以权衡多样性与计算量。选择阶段让模型从候选输出中选最合理结果。

为过滤随机误差重复选择多次并取最频结果，最后整个 2 阶段管线执行多次再投票融合，最终提交聚合基线与两个大语言模型系统预测。提示设计原文给出两条，第一阶段按转写结果做会话聚类，可依据内容共享话题对话结构与话语间时间重叠判断，第二阶段从候选结果中选最可能者。

语音识别 × 会话聚类： 语音识别分工是给出每段谁在何时说了什么文字与时间戳，提供可读语义证据；会话聚类分工是按话题连贯问答结构和时间重叠把说话人分到各自会话，恢复会话结构；搭配理由是仅靠声学和人脸无法判断不重叠 2 人是否聊同一话题，组合意义是用大语言模型读转写文本做零样本语义分组，再与识别错误联合计分。

该设计把声学不可分但语义可分的情况交给语言模型。例如 2 人从未同时说话但讨论同一菜谱，声纹聚类可能割裂，语言模型可因共享话题合并。代价是依赖转写质量，若识别错太多语义证据也会失真。资源状态依据本次收到的官方像素声明，2 个模型链接当前可用且状态码均为 200，但这只表示链接可达，不代表权重可直接运行。

训练数据如何构造，哪些参数冻结哪些更新？

训练按模块分别构造。说话人检测训练约 200 小时短段音视频，来源是官方数据加开源说话数据集，含几何标准化重跟踪与在线多说话人噪声模拟。抽取训练是仿真混合，用 3 个公开音视频语料分别构造 2 到 3 人混合，时长分别为 335 小时、1150 小时与 1421 小时。

干扰单双人与纯噪声比例为 45%、45%、10%，信噪比在负 10 到 10 分贝均匀采样。识别训练在预处理后除去特定谈话人脸子集得到 3530 小时含全脸与唇部视频的数据，再加唇部独有视频共 4966 小时。另用 5 个公开音视频数据集，含预训练与训练子集、英文部分经大模型转写标注等。

预训练容量分基础 12 层约 110,000,000 参数与大 18 层约 330,000,000 参数，视觉配置分全脸、唇部、全脸加唇。全脸依赖模型用 3530 小时子集，唇相关模型用全部 4966 小时。参数安排上，检测是先冻编码器训分类器再全网优化，第二类识别是冻结 Whisper 主干只让视觉交叉注意力与相关适配部分学习。

第 3 类识别是先训适配器再联合优化低秩适配参数，另 1 分支是先做视觉注入预训练再做识别微调。原文未报告优化器类型、学习率调度、早停与硬件预算，复现时需记为缺项。无训练的部分是聚类阶段大语言模型零样本调用，未做领域微调，收益来自调用策略与集成而非参数更新。

开发集如何划分，指标方向与公平条件是什么？

评估围绕开发集展开，并定义精修开发集为剔除 3 个样本后的版本，原因是标注与视频存在错位。被剔除的是第 53 会话第二说话人、第 54 会话第四说话人、第 55 会话第三说话人。主指标是说话人词错误率越低越好，会话聚类分数越高越好。

联合错误率等于一半词错误率加上一半的一减聚类分数，因此联合值越低越好。公平条件在各小节不同，检测比较用同一开发集上召回与精确，以及接入同一识别后的词错误率。抽取比较固定自家检测切分与同一识别系统，只换前端。

识别内部比较固定官方检测切分并拼接到 8 到 16 秒、用原始远场音频、不做 N-best 投票，以隔离编码器与解码器差异。聚类比较基于同一识别结果，只换聚类模型与投票策略。下表整理 3 个提交在两个开发集上的结果，便于先对齐数据口径再谈模型差异。

表前比较问题是，在固定聚类满分下多前端多后端融合是否稳定带来词错误率下降，精修集剔除错位样本后下降是否一致。指标方向是词错误率与联合错误率越低越好，聚类分数越高越好。公平条件是同一检测与同一评价脚本，只换前端与后端组合。

表后解释需要结合正文，从提交一到提交三在两个集合上都下降，支持多样前端与后端融合有益的判断，但提交二到提交三增益已很小，代价是系统数与投票量显著增加。精修集因剔除错位样本整体低约 2 个点，不能把两个集合数字直接比较为模型改进。基线联合错误率在结论中被用作相对改进参照，但基线细节不在本文证据内，引用时需注明来自原文引用的基线文献。

主结果测什么，与谁比，数字支持什么判断？

主结果测 3 级提交在原始开发集与精修开发集上的说话人词错误率与联合错误率。构造是提交一融合基于原始音频的 4 个识别输出做文本投票，提交 2 对原始音频加 4 个分离系统生成 20 个解码结果，用启发式投票搜索选出 9 个组合，提交 3 对 9 个系统各自先做单系统投票再跨系统投票。

比较的公平性在于同一评价脚本，只换前端与后端组合。限制是提交二与提交三的组合是开发集上搜索最优，属于事后选择，不能直接当作可部署收益。下表整理检测对照，指标方向为召回精确越高越好，词错误率越低越好。

表前比较问题是，检测召回大幅提升是否传导到下游识别，精确是否保持不降。公平条件是同一开发集与接入同一识别后的词错误率。表头单位按原文保留在表头，数据格保留裸值写法。

表后解释主要收益是检测召回大幅提升且精确不降，说明漏检减少而误检未明显增加。接入同一识别后词错误率更低，支持检测改善传导到端到端的判断。代价是检测仍需 2 阶段训练与时序平滑后处理，且阈值等超参数未报告。未胜出项是基线本身在精确上已较高，提升空间主要在召回，复现时应重点检查漏检而非误检。

分模块对照显示哪些收益与反例？

分模块对照按检测抽取识别聚类分别固定其他条件。抽取对照固定自家检测与同一识别系统，只换前端。识别对照固定官方检测切分与原始远场音频，不做投票，以隔离编码器与解码器差异。聚类对照基于同一识别结果，只换聚类模型与投票策略。

原文报告抽取 4 模型均优于原始混合，而常用抽取方案反而下降。识别中 Whisper 结构从显式唇特征受益明显，大语言模型结构在单部件扩大时趋于饱和，但不同框架融合最好。聚类中基线较低而大模型接近或达到满分。下表整理抽取对照，指标方向为词错误率越低越好。

表前比较问题是，4 种抽取相对原始混合是否一致改善，哪种结构略优。公平条件是固定自家检测切分与识别系统，只换抽取前端。表头单位按原文在表头交代，数据格保留裸值。

表后解释 4 种抽取相对原始混合 31.23 均有不同程度改善，其中模型二略优，支持身份线索的作用。但未胜出项同样重要，模型四尽管用了独有大语料与互补特征，下游词错误率并未领先。识别中扩大单部件出现饱和，说明堆参数不如换框架融合。聚类中不同大模型分数仍有差异，提示规模与提示稳定性仍有影响。原文识别细节还报告同词表后验平均在各框架内一致提升鲁棒性，支持先平均再投票的 2 级策略。

哪些条件未测，哪些推测不能当结论？

缺失证据不是技术错误，但必须明确边界。第一，评估只在开发集与其精修版上报告，未报告测试集与跨房间泛化。精修集剔除错位样本后数字整体变好，不能把剔除带来的下降算成模型改进。

第二，提交二与提交三的九系统组合是开发集上启发式搜索最优，存在过拟合开发集风险。可部署时需固定组合再在未见数据验证，不能把搜索最优当作可部署收益。第三，阈值平滑窗口掩蔽平均轮次投票权重解码超参数训练优化器与硬件预算未完整报告。

复现时需补记并做敏感性分析，不能从模型名推定实现。第四，延迟实时因子显存与帧率未测量，不能从总体趋势推出每步都快或每组都好。训练资源推理开销输出帧率与实际延迟应分别讨论。

第五，聚类满分依赖高质量转写与 2 阶段多次调用加投票。若转写质量下降或换领域话题，满分可能不成立。表达上区分 3 层，论文直接报告用报告显示，有限解释用支持，未验证用可能待验证。相关性不等于因果，自动指标不能当人评，百分点与相对百分比不能混用。

复现先做什么，需要保留哪些超参数与信息条件？

复现按依赖顺序先做数据与切分，再做前端，最后做后端与聚类。第一步按原文复刻检测数据管线，动作包括裁无效段、几何人脸标准化、重跟踪、按标注抽轨迹并切短段，目标约 200 小时。实现 2 阶段训练先冻编码器再全网优化。

阈值与平滑策略先用占位值并记录，因为原文未给数值。第二步复刻抽取仿真，数据集内划分保留 10% 不相交干扰说话人，按 45% 单人、45% 双人、10% 纯噪声混合，信噪比覆盖负值到正值均匀采样。先做 2 到 3 人混合，不要直接上 7 人高复杂度。

4 个结构中先跑模型一基线，再加大全脸编码器做模型二，验证身份线索增益后再试联合优化与双塔。第三步复刻识别，先对齐 3530 小时与 4966 小时的数据口径，全脸模型用前者，唇相关用后者。预训练用冻结 Whisper 量化码做离散预测，双视觉拼接。

微调时第一类用混合损失加视频时间掩蔽与音频频谱增强，第二类冻结 Whisper 加交叉注意力，第 3 类先训适配器再加低秩适配。第四步复刻提交，先做同词表后验平均，再跨框架做 N-best 投票，提交组合固定后再评估。聚类调用时保留提示原文、候选数与多次选择投票次数。资源可达不等于系统可运行，需确认代码与权重完整。

何时值得尝试这条路线，还需补哪项验证？

当任务同时满足单通道远场、多人并行高重叠、有同步人脸视频可裁轨迹、且最终需要会话结构时，这条先视觉定界再抽取提纯最后语义分组的路线值得尝试。尤其当纯音频分离已出现残留竞争语音，而唇动与全脸可提供对齐线索时，抽取加识别视觉注入的互补更可能带来稳定收益。

当只有音频无视频、或人脸严重遮挡缺失、或需要低延迟实时输出时，不应直接套用本文多系统投票与大模型多次调用配置，需先补延迟与缺失模态下验证。还需补的验证包括固定提交组合在未见房间的测试、阈值与平滑敏感性、抽取残留对识别的误差传导分析、以及聚类在转写质量下降时的鲁棒性。

常见误解是把后验平均与文本投票混为一谈，前者稳定同词表概率，后者融合异构文本。把仿真复杂度等同于真实难度也是误解，原文反例已显示过高仿真损害泛化。把开发集搜索最优当作部署收益同样不可取，实际需留出验证集做组合选择。

收束时回到可核对事实。3 个提交的词错误率与联合错误率、检测召回精确的绝对提升、抽取 4 模型相对原始混合的改善、聚类满分，均以正文表格与连续原句为准。复述方法时保留数据时长、干扰配比、信噪比范围与冻结更新安排，缺失超参数明确标为缺项。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 chime-2026 论文汇总