看不见脸时说话人是谁：CineSRD 用视觉锚点加语音语义补齐影视对白

英文题目：CineSRD: Leveraging Visual, Acoustic, and Linguistic Cues for Open-World Visual Media Speaker Diarization

会议身份：conference:cvpr:2026:conference-paper-id:Huang_CineSRD_Leveraging_Visual_Acoustic_and_Linguistic_Cues_for_Open-World_Visual_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #多模态学习 #多语言 #音视频 #说话人分离标注

评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Liangbin Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaohua Liao：机构信息未能从会议 PDF 纯文本可靠映射
• Chaoqun Cui：机构信息未能从会议 PDF 纯文本可靠映射
• Shijing Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhaolong Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Yanlong Du：机构信息未能从会议 PDF 纯文本可靠映射
• Wenji Mao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

影视级说话人分离标注（speaker diarization）需将字幕中每句台词映射到角色，输入为长视频、分离后语音与字幕时间轴，难点在于长达数十小时的篇幅、单节目超百位说话人、声画不同步与开放环境噪声。CineSRD 先以主动说话人检测加人脸嵌入聚类做视觉锚点注册并投票对齐音色簇得到说话人原型，再将连续 10 句文本与音频送入音频语言模型（audio language model，ALM）做相邻轮次预测并与音色相似度加权融合，最后按轮次边界分组投票并以新说话人分数补充画外角色。相较以往音频聚类或三模态约束传播，该框架以高判别力人脸为锚而非平等融合，有效纠正音色混淆并找回未注册的配角。在 SubtitleSD 中文集上 AVT 设置达到分离错误率（diarization error rate，DER）0.07561，明显优于 EC2P 三模态的 0.13451。该结论限于字幕时间轴准确、有清晰人脸的真人影视，动画、重度重叠与无字幕场景尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么困难？

本文输入是一部影视节目及其字幕时间轴，每条台词都对应一段视频片段和一段语音，目标是把每条台词映射到饰演角色即说话人，回答谁在何时说了哪句。输出是每条台词的说话人标签，可用于配音、字幕与检索。必须保留的信息是字幕给出的起止时间、画面中的人脸与嘴部活动、语音音色以及台词文本语义。

传统会议场景说话人少、环境干净，而影视场景有 4 个困难：时长可达 2 小时甚至数十小时，单部作品可含数十到数百角色，声音出现时脸不一定可见，声学与画面条件不可控。本文默认从原文独立写作，不继承其他解读，所有数字回到原文核对，资源状态以本次验证为准，未发现可用开源链接时不声称代码数据已公开。

同输入同目标的前人路线走到哪里？

说话人日志的早期路线只用声学线索，做聚类与分割，在噪声和重叠语音下容易出错。随后出现音视频双模态路线，利用唇动与人脸同步区分重叠声音，也有音频加文本路线，利用转写语义找轮次边界与角色语言模式。近年工作把音频、视觉、语义放在统一优化框架中传播约束、优化相似度矩阵，显示模态互补有助于鲁棒性与可解释性。但原文指出这些工作仍聚焦会议与访谈等说话人少、场景简单的方法。本文把任务扩展到多类型影视节目，强调长视频理解、大说话人集合、音画异步与开放环境，评价也从常规会议集转向自建的影视基准与传统音视频基准的双重验证。

为什么影视说话人标注比会议难？

举一个教学例子帮助理解，例子不代表原文数值：同一句我回来了，若画面给的是听者特写而说话人在门外，只看脸会标错，只听音色在背景音乐下也可能混淆，只有结合上文谁离开了房间才能判对。原文把这种现象称为音画异步，即台词播放时间窗内可见脸不一定属于说话人。长视频带来切分与聚类规模问题，大说话人集合带来类别不平衡与小角色难召回问题，方言、口音、音乐与噪声带来音色漂移问题。

形式化上节目表示为台词、视频段、语音段的三元组集合，待学习的是从台词到说话人集合的多对一映射。预处理按字幕时间切分视频帧并做人声分离得到每句语音，这些步骤细节在补充材料中交代，正文只给出调用关系。

CineSRD 分几步走完从三模态到标注？

CineSRD 是一个免训练的多阶段框架，不训练新的神经网络，而是调用现有人脸、音色与音频语言模型完成聚类、判断与补充。第一步做视觉锚点聚类，对检测到的主动说话人脸做嵌入聚类，对全部语音做音色嵌入聚类，再以视觉簇为锚投票对齐音频簇并登记说话人与音色原型，得到初始标注。第二步做说话人轮次检测，用音频语言模型同时读文本上下文与音频，输出相邻句是否同一人的概率，再与音色相似度加权得到最终预测并切分出同属 1 人的组。

第 3 步做幕后说话人补充，对无主动说话人的台词先按原型相似度指派，再按组计算新说话人得分，低于阈值则注册新说话人并在新说话人之间按相似度合并。下图展示了 3 路原始数据如何进入聚类、注册、轮次检测与标注的全路径，是理解后续组件分工的总览。

看图路径： 1. 先从左侧 Raw Data 追踪视频、音频、文本三路输入分别进入哪个模块；2. 再看中间 Multimodal Feature Clustering 中人脸分支与音色分支在何处汇合投票；3. 最后看下方 Speaker Turning 的概率与相似度如何加权并指向右侧 Annotation

论文图 1。原论文 Figure 1：“The overall structure of the unified framework CineSRD for visual media speaker diarization.”。

该图从左到右可读出 3 条主线：视频帧按台词时间切分后经主动说话人检测得到人脸并聚为视觉簇，语音经人声分离与音色模型聚为音频簇，两者在投票处汇合完成注册；文本与音频共同进入音频语言模型得到轮次概率，再与音频相似度加权精修标注。右侧标注面板把每句台词与头像对齐，直观显示最终要交付的台词到角色映射。注意图中卡通人物仅为示意流程，不代表基准真实分布。

视觉锚点如何注册说话人与音色原型？

先沿一个样本走完全程：一条台词进入后，系统取出其时间窗内的视频段与语音段。若主动说话人检测在视频段中找到正在说话的脸，则提取人脸嵌入并参与视觉聚类得到视觉簇标签，同时提取该句音色嵌入并参与音频聚类得到音频簇标签。若未找到主动说话人，则该句暂不进入视觉聚类，只保留音色嵌入等待后续指派。注册时每个视觉簇被视为一个说话人，簇内按音频簇标签投票，得票最高的音频簇被视为该说话人对应的声音，再对其中台词的音色嵌入取平均作为音色原型。原文强调视觉聚类通常比音频聚类更可靠，因此用视觉作锚。

主动说话人检测 × 视觉锚点聚类： 主动说话人检测负责判断当前台词时间段内画面中是否有正在说话的脸，过滤掉只露脸不说话的干扰；视觉锚点聚类负责人脸嵌入聚类并作为说话人注册的基准，搭配理由是人脸特征比音色更具区分度，组合后新增的作用是以视觉簇为锚对音频簇投票，得到每个注册说话人的音色原型。

下表展示原文给出的新说话人补充过程示例，包含相邻句相似度与是否有主动说话人的分组情况，用于理解后续分组与阈值的作用。

该表把连续台词按轮次检测切为若干组，每组内相似度高低与主动说话人有无共同决定组得分。表中可见有主动说话人的组得分较高而无需新注册，无主动说话人且平均得分低的组会被注册为新说话人或与已有新说话人合并。代价是阈值选择直接影响新说话人数量，阈值过高会引入噪声说话人，过低则漏掉小角色，原文后续用曲线实验确定折中。

语音与文本如何共同判断是否换人？

说话人轮次检测的输入是连续多句文本及其对应音频，原文实验取连续 10 句以保证上下文充分。对每 1 对相邻句，音频语言模型生成表示同一说话人与否的标记并给出生成概率，归一化为模型预测概率，同时计算两句音色嵌入的余弦相似度并归一化为声学相似度，最终按权重加权得到是否同一人的预测。权重 w 平衡两者贡献，原文后续实验取 0.45 且声学权重更高，说明主要依据仍是音色而文本起辅助作用。文本的作用在相似度分布重叠区最明显，即仅靠音色无法区分的相邻句需要语义理解话题转折与称呼变化。

音色嵌入 × 说话人轮次检测： 音色嵌入负责把每句语音映射为说话人声纹向量并计算相邻句余弦相似度，说话人轮次检测负责结合字幕语义判断相邻两句是否同一人所说，搭配理由是纯音色在噪声、重叠和相似嗓音下会混淆而纯语义又缺声音证据，组合后新增的作用是加权得到更可靠的分组边界，用于后续按组纠正标注。

音频语言模型 × 加权融合： 音频语言模型负责同时读入多句文本及其音频并输出相邻句为同一说话人的概率，音色相似度负责提供声学侧的连续打分，加权融合负责按权重 w 把两者合成为最终预测，搭配理由是语义能发现话题与称呼变化而声学能守住嗓音连续性，组合后新增的作用是在重叠区用语义辅助而在大部分清晰区仍以声学为主。

该模块输出的相邻句预测进一步被二值化为组边界，预测为不同说话人的位置切开，全组台词被视为同一人，为后续投票统一标签与计算新说话人得分提供可靠分组。原文把该结果视为可靠并在此基础上做标准化，意味着轮次检测误差会向后传播，这是多阶段框架的固有代价。

没有露脸的台词如何找回与纠正？

对于未检测到主动说话人的台词，系统先计算其音色嵌入与所有已注册原型的余弦相似度，取最高者作为初始指派。但其中可能存在从未注册的幕后说话人，因此按轮次检测的组边界把全部台词划组，每组先投票确定主说话人并统一组内标签，再为每句计算新说话人得分：有主动说话人则得 1 分，否则取与最接近原型的相似度。全组平均得分低于阈值则把组平均音色向量注册为新说话人，已有多个新说话人时按音色相似度阈值合并。

说话人注册 × 幕后说话人补充： 说话人注册负责把每个视觉簇登记为已知说话人并计算音色原型，幕后说话人补充负责处理未检测到主动说话人的台词并发现未注册的画外音，搭配理由是注册只能覆盖露脸说话人而影视存在大量画外音，组合后新增的作用是以轮次检测分组为单位计算新说话人得分并在低于阈值时注册新原型。

该设计把高精度的脸部判断固定为可信，把不确定留给分组与阈值处理，既能纠正音频聚类错误又能召回小角色。代价是组内若混入轮次检测错误，投票会放大错误，且频繁注册会增加推理延迟与噪声说话人，原文用阈值曲线展示这种权衡。

本文训练了什么，没有训练什么？

本文明确提出免训练框架，没有训练新的说话人分类器、聚类器或语言模型，也未报告梯度路径、优化器、训练轮数与参数更新范围，因此不能把系统输出理解为端到端优化的结果，更不能从调用冻结模型推定输出确定。实际计算过程是推理与聚类：调用主动说话人检测、人脸检测、人脸嵌入、人脸质量评估、音色嵌入与音频语言模型完成特征提取与预测，再用谱聚类或层次聚类、投票取平均、加权求和与阈值比较完成注册与补充。

原文列出调用的模型名称与生成参数，复现时应保持相同调用与阈值，而缺失的训练细节应明确记为未报告，不从模型名称推定实现。若字幕时间轴缺失或质量差，切分与分组基础将受损，原文未给出无字幕时的替代方案，这是复现前需补的验证项。

在什么数据、基线与指标下比较？

本文自建 SubtitleSD 基准，取自在线视频平台影视节目的字幕、语音与视频，逐句人工标注说话人，覆盖爱情、奇幻、喜剧、悬疑与情景喜剧等题材，按语言与难度分为中文、中文难含方言与大说话人集合、英文 3 个子集。比较对象包括纯音频的谱聚类与层次聚类、音视频的 AVR-Net 与 EC2P，以及本文的 CineSRD 在双模态与 3 模态下的版本。常规泛化验证在 AVA-AVD 上进行，此时去掉依赖文本的轮次检测，只用音色相似度做补充。指标方向是越低越好，报告 DER、JER 与在 AVA-AVD 上的说话人错误率。

DER × JER： DER 负责按时间长度衡量漏检、误检与说话人混淆的总误差，JER 负责按每个说话人计算交并比误差后再平均以放大少台词角色的影响，搭配理由是影视中主角台词多而配角少，只看时长会掩盖小角色错误，组合后新增的作用是同时考核整体时间准确性与多说话人公平性。

下表对比已有数据集与本文基准的模态、场景、视频数与说话人规模，说明影视任务的开放性来源。

该表显示 SubtitleSD 的视频数与总时长和平均每视频说话人数明显高于会议与聊天类数据集，意味着长视频与大类别是主要难度。代价是英文子集相对较小，限制了在英文上通过训练进一步提升的空间。未胜出项方面，纯音频方法在多语言复杂条件下受限明显，为后文多模态必要性提供对照。

复现需要哪些超参数与运行条件？

复现先做三件事：按字幕时间切分视频并分离人声，保证每句有对齐的视频段与语音段；固定特征与聚类调用，再固定轮次与补充阈值；分别在影视基准与常规基准上报告对应指标。下表整理原文明确给出的可重放设置，数值与单位保留原文写法，条件列说明适用阶段。

该表把上下文长度、组边界阈值与融合权重放在同一视图，便于 1 次核对。表中 10 句上下文保证语义充分，0.5 作为组边界二值化点，0.45 作为融合与补充的折中。代价是这些取值与中文子集分布绑定，换语言或方言集时需重做敏感性分析，不能直接认定全局最优。 下表进一步整理幕后补充阶段的阈值与合并依据，同样保留原文条件。

该表说明新说话人得分低于阈值才注册，注册后按音色相似度合并，避免无限膨胀。复现时需同时记录新增说话人数与延迟变化，否则只看误差会掩盖效率代价。原文未报告硬件预算与帧率，训练资源与实际延迟需分别讨论，不承诺速度改善。

主结果测什么，与谁比，条件是否一致？

主结果问题是影视开放场景下谁的台词到角色映射误差更低。与谁比包括纯音频基线与跨模态融合基线，条件上保持聚类策略与无关参数一致，CineSRD 分别报告去掉文本与保留文本的版本。原文报告显示 CineSRD 在 3 个子集上均取得最低误差，即使双模态版本也超过 3 模态的 EC2P，支持视觉作锚与轮次检测的有效性。限制是数值相同不代表同一指标，DER 与 JER 需分别解读，且方言难集的绝对误差仍高于普通集，说明极端声学与大分布下仍有差距。下图为幕后补充阈值的影响曲线，用于理解新说话人发现与误指派之间的权衡。

看图路径： 1. 先确认横轴为阈值 eta 从 0 到 1，纵轴为 Metric Value；2. 再对比蓝色 DER 曲线与绿色 JER 曲线随 eta 增大的先降后升趋势；3. 最后定位两条曲线在 0.4 到 0.5 区间附近的低点位置

论文图 4。原论文 Figure 4：“Impact of Threshold η in off-screen speaker supplemen- tation.”。

该图可见当阈值从 0 增大时 JER 先明显下降后略有回升，DER 先平稳后上升，在 0.4 到 0.5 附近两者同时处于较好位置。对应到机制，阈值过小几乎不注册新说话人而漏掉画外音，阈值接近 1 则频繁注册引入噪声并增加延迟。原文据此取 0.45，这是一个经验折中而非理论最优，换数据集时需重验。 下表为 AVA-AVD 上的泛化结果，此时均不使用文本模态，保证输入条件可比。

该表显示 CineSRD 在两种聚类策略下均低于纯音频与已有音视频方法，支持方法不限于影视字幕场景。但需注意基线数字引自各自论文而非统一重跑，聚合口径与划分可能存在差异，不能当作严格同条件胜负，趋势解读需留有余地。

去掉一个模态或改一个权重会发生什么？

消融问题是视觉与文本各自带来多少增益，以及权重与阈值是否敏感。模态消融在两种聚类下比较纯音频、音视频与音视频文三档，结果显示加入视觉大幅降低两项误差，再加入文本继续改善且在三子集上一致，支持视觉修正音频边界而语义修正音视频标注的判断。轮次检测消融比较纯音频语言模型、纯音频相似度与两者融合，纯音频已强于纯模型而融合进一步提升曲线下面积与 F1，支持文本起辅助作用。权重实验显示融合权重在 0.45 附近最好，阈值实验显示 0.45 附近最好，两者都说明声学为主、语义为辅且需控制新说话人数量。下图为权重影响曲线，像素可辨认的峰值位置明确。

看图路径： 1. 先确认横轴为权重 w，纵轴为 F1 相关取值并找到红色虚线；2. 再观察 F1 Curve 在虚线左侧与右侧的升降走向；3. 最后读出虚线标注的 0.45 取值作为后续实验的固定选择

论文图 5。原论文 Figure 5：“Impact of weight w in speaker turn detection.”。

该图横轴为权重 w，红色虚线标在 0.45 处，曲线在该处附近达到较高水平而向两侧下降。对应到公式，w 控制模型概率占比，取值过大则过度依赖语义而丢掉音色连续性，过小则退回纯声学而在重叠区出错。原文固定该值用于其他实验，复现时应先复现该曲线再锁定。 下表为说话人轮次检测 3 种策略的定量对比，保留原文模态标注以区分输入条件。

该表显示融合策略在两项指标上均高于单一路线，但纯音频已接近融合，说明大部分相邻句可由音色区分而语义只解决少部分困难样本。未胜出项是纯音频语言模型单独使用时明显偏低，提示不能只靠大模型读文本与音频做判断，必须保留声学相似度分支。代价是每次判断需读入多句上下文，推理开销高于纯相似度阈值法。

哪些边界本文没有测，不能承诺？

原文明确的局限有三点。一是多阶段集成而非端到端，长视频下多模态大模型的计算代价使端到端仍具挑战，轮次误差会向后传播。二是依赖人脸检测与嵌入，模型多在真人脸上训练，在卡通与动画等类型上效果受限。三是英文子集较小，限制了通过训练提升英文性能的空间。这些是未验证边界而非技术错误，相关性不等于因果，不应把总体趋势推广到每组每步。此外原文未测量误判率分解、延迟与成本，未报告划分采样与统计显著性，复现时应补上按说话人频率分层、按有无露脸分层以及多次运行的波动范围，才能判断小角色召回是否稳定。

何时值得尝试，复现先做什么，还缺哪项验证？

当任务具有字幕时间轴、多说话人、音画不同步且人脸总体可用时，值得尝试先视觉锚定再语义精修的路线；当画面多为动画、无字幕或说话人极少时，应先验证人脸与切分假设是否成立。复现先做最小闭环：取一部带字幕的节目跑通切分、主动说话人检测、双路聚类投票与原型计算，再加入轮次检测切组与阈值补充，对比去掉文本与去掉视觉的版本。

还需补的验证包括无字幕时的语音活动检测替代、动画人脸的检测召回、不同权重与阈值下的曲线重现，以及按主角与配角分层的误差分解。资源状态方面，本次未发现完成验证的可用链接，不得声称代码模型数据已公开，应以原文与补充材料为准整理运行清单。

一句话收束：方法、证据与代价是什么？

CineSRD 把影视说话人日志拆为视觉锚定注册、语音语义轮次检测与幕后补充 3 步，用更具区分度的人脸守住聚类边界，用文本语义补齐音色重叠区，再用分组阈值找回画外音。证据是影视三子集与常规音视频集上的误差下降，以及模态、权重与阈值的多组对照，支持多模态融合的必要性。代价是依赖字幕时间、人脸质量与阈值选择，且为多阶段而非端到端，换场景时需重验参数与分层效果。初学者复述时应先讲清输入三元组与多对一映射，再讲清投票、加权与分组三处计算，最后讲清数据基线指标与未测边界，避免把相关改善说成因果保证。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

另有 9 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总