英文题目：Dialogue-Based Streaming Audio-Visual Target Speaker Extraction with Predictive Dialogue Information
标签：#音视频语音分离 | #迁移学习 | #轮次切换 | #流式处理 | #音视频
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Shuhan Zhang：机构信息未在 arXiv HTML 中可靠披露
- Wenxuan Wu：机构信息未在 arXiv HTML 中可靠披露
- Haizhou Li：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
在线音视频目标说话人提取以混合语音与目标人脸轨迹为输入，输出目标波形，难点是流式模型看不到未来，在自然停顿、话轮交接和目标静默段易把对话伙伴或第三方串话漏进输出。方法先用语音大模型改造的目标说话人语音活动预测从重叠混合直接预测未来2秒目标与伙伴活动，输出25Hz预测表征与256类联合状态。接着把当前块之前最近2秒预测表征按0.2秒池化为至多10个令牌，经投影与位置编码后由当前音频瓶颈特征经多头注意力检索并融合。最后融合后特征与历史自注册记忆和同步主动说话人检测特征共同进入音视频融合与个人语音活动检测门控分离器，以两遍训练约束目标存在与缺失段。相对只用停顿能量韵律的声学预测，新机制引入问答投射与话轮完整性等语义级轮转知识并实现混合输入下的目标条件预测，因而更互补历史信息并抑制无关干扰泄漏。在IEMOCAP-Dialog3Mix评测下，全上下文USEV的TP SI-SNR为10.03 dB，高于无上下文USEV基线的TP SI-SNR 9.04 dB。该结论限于双人对话加单路无关干扰的短窗评测，在80%以上重叠段不再获益且未验证移动视角与多干扰泛化。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 复现相关资源：https://jjjjiaozi.github.io/TS-VAP/ — 链接不可用（HTTP 404）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么？要解决的在线提取难在哪？
这篇论文的输入是单通道混合音频加目标人脸视频，输出是只属于目标说话人的波形。场景被限定为自然双人对话加一个无关第三方：目标与对话伙伴处在同一个有轮转的对话里，第三方在说话内容上与该对话无关。系统在推理时只能逐块在线处理，看不到未来帧。目标线索选用人脸轨，理由在原文交代得很直接：它固定了参与者身份，不需要额外注册语音，而且视觉通道在声学很 noisy 或重叠严重时仍然可用。
难点不在于是不是有人脸，而在于对话本身有停顿、抢话、简短应答和换轮。多数已有在线音视目标说话人提取评测用的是完全重叠或人工拼出的稀疏重叠混合，把句子独立拼接起来，丢失了谁何时沉默、哪里最难提取的结构。在线模型在轮转边界最含糊：当前块既可能是一个人收尾，也可能是另一个人起头，还可能混进音色相近的重叠声。如果能提前预判下一小段谁会说话，分离器就不必只靠当前块的声学证据硬猜。这就是论文引入预测性对话信息的动机。
下面这张示意图把任务的输入输出与干扰结构 1 次讲清，适合初学者先建立样本级直觉：左侧是谁在对话、谁是干扰，中间是逐块输入，右侧是只保留目标的输出。
看图路径： 1. 先看左侧虚线框内的双人对话与右侧框外的第三方说话人，确认干扰与对话无关；2. 再看中间混合音频与目标人脸轨如何按 t 减 2、t 减 1、t 分块进入中间方框；3. 最后看右侧输出在 t 减 1 段变平直、在 t 段恢复波形，确认只保留目标
论文图 1。原论文 Figure 1:：“Online AV-TSE under third-party interference.”。
这张图左侧用虚线框圈出目标与对话伙伴，框外单独画出第三方说话人，颜色与标注把对话内与对话外分开。中间把混合音频与目标人脸轨都按时间切成小块送入同一个提取方框，右侧输出只保留目标的时间段，在目标沉默段输出被压平。它的教学价值在于把公式里三项相加的混合变成可操作的块级任务：每一块都要回答当前该输出目标声还是压制。对研究生而言，复述时要能说出干扰有两类，一类是对话伙伴，语义上与目标相关，另一类是第三方，语义上无关，抑制难度不同，后文的正确抑制率正是按这两类分别报告的。
与已有路线相比，本文把哪一块补上了？
按同输入、同目标、同运行阶段对照，已有路线大致有 3 条。第一条是在线音视目标说话人提取本身，输入同样是混合音频加人脸，目标同样是恢复目标波形，但训练与评测混合多为独立拼接，缺少真实轮转。第二条是语音活动预测，负责预测未来说话活动，但训练只用干净单人通道，不是鸡尾酒场景下从一个重叠混合直接预判轮转。第 3 条是用文本大模型给语音提取提供语言知识，已有工作做到转录级别的语言帮助，但没有显式建模对话级别的换轮知识。
本文的补位是把第二条和第 3 条同时推进一步：预测必须直接从重叠混合出发，并且要利用语音大模型里关于问句引出回答、完整从句邀请交接、简短应答不算换轮这类意义层面的对话知识。做法上把语音大模型改造成目标条件化的语音活动预测模块，再用预测去引导低延迟分离器。同时把预测与另外两种对话上下文并列比较：同步的主动说话人检测特征和历史的自注册语音。这样读者不会把预测当成唯一的上下文，而是看到三者在时间上分别来自过去、现在和未来。
需要提醒的边界是，论文没有声称解决了通用分离或离线增强，也没有把语言模型直接生成波形。语言模型只提供预测表示，真正的波形恢复仍由分离器完成。这个分工决定了后文的冻结与训练安排：预测模块先单独训练再冻结，分离器在冻结的预测表示上学习如何检索和使用。
问题如何形式化？块级输入输出是什么？
论文把单通道混合写成目标、对话伙伴与第三方三项相加。符号先交代清楚：方括号内是音频采样点序号，每一项都是时域波形，混合是三者在每个采样点直接叠加。这个写法意味着没有多通道空间信息可用，分离只能靠频谱、时间结构与视觉线索。
\[x[n]=s_{\mathrm{tar}}[n]+s_{\mathrm{par}}[n]+s_{\mathrm{ext}}[n],\]块级在线处理的形式化把上述逐采样点的混合切成步骤。记第 k 步的混合音频块与目标人脸轨分别为输入，重建的第 k 块目标波形为输出，预测上下文是到第 k 减 1 步为止的观测总结，用来预测后续说话活动。关键信息条件是预测上下文不能偷看当前块与未来块，这保证了在线因果性。同步上下文则相反，它允许使用当前块，这也是后文图 2 用实线与虚线区分时间权限的原因。
\[\hat{s}_{k}=f_{\mathrm{AV\mbox{-}TSE}}\left(x_{k},v_{k},C^{\mathrm{P}}_{k-1}\right),\]沿一个样本走一遍有助于固定指代：假设第 k 块到来时，系统手里有当前混合块、当前人脸块，以及由过去混合与人脸算出的预测表示；系统先用预测表示调整音频瓶颈特征，再与视觉特征融合做分离，最后用个人语音活动检测概率决定该块多大程度保留。下一块到来时，预测表示向前滑动更新。复述方法时必须保留这个时间权限，否则会把同步线索的优势误算成预测的功劳。
方法全景：预测、历史、同步三路上下文放在哪里？
全景可以按主提取路径加 3 条可选分支来记。主路径是音频编码器与视觉编码器分别处理当前块，再经音视融合进入分离器与解码器，最后乘上个人语音活动检测掩蔽得到目标波形。3 条分支挂在不同位置：预测分支在音频编码之后用注意力调整音频瓶颈特征，历史分支在融合之后用残差适配器调节融合特征，同步分支在融合之前与人脸特征拼接投影。原文用虚线表示可选分支，用实线表示必经的提取路径。
下面这张方法图是全文的地图，建议按主路径先走一遍，再看 3 条分支的汇入点与时间标注。
看图路径： 1. 沿实线主路径看当前块音频编码与视觉编码如何进入音视融合与分离器；2. 对比三条虚线分支的起点时间：预测与历史只到 k 减 1，同步用当前 k；3. 看解码器后个人语音活动检测掩蔽如何与输出波形相乘
论文图 2。原论文 Figure 2:：“(a) AV-TSE extracts target speech in chunk k.”。
上半部分面板把预测模块标为过去音视输入驱动，输出预测上下文后经注意力作用于当前音频特征；自注册的历史分支从分离器的隐状态缓存汇总而来；同步分支直接取当前音视频。下半部分用 3 段对话例子解释为什么需要 3 路信息：历史记住过去说过什么，同步看清当前嘴动与声音是否一致，预测给出目标在当前块及之后更可能说还是更可能停。图中预测部分明确写出当前块很可能说、之后很可能停的示意，但图注已说明预测活动只是示意，不是真实标注。复述时不要把该示意的起止时间当成实验参数，真正的预测 horizon 在正文另有明确数字。
预测模块如何从重叠混合算出未来活动？
预测模块是在语音大模型基础上改造的目标说话人语音活动预测器。骨干是问答规模较小的语言模型，音频用语音编码器处理混合，视频用图像编码器处理目标人脸，语言模型先产生视觉条件化的音频表示，再与视觉特征融合后送入轻量因果头。输出是 25 赫兹的 256 维预测表示序列，每 1 帧都要预测未来 2 秒内目标与伙伴的联合活动。
目标说话人提取 × 主动说话人检测： 目标说话人提取负责从混合波形中只恢复目标声，主动说话人检测负责判断当前块中谁在说话；前者是生成目标波形的分离任务，后者是提供同步身份与活动证据的判别任务，论文把后者的嵌入与视觉分支特征拼接到人脸特征上再做音视融合，让分离器在当前块就知道嘴动与声音是否对齐。
\[U=f_{\mathrm{TS\mbox{-}VAP}}(x,v),\]具体预测目标借用了已有语音活动预测的编码方式：每个说话人用 4 个二值未来活动仓表示未来 2 秒，两个说话人合起来形成 256 种联合状态，每帧做 256 分类。训练把联合状态分类与当前活动、未来仓的辅助监督结合。先单独训练该模块，训练好后冻结，再把它的表示拿给分离器用。冻结的含义是分离器训练时不更新预测模块的参数，梯度只走分离器与上下文投影部分。原文没有报告去掉辅助监督后会怎样，因此不能推断辅助项的必要性，只能说论文实际使用了联合加辅助的组合。
语音大模型 × 语音活动预测： 语音大模型负责从重叠混合与目标视频中读出语义与对话结构，语音活动预测负责把这种理解变成未来 2 秒内目标与伙伴谁会说话的联合状态；前者提供问答衔接、从句完结让位、简短应答不换轮等语言知识，后者把知识落为 256 维 25 赫兹的预测表示，分离器再用注意力检索这段预测来消除轮转边界的歧义。
预测上下文的构造是把当前块之前最近 2 秒的预测特征按每 0.2 秒取平均，最多得到 10 个 token，再做层归一化、投影到音频特征维度并加上可学习相对位置嵌入，以区分新旧。当前音频瓶颈特征做查询，用四头注意力检索这些预测 token，再把检索结果与原音频特征在通道维拼接后经 1 乘 1 卷积恢复维度。若没有有效上下文，则直接沿用原音频特征。这个设计保证了预测只来自过去，符合在线约束。
\[C^{\mathrm{P}}_{k-1}=\operatorname{Proj}\!\left(\operatorname{LN}\!\left(\operatorname{Pool}(U)\right)\right)+E_{\mathrm{rel}},\]与之对照的声学预测基线用的是纯音频架构，训练协议与目标条件化预测相同，用来检验视觉条件与语言知识是否带来额外增益。后文结果显示目标条件化的音视预测比纯声学预测高出 0.15 分贝，支持了额外信息的判断，但差距不大，复述时应同时保留绝对值与差值，避免夸大。
历史与同步上下文各自怎么用？三路如何组合？
历史上下文借鉴自注册思路，用门控循环单元总结过去分离器隐状态，得到历史表示后经残差适配器调节音视融合后的特征。它的作用是记住目标音色与对话历史，让分离器在重叠下仍能偏向目标。同步上下文借鉴主动说话人检测思路，把检测嵌入与检测器视觉分支特征组合成同步表示，与人脸特征拼接投影后再做音视融合。它的作用是提供当前块嘴动与声音是否匹配的即时证据。
历史上下文 × 预测上下文： 历史上下文用门控循环单元总结过去分离隐状态得到说话人自注册信息，回答目标听起来像谁，预测上下文用过去 2 秒的目标说话人语音活动预测特征回答目标接下来会不会说；前者向后看身份，后者向前看时机，两者都只用到第 k 减 1 块之前的信息，论文发现历史加预测的组合在成对组合中最好，说明身份记忆与时机预判互补。
3 路组合时位置不同、时间权限不同，因此不是简单的特征相加。预测调音频瓶颈，同步调视觉侧输入，历史调融合后特征，最后统一进入分离器。这种位置安排让消融有意义：可以单独开一路，也可以两两组合或 3 路全开，观察互补性。原文报告在成对组合里历史加预测最好，略高于历史加同步和同步加预测，提示预测与历史的互补大于预测与同步的互补。但这只是平均值上的排序，后文按重叠率分箱显示在最高重叠箱全组合并无增益，说明趋势不等于每一组都成立。
训练目标、两遍流程与推理掩蔽如何执行？
训练目标由两遍相加组成，每一遍都包含提取损失与个人语音活动检测损失。提取损失是在目标活跃样本上的负尺度不变信噪比，并按时间占比缩放；检测损失是逐帧二分类交叉熵，显式监督目标缺席区域。论文说明没有采用按离散活动场景手调权重的旧策略，而是用检测头统一处理目标缺席问题。
个人语音活动检测 × 信噪比尺度不变的信噪比： 个人语音活动检测负责逐帧判断目标是否活跃并在推理时做衰减掩蔽，信噪比尺度不变的信噪比负责在目标活跃段衡量波形恢复质量；前者管目标缺席时不漏出干扰声，后者管目标存在时恢复得干净，训练把两者相加并按时间占比加权，避免了按离散场景手调权重的做法。
\[\mathcal{L}=\sum_{j=1}^{2}\left(\mathcal{L}_{\mathrm{ext}}^{(j)}+\mathcal{L}_{\mathrm{pVAD}}^{(j)}\right),\]两遍训练的具体动作是：第一遍分离器处理前若干秒且不带预测记忆，同时把该前缀的预测特征池化成记忆；第二遍用同一前缀加最多额外 2 秒重新处理，使用第一遍建好的固定记忆。这个流程让分离器学会在有预测记忆可用时如何使用它，同时保持在线可执行。原文给出的优化设置是分离器用学习率万分之一、批量三十二、最多 100 轮、耐心 10 轮，两遍权重相等。预测模块的训练分 2 个阶段：先冻结大模型只训任务层，再联合训练任务层与低秩适配器，之后在分离器训练时保持冻结。
推理时把逐帧目标活跃概率线性上采样到波形分辨率再阈值化，构造衰减掩蔽：判为活跃的区域增益为一，判为非活跃的区域乘以固定衰减系数。验证集选定的阈值是 0.4，衰减系数是 0.05。在线推理用 2 秒初始化与处理窗、600 毫秒跳。复现时必须保留这组数字，因为窗口与跳步决定了延迟与上下文长度，阈值与衰减决定了静音段抑制与语音失真的权衡。
数据如何构造？评测条件是否一致？
预训练用双人混合，来自另一语音数据集的 onset 对齐 utterance，截到较短者时长，相对电平在负十到 +10 分贝均匀采样，混合限长 6 秒，训练两万、验证五千，来自 800 个说话人。主实验的对话混合保留了完整双人对话的自然停顿、重叠与换轮，再叠加独立第三方干扰：干扰时长在 0 到 6 秒均匀采样，电平相对对话活跃语音均方根在负五到零分贝。对话参与者在划分间不重叠，训练两万余、验证八千余、测试三千，均为 6 秒混合。跨语料泛化的测试集来自野外无脚本对话，保留原时间结构并按同样方式加干扰，共 1000 个混合、500 个对话窗、双侧都做目标。
重叠率 × 目标存在段信噪比： 重叠率用目标活跃集合与干扰活跃集合的交并比来刻画对话拥挤程度，目标存在段信噪比只在目标存在部分计算恢复质量；前者是分组条件，后者是组内指标，论文按 0%、0 至 20%、20 至 40%、40 至 60%、60 至 80%、80 至 100% 分箱报告，避免把静音段的抑制效果与说话段的分离质量混在一起。
比较的提取器覆盖轻量音视分离、时频网格、变换器、卷积与双路径循环基线，都适配到同一因果在线设置，都从预训练初始化并在同一协议下训练，每个系统都带检测头。在线评测统一用 2 秒处理窗、600 毫秒跳。指标是目标存在段的尺度不变信噪比，按重叠率分箱报告，方向是越高越好；相对提升是相对各自无上下文基线的平均值提升百分比。目标静音段另用正确抑制率衡量在非目标活跃而目标沉默时压住输出的频率，越高越好。硬件预算在给定证据中没有报告具体型号与耗时，这是缺项，复现成本只能从批量、轮数与窗口推断量级，不能承诺延迟数字。
主结果：预测在哪些骨干上带来可复述的增益？
要回答的核心问题是预测上下文是否跨骨干一致有效，以及它相对纯声学预测和相对无上下文基线到底高多少。公平条件是同一在线窗跳、同一检测头、同一预训练起点，指标方向都是越高越好。下表把原文连续句子中直接报告的关键数字整理成可核对的宽表，保留了实际可运行的策略与基线对照，没有引入搜索最优或事后最优值。
| 条件 | 指标 | 本方法结果 | 对照结果 | 相对提升 |
|---|---|---|---|---|
| 音视预测跨骨干 | 平均目标存在段信噪比 | USEV 加预测达到 9.56 dB | 比声学预测高 0.15 dB | USEV 相对提升 5.8%，变换器骨干 5.7%，卷积骨干 4.6% |
| 三上下文联合 | 平均目标存在段信噪比 | 3 路全开达到 10.03 dB | 相对无上下文基线 | 相对提升 10.9% |
表后需要同时读出收益与代价。收益是预测在 3 个骨干上都带来平均值提升，且在同一骨干上目标条件化的音视预测高于纯声学预测，说明视觉条件与语言知识有额外作用；3 路全开达到全表最高的平均值。代价与边界是提升幅度不到 1 分贝量级，且原文明确指出在 80% 到 100% 最高重叠箱全配置没有增益，说明当轮转结构不可利用时上下文帮助有限。复述时不要把平均提升推广到每个重叠箱，也不要把声学预测的对照说成不可运行，它是同协议训练的实际可运行基线。
跨域的零样本结果进一步检验预测是否只在原领域有效。同样在相同在线协议下，每个配置都比较加预测与不加预测，指标仍是平均目标存在段信噪比。下表只收录原文连续句子中出现的数字，单位保留在同一格。
| 条件 | 指标 | 无预测基线 | 有预测结果 | 论文判断 |
|---|---|---|---|---|
| 全上下文跨域 | 平均目标存在段信噪比 | 未单独报告无预测值 | 8.03 dB | 全配置最好 |
表后解释要抓住两点：一是预测在领域偏移下依然有益，不是只拟合原数据集的轮转节奏；二是全上下文加预测在新领域仍是最好，支持了组合的泛化性。但也要指出跨域绝对值整体低于域内，且原文没有报告跨域的方差与显著性，不能从均值差直接断言每段对话都变好。
看图路径： 1. 先确认横轴是平均目标存在段信噪比、单位分贝，数值越大越好；2. 对比每组浅色无预测与深色有预测的条形长度，确认预测是否伸长；3. 重点看 TDSE 组与最底部全上下文组的增量是否大于其他组
论文图 3。原论文 Figure 3:：“Zero-shot online extraction on the 1,000-mixture RealTalk subset.”。
这张条形图横轴是平均目标存在段信噪比、单位分贝，纵轴是不同骨干与上下文组合，每组有浅色无预测与深色有预测两根条形。可见卷积骨干的深色条明显长于浅色条，对应从 3.35 到 5.48 分贝的跳变；变换器与循环基线的增量较小但方向一致；底部历史加同步再加预测的一组达到最长，对应 8.03 分贝。读图时不要把条形长度当成逐样本保证，它只是组平均，论文也没有给出误差棒。
三路上下文各自贡献多大？哪组组合最互补？
消融要回答的是单路谁最强、两两组合谁更互补、3 路全开是否值得。公平条件仍是同一骨干、同一在线协议、同一指标。下文用正确抑制率的原表承担细粒度对照，用主结果段的宽表承担平均值对照，两者互为补充。原文在循环基线上的报告是：单路中同步最好，3 路都高于无上下文基线；两两组合中历史加预测略高于历史加同步和同步加预测；3 路全开平均最高。
目标沉默段的抑制行为是理解预测作用的另一扇窗。论文在全部 3000 个测试混合上分别考察伙伴干扰活跃而目标沉默、第三方干扰活跃而目标沉默两种条件，两条件可重叠。指标是正确抑制率，越高越好。下表是原文可直接选择的定量结果表，保留了无上下文基线、声学预测与大模型预测 3 种实际可运行策略。
| Model | Partner | Third-party |
|---|---|---|
| USEV baseline | 83.96 | 79.73 |
| USEV + Acoustic VAP | 85.71 | 81.86 |
| USEV + LLM-VAP | 87.74 | 85.13 |
表后解释要把收益与反例一起说。收益是声学预测已高于基线，大模型预测再往上走：伙伴干扰下从基线经声学预测到大模型预测逐步升高，第三方干扰下同样逐步升高；相对基线，大模型预测在伙伴与第三方条件下分别高出约 3.78 与 5.40 个百分点，且在第三方下的增量更大，支持了目标条件化音视预测对对话结构之外无关语音更鲁棒的判断。
反例与边界是该表只报告抑制正确率，没有报告误判率与语音失真，阈值与衰减系数的选择会影响两者的权衡；同时主结果中最高重叠箱的无增益提醒我们，抑制好不等于说话段分离一定好，两类指标要分开读。百分点与相对百分比在此不能混用，原文此处是百分点差，不是相对百分比。
哪些结论有边界？什么还没有被验证？
论文直接报告的是均值提升与抑制率提升，有限解释是语言与对话知识带来了额外增益，未验证的推测是更深度的语义驱动分离会更好，结尾的未来工作属于后者，应读作方向而非已验证结论。相关性不等于因果：预测表示与提取提升同时出现，支持预测有帮助，但不能据此断言某一句问答必然导致某 1 分贝提升。
明确缺项有助于复现者补验证：训练与推理的硬件型号、耗时、参数量与实时系数没有在给定证据中报告，不能承诺延迟改善；输出帧率与实际延迟要分开讨论，25 赫兹是预测表示帧率，不是端到端延迟；误判率、主观听感与每组显著性未报告，不能把自动指标当成人评；最高重叠箱与强干扰下的失效模式只给了平均现象，没有逐例分析。总体趋势不等于每步都成立，跨骨干与跨域的平均增益不能推广为每个样本或每一步都增益。
另一个常见误解是把人脸当成万能线索。原文的理由是人脸固定身份且在声学恶化时仍可靠，但这不意味着人脸能解决内容无关的第三方大声干扰，也不意味着遮挡、侧脸或检测失败时仍有效，这些鲁棒性在给定证据中没有单独评测，复述时应标为未评测边界。
要复现，需要准备什么数据、代码与参数？
数据侧先按原文口径构造：预训练用 6 秒双人混合，相对电平负十到 +10 分贝；主训练用完整双人对话加第三方干扰，干扰时长 0 到 6 秒、电平负五到零分贝，参与者按对话不重叠划分；跨域测试保留原对话时间结构并同样加干扰。指标侧按重叠率分箱计算目标存在段信噪比，另算目标沉默段在伙伴与第三方干扰下的正确抑制率，方向都是越高越好。划分与聚合口径必须与原文一致，否则数值相同也不是同一指标。
模型侧按 3 阶段执行：先单独训练预测模块，用 10 秒观测预测随后 2 秒，任务层先训再加低秩适配器联合优化；再冻结预测模块训练分离器，用两遍流程构造预测记忆，优化器与批量按原文设置；推理用 2 秒窗、600 毫秒跳、阈值 0.4、衰减 0.05。5 个提取器都要先适配到因果在线并从同一预训练起点开始，否则跨骨干比较不公平。声学预测基线要与大模型预测用相同训练协议，以 isolating 视觉与语言的增量。
关于公开资源，论文正文给出的项目页链接是 https://jjjjiaozi.github.io/TS-VAP/，但本次收到的资源状态显示该链接当前不可用，状态码为 404，因此不能写成当前可用或已公开，只能写链接当前不可用。若要复现，应先从论文描述的数据构造与超参数做起，并记录缺失的硬件与代码细节，待可达资源恢复后再对齐实现。
何时值得尝试这种预测引导？第一步先做什么？
当你的在线提取卡在轮转边界与相似音色重叠处，且已有目标人脸可用时，这种预测引导值得尝试。它不改变分离器的主体结构，只是在音频瓶颈处加一路来自过去的预测检索，工程上属于低侵入的增强。已有同步检测可用时仍可叠加预测，因为原文显示历史加预测的互补大于同步加预测的互补，而 3 路全开在平均值上最好。但若你的场景长期处于极高重叠、几乎没有可利用的轮转结构，就不要期待同样的增益，原文最高重叠箱的无增益就是预警。
复现的第一步是先跑通无上下文基线与在线窗跳，再接入冻结的预测表示做单路预测，最后才加历史与同步做组合。每一步都同时看说话段信噪比与静音段抑制率，避免只优化一端。还需补的验证至少包括阈值与衰减的权衡曲线、遮挡与侧脸下的稳定性、延迟与计算开销的实测，以及跨域的误差棒。只有这些补齐后，才能把平均 1 分贝以内的增益解读为可部署收益，而不是仅在特定划分与参数下的均值现象。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses