📄 点一下脸就换人听：流式视听目标说话人提取的即时切换
英文题目：Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction
评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
👥 作者与机构
- Hansol Park：机构信息未能在本次解析中与作者逐人可靠绑定
- Minkyung Song：机构信息未能在本次解析中与作者逐人可靠绑定
- Zinu Kim：机构信息未能在本次解析中与作者逐人可靠绑定
- Yujun Lee：机构信息未能在本次解析中与作者逐人可靠绑定
- Hoseong Ahn：机构信息未能在本次解析中与作者逐人可靠绑定
- Hyunjin Choi：机构信息未能在本次解析中与作者逐人可靠绑定
- Kyuhong Shim：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
流式音视频目标说话人提取的输入是多人混合语音与选定人脸的唇部和身份线索，输出是只保留选定说话人的实时波形，难点是已有系统把音频与视觉耦合处理并累积目标相关的循环状态，切换后旧状态难以消退。Tap2Listen先让因果音频编码器只处理混合声的16 ms窗、8 ms跳STFT帧，经256维投影与6个局部因果注意力块形成共享时序缓存，该缓存跨切换保留；冻结视觉前端持续缓存各人脸25 Hz唇部特征与身份向量，解码时把缓存音频表征与选定人脸唇部特征拼接投影为注意力记忆，把身份向量叠加进解码查询，再经4个交叉注意力块与共享掩膜头输出复数比掩膜并经逆STFT重建波形，切换时只对缓存窗口重做该记忆投影并替换身份项。训练时每个混合对各说话人轮流作目标并为每个解码块做深度监督提取损失，同时用只依赖混合声的五帧后对数幅度变化预测辅助损失约束编码器。在LRS3-2mix的3000条固定混合测试上，Tap2Listen相对AV-SkiM基线在相同量级参数下将SI-SNRi从8.85 dB提高到9.68 dB。切换到已缓存人脸时首个200 ms窗口即达完整质量，而基线约需1 s恢复；新出现人脸切换后首1 s内平均领先8.08 dB。训练开销为单张NVIDIA RTX 3080上150轮共28 GPU-h，推理在Galaxy S22单大核CPU上每8 ms帧处理p95为3.2 ms，切换重投影p95为5.2 ms、加当前帧共8.5 ms，算法延迟16 ms。上述结论限于双人混合与重建的无切换、已知脸切换和新人脸切换划分，且仅测试集说话人无关，新人脸原始种子不可用故均在同一重建混合上比较，未验证多人、强噪声与长时视觉缺失下的切换。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
流式视听提取要解决什么输入输出问题
这篇论文研究的任务叫流式视听目标说话人提取。输入有两路：一路是麦克风收到的混合语音，两个人同时说话叠在一起；另一路是摄像头看到的人脸画面，包含唇部运动和面部外观。目标是从混合音频中只还原用户当前想听的那个人，输出是单路目标语音波形，并且要在说话进行中实时播放，不能等整句结束再处理。
对刚入门的同学，关键是理解实时意味着因果：当前输出只能用当前和过去的音频画面，不能偷看未来。论文的场景是戴着带摄像头的耳机或眼镜听人聊天，用户在屏幕上点一下某张脸，输出就应立刻只剩这个人的声音，再点另一张脸就立刻换过去。已有不少系统能固定听一个人且分数不错，但点选切换这个动作本身没有被当作独立要求来设计和测量，这就是本文的切入点。
已有路线为什么切换慢
非流式方法先证明了视觉有帮助。Looking to Listen 把每张脸的画面和混合音频一起输入做分离；VisualVoice 区分了两种视觉线索，唇动提供与当前 utterance 时间对齐的动态信息，单张图像的外观提供说话人音色相关的静态信息；MuSE 把前一段已提取的目标语音再编码成说话人向量去调节下一块掩蔽估计；CTCNet 和 RTFS-Net 则改进多分辨率融合与时频建模。这些方法都在固定目标、允许看未来的条件下评测，没有考核使用中途换目标。
流式方法把未来依赖去掉或限制住。RT-LA-VocE 用因果音视频编码器加 Emformer 和因果声码器，在线 AV-CrossNet 用 1 帧前视，RAVEN 用预训练视觉编码器加 2 帧前视并能在 CPU 上实时，Swift-Net 用因果卷积加单向循环做轻量结构。MoMuSE 为了在视觉不可靠时跟住同一人，还存了过去声纹做记忆库。这些设计的延迟指标都是固定目标下连续处理的延迟，不是换目标后输出跟上新目标的延迟。
与切换最接近的是 Pan 等人的 AV-SkiM，他们在 2 人同时说话中途换目标并测切换前后的 SI-SNRi，还指出把过去分离结果聚成单个说话人向量会形成惯性，妨碍快速切换。但切换前后整段平均分看不到切换瞬间之后几百毫秒内发生了什么。另一支主动听觉助手工作按说话开始后的区间测 SI-SDRi，但没有以显式点选时刻为零点。本文正是把点选时刻作为零点，同时测延迟和逐段恢复。
固定目标假设在交互中哪里失效
论文指出两个具体困难。第一是音视频深度耦合：很多结构在每一层都把音频和当前目标的视觉混在一起算，换视觉目标会牵动正在进行的音频计算，无法只换条件不扰动主干。第二是流式状态带目标记忆：循环、自回归或说话人跟踪状态会把上 1 位说话人的信息留在缓存里，切换后需要等它衰减，新目标的输出要过一段时间才干净。
举个教学例子：假设 A 和 B 一直在同时说话，系统已听 A 听了 5 秒，缓存里全是偏向 A 的平滑状态。此时用户点 B，如果查询向量仍被上一段输出反馈影响，或键值里混入了 A 的嵌入动量，那么最初几帧仍会漏出 A 的声音。这不是单纯分离能力差，而是状态没有与目标解耦。论文因此要求把持续的音频处理做成与目标无关，把目标相关计算隔离到解码器，并用切换点附近的细粒度曲线而不仅是整句平均来评价。
Tap2Listen 如何把不变与可变分开
Tap2Listen 的总体流程是编码器只处理混合音频，解码器再按所选人脸提取。混合波形先做短时傅里叶变换，编码器对每一跳输出一个与目标无关的表示并写入共享缓存；视觉前端对每张脸分别缓存唇动特征和身份向量；解码器在当前时刻把缓存的音频表示与所选人脸的唇动拼起来做投影得到注意力记忆，再用含身份向量的查询去做交叉注意力，最后经共享掩蔽头得到复数比掩蔽，与当前混合频谱相乘并经逆变换与叠加还原波形。
下图是论文的交互示意，先看它再理解结构划分会有帮助：上半部分是用户在不同时刻点 A 或点 B，下半部分对比了输入始终是 2 人混合而输出颜色立刻跟随点选的变化。
看图路径： 1. 看上半部分三台手机分别点选 A 或 B 的手势；2. 看中间 Input 混合波形与下面 Output 波形颜色如何对应；3. 看三次切换竖线处输出颜色是否立即跟随点选
论文图 1。原论文 Figure 1:：“Tap2Listen interaction. Two speakers are present in the same mixture; tapping face A or B immediately switches the output to the selected speaker.”。
这张图确实可见 3 段：第 1 次点 A 后输出只剩蓝色波形，第二次点 B 后输出只剩红色波形，第三次点回 A 后又只剩蓝色。黑色竖线是切换时刻，输出在竖线处没有拖尾过渡，直接变成新颜色。这说明论文把切换定义为输出成分的立即替换，而不是渐变淡入淡出。理解这一点后，再看编码器缓存为何能保留、解码器投影为何要重算，就有了直观目标。
只看混合音频的编码器做了什么
编码器输入是 16 ms 窗、8 ms 跳的短时傅里叶变换帧，每帧投影到 256 维，之后过 6 个前置 RMSNorm 块，每个块含局部因果自注意力，只看过去 128 帧。因为输入只有混合音频，不含任何人脸信息，所以它的缓存被论文称为目标无关，可以跨切换保留。参数量上整模型可训练部分为 8.06 M，编码器是其中持续运行的主干。
视觉侧用了两个冻结的预训练网络：因果 BlazeNet64 在 25 Hz 下给唇部特征，面部嵌入器给人脸身份向量。每张脸的唇动特征在同样的 4 s 窗口上存一个滚动缓冲。冻结意味着训练时不更新它们，只用它们提供现成的视觉表示。
下图是结构总览，蓝色是跨切换保留的目标无关计算，橙色是每次切换重算的目标相关计算，灰色是冻结网络。建议沿左、中、右三列分别跟踪音频、视觉与解码路径。
看图路径： 1. 从左下混合波形沿蓝色路径看到编码器缓存；2. 看中间灰色冻结模块与橙色重算模块的分界；3. 看右侧掩蔽与 iSTFT 如何得到 16 kHz 目标波形
论文图 2。原论文 Figure 2:：“Tap2Listen architecture. Blue denotes target-agnostic computation that is retained across target switches.”。
从像素可见左下是混合波形经窗长 256 跳长 128 的变换进入线性层，中间是目标人脸分别进入 BlazeNet64 和 VGG 人脸身份编码器，右侧是四层交叉注意力加前馈与共享掩蔽头，最后经复数比掩蔽乘当前频谱再做逆变换与叠加得到 16 kHz 目标波形。红色箭头把编码器顶层表示送入中间的目标无关滚动缓存，再与唇动拼接做键值投影，身份向量则进入最下方的查询构造。这种颜色分区就是解耦的实现方式。
目标无关音频编码器 × 目标相关解码器： 目标无关音频编码器只看混合音频并维护可跨切换保留的缓存，负责持续的声学建模；目标相关解码器只在用到所选人脸的唇动和身份向量时才计算，负责把缓存指向当前目标。两者搭配使切换不必重跑音频编码，只重算解码器侧的记忆投影。
解码器如何只用新人脸重算记忆
解码器是唯一与目标有关的部分。对所选人脸 s，当前时刻 t 的注意力记忆由缓存音频表示与时间对齐的唇动拼接后经矩阵投影得到，覆盖过去 M=500 帧，即在 8 ms 跳下约 4 s。论文给出 1 次点选的重投影量级为 1.2×10^8 次乘加运算。查询则由当前音频帧、缓存表示与身份向量三项线性相加构成。随后查询经过 K=4 层交叉注意力和前馈块，每块带 LayerScale，每块都经共享掩蔽头产生一个复数比掩蔽，最终经逆变换与叠加在每 8 ms 跳上重建波形。
两个设计细节值得注意。第一，解码器没有对过去解码输出的自注意力，也没有自回归反馈，因果性靠记忆只含截至当前时刻的帧来保证。第二，时变且与音频同步的唇动用于交叉注意力的键值，固定身份嵌入只出现在查询，这正是动态对齐与静态指向的分工。
\[k_{\tau},\,v_{\tau}=W_{K,V}\big[\,\bar{h}_{\tau}\,;\,\mathrm{lip}_{s,\tau}\,\big],\qquad\tau\in[\,t-M,\,t\,]\]上式要计算的是注意力用的键与值：把缓存的音频表示与所选人脸在同一时刻的唇动拼接，再经可学习的键值矩阵投影，范围是当前往前 M 帧。符号上 tau 是记忆窗内的帧下标，h 上横线是编码器输出，lip 是所选人脸的唇动，先拼接再投影得到每帧的键值对。
\[z_{t}^{(0)}=W_{X}x_{t}+W_{H}\bar{h}_{t}+W_{C}\mathrm{id}_{s}\]上式要计算的是解码器初始查询：当前输入帧、缓存表示与身份向量分别经 3 个矩阵投影后相加。下标 t 是当前帧，id_s 是所选人脸的身份向量。查询形成后进入交叉注意力去查上面记忆，从而每帧都按新人脸重新指向。
唇动特征 × 人脸身份向量： 唇动特征是随时间变化、与发音同步的视觉线索，用于在交叉注意力中对齐唇部运动与声音的时间对应；人脸身份向量是不随时间变化的说话人标识，只出现在解码器查询中。二者分工为动态对齐加静态指向，共同决定当前帧要提取谁。
两项损失分别约束哪部分
训练时混合中的每个说话人轮流当目标。编码器对一个混合只跑 1 次，记忆投影则为每个说话人各重算 1 次。共享掩蔽头在每个解码器块 k 都输出一个掩蔽并得到估计波形，采用深监督，即浅层块也算损失。抽取损失是对每个说话人、每个块的负 SI-SDR 按权重求和，权重 w 为 0.1、0.2、0.3、0.4，越靠后的块权重越大，每项钳位在 -30 dB，意味着已超过 30 dB SI-SDR 的样本不再给梯度。
\[\mathcal{L}_{\text{ext}}=\sum_{s}\sum_{k}w_{k}\cdot\mathrm{clamp}\big(-\text{SI-SDR}(\hat{s}^{(k)}_{s}),\,-30\,\text{dB}\big)\]上式约束的是分离质量：对目标 s 和块 k 的估计求 SI-SDR，取负后钳位再加权求和。下标 s 遍历说话人，k 遍历解码块，w_k 是上述递增权重。钳位的实际作用是防止已分得很干净的样本主导梯度。
编码器另有一个线性辅助头，用顶层状态预测对数幅度未来 5 帧的变化量，即 log|X|在 t+5 与 t 之差，损失是均方误差。这项目标只用混合信号，不需要目标标签，目的是让与目标无关的编码器学到可预测的时间结构。
\[\mathcal{L}_{\text{pred}}=\sum_{t}\Big\|\,g(\bar{h}_{t})\,-\,\Big(\log|X|_{t+5}-\log|X|_{t}\Big)\,\Big\|_{2}^{2}\]上式约束的是预测能力：g 是线性头，h 上横线是编码器顶层状态，括号内是未来 5 帧的对数幅度差。求和遍历时间 t。总目标是两项加权和，系数 lambda 为 0.1。
抽取损失 × 预测损失： 抽取损失是有监督的分离目标，约束解码器各块输出的掩蔽估计逼近轮流作为目标的每个说话人；预测损失是无须目标标签的辅助目标，约束编码器顶层状态能预测混合信号对数幅度未来 5 帧的变化。两者搭配让编码器学到可共享的时间结构，解码器学到指向目标的能力。
数据划分与切换评测如何构造
实验用 ClearerVoice 的 LRS3-2mix 流程，来自 66,974 条 LRS3 utterance，训练、验证、测试分别为 40 k、5 k、3 k 行，只有测试集是说话人无关。没有预先混好，目标锚定在 0 dB，功率匹配的干扰以正负 10 dB 信噪比混合，训练时干扰与信噪比从 58.5 k 池中重抽，所以 40 k 指的是锚定句数而非固定混合数。训练 150 轮，在单张 RTX 3080 上约 28 GPU 小时，用 bf16、批大小 16、AdamW 从 1e-3 余弦退火到 1e-5，并用衰减 0.999 的指数滑动平均权重报告结果。对比的 AV-SkiM 检查点，在相同数据与评测管线下重测，不声称作者代码、模型或数据当前可用。
常规质量用 SI-SNRi、SNRi、PESQi、STOIi，i 表示相对混合的提升量，数值越大越好。切换评测重建了 AV-SkiM 的注意力转移协议，把同样的 3,000 个测试行按 1,014、1,012、974 拆为无切换、切换到已知脸、切换到新人脸。论文提及的检查点在无切换和切换到已知脸的均值上能复现到 0.10 和 0.56 dB 以内；因原始新人脸种子不可用，所有模型都在同一重建混合上比较。切换质量以点选为零点，按 200 ms 窗口测切换后 SI-SDR，并报告选择到音频的延迟与恢复曲线。
需要提醒的是新人脸条件更难：目标在切换前未出现过，缓冲中没有长期唇动历史，系统必须从切换点开始积累。因此已知脸与新人脸的差距不能只看模型好坏，也包含任务信息量的差异。
固定目标下质量与代价是什么
在标准 3,000 个固定混合的测试上比较固定目标提取质量，两者参数量同为 8.1 M，训练预算分别为 4 卡 V100 与单卡 3080 各 150 轮，算法延迟分别约为 1 ms 与 16 ms。指标方向都是越高越好，SI-SNRi 与 SNRi 单位为 dB。本表在参数量相当、数据管线一致的条件下，检验为切换解耦的结构是否牺牲了常规分离质量。
| Model | Setup | Setup | Setup | Improvement | Improvement | Improvement | Improvement |
|---|---|---|---|---|---|---|---|
| Model | Params ↓ | Training budget ↓ | Alg. lat. ↓ | SI-SNRi ↑ | SNRi ↑ | PESQi ↑ | STOIi ↑ |
| AV-SkiM [15] | 8.1 M | 4 × V100, 150 ep | ∼1 ms | 8.85 | 9.16 | 0.52 | 0.19 |
| Tap2Listen (ours) | 8.1 M | 1 × 3080, 150 ep | 16 ms | 9.68 | 10.05 | 0.71 | 0.20 |
上表是原文完整对照，Tap2Listen 在 SI-SNRi 上为 9.68 dB，基线为 8.85 dB，相差 0.83 dB；SNRi 分别为 10.05 dB 和 9.16 dB，PESQi 为 0.71 对 0.52，STOIi 为 0.20 对 0.19。论文的解释是解耦并未损害固定目标性能，反而在同等参数下略优，且只用单卡训练。代价是算法延迟从约 1 ms 增至 16 ms，论文归因于处理粒度：Tap2Listen 在短时傅里叶变换域按每 8 ms 1 帧调用，AV-SkiM 直接在波形域以更细粒度更频繁调用，前者单次等待更长但调用频率更低，更适合端侧执行。这个延迟差异是结构选择带来的，不是测量误差。
响应延迟 × 切换后恢复曲线： 响应延迟指从点选新目标到输出变为新说话人所需的时间；切换后恢复曲线指以点选时刻为零点，按 200 ms 窗口逐段测量的 SI-SDR 随时间变化。两者搭配才能看到整句平均分掩盖的过渡期，前者回答多快起效，后者回答首秒内质量是否打折。
切换后首秒内输出有何不同
切换协议的比较问题是：点选新目标后的过渡期内，输出多久能变干净。无切换时两者整句平均接近，AV-SkiM 为 9.56 dB，Tap2Listen 为 9.51 dB，相差 0.05 dB，在图 3 无切换对照的 utterance 间波动范围内。切换到已知脸时，Tap2Listen 在首个 200 ms 窗口已领先 2.59 dB 且没有恢复期，基线约需 1 s 才追上；切换到首次出现的新人脸时，首 1 s 内差距达 8.08 dB，在 80 ms 处峰值达 11.9 dB，到 1.6 s 时基线仍落后 3.0 dB。而整句平均的增益分别只有已知脸 1.03 dB、新人脸 3.43 dB，说明整句平均大幅抹平了过渡差距。
读图前先明确任务：横轴是切换后时间，纵轴是 200 ms 窗内 SI-SDR，阴影是首 1 s，虚线是首 1 s 均值，(a)(b)(c) 分别是已知脸、新人脸与无切换对照。
看图路径： 1. 对比(a) 已知人脸与(b) 新人脸两条曲线的起点差距；2. 看(c) 无切换对照组两条曲线是否基本重合；3. 注意首 1 s 阴影区内虚线均值的高低
论文图 3。原论文 Figure 3:：“SI-SDR after switching, measured in 200 ms windows (mean ± s.e.m.).”。
这张图确实可见(a) 中本方法曲线从 0 时刻就维持在约 9 dB 以上，基线从约 7 dB 爬升；(b) 中两者都从负值爬升，但本方法始终更高且更快越过 0 dB；(c) 中两条曲线几乎重合，说明无切换时差异可忽略。阴影区虚线在(a)(b) 中本方法都高于基线，误差带为均值正负标准误。结合表格看，首秒均值比整句均值更能反映交互体验。
| No switch | Known face | Known face | Known face | New face | New face | New face | |
|---|---|---|---|---|---|---|---|
| No switch | Avg. | ≤1s\leq 1s | >1s>1s | Avg. | ≤1s\leq 1s | >1s>1s | |
| AV-SkiM [15] | 9.56 | 8.05 | 8.50 | 9.63 | 4.73 | 1.08 | 10.82 |
| Tap2Listen (Ours) | 9.51 | 9.08 | 9.31 | 9.79 | 8.16 | 9.16 | 14.38 |
上表单位为 dB，越高越好，Avg. 是整句平均，≤1 s 与>1 s 是切换后 200 ms 窗口的均值。已知脸首秒分别为 9.31 dB 和 8.50 dB，新人脸首秒分别为 9.16 dB 和 1.08 dB。限制是新人脸种子是重建的，绝对值不宜与原论文直接对比，但同一重建混合上的相对差距成立；且新人脸>1 s 的 14.38 与 10.82 dB 包含了切换后长时间段，不能理解为切换瞬间就有这么高。
手机上实时开销由哪些部分组成
论文把流式路径导出为静态形状 ONNX 图，在 Galaxy S22 的骁龙 8 Gen 1 上用 ONNX Runtime CPU、fp32 单线程绑定大核测试，经 5 分钟热稳定后，每 8 ms 1 帧的中位偏高分位 p95 耗时为 3.2 ms，占 8 ms 预算的 40%，无超预算帧。点选触发的重投影 p95 为 5.2 ms，加上当前帧计算后过渡延迟为 8.5 ms。因为常规帧留有余量，额外的点选计算被吸收而不累积延迟。更大块可减少计算但增加缓冲等待，因此 8 ms 是最小延迟工作点。
报告的延迟覆盖完整流式路径，包括短时傅里叶变换与逆变换、帧缓冲、编码器与缓存更新、目标条件掩蔽估计与叠加还原。摘要中另提到 1 次重投影仅需 0.12 ms 量级的表述，应理解为纯投影算量层面的量级，而端到端过渡在手机实测为上述 8.5 ms，两者口径不同，不宜混为一谈。
算法延迟 × 单帧处理耗时： 算法延迟是由分帧和前视决定的固有等待，与算力无关；单帧处理耗时是在具体手机 CPU 上实测的计算时间。两者搭配才能判断能否实时，前者决定最早何时能出声，后者决定是否会在 8 ms 预算内越界堆积。
结论在什么条件下才成立
首先，所有质量数字都限定在 LRS3-2mix 的两说话人混合、目标 0 dB、干扰正负 10 dB 的构造下，且只有测试集说话人无关。换成 3 人、强混响、视觉遮挡或离线高延迟大模型，相对关系需要重测。其次，切换评测依赖重建的注意力转移协议，新人脸种子与原文不同，绝对分只能在本文同一重建内比较，不能跨论文直接比大小。
其次，即时切换的成立依赖于已知脸已有 4 s 唇动缓冲与编码器缓存有效；若新人脸刚出现，首帧质量仍低于稳态，论文曲线也显示新人脸从低位爬升，只是爬得更快。回到已选过的人脸与切到任意新人脸在本文设计中代价相同，都是重算记忆投影，但这不等于输出质量相同，因为历史缓冲长度不同。
最后，实时结论限定在特定手机、单线程 fp32 与静态图条件下，换芯片、精度或并发负载后需重测 p95 与超预算帧率。论文未报告消融掉预测损失或深监督权重后切换曲线如何变化，因此不能断言每一项对首秒增益的单独贡献。
复现第一步要准备什么
复现应从数据与基线对齐开始。按 ClearerVoice LRS3-2mix 流程准备 66,974 条 utterance 的划分，不预混，训练时从 58.5 k 池重抽干扰与信噪比；固定 3,000 个测试混合用于常规表，另按 1,014、1,012、974 重建无切换、已知脸、新人脸 3 组切换混合。用论文提及的 AV-SkiM 检查点在同一管线下重评，先复现无切换 0.10 dB 以内、已知脸 0.56 dB 以内的均值，再比较新人脸的相对差距，不声称该检查点当前可用。
模型侧需实现 16 ms 窗 8 ms 跳的变换、256 维投影、6 块局部因果自注意力、25 Hz 因果 BlazeNet64 与人脸嵌入器冻结、M=500 帧记忆投影、4 层交叉注意力与共享掩蔽头，以及轮流目标训练、权重 0.1 至 0.4 的深监督、-30 dB 钳位与 lambda 0.1 的未来 5 帧对数幅度预测。推理时保留编码器缓存，切换只重算公式 1 的缓存窗投影并替换公式 2 身份项。
关于资源可用性，本次未发现来源绑定且完成验证的作者代码、模型或数据链接，不得声称已公开或当前可用。应以论文文字与重建协议为准，缺失的原始新人脸种子需明确记录为重建。
什么时候值得尝试这个思路
当你的应用需要用户在对话中频繁点选说话人，且不能容忍约 1 秒的过渡漏音时，这种把持续音频处理与目标条件解耦的思路值得尝试。它用 16 ms 算法延迟换来切换后首帧即满质量，固定目标质量在本文条件下也未下降，单核手机上仍有余量。教学上可以复述为：编码器只听混合并留缓存，解码器只看所选脸并重算记忆，损失一边管分离一边管预测，评测以点选为零点看首秒曲线。
还需要补的验证是：3 人以上、真实噪声与遮挡下的首秒差距是否保持；去掉预测损失或改变深监督权重后过渡期变化多少；以及在你自己的设备与精度下的 p95 与功耗。如果这些都通过，再考虑把点选交互真正接到产品链路中。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses