英文题目：Plug-and-Steer: Decoupling Separation and Selection in Audio-Visual Target Speaker Extraction
会议身份：
conference:interspeech:2026:conference-paper-id:kwak26_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#Adapter #高效推理 #音视频 #语音 #音视频语音分离
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Doyeop Kwak：机构信息未能从会议 PDF 纯文本可靠映射
- Suyeon Lee：机构信息未能从会议 PDF 纯文本可靠映射
- Joon Son Chung：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音视频目标说话人提取（Audio-Visual Target Speaker Extraction，AV-TSE）需从双人混合波形与目标唇动视频中输出指定人干净语音，难点在于野外视听数据噪声大导致联合重训会损伤分离保真度并引入排列歧义。该工作冻结音频分离（Audio-Only Speech Separation，AOSS）主干以保留高保真分离能力，再在选定分隔块学习潜转向矩阵（Latent Steering Matrix，LSM）实现特征级通道交换，最后训练轻量视觉转向模块由唇动与音频潜特征逐帧预测门控并驱动LSM将目标锁定到固定通道。与深度融合重学分离不同，该方法只做线性重路由而不改写声学表征，从而解耦分离保真与目标选择并保留预训练声学先验的完整性。该内部路由直接复用主干潜特征而免除重复解码与重编码，因而减少冗余计算并改善实时运行效率。在LRS2-2mix测试集评测设置下，Plug-and-Steer系统的SI-SDRi指标为14.79 dB，低于冻结TF-GridNet主干的SI-SDRi指标14.81 dB。该结论限于 2 说话人英文合成混合与 3 秒短句，未验证多人、强混响与跨语言泛化。原文未披露训练时长与部署成本细节。
🔗 开源与复现资源
- 演示资源：https://plugandsteer.github.io — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么、要输出什么：鸡尾酒会问题为何难？
输入是一段 2 人同时说话的单通道混合波形，外加目标说话人的唇动灰度视频序列，目标是只输出目标人的干净语音并固定放在第一通道。纯音频语音分离这个术语白话讲就是只听声音把混合拆成两路，英文为 Audio-only Speech Separation，缩写为 AOSS，它不知道哪一路是用户想听的，这就是排列歧义。视听目标说话人提取白话讲就是看嘴形挑人声，英文为 Audio-Visual Target Speaker Extraction，缩写为 AV-TSE，它要解决的是在拆分基础上指明身份。
传统做法把音频与视觉特征深度融合后重新学习整个分离过程，论文指出这条路线在野外数据上会遇到保真度天花板，因为 LRS2 与 VoxCeleb2 类数据本身带噪与混响，用它做全参数监督会把高保真先验拉低。于是学习依赖很清楚：先理解 AOSS 已能做到高清晰分离，再理解 AV-TSE 真正缺的是低成本身份锚定，而不是再做一遍声学精修。
纯音频语音分离 × 视听目标说话人提取： 纯音频语音分离负责把混合语音拆成多个干净通道但不知道用户要听谁，视听目标说话人提取负责用目标唇动视频指明要听谁，二者搭配的原因是前者已有高保真声学先验、后者只需解决排列歧义，组合意义是把视觉从重做分离降为只做选路，从而避免在噪声视听真值上重训而损失音质。
本解读的输出是可复述的方法链与可核对的实验条件，不做超出证据的效果承诺。必须保留的信息包括冻结与否、插入位置、门控计算、2 阶段训练步数、数据合成信噪比范围与评价指标方向，后文按任务路线、方法全景、组件计算、训练推理、实验条件、结果反证、复现收束展开。举例说明：若混合中 2 人能量相当，纯音频模型可能把目标放在通道二，视觉的作用就是把这次前向的潜特征轻轻转向，让目标仍出现在通道一，而不重写分离滤波器本身，这个例子只是帮助理解选路，不附加论文之外的数值。
同输入同目标的已有路线有何不同？
在同输入 2 人混合加目标视频、同目标输出固定通道目标人声、同监督可用干净参考或野外真值、同运行阶段为推理时逐人用对应视频抽取的约束下，论文涉及 3 条可比路线。第一条是深度融合再学习，代表做法包括交叉注意力、拼接与专用融合结构，它们同时做身份识别与唇音同步精修，优点是联合优化可能提升贴合度，代价是需要在野外噪声真值上更新全部参数。
第二条是残差适配器路线，论文自设两种对照：在冻结骨干上加视觉适配残差，以及解冻骨干并用小学习率全量微调，它们改写声学特征本身，优点是有可能更好地拟合 LRS2-2mix 分布，代价是感知质量易下滑且对 2 维时频结构敏感。第 3 条是后处理选择路线，先用冻结骨干解码两路波形，再用现成唇音同步模型按同步分数挑路，它无需重训骨干但需要额外解码、重编码与预处理。
论文的解耦路线属于第四类：冻结骨干保分离，只学一个线性转向加一个轻量视觉门控做内部选路。相关不等于因果，论文报告的感知保持不能直接推定为所有融合方法必然损伤音质，只能说在本次 4 种骨干与本数据集划分下残差路线出现了感知下降而转向路线保持了原特性。
要验证的核心问题是什么？
核心问题有两个且有先后依赖。第一个问题是冻结 AOSS 骨干内部是否存在线性可置换的说话人结构，即能否在某一个分离块输出处用一个 C 乘 C 线性矩阵把两路潜表征交换，从而让最终解码通道互换而几乎不损失分离分。第二个问题是在确认该结构后，能否用视觉线索逐帧预测一个门控值去控制转向强度，把任意初始排列的目标都锚定到指定通道，同时保持原骨干的感知质量与计算效率。
论文把第一个问题形式化为强制交换实验：固定门为 1 训练矩阵 W，让输出逼近预训练骨干的通道交换结果，用负尺度不变信噪比之和做目标。第二个问题形式化为门控学习：在 W 与骨干冻结下学视觉转向模块，用伪标签分类损失加信号重构损失联合优化。两个问题的输入输出都明确：前者输入是中间音频特征 fi，输出是转向后特征 fi 撇与交换后波形；后者输入是 fi 加目标唇动嵌入，输出是帧级门 gt 与锚定后波形。
若第一个问题不成立，后续视觉选路就无从谈起，因此层位置扫描是方法成立的前提。
方法全景：一个样本如何走完输入到输出？
沿一个两说话人样本走一遍。混合波形 x 进入冻结音频编码器得到编码帧，进入堆叠分离块，在第 i 块输出得到通道维为 C、时间维为 Ta 的潜特征 fi。正常情况下 fi 直接进第 i 加 1 块并最终解码为两路波形，顺序不定。加入潜在转向矩阵后，系统同时读入目标唇动视频，经视觉编码器得到视觉嵌入，再插值到 Ta 长度并与 fi 拼接，经轻量时序卷积网络与门控头得到每帧门值 gt。若某帧判断当前潜排列已是目标在通道一，则 gt 接近 0，特征保持为 fi。
若判断目标在通道二，则 gt 接近 1，特征变为单位矩阵加 W 作用后的结果，从而在潜空间完成交换，后续冻结块与解码器自然把目标解到第一通道。整个过程视觉不直接生成语音，只决定是否转向与转多少。训练分两段：先在强制转向下学好 W，再冻结 W 与骨干只学视觉转向模块。推理时对门值平均后按阈值 0.5 二值化，并对每个说话人依次用其对应视频抽取 1 次，这是论文明确的推理协议。
转向与门控如何计算：矩阵放在哪里、门从哪里来？
潜在转向矩阵白话讲就是通道重排的方向盘，英文为 Latent Steering Matrix，缩写为 LSM。它是一个 C 乘 C 线性变换，以残差形式作用为 fi 撇等于单位矩阵加门乘 W 再乘 fi。当门为 0 时恒等通过，当门为 1 时触发潜交换。论文强调这不是在波形上交换，而是在分离块之间重路由潜特征，因此后续层复用原有权重即可完成对应解码。矩阵放在哪一层很关键，论文扫描所有分离块并定义保持率为加 LSM 后尺度不变信失真比提升度相对原骨干的比值，发现越靠后保持率越高，最终层在 4 种骨干上最高，因此后续提取实验统一用末层，这是原文给出的安排理由。
以下导读针对强制交换训练示意：它展示冻结编码器与解码器、只在两分离块之间插入残差分支、并用交换后参考做监督的闭环，读图时抓住主路冻结标记与分支可训标记的区别。
看图路径： 1. 先从左侧混合输入沿编码器到分离块再到解码器的主箭头走一遍；2. 再看第 i 块与第 i 加 1 块之间插入的交叉与 I 加 W 残差分支位置；3. 最后核对右侧两路输出与交换后目标的红色监督箭头对应关系
论文图 1。原论文 Figure 1：“Training process of the latent steering matrix W for the i-th separator block.”。
该图可见混合经编码器进入分离块序列，在第 i 块输出 fi 处分叉经乘法器得到 fi 撇再进下一块，两端编码器与解码器标有冻结雪花，右侧两路输出分别对准交换后的预训练输出并用红色重构损失连接，红色小火焰标在 I 加 W 分支表示该阶段仅该矩阵可训。这支持正文说法：LSM 训练不需要视觉，只需让转向输出逼近通道交换后的骨干输出。视觉转向模块白话讲就是看嘴决定转不转的控制器。
它先把视觉嵌入时间维从 Tv 线性插值到 Ta，与音频潜特征沿通道拼接，对 2 维时频格点类骨干先把通道投影到缩减维 Cr 再把非时间维展平为每步 1 维表示，然后经两块各 3 层卷积的改进时序卷积网络与 Sigmoid 门控头输出帧级门 gt。对 DPRNN 与 TF-GridNet 原文给出 Cr 为 16，这是可复现的关键超参数。
潜在转向矩阵 × 冻结声学骨干： 冻结声学骨干分工是保持编码器、分离块与解码器的高保真映射不变，潜在转向矩阵分工是在第 i 个分离块输出处做 C×C 残差线性重路由，二者搭配的原因是骨干内部已把说话人身份线性可分，组合意义是用最小改动把目标锚定到固定通道而不改写声学表征。
视觉转向模块 × 帧级门控： 视觉转向模块分工是把唇动嵌入与音频潜特征对齐并经轻量时序卷积网络预测选择逻辑，帧级门控分工是逐帧输出 0 到 1 之间的转向强度去控制是否交换通道，二者搭配的原因是视频与音频时间分辨率不同且目标顺序逐段可变，组合意义是实现嵌入特征流内部的连续可微选路而非解码后再分类。
需要指出的缺项是原文未报告视觉编码器具体参数量与门控时间分辨率 Ta 的绝对帧数，只说明编码器与基线同构并用唇读预训练权重初始化，因此复现时需沿用基线配置而不宜自行猜测下采样倍数。
两阶段如何训练：监督从哪里来、谁冻结谁更新？
第 1 阶段学 LSM。骨干全冻结，门固定为 1，输入两说话人混合，目标是让转向后输出逼近预训练骨干输出的通道交换版，损失为 2 通道负尺度不变信噪比之和，优化 10k 步且无预热。这 1 阶段验证的是线性可交换性，不涉及视频。第二阶段学视觉转向模块。骨干与 LSM 均冻结，只有视觉转向模块更新，优化 100k 步含 1k 步预热，采用余弦退火调度。
监督有两路：伪标签分类损失与重构损失。伪标签做法是比较冻结骨干两路输出的两种排列与目标顺序的贴合度，取信噪比之和更大者对应的排列索引作为帧级二值标签，再用二值交叉熵约束预测门 gt；重构损失是把预测门作用后的转向输出与参考信号算负总信噪比，两者按总损失等于分类损失加系数乘重构损失组合，原文给出系数为 0.1。梯度路径上 LSM 是桥梁：没有它，重构损失无法回传到选路逻辑，选路会退化为孤立分类，这也是论文做损失消融的动机。
以下导读针对视觉门控训练示意：它同时包含音频主路、视觉支路、拼接与双损失，读图时先分清冻结与可训色块再看门值如何同时被两类损失约束。
看图路径： 1. 先区分上方冻结的音频主路与下方可训的视觉转向模块两条路径；2. 再看音频潜特征与插值后视觉特征在拼接点汇合进时序卷积网络；3. 最后跟踪门控头输出的帧级门值如何同时受分类与重构损失监督
论文图 2。原论文 Figure 2：“Training process of the AV-TSE module by learning the frame-wise gate value gt. The visual steering module pre- dicts the value gt to control the degree of steering.”。
该图可见上方音频主路同样在两分离块间插入 I 加门乘 W 分支，下方唇视频经视觉编码器得到嵌入并插值拼接后进入绿色时序卷积块与门控头，经 Sigmoid 得到 gt，右侧既有输出与目标参考的重构损失，也有伪标签与预测门的分类损失，最终写成总损失公式，红色火焰标在时序卷积与门控头表示该阶段仅视觉转向模块可训。这与正文 2 阶段冻结安排一致。对于 2 维特征需先降维展平的细节也在正文交代，可直接照做。推理时原文用平均门值与阈值 0.5 做硬判决，未报告逐帧平滑或迟滞策略，因此复现应先实现最简单的段平均再阈值化，再补验证平滑是否必要。
实验条件：数据、基线、指标与硬件如何对齐？
数据上提取实验统一在 LRS2-2mix 两说话人基准上进行，训练验证测试分别为 20k 约 23 小时、5k 与 3k 样本，由 LRS2 不同说话人语句按随机信噪比混合而成，音频为 16 kHz 单声道，训练随机截 3 秒并做方差归一化，视觉为 25 帧每秒灰度序列，由 224 乘 224 中心裁到 112 乘 112。声学先验对照设两种预训练：干净配置用 Libri2Mix 训练 100 子集约 58 小时，野外同分布配置用 LRS2-2mix 训练集。骨干覆盖 Conv-TasNet、DPRNN、TF-GridNet 与 MossFormer24 种代表结构，视听基线对应为 AV-ConvTasNet、AV-DPRNN、AV-TFGridNet 与 AV-MossFormer2 并用 LRS2-2mix 上开源权重评估。
指标方向需记牢：尺度不变信失真比提升度越高越好，DNSMOS 与 NISQA 为非侵入式感知分越高越好，纯音频骨干评估遵循排列不变训练协议取最优排列。训练优化器为 Adam，骨干预训练初始学习率 5 乘 10 的负 4 次方，平台期每 5 轮减半至 1 乘 10 的负 6 次方停止，总批量为 4；残差全量微调对照中骨干学习率降为 5 乘 10 的负 5 次方以缓解灾难性遗忘。全部实验含推理在 RTX 4090 加 AMD EPYC 7543 上完成。以下整理表用于核对合成与采样条件，其数字与单位均来自原文连续句，裸值不擅自添单位。
| 条件 | 指标或配置 | 取值一 | 取值二 | 说明 |
|---|---|---|---|---|
| 混合合成 | 信噪比范围 | -5 到 5 分贝区间 | 两说话人随机混合 | LRS2 语句配对 |
| 音频采样 | 采样率与截断 | 16 千赫单声道 | 训练截 3 秒 | 方差归一化 |
| 视觉输入 | 帧率与尺寸 | 25 帧每秒灰度 | 112 乘 112 裁剪 | 原帧 224 乘 224 |
| 2 阶段步数 | 训练步数 | 10k 步学矩阵 | 100k 步学视觉模块 | 含 1k 步预热 |
| 计算开销 | 浮点与实时率 | 256.82G 内部路由 | 0.147 实时率 | 对 308.56G 与 0.209 |
表前比较问题是不同骨干与不同预训练分布下能否公平比较保持能力与感知保持，公平条件是同一 LRS2-2mix 划分与同一指标方向，指标方向如上所述提升与感知分越高越好。
表后解释是该表只承担条件核对，不能替代性能结论；主要收益需看后文保持率与感知分，代价是野外真值本身带噪导致贴合度与听感可能背离，未胜出项与边界在结果节就近说明。资源状态方面，官方演示页当前可用，状态码为 200，地址为演示站点，可听样例以该页为准，正文不再转述听感。
层位置与保真度：转向放在哪里损失最小？
测的是在不同分离块插入 LSM 后的性能保持率，即转向后提升度相对原骨干的百分比，比较对象是同一骨干不同层位置，条件一致为骨干冻结且强制交换训练。以下导读针对层保持率曲线：它横轴为首层到末层、纵轴为保持率百分比、4 条曲线对应 4 种骨干，读图时先看起点高低再看爬升速度。
看图路径： 1. 先确认纵轴为保持率百分比与横轴从首层到末层的层位置；2. 再比较四条骨干曲线随深度上升的斜率差异；3. 最后看末层处四条曲线收敛到高保持率的汇聚点
论文图 3。原论文 Figure 3：“Layer-wise performance preservation rate (%) across different AOSS backbones.”。
该图可见红色 Conv-TasNet 起点最低约 30% 附近随后爬升，橙色虚线 DPRNN 起点约 53% 附近爬升，蓝色 TF-GridNet 起点约 86% 附近高位平缓，绿色 MossFormer2 起点约 95% 附近全程高位，四者在末层均收敛到接近 100% 的高保持区。这支持正文判断：先进骨干从早期已把说话人解耦且线性可操控，而浅层卷积骨干早期表征纠缠较重。以下整理表把原文报告的首末层关键数字并置，单位保留原文百分比写法。
| 骨干 | 层位置 | 保持率 | 对照层 | 说明 |
|---|---|---|---|---|
| TF-GridNet | 末层 | 99.91% | 首层 86.13% | 全程较高 |
| MossFormer2 | 末层 | 99.43% | 首层 95.44% | 早期已解耦 |
| 计算对照 | 内部路由 | 256.82G 与 0.147 | 后处理 308.56G 与 0.209 | 省去重编解码 |
表前比较问题是在冻结前提下哪一层最适合承担选路而不损伤分离，公平条件是同一强制交换目标与同一保持率定义，指标方向为保持率越高越好。
表后解释是主要收益为末层近无损转向，其中 TF-GridNet 末层 99.91% 与 DPRNN 末层 99.67% 为骨干内最优；具体代价是首层对 Conv-TasNet 与 DPRNN 损失较大，说明浅层不宜插入。未胜出项是 Conv-TasNet 末层 96.22% 虽高但仍低于另三者末层，这与容量与结构差异有关，不能推广为所有卷积结构都不适合转向。
侵入式指标 × 非侵入式感知指标： 侵入式指标分工是用干净参考计算尺度不变信失真比提升度来衡量波形贴合度，非侵入式感知指标分工是不依赖参考用 DNSMOS 与 NISQA 预测人耳听感，二者搭配的原因是野外数据集真值本身带噪贴合真值不等于好听，组合意义是同时检验是否跟随噪声分布与是否保留冻结骨干的高保真听感。
该桥的意义在此得到验证：保持率只衡量贴合度继承，后文还需感知分检验听感是否同样继承。
主结果：感知质量是否真保住了、分离分有何代价？
在 Libri2Mix 预训练骨干加 LRS2-2mix 提取的跨分布条件下，论文报告转向法基本锚定原骨干结果。以 TF-GridNet 为例，原骨干提升已高，残差适配反而低于原骨干，论文解释为 2 维特征与时序卷积转向模块的结构失配，转向法则达到 14.79 分附近并保持感知分 2.79 与 4.29 附近，接近原骨干的 14.81 与 2.80 加 4.32。MossFormer2 上转向法为 12.65 分附近与感知 2.79 加 3.47，几乎复刻原骨干 12.68 与 2.79 加 3.47，而残差全量微调虽把提升做到 15.54 但感知掉到 2.51 加 3.02。这支持判断：残差法用拟合噪声分布换取侵入式分数，转向法用保冻结换取听感。
在更强 107 小时高保真语料预训练的 MossFormer2 上，转向法为 15.40 分与感知 2.88 加 3.87，接近原骨干 15.42 与 2.88 加 3.88，而残差法把提升做到 17.11 却把感知拉到 2.53 加 3.28，基线 AV-MossFormer2 为 15.52 与 2.64 加 3.06。这显示系统提取质量随骨干强度扩展，而传统适配难以维持高保真。同分布 LRS2-2mix 预训练加适配时，转向法同样紧贴原骨干，例如 TF-GridNet 转向 15.87 对原 15.90，MossFormer2 转向 15.02 对原 15.07，说明骨干既是下限也是上限。必须指出转向法并非每项最高，侵入式峰值多属残差全量微调，但其感知代价明确，这是选择时要权衡的代价。
内部路由对比后处理：准一点还是省一点？
测的是选路准确率与系统开销，比较对象是内部门控的 3 种损失组合与基于现成同步模型的后处理选择，条件是同一冻结骨干与同一 LRS2-2mix 测试。后处理用解码后波形与视频的唇音同步一致性打分挑通道，指标为 LSE-C 与 LSE-D 衍生的选择准确率。论文报告内部路由在最佳轮达到 99.93% 附近，分类加权重的组合在首轮即达 97% 以上而纯分类首轮仅 50%，最终纯分类为 99.73%，纯重构为 99.60%，联合为 99.93%，后处理两分数对应 99.80% 与 99.83%。这显示内部路由准确率略高且收敛更快，但差距不大，不能夸大为准的飞跃。
真正的差异在效率：内部复用潜特征省去额外解码重编码与预处理，计算从 308.56G 降到 256.82G，实时率从 0.209 降到 0.147。消融还表明联合优化兼顾快速收敛与最高终值，纯分类初期不稳，纯重构终值略低。机制上 LSM 让重构梯度能回传到选路逻辑，否则只是孤立分类，这是原文明确的实现归因。
内部路由 × 后处理选择： 内部路由分工是复用骨干潜特征直接在特征流中完成目标锚定并接受重构损失回传，后处理选择分工是把已解码波形再编码并用唇音同步分数挑通道，二者搭配比较的原因是两者都可复用冻结骨干但计算路径不同，组合比较的意义是揭示内部路由省去重复编解码与同步预处理且能让选路逻辑直接为信号重构优化。
未评测边界是原文未报告误判时的听感劣化程度与多轮实时延迟分解，训练资源与推理开销、输出帧率与实际延迟应分别讨论，不能把浮点下降直接等同于端到端延迟同比例下降。
哪些结论还不能下、哪些条件会失效？
论文直接报告的是 4 种骨干末层近无损转向、跨分布下感知保持、内部路由省算力，有限解释是先进骨干早期已解耦，未验证推测是该线性可交换性是否推广到三说话人、强混响或大幅域偏移。缺失证据不是技术错误，但复述时需用可能与待验证表达。相关性不等于因果：保持率高不能证明说话人身份在所有层都是线性编码，只能说在本次强制交换目标下线性残差已足够。适用条件明确为两说话人、单目标视频已知、骨干已具备高分离能力。
若骨干本身分离差，转向只能继承差结果，这正是同分布实验显示的上下限特性。原文表头与正文在个别残差对照的行列上较密集，阅读时应按是否冻结骨干与参数量列核对实验阶段，不把自动感知分当成人评，也不把不同指标的差值混放比较。阈值 0.5 与段平均门策略在门值抖动大时可能失效，但原文未报告抖动统计，这是复现时需补的验证项。
复现先做什么：冻结、插入、监督如何摆？
先准备数据与权重：按 LRS2-2mix 划分合成混合，保证信噪比在负 5 到 5 分贝随机，音频 16 kHz 单声道截 3 秒归一化，视频 25 帧灰度裁 112；骨干用对应 Libri2Mix 或 LRS2-2mix 预训练权重，视觉编码器与基线同构并加载唇读预训练权重。第一步复现强制交换：在冻结骨干末层插入 C 乘 C 矩阵，以门为 1 训练 10k 步，目标为通道交换后参考，检查保持率是否回到末层高位，若 Conv-TasNet 明显低于 95% 区应先查层索引与损失聚合是否按 2 通道求和。
第二步复现视觉门控：冻结骨干与矩阵，只训时序卷积两块各 3 层加门控头，视觉插值到音频时间分辨率后拼接，2 维骨干先投影到 16 维再展平，损失按分类加 0.1 乘重构组合训练 100k 步含 1k 步预热，推理对门平均后按 0.5 阈值并逐人抽取。先跑通 TF-GridNet 或 MossFormer2 末层再试首层，以确认深度趋势。代码开源、权重下载与系统可运行要区分：论文给出演示页当前可用，基线权重引自开源仓库，但本解读不虚构本仓库训练脚本路径，缺项应按原文超参数与冻结安排补齐后再谈加速。
何时值得尝试这种解耦？
当已有强纯音频分离引擎且视听数据较噪时值得尝试，因为此时重训全模型易用感知换分数，而冻结加转向能以约 1.5 到 2.0M 量级可训参数把任意骨干变为提取系统。当目标是刷侵入式峰值且不在乎听感时，残差全量微调可能更高，但需接受感知回落到野外数据水平。当骨干是 2 维时频结构时，需注意适配器结构失配，转向的优势恰在无需复杂特征改写。
当部署在乎省去 2 次编解码时，内部路由比后处理同步挑选更省算力，论文量级为数十 G 浮点与实时率约三成下降，但具体延迟仍需实测。未来验证应补三说话人、首层与中层门控稳定性、门抖动下的平滑策略，以及人评听感与野外录制泛化。记住一句话：分离交给冻结骨干保上限，选择交给视觉门控定通道，线性矩阵只是让两者在特征流中相遇的桥。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses