用双向保持网络做短窗分割：在 EEND-VC 里兼顾重叠与长录音

英文题目：Bidirectional Retention Network-based Segmentation Model for Speaker Diarization

会议身份：conference:interspeech:2026:conference-paper-id:you26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#RNN #高效推理 #语音 #说话人分离标注

评分：6.2/10 | 创新 1.1/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.6/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jian You：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangfeng Li：机构信息未能从会议 PDF 纯文本可靠映射
• Tengfei Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Erwan Zerhouni：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

说话人分离标注需从多人录音输出谁在何时说话，难点在于重叠语音、任意说话人数与长录音的可扩展拼接。该方法先以WavLM Base+多层可学习加权融合并线性降维至256维做前端，将波形转为帧级声学表示后送入后端。该后端用4块双向保持网络建模说话活动，每块含方向相反的保持模块与前馈网络并做残差跳连，再经线性加Softmax做局部幂集分类。随后对局部单人段提嵌入并经贝叶斯隐马尔可夫聚类得到全局身份，再拼接重叠窗预测完成长录音标注。与LSTM、注意力及Mamba后端不同，分块循环在块内并行、块间递推固定尺寸状态，固定分块下相对序列长度呈线性复杂度。在 7 个语料域内宏平均分离错误率 DER 上，冻结无适应的 BiRetNet 为 15.8%，优于 LSTM 的 17.3%、注意力的 17.9%与 Mamba 的 16.2%；微调加域适应后为 15.0%，在 AISHELL-4 的 9.9%与 VoxConverse 的 8.5%上超过同期最优。在7个数据集评测设置下，BiRetNet系统的分离错误率为15.8%，低于LSTM基线的分离错误率17.3%。代价是训练仅用 10 秒段、NOTSOFAR-1 仍高达 21.5%，长窗优势主要体现在内存而非速度。该结论的适用边界受限于仅用10秒段训练且长窗训练尚未验证，NOTSOFAR-1等高混叠场景为失败条件，其推理开销为实时率稳定在1.5左右而内存仅从611MB增至680MB。

🔗 开源与复现资源

• 复现相关资源：https://github.com/BUTSpeechFIT/DiariZen — 链接可访问（HTTP 200）
• 复现相关资源：https://github.com/BUTSpeechFIT/VBx — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

要解决的日志任务是什么，为什么重叠和长录音难兼得？

说话人日志要回答谁在何时说话，把连续录音切成带时间戳和说话人标签的片段。

初学者容易把它想成先检测有人说话再认人，但真实会议和聊天录音有两个硬点，一是多人同时说话的重叠段，传统先分段再对短段抽 i-vector 或 x-vector 再做凝聚层次聚类或贝叶斯 HMM 聚类的流水线难以给同一帧分配两个说话人，二是录音可能长达数小时且说话人数未知，纯端到端神经网络日志直接预测多说话人帧级活动，虽然天生支持重叠，却通常限定最大说话人数，且在长序列训练和推理时内存开销大。

论文沿用的 EEND-VC 路线是折中方案，只在重叠的短窗上跑端到端模型得到局部且排列模糊的说话人活动轨迹，再对每条轨迹抽 embedding 并聚类得到全局身份，最后缝合重叠窗预测。因为神经模型只看短块，计算和内存随长音频扩展更平缓，聚类又允许任意人数，且窗内仍保留重叠感知。目标说话人语音活动检测是另一条有效路线，它以目标说话人档案为条件估计每个目标的活动，本文明确走 EEND-VC 路线，工作集中在改进其局部分割主干。

端到端神经网络说话人日志 × 向量聚类： 端到端神经网络说话人日志负责在短窗内直接预测每帧每个说话人的活动，天然能表示重叠，但通常限定最大说话人数且长录音内存开销大；向量聚类负责把每个短窗内 permutation 模糊的局部说话人轨迹抽成 embedding 再聚成全局身份，从而支持任意人数和长录音；二者搭配的理由是前者保重叠感知，后者保全局一致性，组合后形成 EEND-VC，即短窗神经预测加跨窗聚类缝合。

输入是原始多说话人录音，输出是全局一致的说话人时间边界。学习依赖是先理解重叠为什么让聚类流水线失效，再理解固定人数和长序列为什么让纯端到端受限，最后才能理解为什么论文只替换局部分割后端而不改聚类框架。输出承诺在后文核对，凡涉及数据集名、DER 数值、参数量和窗口时长，都以原文证据为准，教学举例会明确标注为例子。

附录：阅读时易混的术语如何快速自查？

初学者可用 3 组对照自查。第一组是日志错误率与宏平均，前者是无领结口径下的主指标越低越好，后者是对多数据集取平均以看鲁棒性，不能把某单集最优直接当整体最优。第二组是 10 秒训练段、100 帧后端块和推理滑动窗，前者是训练切分，后者是保持计算内部切分对应 2 秒，推理还有步进比 0.1 的滑动窗，三者数字不可互换。

第 3 组是冻结与微调，第一阶段冻结指 WavLM 不动只训分割模型，第二阶段解冻指联合微调，域自适应是按数据集再做恒定小学习率训练，三者阶段不同、批量和学习率都不同，复述方法时应按阶段交代。本解读的事实只来自论文原文证据与本次收到的官方原图像素，不继承其他生成分析的解释，凡未报告的梯度路径、重置时机和统计显著性都按缺项处理。

已有分割后端和 RetNet 相关工作处在什么位置？

在 EEND-VC 框架里，前端把波形变成帧级声学表示，可以是滤波器组这类信号处理特征，可以是 SincNet 这类可学习波形前端，也可以是 WavLM 这类自监督预训练语音编码器，后端则对时间上的说话人活动建模。常见后端包括双向长短时记忆网络这类循环网络，也包括 Transformer 和 Conformer 这类基于注意力的模型，最近基于状态空间模型的 Mamba 也被用作日志分割后端。

RetNet 作为 Transformer 自注意力的替代方案出现，用保持机制桥接循环的归纳偏置和注意力式的全局依赖建模，同时保持有竞争力的性能，关键性质是对偶形式支持并行、循环和分块循环 3 种计算，前者利于 GPU 训练，后者在推理时保持紧凑固定尺寸状态且不依赖注意力式键值缓存，分块循环则在窗内并行编码并通过循环汇总跨窗传播信息，对序列长度呈线性复杂度，因此被认为适合日志后端这类长上下文建模。

在语音增强中基于保持的架构已改善恶劣条件下的信号质量，在日志方向已有工作把 EEND-EDA 中的 Transformer 编码器换成 RetNet，或把 Conformer 掩码自注意力换成保持，但它们仍继承 EEND 范式的固定最大说话人数和长录音内存瓶颈。双向 RetNet 已在视觉和多模态学习中用于融合空间与语言特征，但据作者所知，这是首次在 EEND-VC 系统中研究双向 RetNet 的效用。本文的对照因此不是拿类别差异当胜负，而是同输入、同目标、同运行阶段下的后端替换比较。

附录：与相邻路线的同条件对照应怎么表述？

与目标说话人语音活动检测的对照应表述为同输入都是多说话人录音、同目标都是帧级说话人活动，但监督与运行阶段不同，前者以说话人档案为条件，后者走短窗分割加聚类，本文选择后者并只改进局部主干，不能把本文对长短时记忆、注意力和 Mamba 的胜负直接套用到前者。与 RetNet-EEND 和 LS-EEND 的对照应表述为它们虽也用保持机制但仍在纯端到端范式下，受固定最大说话人数和长录音内存瓶颈制约，而本文把双向保持网络放在 EEND-VC 短窗内从而保留任意人数和长录音扩展性。

与视觉和多模态双向保持网络的对照应表述为同名机制不同任务，前者融合空间与语言特征，后者做时间上的说话人活动分割，迁移理由是都需要双向上下文，但效果仍需在日志数据上实测，不能从类别名称推定实现细节。

本文把问题收敛到哪一个可替换部件？

本文不发明新的日志范式，而是把问题收敛为在 Pyannote 流水线内实现 EEND-VC，并把其中局部分割模型换成 WavLM 前端加双向保持网络后端。Pyannote 日志流水线通常由局部端到端分割模型、说话人 embedding 抽取器和聚类模块组成，原局部模型是 SincNet 前端加 4 层双向长短时记忆网络，本文保留流水线其余处理逻辑，只替换局部分割模型。需要验证的判断是该替换是否在冻结 WavLM 的公平比较下超过长短时记忆、注意力和 Mamba，以及联合微调前端和按数据集域自适应是否带来进一步增益。

约束条件在原文交代清楚，训练时每条录音切成固定 10 秒段，powerset 建模取最大每段 4 个说话人、每帧最多 2 人同时说话，称可覆盖至少 97% 的数据，评估用无宽容度的日志错误率并报告宏平均以衡量整体性能和跨数据集鲁棒性。例子：可以把 10 秒窗想象成 1 次只看一小段会议，先在小段内判定哪几帧是谁在说话，再靠 embedding 聚类把各小段的说话人 A 对齐成全局的同一人，例子不涉及具体数值。

从波形到全局标签，样本要走过哪些步骤？

沿一个 10 秒样本走完全程有助于建立依赖顺序。16 kHz 音频先进入 WavLM Base+ 前端，输出约每秒 50 帧的 768 维表示，按 SUPERB 策略把所有 WavLM 层的表示在每帧做可学习加权求和，形成统一特征，再经线性投影从 768 维降到 256 维并做层归一化，送入后端。后端由 4 个双向保持网络块串联处理，每个块内有两路并行保持块，其中一路处理时间反转后的特征，两路输出与原始输入相加形成残差跳连。

保持计算采用分块循环模式，块尺寸为 100 帧，对应 2 秒窗，块内并行计算、块间经固定尺寸循环状态保持依赖，并把衰减因子设为 1 以消除时间信息衰减，从而在整个音频流上保持一致的说话人 embedding 条件。最后经线性投影加 softmax 在 powerset 空间做多分类，类别分别对应非语音、单个说话人和不同同时说话人对，用 powerset 多分类交叉熵损失训练。

得到局部活动后，只用单说话人音频段计算 ResNet34-LM embedding，自动检测到的重叠区在抽取前丢弃，再用 VBx 对 embedding 聚类，把每个局部活动说话人映射到全局簇后组装成最终全局日志输出。

WavLM 前端 × 分块循环后端： WavLM 前端负责把 16 kHz 波形变成每秒约 50 帧的 768 维自监督表示，并按 SUPERB 策略对所有层做可学习加权求和，再经线性层降到 256 维；分块循环后端负责把该特征按 100 帧即 2 秒切块，块内并行建模、块间用固定状态传递依赖，并把衰减因子设为 1 以不衰减长期信息；搭配理由是前端提供鲁棒声学基础，后端提供长上下文分割能力，组合后形成先表示后时序建模的完整分割模型。

powerset 分类 × VBx 聚类： powerset 分类负责把局部最大 4 个说话人、每帧最多 2 人同时说话的组合展开为互斥类别，类别覆盖非语音、单说话人和不同说话人对，用 powerset 损失训练；VBx 聚类负责只用单说话人段抽 ResNet34-LM embedding 并丢弃检测到的重叠区，再做贝叶斯 HMM 聚类得到全局身份；搭配理由是前者解决短窗内重叠帧的归属问题，后者解决跨窗身份一致问题，组合后经缝合得到完整录音的谁在何时说话。

该流程的复述要点是前端降维后的 256 维特征才是后端输入，100 帧块是后端内部的计算切分，不同于训练用的 10 秒段和推理用的滑动窗，不能混为一谈。

保持块的三种计算形式如何分工，模型超参数是什么？

理解后端先要分清输入投影与 3 种表示。给定输入序列，模型先用可学习权重投影出查询、键和值，这是 3 种范式的共同起点。并行表示主要用于 GPU 高效训练，它用融入指数衰减的因果掩码矩阵按相对距离加权，1 次性完成全局依赖计算。循环表示用于推理，可写成线性递推，每步只做常数开销的状态更新而不需要键值缓存，状态是固定尺寸的循环状态。

分块循环是混合方案，把长度为 L 的序列切成长度为 B 的块，块内并行、块间递推，从而高效处理长录音，当 B 为固定超参数时系统相对总序列长度达到线性时间复杂度。论文参考官方 RetNet 实现搭建保持块，具体是四头保持模块加隐藏尺寸 1024 的前馈网络，用前层归一化和残差连接稳定训练，保持计算以块尺寸 100 帧跑分块循环模式，衰减因子取 1，4 个双向块串联。下面的图是理解对偶形式的关键，只解读本次实际收到像素的官方原图，不猜测未给出的模块位置。

对偶形式左为并行、右为循环的图前导读如下，左面板展示训练用的 1 次性计算路径，右面板展示推理用的逐时刻状态递推路径，阅读时应先确认输入输出箭头再对比中间算子的差异。

看图路径： 1. 先看左面板输入 X 如何分出 Q、K、V 三路再进入带衰减矩阵的乘法与组归一化；2. 再看右面板底部输入 Xn 如何生成 Vn、Kn、Qn 并与左侧递推状态 Sn-1 汇合；3. 对比左右两路输出 O 与 On 的位置，确认并行一次算完与逐时刻递推的对应关系；4. 找到右图 gamma 标注的衰减通路，联系正文把衰减设为 1 即不衰减的改动

论文图 1。原论文 Figure 2：“Dual form of RetNet. “GN” stands for GroupNorm. (a) is parallel representation. (b) is recurrent representation.”。

从像素可见，左面板底部是输入 X 向上分出 Q、K、V 3 路，中间蓝色算子标注为带衰减矩阵的 QK 转置乘法再乘 V，顶部经组归一化得到输出 O，整体被虚线框包围表示并行块；右面板底部同样是输入 Xn 向上生成 Vn、Kn、Qn，左侧有循环状态 Sn-1 沿 gamma 通路进入加法节点并向右传出 Sn，中间有两个乘法节点分别融合状态与键值、查询，右侧经组归一化得到输出 On，绿色底块表示循环计算单元。该图支持并行与循环是同一保持计算的两种实现这一判断，衰减设为 1 的改动意味着右图中 gamma 通路不再随时间衰减旧状态，论文称这是为了在整个音频流上维持一致的说话人 embedding 条件，属于原文明确的实现选择。

保持机制 × 双向保持网络： 保持机制是 RetNet 中替代自注意力的序列建模算子，分工是同时提供可并行训练的并行形式和固定尺寸状态递推的循环形式，并用衰减因子控制时间距离的影响；双向保持网络的分工是把两路保持块分别跑正序和逆序特征再与输入相加形成残差，让当前帧同时看到过去和未来上下文；搭配理由是日志分割需要双向上下文判定说话人边界，而单向递推只看到过去，组合后在 EEND-VC 短窗内得到前后文感知的帧级活动表示。

并行表示 × 循环表示： 并行表示负责在训练时用因果掩码加指数衰减矩阵 1 次性算完全序列，发挥 GPU 并行优势；循环表示负责在推理时把状态压缩为固定尺寸并做常数开销的状态更新，不需要注意力式的键值缓存；二者是同一保持计算的对偶形式，搭配理由是训练要快、推理要省，组合出第 3 种分块循环形式，即块内并行、块间递推，从而对长序列实现线性复杂度。

需要指出的缺项是原文让读者去原 RetNet 论文查完整理论推导和实现细节，这里只给功能性表示，因此不能从模型名推定梯度路径或重置时机的额外细节。

两阶段训练和域自适应具体冻结了什么，优化条件是什么？

训练分两个阶段，这是复现时最容易出错的地方。第一阶段保持预训练 WavLM 参数冻结，只优化分割模型，所有模型训练 100 轮，批量 128，用 AdamW 默认超参数，初始学习率 1e-3，配 ReduceLROnPlateau 调度器，10 轮无改善则学习率减半。第二阶段解冻 WavLM 联合微调整个系统，受内存限制批量从 128 降到 64，初始学习率从 1e-3 降到 1e-5，调度器耐心从 10 调到 8，最多训练 60 轮。域自适应按数据集进行，依赖对应训练集和开发集，用早停耐心 10 轮和恒定学习率 1e-5。

推理用基于 Pyannote 流水线的 DiariZen 框架，最终模型由最后 15 个检查点平均得到，超参数经 Optuna 在每个数据集开发子集上搜索 300 轮，具体调 4 个超参数，分别是窗内说话人间隙桥接阈值、聚类阈值以及 VBx 算法中的声学缩放因子和说话人正则系数。前端 WavLM Base+ 本身含 94.3M 参数的说法在后文用于解释参数比较，训练窗固定 10 秒、powerset 取 N 为 4、K 为 2 的设置与损失选择共同决定了监督来源，原文未报告梯度截断或额外的停止梯度安排，复述时不补充。

数据、基线和指标如何保证比较公平？

训练用复合数据集，由 AMI-SDM、AISHELL-4、AliMeeting far、NOTSOFAR-1、MSDWild Few、VoxConverse v0.3、RAMC、LibriConvo、CallHome 和一个合成集的训练划分组成，总时长 952 小时，其中 CallHome 用 part13 训练，多通道阵列只保留第一通道，合成集按已有配方用 LibriSpeech 仿真混合并加 MUSAN 背景噪声和仿真房间脉冲响应，DIHARD III 被排除在复合训练集之外，仅用于域外评估和域自适应后评估。

基线为保证架构比较公平，均在第一阶段即 WavLM 冻结设置下评估，长短时记忆后端按已有实现，注意力后端基于 Transformer 编码器块，Mamba 后端代码取自已有分割模型工作，第二阶段微调只用于所提双向保持网络以评估前端联合自适应的额外作用。embedding 抽取器用在 VoxCeleb2 上经 WeSpeaker 工具包训练的 ResNet34-LM，聚类用 VBx 且参数在实验中优化。性能用无领结的日志错误率评估，并报告宏平均作为整体性能和跨数据集鲁棒性的综合度量。

由于 VoxConverse 中短停顿被标注为语音而非静音，论文对所有系统在该集评估时把间隙桥接阈值设为 0.5 秒，复现时应保留该条件，否则跨系统比较会失真。硬件与效率测量条件单独交代，分割推理效率实验用 AliMeeting 的 1 小时音频，在单线程、批量 1、滑动窗步进比 0.1 的统一纯 CPU PyTorch 环境下测实时率和峰值内存，实时率定义为分割模型处理时间与音频时长之比。

主结果在什么条件下成立，谁没有胜出？

比较问题是，在 WavLM 冻结且无域自适应的同条件下，双向保持网络是否超过长短时记忆、注意力和 Mamba，指标是各集日志错误率越低越好，宏平均用于看整体。表前需要明确公平条件是同前端、同训练阶段、同评估无领结口径，只有满足该条件才能把宏平均差异归因于后端建模。

表中数字的逐字依据是原文报告双向保持网络系统把域内宏平均改善到 15.8%，而长短时记忆与注意力在 17.3–17.9% 之间、Mamba 为 16.2%，以及联合域自适应后系统达到 15.0% 宏平均并在 AISHELL-4 和 VoxConverse 分别达到 9.9% 和 8.5%。主要收益是所提系统在多数评估集上一致优于 3 个基线，尤其相对长短时记忆和注意力提升明显，对更强的 Mamba 仍在除 VoxConverse 外的所有数据集上取胜且宏平均更优。

具体代价是前端微调单独使用时改善有限甚至混合，只有与域自适应结合的系统才达到最强整体性能。未胜出项必须保留，Mamba 在 VoxConverse 上未被超越，所提系统在 MSD 上为第二好 18.4%，不能把总体趋势推广为每集必胜。

块数、块尺寸和参数量消融说明了什么？

消融要回答增加复杂度是否值得以及 2 秒块为何合适。块数消融显示四块配置整体最优，在各数据集上 consistently 产生最低错误率，加到五块常使性能下降，例如 AliMeeting 上错误率从 16.1% 升到 16.7%，表明额外复杂度收益有限并可能引入优化开销。

块尺寸消融显示 100 帧通常在多数语料上最低，论文用对话动态解释，AliMeeting 中 92% 的说话人轮次间隔发生在 2 秒内，因此 2 秒窗能覆盖多数轮次转换而不像 1 秒窗即 50 帧那样丢失信息，而 5 秒窗即 250 帧虽可能在某些上下文改善漏检，却因聚合过长时间数据而引入更高说话人混淆和虚警，因此 2 秒是保持局部精度的平衡点。

参数量对照用于排除以大打小的质疑，WavLM 前端含 94.3M 参数，排除它后双向保持网络后端为 8.6M，大于长短时记忆的 1.6M 和 Mamba 的 7.4M，但把块数从 4 减到 3 得到 6.5M 参数的版本仍以 15.9% 域内平均超过更大的 Mamba 基线的 16.2%，进一步把特征维度降到 64 得到 1.4M 参数的版本仍以 16.5% 超过参数更大的长短时记忆系统，支持增益主要来自架构而非单纯参数优势的判断，但仍是有限解释而非因果证明。

效率优势的边界和未测量的内容有哪些？

效率问题是随窗口变长，实时率和峰值内存如何变化，测量条件是统一纯 CPU、单线程、批量 1、步进比 0.1，指标方向是实时率越低越好、内存越低越好。表前公平条件是同音频、同窗口时长、同执行环境，只有在该统一 CPU 执行条件下比较内存与实时率才有意义。

表中内存与实时率数字的逐字依据是原文报告双向保持网络实时率保持在 around 1.5、内存从 611 MB 温和增至 680 MB，而注意力模型内存从 10 秒时 722 MB 急剧增至 60 秒时 2334 MB 且长窗实时率更高，以及 6.5M 参数版本以 15.9% 超过 Mamba 基线的 16.2%。主要收益是双向保持网络随窗口增长的内存增长平缓且在所有窗口下内存一致低于其他后端，符合分块循环保持的预期扩展行为，而注意力内存急剧上升。

必须说明的边界是效率表只测分割模型推理，未测量训练资源与完整链路延迟，也未测量误判率随窗口的变化，因此不能承诺端到端延迟同样改善，且密集场景重叠解析仍是难点。

要复现应先准备什么，代码当前是否可用？

复现先做三件事。第一，按原文复合训练集口径准备数据并保留第一通道、10 秒切分和 powerset 最大 4 人、每帧最多 2 人同时说话的设置，DIHARD III 只做域外和自适应后评估，不要混入训练。第二，先跑第一阶段冻结 WavLM 的公平比较，批量 128、学习率 1e-3、耐心 10 的调度跑 100 轮，再跑第二阶段解冻联合微调，批量 64、学习率 1e-5、耐心 8、最多 60 轮，域自适应用恒定 1e-5 和早停耐心 10，最后平均最后 15 个检查点并用 Optuna 在各集开发集上搜 300 轮调 4 个阈值与 VBx 系数，VoxConverse 评估时把间隙桥接阈值设为 0.5 秒。

第三，效率复测要固定单线程纯 CPU、批量 1、步进比 0.1 并报告分割模型处理时间与音频时长之比及峰值内存。资源状态是正文开源声明的唯一依据，本次收到的资源校验显示复现资源 1 即 DiariZen 链接当前可用、状态 200，资源 2 即 VBx 链接当前可用、状态 200，因此可写这两个链接当前可用。正文还提到模型源码位于 https://github.com/frankyoujian/BiRetNet 日志项目，但本次资源清单未对其做可用性校验，复述时不对其可达性做断言，需要时以实际访问为准。

保留关键超参数包括 WavLM Base+ 输出 768 维降到 256 维、保持块四头、隐藏 1024、前层归一化加残差、块尺寸 100 帧、衰减为 1、四块串联，这些是复现信息条件。

何时值得尝试这种后端，还需补哪项验证？

当任务落在 EEND-VC 短窗分割、需要双向上下文且希望长窗推理内存平稳时，值得尝试 WavLM 加双向保持网络的组合，尤其是在已有 Mamba 仍感不足且能接受 8.6M 后端参数的场景。复现优先级是先在冻结前端下复现 15.8% 对 17.3% 到 17.9% 和 16.2% 的相对顺序，再验证 6.5M 和 1.4M 小参数版本是否仍保持对 Mamba 和长短时记忆的优势，最后再做前端微调加域自适应冲击 15.0% 及 AISHELL-4 和 VoxConverse 的最好结果。

还需补的验证包括更长训练窗是否如未来工作所设想带来增益、除报告集之外的密集多说话人场景是否稳定、以及训练成本与全链路延迟的实测，因为原文效率证据只覆盖分割推理的实时率和内存。常见误解是把分块循环的线性复杂度直接等同于全系统更快更准，实际上线性针对的是保持计算随序列长度的扩展，整体日志错误率仍受前端、powerset 覆盖率、embedding 质量和 VBx 调参的共同制约，NOTSOFAR-1 的高错误率已经提示了这一点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总