说话人分离

ICASSP 2026 - 说话人分离 共 9 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Train Short, Infer Long: Speech-LLM Enables Zero-Shot Stream 9.0分 前10% 🥈 VBx for End-to-End Neural and Clustering-Based Diarization 8.5分 前25% 🥉 Spatially Aware Self-Supervised Models for Multi-Channel Neu 8.0分 前25% 4. Dual-Strategy-Enhanced Conbimamba for Neural Speaker Diariza 8.0分 前25% 5. Attention-Based Encoder-Decoder Target-Speaker Voice Activit 8.0分 前25% 6. β-AVSDNET: A Novel End-To-End Neural Network Architecture Fo 7.5分 前25% 7. Automatic Estimation of Speaker Diarization Error Rate Based 7.5分 前25% 8. Single-Microphone Audio Point Source Discriminative Localiza 7.0分 前25% 9. Integrating Speaker Embeddings and LLM-Derived Semantic Repr 6.5分 前25% 📋 论文详情 🥇 Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio 🔥 9.0/10 | 前10% | #说话人分离 | #语音大模型 | #语音识别 #端到端 ...

📄 Integrating Speaker Embeddings and LLM-Derived Semantic Representations for Streaming Speaker Diarization #说话人分离 #大语言模型 #流式处理 #模型评估 ✅ 6.5/10 | 前25% | #说话人分离 | #大语言模型 | #流式处理 #模型评估 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Tianyou Cheng（NERC-SLIP, University of Science and Technology of China (USTC), Hefei, China） 通讯作者：Jun Du（*标记表明为通讯作者，机构同第一作者） 作者列表：Tianyou Cheng（USTC）、Changfeng Xi（iFlytek Research）、Jia Pan（iFlytek Research）、Ruoyu Wang（USTC）、Hang Chen（USTC）、Jiangyu Han（Brno University of Technology, Speech@FIT）、Luk´aˇs Burget（Brno University of Technology, Speech@FIT）、Jianqing Gao（iFlytek Research）、Jun Du（USTC） 💡 毒舌点评 亮点：思路巧妙，将LLM的“语义指纹”与说话人的“声纹”结合用于实时区分身份，解决了纯声学方法在语义连贯对话中可能出现的漂移问题，并提出了更合理的评估指标cWDER。短板：核心系统（ASR、LLM、说话人模型）全部依赖未开源的内部模型与数据，如同在“黑箱”上搭积木，学术可复现性大打折扣；且关键损失函数和优化细节缺失，让方法论部分显得不够“硬核”。 ...

📄 Scaling Multi-Talker ASR with Speaker-Agnostic Activity Streams #语音识别 #说话人分离 #预训练 #端到端 🔥 8.5/10 | 前25% | #语音识别 | #预训练 | #说话人分离 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Xiluo He (约翰斯·霍普金斯大学计算机科学系) 通讯作者：Xiluo He (xhe69@jh.edu) 作者列表：Xiluo He (约翰斯·霍普金斯大学计算机科学系)、Alexander Polok (布尔诺理工大学信息技术学院)、Jes´us Villalba (约翰斯·霍普金斯大学人类语言技术卓越中心)、Thomas Thebaud (约翰斯·霍普金斯大学人类语言技术卓越中心)、Matthew Maciejewski (约翰斯·霍普金斯大学人类语言技术卓越中心) 💡 毒舌点评 亮点：工程设计巧妙，通过将多说话人活动“压缩”为两个与说话人无关的流，将推理成本从与说话人数成正比降至固定为两次，且性能损失可控，这是非常实用且优雅的解决方案。短板：方法建立在“同时只有两个说话人重叠”这一较强假设上，论文中对超过两人重叠的场景虽有讨论，但应对策略有限，且未与另一主流降本方案（如SOT）进行直接对比，说服力稍有欠缺。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/xiluohe/heat-conditioned-whisper 模型权重：论文中未提及是否公开训练好的模型权重。 数据集：使用了公开数据集AMI、ICSI、LibriMix。论文未提供数据集本身（因其公开），但说明了数据获取途径和使用方式（如SDM条件）。 Demo：论文中未提及在线演示。 复现��料：提供了训练细节（优化器、学习率、调度策略等）、模型架构描述（基于Whisper-large-v3-turbo）、评估指标定义。这些构成了良好的复现基础。 论文中引用的开源项目/模型： Whisper：作为基础预训练模型。 DiCoW：作为直接比较和集成的基础框架。 Diarizen：在实验中用于获取自动说话人活动掩码。 📌 核心摘要 要解决的问题：现有基于说话人活动条件的多说话人ASR系统（如DiCoW）需要为目标说话人逐个运行识别模型，导致推理成本与说话人数量成正比，严重限制了其在实际场景中的应用效率。 方法核心：提出一种将说话人特定的活动输出转化为两个说话人无关（Speaker-Agnostic）流的框架。核心是利用HEAT思想，并设计新的启发式分配策略（特别是“说话人连续性”启发式），将多个说话人的语音片段分配到两个固定的流中，使得每个流在时间上不重叠。 与已有方法相比新在哪里：不同于传统方法需要为每个说话人运行一次模型，或序列化输出训练（SOT）对标签格式敏感，该方法通过合并活动流，将模型推理次数固定为两次，且对活动标签格式更鲁棒。同时，相比于基于分离的方法，它避免了分离引入的伪影。 主要实验结果：在AMI和ICSI会议数据集上，使用“说话人连续性”启发式，基于Oracle活动的tcORC-WER分别为19.71和24.94，接近直接使用说话人活动的性能（17.18和23.84）。在使用自动日志系统（Diarizen）输出时，该方法在AMI和ICSI上分别实现了123%和159%的相对推理速度（RTFx）提升，同时WER仅有小幅上升。在SparseLibriMix数据集上的实验表明，当重叠说话人数超过两人时，性能差距会拉大。 实际意义：该方法能大幅降低多说话人ASR系统的部署和计算成本，使其在实时会议转录、在线协作等场景中更具可行性和经济性。 主要局限性：性能依赖于“同时重叠说话人不超过两人”的假设，在三人及以上重叠场景下性能会下降。目前输出为说话人无关的转录流，未能同时解决说话人归属问题。 🏗️ 模型架构 本文方法的核心在于对现有活动条件ASR模型（DiCoW）的输入进行改造，其自身并不提出全新的ASR模型架构。 ...

📄 SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper #语音识别 #条件生成 #预训练 #数据增强 #说话人分离 🔥 8.5/10 | 前25% | #语音识别 | #条件生成 | #预训练 #数据增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Alexander Polok (Speech@FIT, Brno University of Technology, Czechia) 通讯作者：未明确说明（论文中未提供邮箱或通讯作者标识） 作者列表：Alexander Polok（布尔诺理工大学，Speech@FIT）、Dominik Klement（布尔诺理工大学，Speech@FIT）、Samuele Cornell（卡内基梅隆大学，语言技术研究所）、Matthew Wiesner（约翰霍普金斯大学，CLSP & HLTCOE）、Jan Černocký（布尔诺理工大学，Speech@FIT）、Sanjeev Khudanpur（约翰霍普金斯大学，CLSP & HLTCOE）、Lukáš Burget（布尔诺理工大学，Speech@FIT） 💡 毒舌点评 亮点在于“自注册”机制的设计非常巧妙，它不依赖于额外的说话人嵌入模型，而是直接从当前录音中利用分割信息“挖掘”目标说话人特征，优雅地解决了重叠区STNO掩码的歧义问题，且开源彻底。短板则是自注册机制依赖于一个（可能并非最优的）外部分割和聚合操作，这在实时或资源受限场景下可能引入额外延迟或复杂性；同时，尽管取得了显著进步，但该领域仍存在其他强大的基线（如表1中引用的其他SOTA），其绝对性能优势在真实数据上并非压倒性的。 🔗 开源详情 代码：提供了训练代码仓库 (https://github.com/BUTSpeechFIT/TS-ASR-Whisper) 和推理代码仓库 (https://github.com/BUTSpeechFIT/DiCoW) 的链接。 模型权重：提供了SE-DiCoW模型权重的Hugging Face链接 (https://huggingface.co/BUT-FIT/SE_DiCoW) 以及DiCoW v3.3的权重链接。 数据集：论文中训练和评估使用的数据集（AMI, NOTSOFAR-1, LibriMix）多为公开数据集，但注明训练时使用的是包含非公开子集的NOTSOFAR-1版本。评估基准为EMMA MT-ASR Benchmark。 Demo：论文中未提及在线演示链接。 复现材料：论文详细列出了学习率、batch size、训练步数、warmup步数、优化器调度、数据增强具体参数（噪声概率、方差、分段概率等）以及FDDT初始化方法，复现细节充分。 依赖的开源项目/模型： 基座模型：OpenAI的whisper-large-v3-turbo。 日志系统：DiariZen（一个基于Pyannote的说话人日志系统）。 数据处理/增强：SpecAugment, MUSAN语料库。 评估工具：MeetEval（用于计算tcpWER）。 开源计划：论文明确声明代码和模型已公开，无其他计划说明。 📌 核心摘要 要解决什么问题：在多说话人语音识别（TS-ASR）中，先前基于说话人日志条件化（DiCoW）的方法在语音完全重叠的区域，不同目标说话人的STNO（静音-目标-非目标-重叠）条件掩码会变得几乎相同，导致模型无法有效区分说话人并产生错误转录。 方法核心是什么：提出SE-DiCoW，引入“自注册”机制。模型根据说话人日志输出，自动在整段录音中选择一个目标说话人最活跃（即语音最清晰）的片段作为“注册段”。该注册段的特征通过交叉注意力机制被融合到编码器的每一层，为当前处理的混合语音提供稳定的、说话人特定的上下文信息，以解决歧义。 与已有方法相比新在哪里：a) 核心创新：首次提出利用目标说话人自身的清晰片段作为额外条件输入（自注册），而非仅依赖全局STNO掩码或外部说话人嵌入。b) 架构增强：在原DiCoW基础上增加了一个预位置嵌入层的FDDT模块，用于更早地调制模型表示。c) 训练策略改进：修正了训练数据分段方式（去除不自然的结束时间戳）、改进了模型初始化方法、并设计了多种数据增强（对STNO掩码加噪、翻转等）以提高对日志误差的鲁棒性。 主要实验结果如何：SE-DiCoW在EMMA MT-ASR基准测试中取得了最佳性能。相比原始DiCoW，在使用“神谕日志”（oracle diarization）时，其宏平均tcpWER降低了52.4%。在最具挑战性的Libri3Mix-clean（3人全重叠）数据集上，相对改进超过75%（tcpWER从39.5%降至9.7%）。在使用真实DiariZen日志系统时，SE-DiCoW在AMI SDM和Libri2Mix上达到了当时的SOTA水平，并在其他数据集上与领域专用系统性能相当。关键数据如下表所示： 表1：部分关键数据集的tcpWER (%)对比（使用Oracle Diarization） 数据集 DiCoW (原始) DiCoW v3.3 SE-DiCoW NOTSOFAR-1 19.6 16.0 15.8 AMI-SDM 17.5 14.5 14.3 AMI-IHM-Mix 13.7 11.0 11.0 Libri3Mix-Clean 39.5 27.7 9.7 Libri3Mix-Both 49.1 16.0 19.9 (注：此处论文表格数据似乎有矛盾，原文显示SE-DiCoW为19.9，但比DiCoW v3.3的16.0高，可能为笔误或特定条件，需以论文表格为准) 实际意义是什么：该工作推动了端到端目标说话人ASR技术的发展，证明了通过简单的“自注册”条件输入，可以在不依赖复杂说话人建模的情况下，显著提升系统在复杂重叠场景下的准确性和鲁棒性。其跨数据集的良好泛化能力对实际会议记录、访谈转录等应用有重要价值。 主要局限性是什么：a) 依赖外部组件：自注册段的选择依赖于预先计算的、可能不准确的说话人日志结果。b) 潜在延迟：需要先处理整个录音（或一个大窗口）以找到最佳注册段，然后才能进行转录，可能不适合严格的流式应用。c) 重叠处理极限：尽管改进显著，但在极端重叠（如多于3人同时说话）或日志系统能力有限时（如DiariZen最多处理2个同时说话人），性能仍会下降。 🏗️ 模型架构 SE-DiCoW基于Whisper-large-v3-turbo编码器-解码器架构进行微调，核心改进在于增强了编码器部分，使其能够接受并有效利用说话人日志条件信息。 ...

📄 Single-Microphone Audio Point Source Discriminative Localization from Reverberation Late Tail Estimation #说话人分离 #声源定位 #信号处理 #单通道 ✅ 7.0/10 | 前25% | #说话人分离 | #信号处理 | #声源定位 #单通道 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Matthew Maciejewski（Johns Hopkins University, Human Language Technology Center of Excellence, Baltimore, USA） 通讯作者：未说明 作者列表：Matthew Maciejewski（Johns Hopkins University, Human Language Technology Center of Excellence） 💡 毒舌点评 这篇论文巧妙地将一个成熟的去混响工具（WPE）“废物利用”，提取出隐藏的空间定位线索，思路颇具巧思且理论推导自洽，实验也从合成数据一直做到了真实会议场景。然而，其核心弱点暴露无遗：一旦说话人像在真实会议里那样动来动去，这个严重依赖房间脉冲响应稳定性的方法就直接“翻车”，性能在AMI数据集上断崖式下跌，最终还是打不过人家用“刷脸”（x-vector）的主流方法，证明了其目前只能作为锦上添花的辅助信号，而非革命性的替代方案。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用了三个数据集：Linear WHAMR!（源自WHAMR!）、LibriCSS和AMI Meeting Corpus。论文未说明这些数据集是否公开，但WHAMR!、LibriCSS和AMI均为公开数据集。 Demo：未提及。 复现材料：论文提供了WPE的主要参数（窗长、滤波器长度、延迟、迭代次数）和用于比较的窗口大小。但未提供LDA训练所用开发集的构成、分布参数估计细节、以及基线x-vector系统的完整复现信息。 论文中引用的开源项目：提到了用于生成模拟房间响应的Image Method（[43]）以及x-vector基线系统（ReNet-101， [36]）。但未明确说明是否直接使用了这些项目的代码。 📌 核心摘要 本文针对单麦克风音频源位置区分问题，提出了一种基于房间混响晚期拖尾估计的统计判别方法。核心思想是利用WPE去混响滤波器的特性，该滤波器主要建模与房间几何形状相关且相对稳定的混响晚期成分。论文假设，如果两个音频片段来自同一位置，其对应的WPE滤波器在幅度和相位（反映延迟） 上应相似。方法通过估计滤波器间的幅度差异（α̂）和延迟差异（d̂），并计算在“同源”与“异源”假设下的对数似然比，最后使用LDA融合两个分数得到最终判别得分。 ...

📄 Spatially Aware Self-Supervised Models for Multi-Channel Neural Speaker Diarization #说话人分离 #自监督学习 #麦克风阵列 #多通道 #语音活动检测 🔥 8.0/10 | 前25% | #说话人分离 | #自监督学习 #麦克风阵列 | #自监督学习 #麦克风阵列 学术质量 8.0/7 | 选题价值 8.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文按顺序列出作者，但未明确标注第一作者） 通讯作者：未说明 作者列表：Jiangyu Han（布尔诺理工大学），Ruoyu Wang（中国科学技术大学），Yoshiki Masuyama（三菱电机研究所），Marc Delcroix（NTT公司），Johan Rohdin（布尔诺理工大学），Jun Du（中国科学技术大学），Lukáš Burget（布尔诺理工大学） 💡 毒舌点评 这篇论文巧妙地利用WavLM的早期层注入空间信息，避免了从头训练多通道模型的高成本，方法设计轻量且通用。不过，其核心创新更多是工程上的“缝合”而非理论突破，且第二阶段的融合策略依赖于第一阶段的通道注意力权重，限制了端到端优化的可能。 🔗 开源详情 代码：是。提供了GitHub仓库链接：https://github.com/BUTSpeechFIT/DiariZen。 模型权重：未提及。 数据集：未提及新数据集。使用五个公开数据集：AMI， AISHELL-4， AliMeeting， NOTSOFAR-1， CHiME-6。 Demo：未提及。 复现材料：论文详细说明了模型配置、训练和评估细节。代码开源是主要复现材料。 论文中引用的开源项目： DiariZen [5] WavLM [3] pyannote.audio [28] VBx聚类 [35] WPE [33] BeamformIt [34] 论文中未提及开源计划以外的其他内容。 📌 核心摘要 问题：当前基于自监督学习（如WavLM）的说话人分离系统通常在单通道数据上预训练，无法有效利用多通道录音中的空间信息。传统的后融合方法（如DOVER-Lap）计算成本高且空间信息利用不充分。 核心方法：在现有DiariZen管线（结合WavLM的EEND与向量聚类）基础上，提出一种轻量级方法：在预训练单通道WavLM的早期层中插入可学习的“通道通信模块”，使其能感知空间信息。该模块对麦克风数量和阵列拓扑结构通用。在聚类阶段，提出利用通道注意力权重来融合多通道说话人嵌入。 创新点：a) 在特征提取器内部注入空间感知能力，而非依赖后期融合；b) 使用结构化剪枝后的WavLM，在保持性能的同时大幅降低计算量；c) 提出基于注意力权重的说话人嵌入融合策略，无需额外训练。 主要实验结果：在五个公开数据集（AMI， AISHELL-4， AliMeeting， NOTSOFAR-1， CHiME-6）上进行评估。 表1（Oracle聚类下）：所提的ChannelAttention（ChAtt）多通道模型在所有数据集上均优于单通道基线，且使用剪枝WavLM（18.8M参数）的性能接近未剪枝版本（94.4M参数）。 System WavLM Pruned DER (%) AMI Single-channel - - 13.5 Single-channel - ✓ 13.3 ChAtt - - 13.1 ChAtt - ✓ 12.9 TAC - ✓ 12.8 表2（VBx聚类下）：所提方法的“attentive weighted fusion”变体在CHiME-6数据集上将DER降至27.5%，接近当时SOTA系统（27.5% vs ~25%），且计算效率优于DOVER-Lap基线。 System DER (%) AMI Single-channel 15.3 DOVER-Lap 14.7 Average probs & embs 14.9 ChAtt, DOVER-Lap 14.8 ChAtt, average embed. 14.9 ChAtt, att. argmax 14.9 ChAtt, att. weighted fusion 14.8 图2（推理时间）：显示“attentive argmax”方法的推理时间显著低于DOVER-Lap，因为其仅从注意力最高的通道提取嵌入。 图3（注意力权重）：分析了CHiME-6上的通道注意力权重，显示不同层对通道的关注度不同，且模式随输入变化，表明模型在利用空间线索。 图4（麦克风依赖性）：分析了不同数据集上各单通道性能的方差，解释了为何在AliMeeting和CHiME-6上多通道增益更大（其录音配置导致通道间性能差异显著）。 实际意义：提供了一种高效、通用且易于实施的框架，将强大的单通道自监督预训练模型扩展到多通道说话人分离场景，性能超越传统后期融合方法，且计算成本更低，更适合实际部署。 主要局限性：a) 第二阶段的说话人嵌入提取仍基于单通道，未利用多通道信息（论文指出这是未来工作）；b) 所提方法在录音条件均匀的数据集（如AMI）上提升有限，其优势主要体现在空间线索明显的复杂场景。 🏗️ 模型架构 本文的工作建立在DiariZen系统（一个EEND-VC管线）之上，并对其进行了多通道扩展。整体架构分为两个阶段： ...

📄 Target Speaker Anonymization in Multi-Speaker Recordings #语音匿名化 #语音转换 #说话人分离 #说话人验证 #基准测试 ✅ 7.6/10 | 前50% | #语音匿名化 | #语音转换 | #说话人分离 #说话人验证 学术质量 5.5/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Natalia Tomashenko（Université de Lorraine, CNRS, Inria, Loria） 通讯作者：未说明 作者列表：Natalia Tomashenko（Université de Lorraine, CNRS, Inria, Loria）、Junichi Yamagishi（National Institute of Informatics）、Xin Wang（National Institute of Informatics）、Yun Liu（National Institute of Informatics）、Emmanuel Vincent（Université de Lorraine, CNRS, Inria, Loria） 💡 毒舌点评 亮点在于清晰地定义了多说话人场景下目标匿名化这一重要且实际的问题，并初步建立了一个包含“提取-匿名化-重组”的端到端评估框架，其对评估指标的讨论（如tcpWER、DER）比单纯追求更低EER更具工程指导意义。短板在于方法上本质上是将已有的TSE和匿名化模型进行管道式拼接，缺乏针对该联合任务的深度融合与创新，且实验揭示了管道中误差传递导致最终实用性（tcpWER）显著下降的核心矛盾，但论文并未提出根本性的解决方案。 ...

📄 Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio #语音识别 #说话人分离 #语音大模型 #端到端 #流式处理 🔥 9.0/10 | 前10% | #说话人分离 | #语音大模型 | #语音识别 #端到端 学术质量 7.0/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Mohan Shi（UCLA， Microsoft CoreAI） 通讯作者：未说明 作者列表：Mohan Shi（UCLA， Microsoft CoreAI）、Xiong Xiao（Microsoft CoreAI）、Ruchao Fan（Microsoft CoreAI）、Shaoshi Ling（Microsoft CoreAI）、Jinyu Li（Microsoft CoreAI） 💡 毒舌点评 亮点在于“Train Short, Infer Long”的思路极其巧妙，通过设计说话人提示缓存（SPC）机制，成功将短音频训练的模型能力零样本迁移到长音频的流式推理场景，解决了长音频联合任务中棘手的说话人标签排列问题。短板在于，虽然实验全面，但论文未对SPC在极端动态说话人场景（如人数快速增减）下的鲁棒性进行深入探讨和测试。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：未提及是否公开模型权重。 数据集：使用了多个公开数据集（AMI, ICSI, Fisher, VoxCeleb），但论文本身未发布新数据集。 Demo：未提及在线演示。 复现材料：论文提供了详细的训练设置（数据集构成、超参数、硬件、优化器等）和算法伪代码（Algorithm 1），为复现提供了关键信息。 论文中引用的开源项目：SpeechBrain（用于语言识别）、Silero VAD（用于VAD分块）、dvector提取器（基于Res2Net，具体实现未说明）。 📌 核心摘要 问题：联合自动语音识别（ASR）与说话人分离（“谁在什么时间说了什么”）在长音频上的流式处理是一个重大挑战，现有端到端模型通常局限于短音频，而处理长音频的级联系统存在错误传播问题。 方法核心：提出一个名为JEDIS-LLM的端到端语音大模型。该模型仅在短音频（≤20秒）上训练，但通过引入“说话人提示缓存（Speaker Prompt Cache, SPC）”及其在线更新机制，实现了在任意长音频上的分块流式推理，无需额外训练。 与已有方法的对比创新：a) 首次实现了仅用短音频训练即可在长音频上进行零样本流式联合ASR与分离；b) 设计了SPC机制，通过缓存和拼接历史说话人音频与文本作为LLM的提示，自然地维持了跨音频块的说话人一致性，无需后处理的全局聚类；c) 在训练时为语音编码器引入了“词级说话人监督”任务，增强了其说话人区分能力。 主要实验结果： 短音频（本地设置）：在AMI和CH109测试集上，JEDIS-LLM在cpWER上显著超越了强基线Sortformer和Meta-Cat。 系统 AMI Test cpWER CH109 Full cpWER Internal Test cpWER Sortformer 26.71 21.45 - Meta-Cat 26.02 26.17 - JEDIS-LLM (Final) 23.13 19.46 18.14 长音频（全局设置）：在CH109和Fisher长音频测试集上，流式JEDIS-LLM（使用SPC更新）全面超越了级联离线系统DiarizationLM。 系统 CH109 Test WDER/cpWER Fisher Test WDER/cpWER DiarizationLM (PaLM 2) 4.25 / 20.22 2.37 / 16.93 JEDIS-LLM (Offline+Clustering) 2.48 / 19.03 2.06 / 15.03 JEDIS-LLM (Streaming, SPC Update) 1.73 / 18.20 2.05 / 15.88 实际意义：该方法为会议记录、对话分析等实际应用提供了一个完全端到端、可流式处理长音频且性能更优的解决方案，避免了传统级联系统的复杂性和错误累积。 主要局限性：SPC的更新机制依赖于说话人向量相似度计算和启发式规则（如句子完整度），可能在说话人特征变化大或语音片段短时不够鲁棒；模型的长音频处理能力受限于固定的缓存大小和更新策略。 🏗️ 模型架构 JEDIS-LLM的整体架构基于Speech-LLM范式，并针对说话人分离任务进行了增强。其完整流程如下： ...

📄 VBx for End-to-End Neural and Clustering-Based Diarization #说话人分离 #聚类算法 #自监督学习 #端到端 🔥 8.5/10 | 前25% | #说话人分离 | #聚类算法 | #自监督学习 #端到端 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Petr Palka（布尔诺理工大学 Speech@FIT 实验室） 通讯作者：未明确说明 作者列表：Petr Palka（布尔诺理工大学 Speech@FIT 实验室）、Jiangyu Han（布尔诺理工大学 Speech@FIT 实验室）、Marc Delcroix（NTT公司）、Naohiro Tawara（NTT公司）、Lukáš Burget（布尔诺理工大学 Speech@FIT 实验室） 💡 毒舌点评 这篇论文巧妙地将传统聚类算法VBx“降维”为GMM-VBx以适配现代EEND-VC框架，并通过过滤低质量嵌入解决了该框架下的一个具体痛点，实现了稳健的性能提升。不过，其核心改进局限于聚类后端，并未触及EEND模型本身的创新，且整体方案高度依赖于特定的DiariZen系统，独立价值稍显不足。 🔗 开源详情 代码：提供了代码仓库链接：https://github.com/BUTSpeechFIT/DiariZen。 模型权重：论文中未提及公开本文实验所用的EEND模型（DiariZen-Large）或聚类模型的权重。DiariZen仓库可能提供，但论文未明确说明。 数据集：所使用的8个数据集均为公开学术数据集（AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC, VoxConverse），可通过其原始出处获取。 Demo：论文中未提及在线演示。 复现材料：提供了详细的实验设置（Section 4）、模型配置、超参数选择说明（如过滤阈值E）以及评估指标定义。引用了具体的工具包（pyannote, Wespeaker）和预训练模型（WavLM, ResNet34-LM）。 论文中引用的开源项目： DiariZen (代码框架) pyannote.audio (基线流水线) Wespeaker (说话人嵌入工具包) WavLM (自监督预训练模型) VoxCeleb2 (训练数据集) 📌 核心摘要 问题：端到端神经与向量聚类结合的说话人日志化框架（EEND-VC）中的聚类阶段（传统上使用层次聚类AHC）仍有改进空间，尤其是在说话人数量多、单人语音片段短的复杂场景下。 方法核心：提出两种改进聚类阶段的技术：(1) 将基于贝叶斯隐马尔可夫模型的VBx聚类简化为基于高斯混合模型（GMM-VBx），以适配EEND-VC中不连续的嵌入序列；(2) 在聚类前过滤掉由极短语音片段提取的低质量嵌入，聚类后再重新分配这些嵌入。同时，修复了pyannote框架中约束重分配步骤的一个错误。 创新点：这是首次将简化后的VBx算法有效地集成到主流的EEND-VC（如pyannote）框架中；提出了针对EEND-VC嵌入特点的短片段过滤策略；通过消融实验证明了每个改进组件的必要性和有效性。 实验结果：在包含8个数据集的复合基准上进行评估。当与DiariZen-Large EEND模型结合时，所提方法（cVBx）的平均 DER 从基线系统的14.5%降低至13.0%，并在大多数数据集上超越了截至2025年6月的最新SOTA结果。具体改进在MSDWild、NOTSOFAR-1和VoxConverse等挑战性数据集上尤为明显。 系统 AMI AISHELL-4 AliMeeting NOTSOFAR-1 MSDWild DIHARD3 full RAMC VoxConverse 平均 DiariZen Large (基线) 15.1 9.9 15.5 20.9 18.6 15.6 11.1 9.5 14.5 + cVBx (本文提出) 13.9 9.9 12.4 17.9 15.6 14.6 11.0 8.8 13.0 SOTA 06/2025 15.4 10.2 12.5 19.7 17.7 15.1 10.7 9.3 13.8 5. 实际意义：为现有强大的EEND-VC日志化系统（如pyannote）提供了一个即插即用的、性能更优的聚类后端，无需重新训练前端EEND模型即可提升系统性能，有利于实际应用部署。 6. 局限性：改进仅限于聚类阶段，未对EEND模型本身进行探索；过滤短片段的阈值E需要根据窗口大小选择，可能过于激进而丢失一些说话人信息；最终性能仍依赖于高质量的前端EEND模型（如DiariZen-Large）。 🏗️ 模型架构 本文的模型架构是一个两阶段的EEND-VC流水线（如论文图1及描述所示）： ...

📄 β-AVSDNET: A Novel End-To-End Neural Network Architecture For Audio-Visual Speaker Diarization #说话人分离 #端到端 #音视频 #多模态模型 ✅ 7.5/10 | 前25% | #说话人分离 | #端到端 | #音视频 #多模态模型 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Chang Huai You（Singapore Institute for Infocomm Research (I2R), A*STAR） 通讯作者：未说明 作者列表：Chang Huai You（Singapore Institute for Infocomm Research (I2R), A*STAR） 💡 毒舌点评 这篇论文在“用巧劲”上做得不错，把LeNet这种“古董级”轻量化网络用在了音视频分离任务上，配合巧妙的ROI-delta特征设计，反而比ResNet-18等更复杂的模型效果更好，证明了在特定任务上“合适”比“复杂”更重要。但论文对训练的“黑盒”部分描述有所保留，比如具体的训练硬件、优化器、学习率变化等关键复现细节一笔带过，让想跟着跑的同行心里有点没底。 🔗 开源详情 代码：论文中未提供本研究提出的β-AVSDnet模型的代码仓库链接。但明确指出了MISP 2025挑战赛的AVSD基线代码库：https://github.com/mispchallenge/MISP-2025-AVSD-Baseline。 模型权重：未提及公开预训练权重。 数据集：使用MISP 2025挑战赛数据集，未说明其公开获取方式。 Demo：未提供在线演示。 复现材料：提供了模型架构图（图2,3,4）、主要超参数范围（α）、训练策略描述。但未提供完整的训练配置、超参数列表、检查点或附录。 论文中引用的开源项目：引用了MISP 2025 AVSD Baseline [23]、RetinaFace [24]、ECAPA-TDNN [8]、Dover-Lap [32]、Mixup [33]、Silero VAD [30]、WeSpeaker [31]、Kaldi [29]、Pyannote [2] 等开源工具或模型。 📌 核心摘要 问题：传统音频说话人分离在远场、混响、重叠语音等复杂声学环境下性能受限，现有的多模态音视频分离系统常采用两阶段分离架构，优化困难且复杂。 方法核心：提出了一种名为β-AVSDnet的端到端神经网络架构，统一处理音频、视频和说话人嵌入三路输入。其核心创新包括：a) 设计了融合静态唇形、唇部运动（delta-lip）和面部特征的ROI-delta视觉表征；b) 采用轻量级修改版LeNet作为视觉编码器，并搭配共享Conformer块；c) 引入一个专用的β-AV嵌入子网络来融合视觉嵌入与说话人嵌入；d) 采用双目标训练策略，同时优化视觉预测和最终的音视频预测。 新在哪里：相比以往方法，该工作首次在AVSD任务中统一了视觉、音频和说话人嵌入的处理流程，并提出了兼顾外观、运动和身份的ROI-delta特征。通过实验证明，一个极其轻量化的视觉编码器（LeNet）在该任务上可以达到甚至超越更复杂网络（ResNet-18）的性能。 主要实验结果：在MISP 2025挑战赛的远场开发集上，β-AVSDnet的最佳单通道配置（β:Retina-Delta ECAPA）将词错误率（DER）从基线系统的15.38%降低到12.20%，模型参数量从58.9M降至26.7M（减少54%）。在多通道融合后，DER进一步降至10.98%。使用额外训练数据和数据增强后，DER达到7.25%，优于报告中的其他系统。关键对比数据见表2。 实际意义：该工作为复杂声学环境下的会议转写、多模态对话分析等应用提供了一种更高效、更鲁棒的解决方案。其轻量化特性也便于在端侧部署。 主要局限性：a) 评估仅基于MISP数据集，其泛化能力有待验证；b) 论文对训练的具体硬件、优化器、学习率调度等关键复现细节描述不足；c) 双目标训练中权重系数α的动态调整策略（“在0.80和0.98之间变化”）的具体机制和影响未充分讨论。 🏗️ 模型架构 β-AVSDnet是一个端到端的多模态神经网络，整体架构如图3所示，旨在联合处理视频、音频和说话人嵌入，输出每个说话人在每个时间帧的活动概率。 ...