不用孤立语音也能去噪：用干净混合与噪声录音联合训练分离与说话人日志

英文题目：Semi-Supervised Joint Separation and Diarization for Multichannel Noisy Speech Mixtures

会议身份：conference:interspeech:2026:conference-paper-id:nozaki26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#半监督学习 #多通道 #说话人分离标注 #语音分离

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yuto Nozaki：机构信息未能从会议 PDF 纯文本可靠映射
• Kohei Saijo：机构信息未能从会议 PDF 纯文本可靠映射
• Yoshiaki Bando：机构信息未能从会议 PDF 纯文本可靠映射
• Masaki Onishi：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为4通道含噪会议混合语音，输出为各说话人分离波形与说话人活动序列，难点在于扩散与非平稳噪声污染空间协方差建模并导致分离残留。方法第一步由推断网络从含噪混合估计解相关矩阵、空间基向量、功率谱潜变量后验与说话人活动，实现局部高斯与联合可对角化参数化。第二步将上一步输出的解相关矩阵与空间参数代入多通道维纳滤波，解析求出干净混合的后验均值与协方差以得到分离信号。第三步以含噪重构证据下界保留语音间无监督分离能力，同时以配对干净混合的阈值信噪比、似然与多通道板仓斋藤距离三项目标监督噪声抑制。相对Neural FCASA仅依赖含噪混合重构，关键机制差异在于引入干净混合监督解耦语音分离与噪声去除，实际意义是无需孤立语音即可提升噪声鲁棒性。在合成会议测试集10秒分段评测下，全组合模型相对Neural FCASA将信干比（Signal-to-Distortion Ratio，SDR）从12.3 dB提升至13.9 dB，感知语音质量评估（Perceptual Evaluation of Speech Quality，PESQ）从1.83提升至2.18，短时客观可懂度（Short-Time Objective Intelligibility，STOI）从0.80提升至0.85。该结论仅在LibriSpeech合成会议叠加DEMAND噪声并经加权预测误差（Weighted Prediction Error，WPE）去混响的条件下成立，未验证真实会议、移动声源与强混响外推。原文未披露训练与推理算力成本，仅提供音频示例页，未开源代码权重。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要联合做分离与日志？

本文的输入是多通道含噪语音混合，目标是同时完成两件事：一是把每个说话人的语音分离开，二是给出谁在何时说话的说话人日志。输出因此包括分离后的语音信号与帧级说话人活动。理解这项任务要先用白话建立直觉：分离好比在多人同时说话的会议录音里把每个人的声音单独抽出来，日志好比给录音打时间轴标签。英文上前者是 speech separation，后者是 speaker diarization，缩写后文分别称为分离与日志。

论文把两者联合起来的理由是它们互相依赖：分离越干净，按说话人切分时间就越容易；日志越准确，用时间信息去约束分离也越容易。如果分开训练，一个模块的误差会传给另一个。近年联合分离与日志的工作因此增多，但多数依赖仿真数据同时拥有混合与孤立源信号做全监督，在真实录音上存在域失配。

本文要解决的矛盾是：真实环境难以获得配对的混合与孤立语音，能否只用混合加日志标注，再加容易录制的干净混合与环境噪声，完成噪声鲁棒的联合学习。

语音分离 × 说话人日志： 语音分离负责从混合中恢复每个说话人的语音信号，说话人日志负责判断谁在何时说话，二者存在先有鸡还是先有蛋的依赖：分离越干净日志越准，日志越准则越能指导分离，因此本文把两者放在同一个生成与推断模型里联合学习，而不是做完一个再做另一个。

本解读默认从原文独立写作，事实只来自论文正文证据与本次收到的官方原图像素。资源状态方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开，音频示例链接本次也未能确认可达，只能按原文转述其文字说明。

已有路线如何处理无孤立信号与多通道噪声？

按同输入、同目标、同监督与同运行阶段对照，已有路线可分为 3 类。第一类是全监督联合分离与日志，需要仿真混合与孤立源配对，优点是监督直接，缺点是仿真与真实录音的声学失配会导致性能下降。第二类是弱监督学习，用无监督分离加有监督日志，例如从真实多说话人录音联合训练分离与日志，缓解了对孤立信号的依赖，但对噪声的显式处理仍不足。

第 3 类是多通道盲源分离，典型是基于局部高斯模型的空间协方差建模，以及用联合对角化降低复杂度并应对轻度混响与扩散噪声的快速多通道非负矩阵分解。 本文的基础是神经全秩空间协方差分析加说话人活动，简称神经 FCASA。它把说话人活动写进局部高斯模型的混合协方差，用深度生成模型从隐变量生成源功率谱密度，再用变分自编码方式联合训练生成模型与推断模型。

原文报告它在真实会议语料上有较强表现，但也指出其瓶颈：主要依赖空间信息，当存在靠近目标说话人的干扰噪声或多个噪声源时，空间协方差统计可能有偏，扩散噪声下会残留噪声。 与上述路线相比，本文不是收集混合内全部成分的孤立信号，而是假设能分别获得干净语音混合与噪声录音，再把两者相加构造训练样本。这样语音混合过程本身不是仿真的，更接近真实录制，同时对噪声分量形成显式监督。

教学例子：好比不要求把会议中每个人单独录一轨，只要求有一段干净会议录音加一段空房间噪声录音，再人工相加得到含噪混合用于训练。

噪声为什么专门难倒空间协方差方法？

问题可沿一个样本走一遍。输入是多通道时频混合，每时频点观测向量是多个源信号经导向向量加权求和。模型假设每个源服从零均值高斯，方差为功率谱密度，混合则服从以各源功率加权的空间协方差矩阵为协方差的多元高斯。分离就是估计功率、空间协方差与解相关矩阵等参数使观测似然最大。 困难在于噪声也被建模为一个成分，但它的空间特性可能与语音相近或随时间变化。

若噪声靠近目标说话人或存在多个噪声源，估计的空间协方差会被污染；若是扩散噪声，方向性不明显，空间区分度本身就弱。此时仅靠重构含噪混合的目标会保留噪声，因为模型无法判断残留能量属于语音还是噪声。 本文因此把问题重新定义为半监督联合分离与日志：训练时同时有含噪混合与对应的干净混合，干净混合是含噪混合减去目标环境噪声后的版本。测试时只有含噪混合。

学习目标既要重构含噪混合，也要让估计的干净混合逼近给定的干净混合。原文明确用信噪比的语言解释这种设计：鼓励估计的干净混合与给定干净混合一致，可理解为最大化二者之间的信噪比。

半监督框架如何把干净混合变成可训练的目标？

方法全景可按输入到输出的主路径理解。输入是含噪多通道混合，推断模型先输出 3 类量：空间用的解相关矩阵与非负向量、语音谱用的隐源特征后验、日志用的说话人活动后验。生成模型用这些量构造语音与噪声的协方差，再形成对含噪混合的重构与对干净混合的估计。训练时干净混合作为额外监督进入 3 个新增目标，测试时只用推断模型输出分离语音与说话人活动。

干净语音混合 × 噪声抑制监督： 干净语音混合指未加目标环境噪声的会议式多人混合，可较容易录制，噪声抑制监督指用该干净混合作为目标要求估计的干净混合去逼近它，前者提供比孤立语音更易获得且保留真实混合过程的弱监督，后者把原来只靠空间信息的无监督分离变成对噪声分量有显式监督的半监督学习，从而减少残留噪声。

下段先导读图 1。读者应先找到左侧两路输入如何汇合成中间的含噪混合，再看中间推断模型分出的分离与日志分支，最后看右侧生成模型如何用空间协方差与谱参数产生重构。该图是理解半监督闭环的关键，全文的方法细节都挂在这条主路径上。

看图路径： 1. 从左侧干净混合与噪声经加号合成 noisy speech mixture 的输入路径看训练数据的构造方式；2. 对照中间 Inference model 中红色 Separation 与蓝色 Diarization 两个分支的输出去向；3. 沿右侧 Generative model 中 Covariance of source 方框到 Noisy speech mixture reconstruction 的箭头看重构闭环；4. 注意分离分支输出的 SCM 与隐特征、说话人活动如何共同进入生成模型

论文图 1。原论文 Figure 1：“Proposed semi-supervised joint separation and di- arization for multichannel noisy mixtures.”。

从像素可见，图 1 左侧上方为混合相关频谱，下方为噪声相关频谱，两路经加号汇成中间的含噪语音混合。中间为推断模型框，内部上方红色虚线框标注分离，下方蓝色虚线框标注日志，分别向右引出空间协方差、隐源特征与说话人活动 3 路箭头。右侧为生成模型大框，内部标注源协方差计算，最右输出多路重构频谱，下方文字指明为含噪混合重构。该布局支持如下解释：推断负责估计参数，生成负责按高斯模型重构，干净混合监督则要求其中语音部分的估计逼近真值，从而在统一生成模型下同时实现无监督语音间分离与有监督噪声抑制。

生成模型与推断模型各自算什么，如何得到干净估计？

生成模型部分先讲符号与计算目标。设时频点混合为多通道复向量，干净混合定义为多个语音源经导向向量加权之和，噪声为另一加性向量，含噪混合等于两者相加。语音源功率谱密度由与频率无关的隐变量经深度网络生成，隐变量服从标准正态。空间协方差采用联合对角化形式，由解相关矩阵与非负向量表示。说话人活动为二值变量，噪声对应编号为零的成分。含噪混合的似然与神经 FCASA 同形，干净混合的似然则只对语音成分求和，利用高斯可加性写出。

全秩空间协方差分析 × 说话人活动： 全秩空间协方差分析负责用多通道空间协方差描述每个声源在各麦克风间的相关结构，说话人活动负责用每时刻二值变量标记该说话人是否发声，前者提供空域区分能力，后者让模型能处理随时间变化的活跃说话人数，两者相乘构成随活动开关的混合协方差，从而把日志变量直接写进分离的似然函数。

联合对角化 × 功率谱密度生成模型： 联合对角化负责用同一个解相关矩阵把所有声源的空间协方差同时对角化以降低计算量并缓解混响与扩散噪声影响，功率谱密度生成模型负责从与频率无关的隐变量生成每个时频点的源功率，前者管空间结构，后者管频谱结构并解决频率置换歧义，两者组合后混合协方差可分解为空间部分与谱部分的乘积形式。

推断模型用同一个网络输出解相关矩阵、非负向量，以及隐变量后验的均值方差与说话人活动后验的概率。隐变量后验取对角高斯，说话人活动后验取伯努利，训练时按排列不变训练置换源序号。利用这些输出可解析计算给定含噪混合时干净混合的后验，该后验为复高斯，均值是维纳滤波器乘以观测，协方差与语音协方差、混合协方差有关。具体地，先由语音功率与空间参数构造语音协方差与混合协方差，再求维纳增益，最后得到干净估计与不确定性。

该干净估计是后文 3 个新增目标的共同起点。 需要指出，原文未给出网络每层的完整梯度路径与参数冻结细节，本解读不从模型名称推定实现，只按证据说明：生成网络与推断网络联合优化，分离用证据下界，日志用二值交叉熵，新增目标在此基础上加入。

四个分离项与一个日志项如何加权，阈值信噪比起什么作用？

训练目标是多任务加权和。日志项与神经 FCASA 相同，为推断的说话人活动后验的对数后验，即二值交叉熵的负值，权重记为伽马。分离部分称为半监督分离目标，它把原始分离证据下界与 3 个基于干净混合的新增项按系数混合。原文给出权重符号：阿尔法控制原始含噪重构与新增项的比例，陶控制信噪比项，泽塔控制后验项，分母中还包含时频点数与相关归一化。 3 个新增项分工不同。

第一项是阈值信噪比，直接在时域比较干净真值与干净估计的能量比，公式中分母加了与干净能量成比例的小量使信噪比上限钳在 30 分贝，避免对已很干净的样本过度优化。第二项是干净混合的负对数似然，在解相关后的对角空间计算，可理解为要求语音功率与空间参数能解释观测到的干净混合。第三项基于干净后验，形式为多通道板仓斋藤距离，惩罚干净真值与维纳估计在后验协方差度量下的偏差加行列式项。

变分自编码推断 × 多任务目标： 变分自编码推断负责用一个网络同时估计隐源特征与说话人活动的后验分布以及空间参数，多任务目标负责把分离的证据下界与日志的二值交叉熵按权重相加，前者给出无监督重构与正则的梯度来源，后者给出有监督的帧级说话人标签梯度，两者联合优化生成模型与推断模型。

训练过程按原文交代：每个含噪混合先切成 20 秒段，再随机裁 10 秒输入模型，并用语音增强常用的频谱增广随机加时域与频域掩蔽。优化器与学习率等见实验配置表。原文未报告哪一层在何时重置或停止梯度，本解读不猜测，只说明监督来源：噪声抑制的监督来自干净混合，语音间分离仍是无监督重构，日志监督来自标注。

数据如何合成，基线与指标如何保证可比？

实验要回答的问题是新增的干净混合目标是否在相同网络与数据下改善含噪分离与日志。比较对象包括快速多通道非负矩阵分解、神经 FCASA 与多个噪声感知变体。条件一致性方面，原文说明神经 FCASA 基线与所提方法采用相同实验配置，仅最大输出源数不同：所提方法设为 6，假设 4 说话人加干净混合中 1 白噪声加 1 非平稳噪声，基线设为 5，假设 4 说话人加 1 噪声。测试时每个含噪混合切成 10 秒段逐段评估，日志估计后用长度为 11 帧的中值滤波平滑。 数据构造是本文特有细节，需展开。

合成基于公开会议仿真工具包，用朗读语音与多环境噪声库生成。麦克风为 4 通道特定阵形，采样率 16 千赫，最多 4 说话人。干净混合定义为加 30 分贝白噪声的合成会议混合，再按相对干净混合 2 到 6 分贝均匀采样信噪比加入真实环境噪声。噪声库按语音库噪声协议划分训练验证测试，并用高通滤波与多通道加权预测误差去混响预处理。

下表整理划分与重叠率等可核对条件，指标方向为日志错误率越低越好，计数准确率越高越好，分离的失真比、可懂度、语音质量与神经网络平均意见分越高越好。

表前已提出比较问题与公平条件，指标方向也在段中说明。

表后需要解释代价与边界：这种合成保留了真实语音混合过程，比全仿真更接近真实，但干净混合仍含 30 分贝白噪声，去混响与固定阵形也限制了向移动声源与未知阵形的推广。噪声划分特意保留部分环境类型做验证与测试，意味着测试噪声与训练不完全相同，考查的是跨环境泛化而非同环境记忆。 网络与优化配置同样按原文整理，单独成表以支持复现核对。

编码器交替使用资源高效分离变换器块与基于迭代源导向的分离算法块，解码器为带残差与参数化修正线性单元的线性层堆叠，末端用软正函数保证功率非负。下表列出原文明确给出的超参数，缺失的层数细节与注意力头数以外的实现不补写。

表后补充：原文报告编码器变换器隐维 256、前馈 1024、8 头注意力与解码器 6 层 256 维等结构，但训练硬件、耗时与推理延迟未报告，因此不能承诺计算成本得到改善。

日志分支在训练时用真值说话人活动参与分离目标，其余参数由推断模型给出，这一安排是理解半监督梯度来源的关键。

新增目标带来多大分离收益，日志是否同步变好？

主结果按问题组织：测的是含噪会议混合的分离质量与日志准确率，与快速多通道非负矩阵分解和神经 FCASA 相比，条件如上节所述基本一致。原文报告显示，任一新增目标都能在分离指标上超过两个基线，其中阈值信噪比项对失真比与语音质量提升最大，概率似然与后验项在提升分离的同时还改善日志。全部三项组合的模型在所有评估指标上都优于神经 FCASA 与快速多通道方法。 下段先导读图 2。读者应先确认 4 张子图时间与频率范围一致，再比较含噪混合与两种方法的频谱，最后回到孤立语音判断谁更接近真值。该图是主结果的定性反证，只展示单样本，不能代替全测试集的定量平均。

看图路径： 1. 先对比子图横轴 0 到 9 秒与纵轴 0 到 8 千赫的范围是否一致再看内容差异；2. 观察子图 b 相对子图 a 在全时段铺底的噪声能量与低频亮带；3. 比较子图 c 与子图 d 在约 4 秒附近及 6 秒后尾段的残留能量差异；4. 结合子图 a 的孤立语音位置判断哪种方法更接近干净语音的起止与谐波结构

论文图 2。原论文 Figure 2：“Excerpts of separation results produced by neural FCASA and the proposed method (P7).”。

从像素可见，图 2 4 个子图横轴均为 0 到 9 秒，纵轴均为 0 到 8 千赫。子图 a 为孤立语音，语音能量集中在约 1 秒到 6 秒，低频谐波较亮，两端为深色静音。子图 b 为含噪混合，全时段铺满噪声底色，低频有持续亮带。子图 c 为神经 FCASA 输出，已去除大部分背景但在约 4 秒附近仍有残留噪声能量。子图 d 为所提噪声感知方法输出，残留更少，起止与谐波结构更接近子图 a。

原文文字也明确指出神经 FCASA 在约 4 秒留下非平稳噪声而所提方法成功去除，这与像素观察一致。但需强调这是单样本可视化，不能推广为每段都如此。 定量方面原文以表格报告错误率、计数准确率、失真比、可懂度、语音质量与神经网络平均意见分等多指标。

由于本次可用的逐字连续原句只覆盖结论性描述，未覆盖表格内每个数值的逐字单位写法，正文不再逐格复述表格数字以免引入拼写或单位误差，下表仅整理原文明确用文字报告的相对关系与最强证据指向，数值细节以原论文表格为准。

表后解释主要收益与代价：收益是无需孤立语音即可获得显式噪声监督，代价是训练需要配对的干净混合与噪声录音，且最大输出数从 5 增至 6 带来容量与计算变化。

未胜出项是单用概率目标时分离峰值不如单用信噪比项，说明直接最小化重构误差对感知指标更直接，而概率项更偏向模型校准与日志协同。反例是若干净混合本身含白噪声或噪声类型完全超出训练分布，监督的有效性可能下降，但原文未评测该边界，属待验证推测。

三项新增目标各自管什么，组合是否必要？

消融按权重系数的开关组织。原文设置 7 个噪声感知变体，分别对应只开信噪比、只开似然、只开后验、两两组合与三项全开，基线为神经 FCASA。测的仍是同一测试集上的日志与分离指标，条件一致。 原文报告的关系是：只开信噪比的变体在失真比与语音质量上提升最大，只开似然或只开后验的变体在日志错误率与计数准确率上改善更明显，两两组合介于其间，三项全开在所有指标上都超过基线。

这支持如下有限解释：阈值信噪比直接优化波形逼近，对感知与失真指标最敏感；似然要求模型能解释干净混合的分布，后验要求维纳估计在不确定性度量下准确，两者都涉及空间与谱参数的校准，因此对需要准确起止的日志更有帮助。 组合的必要性在于单项目标各有偏好，没有一项在所有指标上同时最优，三项全开才实现全面超越。但这不等于每段语音都单调变好，总体趋势不等于每组每步成立。

原文未报告去掉原始含噪重构只留新增项会怎样，也未报告权重系数的敏感性曲线，因此不能断言权重之外的安排必然如何。若要复现消融，应先固定日志权重与数据划分，再逐个开关 3 个系数，避免同时改变最大输出数与优化预算。

哪些条件没测，哪些推测还不能当结论？

原文明确的限制包括：实验是合成会议数据，虽用真实环境噪声但仍非真实会议录音；阵形固定为 4 通道特定几何，去混响参数固定；说话人数至多 4 人；噪声信噪比限定在相对干净混合 2 到 6 分贝。超出该信噪比、更多说话人、移动说话人与移动噪声源的情况未评测，结尾未来工作也点名要处理运动声源。

未验证的推测需用可能与待验证表达。例如干净混合监督可能在完全未见的噪声类型上仍有效，但原文验证集与测试集划分虽有跨环境设计，仍属同一噪声库内的泛化，不能推广为任意真实噪声都有效。又如三项组合可能因容量增大而增加推理开销，但原文未测量延迟、帧率与计算量，不能承诺效率改善。 缺失证据不是技术错误。

未报告训练硬件、推理耗时、统计显著性与人工听音，相关性也不是因果：分离指标与日志指标同时变好不能证明是日志变好导致分离变好，也可能是两者共同受益于更准的空间与谱参数。引用图注或正文时只能明确归因，不能猜测像素无法辨别的数值与曲线细节。

要复现应先准备什么，先跑哪一步？

复现先做数据与基线。第一步按原文工具包与划分生成合成会议数据，核对文件数、时长与重叠率是否与配置表一致，再按 2 到 6 分贝加入对应划分的环境噪声，并做 50 赫兹高通与多通道加权预测误差去混响。第二步先跑神经 FCASA 基线，最大输出数设为 5，再跑所提方法最大输出数设为 6，其他网络与优化配置保持一致，这样才能把收益归因于新增目标而非配置漂移。

关键超参数与信息条件需保留：短时傅里叶窗长 512、跳长 160，隐特征维数 64，批大小 64，200 轮，AdamW 学习率 1.0×10−4、权重衰减 1.0×10−5，日志权重 4，输入 20 秒切段随机裁 10 秒加频谱增广，测试 10 秒切段加 11 帧中值滤波。评估用日志错误率及其 false alarm、missed speech、speaker confusion 三项分解与计数准确率，分离用失真比、可懂度、语音质量与两种神经网络平均意见分，注意百分点与相对百分比不同，不同指标差值不能混放。

关于可用性，原文有正文开源声明以外的音频示例文字链接，但本次未发现完成安全状态验证的资源绑定，因此只能写本次未能确认可达，不声称代码、模型或数据已公开。先跑通基线再逐步打开 3 个新增目标，是成本最低的验证顺序。

何时值得尝试这种半监督联合学习？

当研究者能录到干净会议混合与环境噪声但拿不到孤立语音，且任务同时需要分离语音与说话人时间标签时，这种方法值得尝试。它的核心动作是把干净混合当作语音部分的显式目标，用阈值信噪比抓波形逼近，用似然与后验校准空间与谱参数，同时保留对含噪混合的重构以维持语音间区分。 适用条件是阵形与声学环境相对固定、说话人数有限、噪声信噪比在训练覆盖范围内。

若噪声紧贴说话人或为强扩散噪声，仍需检查空间协方差是否依然有偏，必要时补充阵列或谱先验。还需补的验证包括真实会议录音、运动声源、更低信噪比与主观听音，以及训练与推理成本测量。 常见误解是把无需孤立语音等同于完全无监督。实际上日志仍需标注，噪声抑制仍需干净混合，语音间分离才是无监督。另一个误解是把单样本频谱变干净当成全集必然提升，应以多指标平均与消融为准，单图只起机制示意作用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总