语音分离

Soloist 把盲人声分离做成按人声个数串行生成音频编解码序列，用合成混合加说话人时间线做监督，再用模型评价器在真实录音上做强化学习，在已知个数和未知个数条件下都保留了内容和音高，代价是生成式重合成与评价器不稳定性需要多重门限和修复流程来约束。

共分析 69 篇语音/AI 论文

SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题，用混合闭合加性残差恢复抵消处的非零估计，用细化感知稀疏路由为每个时频令牌选一个残差专家，在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。

SepRQ 针对多人混合语音的表示学习问题，用无掩码的多分辨率伪源分离预测冻结随机码本序列，在 SUPERB 分离与日志任务上取得较强结果，代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销，且单说话人任务仍受限。

该文把说话人跟踪拆成段内分离加跨段两阶段组织，用重叠拼接接续连续语音、用工作记忆做说话人验证来连接中断语音，在 LibriCSS 和 AMI 上验证了在线跟踪效果与说话人增多时的代价。

针对少麦克风、低信噪比下盲语音分离观测约束不足的问题，VM-ArrayDPS 把独立向量分析输出当作虚拟麦克风与物理麦克风一起做多通道一致性引导，在 SMS-WSJ 二人和三人混响分离上一致超过 ArrayDPS，代价是每步要多做虚拟通道的前向卷积预测与梯度计算。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务，用门控融合的 DPRNN 先分离再用跨模态匹配器定序，在两路和三路混合上同时报告 PIT 与有序指标，而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。

针对相似音色混合尾部误差大的问题，论文用在线说话人对难度矩阵加温度 Softmax 课程采样多练难对，在 Libri2Mix 上以初始温度 20 保住或小幅提升平均 SI-SDRi 并改善底部 30% 表现，代价是温度过低会损害平均分且首尾两段必须切回均匀采样。

针对麦克风数不少于说话人数的到达方向已知分离任务，论文用冯米塞斯加权的方向图正则约束 FastMNMF 的联合对角化矩阵，在 1 人和 2 人混响仿真中提升分离质量，而 3 人和 4 人拥挤条件下增益受限。

针对单通道双人语音分离中生成模型易跟错说话人的问题，该文用冻结的端到端 diarization 吸引子作为唯一说话人条件，只训练潜在空间流匹配 U-Net，并用免训练的对抗说话人引导推开干扰说话人，在 LibriMix 上以可运行的分离策略报告了质量、可懂度和说话人混淆对照。

针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题，论文先在系统层引入空间特征与波束形成得到多通道级联，再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型，在相同识别后端下把时间受限词错率降到 17.86%，代价是更长的窗与额外的自适应流程。

针对多通道分离中判别模型信号保真高但听感差、生成模型自然但需多步迭代的问题，MeCo 用条件平均速度场做一步校正并引入数据空间优化，在 WSJ0+WHAM!上达到 10.08 dB SI-SDR 与 3.19 DNSMOS，代价是只增加 1 次函数求值和 0.0068 实时率。

针对级联多说话人识别中分离残留导致串话被转写的问题，该文用独立日志模型做声学验证并经三重一致才剪词，在高泄漏子集上报告最高约 29% 相对 cpWER 下降，代价是依赖词级时间戳与相似度门限且联合分离-日志结构泛化不稳。

针对多通道远场会议中重叠与混响导致说话人日志不稳的问题，该文在神经 FCASA 上为说话活动倾向引入贝塔先验并用变分下界代替交叉熵训练，在 AMI 上报告 DER 至少下降 3 个百分点且 JER 至少下降 4 个百分点，代价是只验证了说话人日志而未评价分离质量与计算开销。

针对含噪混响单通道分离缺空间线索问题，该文用双通道三元组预训练单通道空间编码器并以 MHCA+FiLM 调制 TF-Locoformer，在 WHAMR!上 S 模型 17.4 升至 17.7 dB、M 模型 18.6 升至 18.9 dB，代价是增加 1.0-1.2M 参数并依赖仿真空间条件构造。

论文研究噪声混响和重叠说话下的零前视流式识别，采用在线语音分离前端加只用干净语音训练的流式识别后端的解耦框架，最强证据是在 LibriSpeech 模拟噪声、CHiME-4 和 LibriCSS 上用 oTF-CrossNet 加干净后端超过同等数据量的多条件训练基线，代价是系统好坏高度依赖分离前端的强度。

针对多通道含噪混合中空间建模易受非平稳与扩散噪声干扰的问题，该文在神经全秩空间协方差分析与说话人活动模型上增加干净混合的信噪比、似然与后验三项半监督目标，在合成会议数据上报告分离指标明显提升而日志小幅改善，但仍依赖干净混合与噪声录音可得且未验证运动声源。

针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题，TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力，在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi，代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。

针对智能眼镜佩戴者与对话伙伴的近远场混合语音，论文用波束成形加声源分离再加轻量分类器做流式说话人标记，在三个真实多说话人语言对上把词错误率和说话人归属错误率同时压低，代价是仍依赖方向分区假设和仿真训练数据。