把多人混音当作续写来生成:LlaSep 在离散 token 上一次解码出多路语音
针对多人混叠语音要同时恢复每路干净信号并知道谁在何时说话的问题,论文把分离改写为以混合 token 与语义特征为前缀的自回归 token 生成,用 15k 小时合成多语对话做监督微调,在 LibriCSS 与 CallHome 上以可运行基线对比显示更低的日志误差与更高的听感质量,代价是输出为重新生成而非波形原样保留且长序列下误差会累积。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对多人混叠语音要同时恢复每路干净信号并知道谁在何时说话的问题,论文把分离改写为以混合 token 与语义特征为前缀的自回归 token 生成,用 15k 小时合成多语对话做监督微调,在 LibriCSS 与 CallHome 上以可运行基线对比显示更低的日志误差与更高的听感质量,代价是输出为重新生成而非波形原样保留且长序列下误差会累积。
针对边缘端算力受限下语音分离需要低计算量而非小参数的问题,论文提出在 mel 带切分的 Conformer 双路径上对前馈层做时间维与频率维稀疏专家路由,在 Libri2Mix 上以 4.1 GMACs/s 达到 17.7 dB SDR,代价是专家参数量成倍增加与专家数过大时路由难学。
DAMSEP 针对单麦克风混叠下丢失空间信息的问题,用分离主干加共享去混响与多声源复数传递函数估计做联合训练,在 HETMIXR 上以可复述的混响重建约束实现分离与近远排序,最强证据是相对 TF-Locoformer 的 SI-SDRi 提升 0.65 dB,代价是需要成对干净与混响监督和固定扫频解码流程。
针对分布式麦克风阵列下去中心化独立向量分析的跨阵列序号错乱与强跨阵列耦合问题,该文引入波达方向几何约束与按阵列分带的源模型,在 2 至 8 阵列、无噪与噪声混响仿真中提升分离指标与序号一致性,但依赖已知方向与同步假设且未测通信延迟与真实录音。
针对量化后多层信息被求和压扁的问题,RVQ-Grid 把每层量化向量堆成三维网格并用双轴循环块分离,在 WSJ0-2Mix 上比 Codecformer 提升 3.6 dB 并以约 6 倍更少的乘加操作达到 8.6% 词错误率,但样本级指标仍低于波形 SepFormer。
该文研究单通道两人语音分离能否只用说话人身份做唯一监督,通过对比分离输出嵌入与辅助话语嵌入来训练分离器,在 Libri2Mix 上从零训练到 8.1 dB SDR 并能向含噪域自适应到 8.7 dB,但仍低于全波形监督的 14.4 dB 与 9.7 dB 上界。
针对平面阵下圆形方位排序在 360 度回绕处带来学习负担的问题,该工作用两个正交折叠直线排序分别训练分离网络再按方位打分二选一,在混响会议室评估中对圆形排序取得小而一致的提升,代价是需要方位估计且推理侧要维护多个网络。
针对分布式子阵列间通信贵、难同步的问题,论文提出只在子阵列间共享非负矩阵分解变量的三种去中心化独立低秩矩阵分析,并报告基共享变体在混响与采样时间偏移下保持稳定分离的主要证据与建模代价。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对麦克风少于声源的欠定盲分离,论文把时频掩蔽引入切换型 MVDR 的目标函数并联合优化滤波器、组合系数与掩蔽,报告在 2 麦 3/4 说话人任务上优于直接掩蔽、FastMNMF 与掩蔽 MVDR,但效果依赖掩蔽质量与声源相对位置。
针对声源活动范围大致已知但精确位置未知的多通道分离问题,论文把导向矢量约束在预测导向矢量张成的低维子空间内并扩展迭代源导向框架,用固定与灵活两种子空间维度配置在四声源混响仿真中对照标准 ISS 与平均导向矢量 MVDR,代价是仍依赖预测网格与混响条件且原文未给出可复述的逐点数值。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
针对单通道双人语音分离,eConv-TasNet 在保留编码器解码器基础上以组级早分离替代逐单元分离并以指数加权跨组聚合替代全量求和,在多基准上提升分离质量并降低参数与延迟,代价是峰值精度仍低于大参数 Transformer 路线。
针对语音分离模型分离网络最重、均匀剪枝易伤轻层的矛盾,SepPrune 用结构分析定位、可微掩码选通道、剪后微调恢复的分布优化,在三数据集多骨干上降低参数与计算量,而一轮微调即可恢复大部分性能,但大幅剪枝时恢复速度因结构而异。
针对全双工对话需要保留轮转、重叠与反馈时序但真实录音纠缠不清的问题,ConversationalVoice 用质量校验的分离、词面固定的重建与上下文约束的扩展三阶段产出共享格式的双轨数据,并在自动评估中保持 0.983 至 0.991 的同说话人相似度与正向区分度,同时以重建提升预测音质而扩展维持相近交互密度。
说话人日志 | 6.6/10
语音分离 | 8.2/10
语音识别 | 7.1/10
语音分离 | 5.0/10
语音分离 | 6.2/10