试内切换下脑电不可靠且有延迟,SAGE 用双路候选加软门控做平滑选择
针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。
针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。
针对固定区域边界敏感与单维度距离或方位重叠歧义问题,SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取,在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22,代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …
针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。
论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题,用解耦的线索前端与分离器主干实现可配置组合,并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性,主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。
针对多人混合中抽取目标说话人的任务,GenTSE 用语义级与声学级两段解码器语言模型分工建模,并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量,在 Libri2Mix 上感知质量优于同类生成式基线,但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。
该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别,用跨模态蒸馏得到因果轻量视觉前端,再配因果分离器,在最低乘加运算量下取得可比或更好的分离质量,但跨域时仍受视觉前端训练域限制。
针对重叠语音中多人同词与注册信息利用不足的问题,该文把连续说话人嵌入加进假设聚类距离,在相同内容两说话人上把词错误率从 68.3% 降到 36.6%,在目标说话人干净两说话人上从 18.7% 降到 14.4%,代价是权重过大时会压制文本相似度并增加多假设解码聚类开销。
针对噪声混响下唇视觉与声学对齐不稳的问题,论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取,在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益,代价是两阶段流水线与令牌预测精度依赖。
针对双耳混合中目标说话人提取后空间线索易失真的问题,该工作选择直达路径头相关传输函数作为空间先验并在窄带分离骨干上做潜空间调制,在仿真上报告了更高的信失真比改善和更小的耳间线索误差,在头颈模拟器实录上报告了更高的非侵入式质量分,代价是依赖目标方位已知与头相关函数库的角度采样密度。
TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索,以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81,代价是流式与弱模态组合仍有质量与语义折中。
针对真实四人对话中目标说话人长期静音与朗读式注册语音失配问题,该工作用随机 VAD 掩蔽损失把 STOI 从 0.55 提升到 0.60、fwSegSNR 从 4.35 提升到 5.12,代价是仍需保留部分静音训练并受注册相似度制约。
论文研究餐馆噪声下四人对话的同伴语音抽取,选择带说话人注册的目标说话人抽取与因果约束,用听音转写正确率与 P.835 质量分证明头部系统相对基线有实质提升,而客观指标与听感排名不一致且保留噪声与保真度不可兼得。
针对漫射噪声下单目标实时提取问题,论文用最大加权似然把 NSR-ILRMA 与 RCSCME 改写为逐帧在线更新,并在静止与移动说话人仿真及真实录音中对比在线与分块批处理路线,其代价是每帧仍需矩阵求逆加速与稳定性控制且处理时间接近移位长度。
论文冻结分离主干只换状态机制,用 22 组启发式更新测出稳定性-可塑性前沿,再用闭环元训练的 41k 参数锚定快权重在严重失配下达 10.9 dB 并在 30 s 缺席后保留 6.2 dB,代价是匹配短句略低于静态注册且依赖通道增强覆盖。
针对强混响重叠与残留回声下的实时目标语音提取问题,该工作用分区多输出前端加在线波束形成再加跨波束细化的三段流水线,在十九点八七五毫秒延迟约束下把开发集可懂度和感知质量从基线附近明显抬高,而第二阶段更干净的主观听感反而在受污染近讲参考下出现客观分下降。
针对助听设备的多通道目标说话人提取问题,MBSRNN 用 33 子带切分分别处理混合语音与注册语音并以 FiLM 交错 LSTM 注入说话人信息,在 CHiME-9 开发集流式条件下把 fwSNRseg 从基线约 2.2 提升到约 4.4 至 4.6,代价是约 53.1M 参数与处理一秒片段约 224.3 GMACs 运算量以及 STOI 未稳定提升。
针对可穿戴多通道录音中佩戴者自干扰过强与注册音频失配问题,论文用佩戴者抑制加目标提取加后处理三阶段流水线,在开发集上多数客观指标超过官方基线,在测试集上以可懂度下降为代价换取目标语音质量与总体质量提升。
共收录 14 篇 chime-2026 会议论文的 Reader 深度解读
该文在因果多通道 TF-GridNet 基线上把复谱回归改为有界幅度掩蔽加混合相位复用并配多分辨率谱损失,方法 2 再把全局 FiLM 换成 16 个说话人令牌的交叉注意力 FiLM,在 CHiME-9 开发集上以频率加权信噪比下降为代价换取 Csig 感知质量提升且保持 20 毫秒算法延迟。
针对多人同时交谈的重叠语音识别问题,该工作在 AV-HuBERT 识别主路径之外并联一个在 FBank 特征层面重建目标与干扰的 AV-TSE 辅助任务,并在 MCoRec 开发集上把词错误率从 49.90% 降到 49.55%,代价是需要仿真混合数据提供干净特征监督且推理时不使用提取分支。