先消近讲串扰再做视听提取:用增强近讲语音做伪标签弥合仿真与真实鸡尾酒会差距
针对多人多会话同时进行的真实鸡尾酒会转写与会话聚类问题,论文采用先用 CTRnet 消除近讲串扰再用其输出做伪标签微调 AV-TFGridNet 视听目标说话人提取的两阶段路线,在开发集上用 AV-HuBERT 转写达到 33.78% 联合错误率,代价是仍依赖说话人活动时间戳弱监督与未做提取后 ASR 适配时约 48% 说话人词错误率。
针对多人多会话同时进行的真实鸡尾酒会转写与会话聚类问题,论文采用先用 CTRnet 消除近讲串扰再用其输出做伪标签微调 AV-TFGridNet 视听目标说话人提取的两阶段路线,在开发集上用 AV-HuBERT 转写达到 33.78% 联合错误率,代价是仍依赖说话人活动时间戳弱监督与未做提取后 ASR 适配时约 48% 说话人词错误率。
针对四人围桌、佩戴者遮挡与极低信噪比下的低延迟目标语音提取,该工作用近距到远距投影生成相位幅度对齐的训练参考以启用 SI-SNR 训练,并用固定零陷波束形成抑制佩戴者语音加确定性递归增强渐进精炼,在 Aria 设备上显著超过基线,但频率补偿会以残留噪声为代价恢复高频。
针对目标与干扰在单个阵列看来同方向而波束形成失效的问题,该研究用几何约束线性解混做空间滤波、再用跨阵列非目标估计构建多通道维纳后置滤波,在三阵列混响实验中多数指标超过 NMF 与 NTF 基线,但稀疏先验强度与混响条件会带来失真与抑制的权衡。
该文以目标方向对应的个性化头相关传输函数为线索,用全复数神经网络从双耳混合中提取目标并保留双耳线索,在无混响下取得清晰提取、在混响下兼顾去混响,但混响下的客观语音质量仍低于同期强基线。
该文研究混响加定向噪声下两人混合的多麦目标说话人提取,对比瞬时相对传递函数、已知波达方向和单通道声纹三种配准线索,随机位置上瞬时相对传递函数取得 9.2 dB 和 0.81 的分离与可懂度,同波达方向下仍保持 8.8 dB,代价是需要与目标同位置的无噪配准信号。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
该文针对独立向量抽取中源先验不准与二阶算法需要快速求导的问题,用许瓦里宁分数匹配训练正弦多层源非线性,并在仿真与目标说话人抽取中报告了对传统模型的系统性提升与对微调噪声指示器的累积增益。
针对目标说话人提取中干扰声与目标方向接近且混响模糊空间线索的问题,该工作在 SpatialNet 骨干上加入区域方向卷积、高斯核距离编码与混响参数调制,并在方位差为零的极端条件下报告大幅提升,但小距离间隔叠加相似混响指纹时仍有退化。
针对已知说话人提取任务,论文提出掩码加深滤波的 DualDF 并用逐块特征蒸馏把块数与隐层压缩,教师约 12 块 224 维、学生在 6 块 120 维等配置下仍保持目标音质,代价是背景抑制主要依赖掩码分支且轻量学生仍需教师监督。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
针对多人重叠时只转写目标说话人并在目标缺席时拒识的问题,该报告用参考语音拼接混合语音加文本提示的端到端大语言模型方案,在合成与真实会议集上报告了目标说话人词错率下降,同时保留单人识别与空文本拒识能力,但拒识率与误拒之间仍需权衡。
针对脑电与语音采样率不对齐且单路编码只看目标相关特征的问题,TIDENet 用可训练转置卷积做脑电重采样、用结构共享双路编码分别建模相关与无关特征,在 Cocktail Party 和 AVED 上取得最高的 SDR、SI-SDR、STOI、ESTOI 和 PESQ,但单加语音双路时增益有限且 ESTOI 最优变体不是全量模型。
目标说话人提取 | 8.0/10
语音分离 | 8.0/10
共 1 篇 ICASSP 2026 目标说话人提取 方向论文