网格够用但不够准:用注意力选麦克风对、再用高置信网格算连续坐标
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。
针对单侧聋用户听不清聋侧正侧方语音的问题,该工作用眼镜侧挂的偶极加全向混合阵列做侧向最小方差无失真波束形成,在 90 度侧向仿真中以 2 偶极加 1 全向组合相对 3 全向提升 0.78 dB 信号失真比和 0.04 扩展短期客观可懂度,但前方和后方优势有限且依赖理想噪声协方差。
针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题,论文先在系统层引入空间特征与波束形成得到多通道级联,再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型,在相同识别后端下把时间受限词错率降到 17.86%,代价是更长的窗与额外的自适应流程。
针对多通道分离中判别模型信号保真高但听感差、生成模型自然但需多步迭代的问题,MeCo 用条件平均速度场做一步校正并引入数据空间优化,在 WSJ0+WHAM!上达到 10.08 dB SI-SDR 与 3.19 DNSMOS,代价是只增加 1 次函数求值和 0.0068 实时率。
针对智能眼镜佩戴者语音易被旁人声污染的问题,该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T,在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%,代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。
针对多麦克风通信中只想在接收端合成可配置指向虚拟麦克风的问题,论文提出联合空间编码与滤波的神经方向性编码,用 0.25 kbps 空间边信息加单通道参考在四麦 16 kHz 上达到与 7.5 kbps 级联基线相当或更好的 SDR 与 PESQ,代价是依赖单通道编解码质量与无混响训练条件。
针对多通道远场会议中重叠与混响导致说话人日志不稳的问题,该文在神经 FCASA 上为说话活动倾向引入贝塔先验并用变分下界代替交叉熵训练,在 AMI 上报告 DER 至少下降 3 个百分点且 JER 至少下降 4 个百分点,代价是只验证了说话人日志而未评价分离质量与计算开销。
该文研究用可移动机器人作已知位置校准源时的分布式麦克风几何标定问题,以含时钟捕获偏移的到达时间差模型推导克拉美罗下界并最小化该下界来求最优声源位置,最强证据是在高斯噪声与声学仿真下定位与偏移估计误差均低于随机放置,代价是一阶段联合优化计算量随声源数增大而显著上升。
针对长时多方对话中说话人活动不均衡与重叠导致归属困难的问题,论文提出以目标到来方向为空间先验的多通道目标说话人抽取前端 PATSE,在回放与真实对话上以词错率和 diarization 错误率衡量获得一致增益,代价是仍需已知目标方向且对极小角度间隔更敏感。
针对移动噪声源方向变化时方向选择固定滤波切换滞后问题,该文用多帧参考信号驱动的卷积循环网络预测下一帧到达方向并提前切换 36 个预训练控制滤波之一,在真空吸尘器噪声恒速与正弦变速仿真中维持高于 15 dB 的降噪,代价是仅处理单声源且依赖离散方向网格与预训练滤波库。
针对会议中重叠语音难分的问题,该文把 SRP-DNN 估计的波达方向作为显式辅助输入注入 S2SND 主干,并在 AliMeeting 上报告离线相对降低 7.4% 与结合通道注意力后超 19% 的改善,代价是依赖多通道估计与两阶段训练。
针对固定区域边界敏感与单维度距离或方位重叠歧义问题,SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取,在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22,代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …
针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。
针对只有无标注混响语音时的单说话人去混响问题,USDnet++ 在 USDnet 混合重建约束上增加对 WPE/WPD 信号处理结果的重建约束并配合多阶段迭代与 SPD 特征输入,在 WSJ0CAM-DEREVERB 上把无监督基线从 PESQ 2.64 提升到 2.94 左右,代价是需要先训练 USDnet 再交替计算 SPD 与微调且推理可能要跑两个模型 …
论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题,用解耦的线索前端与分离器主干实现可配置组合,并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性,主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。
针对悬停无人机自噪声在极低信噪比下同时破坏方位估计、噪声协方差估计和残留噪声抑制的问题,该研究用相位一致性选时频格、交叉频率混合掩蔽做最小方差无失真响应波束形成、再加零陷参考后滤波,在无混响负 25 分贝输入下报告方位准确率 98.12% 并提升语音质量,但计算只计乘加操作且只验证悬停状态。
针对受物理约束只能放少量麦克风的问题,论文用生成虚拟麦克风信号与特征去增强多通道语音增强,在受限的仿真条件下接近全阵列性能,但虚拟通道位置与阵列几何绑定且需额外计算。
论文以口部辐射为唯一声源的边界元仿真为对照,用假头扫频与两人真人发声的相对传递函数对比,报告耳周尤其是耳下麦克风在 1 千赫兹以下出现仿真无法解释的幅度抬升,代价是样本仅两人且振动传感器未标定。
针对多通道语音增强中均匀 SDR 损失忽视音素级时频线索的问题,该研究提出基于局部语音存在、语音干扰比和谱通量加权的时频加权 SDR 框架,在白噪声下实现更强的干扰抑制和辅音与爆破音识别提升,代价是在语音形噪声下部分失真指标和短时客观可懂度略有下降。