用脉冲网络做多通道语音增强:在边缘端如何兼顾空间信息与计算代价
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景,用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型,在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测,但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。
针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题,该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数,在仿真中把全视场分辨率稳定到 5 到 6 度,代价是依赖运动、里程计和仿真验证。
针对仿真训练在真实远场混合上泛化不足的问题,UltraM2M 用同一增强网络同时接受仿真监督、混合重构约束和冻结语音识别损失的弱监督,在 CHiME-4 真实集上降低词错误率,多通道时还提升感知质量,但结论只在该数据集和给定评测识别器条件下成立。
针对少麦克风、低信噪比下盲语音分离观测约束不足的问题,VM-ArrayDPS 把独立向量分析输出当作虚拟麦克风与物理麦克风一起做多通道一致性引导,在 SMS-WSJ 二人和三人混响分离上一致超过 ArrayDPS,代价是每步要多做虚拟通道的前向卷积预测与梯度计算。
针对开放式耳机的空间选择性有源噪声控制问题,论文把期望语音保持误差改成频率加权二次惩罚并保持时域低延迟控制,在实测脉冲响应多说话人场景下报告 LTASS 与 oracle 加权在更高 SI-SDR 处取得最大可懂度提升和相当音质提升,而 SII 与 MIRS 的最大音质提升出现在更低失真容忍度之外。
针对定位误差导致分离质量下降的问题,该工作把单点质量优化改为同一音频窗内多位置波束形成加质量加权平均,在真实办公室与商场录音上用更大初始误差验证了更快更稳的纠正过程,代价是质量估计智能体单次响应时间随测试点数增加。
针对噪声与混响下固定频率加权和严格对位匹配不可靠的问题,QK-GCC 用双通道幅度相位频点表征的查询键局部匹配替代手工匹配,并在仿真混响与变信噪比条件下报告了优于 GCC-PHAT 与神经 GCC 变体的帧级精度,同时保持轻量双通道算子结构。
该研究用共享麦克风处理加掩蔽自注意力实现可变麦克风数的一阶 Ambisonics 矩阵编码,对比只看阵列传递函数的信号无关编码与同时看观测信号的信号相关编码,在 LibriSpeech 训练后于未见麦克风数、更多声源数和非语音源上仍优于静态最小二乘,而信号相关整体更强但白噪声下绝对重建仍然困难。
针对麦克风布局与数量变化时的三维波达方向估计,GAMF 用候选方向阵列传输函数做声学描述,分别构建可学习的麦克风对齐匹配与解析的归一化匹配,并以门控融合,在仿真噪声混响下学习分支更稳健,而八麦克风 LOCATA 上混合达到球面平均误差 3.76 度、方位角 2.87 度,但干净低混响下解析方法仍有优势。
该文把每帧无序波达方向估计和说话人嵌入在输入端融合,用时间与声源两维自注意力输出按说话人排序的轨迹,在合成与 LOCATA 上以关联精度提升为主、检测与定位误差同步下降为证据,但只验证至多两说话人同时至多两活跃的短序列条件。
该文把是否融合写成共因推断,用冻结音频与视觉估计做后验加权融合,在画面内方向误差上取得可核对的下降,而代价是画面外存在小幅回升。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对双麦克风相近方向下空间线索不可靠导致轻量双通道模型退化的问题,论文用空间不变的单通道教师加动态仲裁蒸馏约束双通道学生,在 0°–15°难例上提升质量而大角度基本不掉点,代价是训练期要多跑一个冻结教师且只在教师更好时才蒸馏。
针对实测方向响应中未知空间平移破坏有限阶球谐处理的问题,论文提出最大化有限阶能量比的有限阶质心做声学校准,并在插值平滑、方向已知编码与 HRTF 对称性校准三类任务上显示其可用性,代价是高阶目标变平坦需正则与分频段搜索且不能解决非平移失真。
针对无线声传感器网络中集中式传输代价大而 DANSE 依赖协方差估计与迭代求逆、在低信噪比和非平稳下不稳定的问题,论文提出全神经的 ANDFilter 经单节点滤波、节点选择与多节点融合直接合成复数滤波器,在 LibriSpeech 加 Freesound 仿真上 PESQ、ESTOI 和 DNSMOS 全面超过 DANSE 等基线,代价是每节点仍需传输一路 …
针对远场多说话人加噪声下目标说话人提取,论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制,在自采真实录制集平均词错误率从 28.40% 降到 20.38%,代价是两阶段级联与双分支结构更复杂。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
针对麦克风数不少于说话人数的到达方向已知分离任务,论文用冯米塞斯加权的方向图正则约束 FastMNMF 的联合对角化矩阵,在 1 人和 2 人混响仿真中提升分离质量,而 3 人和 4 人拥挤条件下增益受限。