麦克风位置变了还能按角度区域提取说话人吗
本文针对固定阵列假设下区域提取难以换阵列使用的问题,提出随麦克风数量和位置变化的前端与重建辅助目标,在仿真上超过同类可变阵列基线并在四麦克风上接近专用模型,但边界区分仍依赖孔径条件。
本文针对固定阵列假设下区域提取难以换阵列使用的问题,提出随麦克风数量和位置变化的前端与重建辅助目标,在仿真上超过同类可变阵列基线并在四麦克风上接近专用模型,但边界区分仍依赖孔径条件。
SPATEX 针对多麦克风下既要提目标语音又要保留各通道空间关系、且麦克风数量与几何可变的问题,用几何感知的通道交换与共享时间注意力逐通道重建混响目标像,并以相位差与相干性约束通道间关系,在可变阵列与固定阵列上都报告了提取与空间保真度的提升。
本文用说话人之间的左右和远近相对关系作为离散指令来引导多通道提取网络,在静态与运动、仿真与实测混响下验证了其在不同麦克风数和说话人数下的提取效果与适用边界。
共分析 48 篇语音/AI 论文
VoxLock 要解决背景人声被识别器转写的问题,做法是从本次通话截取 3 秒 caller 声音去提示因果分离模型,在 Krisp 真实录音上把词错误率从 23.21% 降到 4.95%,代价是干净电话场景会轻微变差且依赖 caller 最早最响的假设。
共分析 21 篇语音/AI 论文
针对多人混合语音中只对目标说话人做语义轮次判断的问题,SpeakerTurn 在冻结声学通路下用 LoRA 联合生成目标转写与轮次状态,在合成测试上五状态宏 F1 达 0.811、目标转写 CER 为 4.20%,而结构化思维链降低了转写错误却也降低了轮次判别分数。
本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支,在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量,同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。
Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开,用分量损失训练,在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复,代价是 16 ms 算法延迟和单次重投影计算。
共分析 25 篇语音/AI 论文
论文针对固定双人、无混响突变噪声的评测与重型因果模型难以部署的问题,构建同时变化人数、远近场、混响和噪声并配真实录音的 RealSSA 基准,并提出单次编解码完成多尺度时频建模的 Falcon,其编码器空间对比损失在推理零代价下抑制近场泄漏,在多集上达到最优分离质量并大幅降低参数与延迟。
针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。
针对只有目标注册语音时缺少干扰方信息的问题,NECTAR 利用混合质心近似等于说话人质心中点的几何关系并用质心空间映射器从单段输入估计质心,再把目标嵌入与估计的干扰质心拼接送入提取器,在 Libri2Mix 上达到 16.18 dB 的 SI-SDRi 提升,代价是增加一个约 1 小时训练的小型映射器。
论文为呼叫转写做因果语音隔离,用从通话自身注册的主讲人线索做掩蔽,在长通话和单人通话的权衡中用因果化的 WavLM 改善两端,并蒸馏出单 CPU 线程可跑的小模型。
共分析 80 篇语音/AI 论文
该文解决固定阵列训练的目标提取模型换阵列就失效的问题,用目标导向矢量和 GCC-PHAT 空间掩蔽代替抽象位置编码做几何条件,在随机与圆形阵列上都提升提取质量,但目标方向误差超过 20 度后优势不再。
针对含有音乐的单通道目标语音提取,MuseFlow-TSE 先用显式估计音乐的跨源带划分提取器做掩蔽分离,再用从粗估计出发的数据到数据流匹配做 1 到 4 步精炼,在 16 kHz 合成复杂场景里保住词错误率和说话人相似度的同时改善听感,但结论只在该合成分布内成立。
NeuroCodec 把含脑电和混合语音的提取任务改为在冻结音频编解码器隐空间中生成目标隐变量,用图卷积脑电编码加跨模态注意与 Mamba 融合,并在 Cocktail Party 和 KUL 上以可懂度和听感得分验证,同时给出因果在线扩展的精度与实时因子代价。
针对多种退化混杂时单一模型难兼顾内容与音质的问题,该工作用语义分支保语言内容、声学分支保频率相位细节并经双向交互融合后交给大音频语言模型生成离散语音标记,在 Libri2Mix 与多退化子任务上内容指标占优但部分感知指标仍有起伏且依赖大规模合成训练。
共分析 58 篇语音/AI 论文