论文解读

不听我:把已注册的人声删掉来避开远场回传延迟

该文把远场回传增强中的本人声音当作已知干扰来删除,用注册语音条件化的时域掩蔽模型实现去噪加删人声,主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s,代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …

 · 更新于 2026-11-04 · 约 18 分钟 · 8638 字 阅读 →
论文解读

只用一句 Hi Pandora 做注册:唤醒词目标语音抽取为何听感上去了识别却掉下来

论文把唤醒词片段直接当注册语音研究无预注册的目标语音抽取,在五个真实噪声场景比较四个判别与生成模型并用大模型语音合成增强注册,发现合成注册能提升听感但语音识别错误率仍高于原始混合,存在可听度与可懂度脱节的代价。

 · 更新于 2026-11-04 · 约 16 分钟 · 7937 字 阅读 →
论文解读

不改解码器做多说话人理解:用声纹活动掩码把目标说话人先抽出来

针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题,论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取,Dixtral 在四套转写集上宏平均 cpWER 为 15.4%,代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。

 · 更新于 2026-11-04 · 约 18 分钟 · 8797 字 阅读 →
论文解读

从混合比位置直接跳到目标:MeanFlow-TSE 为何能把一步生成走直

针对多人混合中用注册语音抽取目标说话人的任务,MeanFlow-TSE 沿用背景到目标的混合比流形并改用平均速度训练,在 Libri2Mix 上以单步推理取得 Clean 集 3.26 PESQ 与 18.80 dB SI-SDR,代价是无参考自然度指标仍落后于部分多步模型且复现依赖原文超参数。

 · 更新于 2026-11-04 · 约 15 分钟 · 7243 字 阅读 →
论文解读

多视角训练、单视角可用:用乘法融合把侧脸唇动变成正面提取的增益

针对正面视角假设在转头时失效的问题,该工作用多视角张量融合在训练期学习跨视角唇动关联,单视角测试平均 15.718 dB,最强证据是比正面训练对照高 1.616 dB,代价是训练需同步多视角视频与少量额外计算。

 · 更新于 2026-11-04 · 约 16 分钟 · 7972 字 阅读 →
论文解读

四个人同时说话时,耳后脑电如何同时回答何时听与听谁

针对 4 人并发下单线索易选错人的问题,NeuroMultiSpEx 用耳脑电并行提取包络时间线索与说话人身份线索再门控融合,在 PKU 耳脑电数据上达到 9.613 dB 的 SI-SDRi 并以 82.4% 的四分类注意准确率支撑提取,代价是依赖同组说话人且试验内划分的评测条件。

 · 更新于 2026-11-04 · 约 18 分钟 · 8962 字 阅读 →
论文解读

用稳定的到来方向代替说话人注册:在长会议中直接抽出目标语音

针对长时多方对话中说话人活动不均衡与重叠导致归属困难的问题,论文提出以目标到来方向为空间先验的多通道目标说话人抽取前端 PATSE,在回放与真实对话上以词错率和 diarization 错误率衡量获得一致增益,代价是仍需已知目标方向且对极小角度间隔更敏感。

 · 更新于 2026-11-04 · 约 18 分钟 · 8792 字 阅读 →
论文解读

试内切换下脑电不可靠且有延迟,SAGE 用双路候选加软门控做平滑选择

针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。

 · 更新于 2026-11-04 · 约 20 分钟 · 9865 字 阅读 →
论文解读

从划区域到指一点:SPOT-TSE 用距离加方位点查询做目标语音提取

针对固定区域边界敏感与单维度距离或方位重叠歧义问题,SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取,在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22,代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …

 · 更新于 2026-11-04 · 约 20 分钟 · 9749 字 阅读 →
论文解读

不用学隐式边界映射:用对准加扫描直接锁住感兴趣区声源

针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。

 · 更新于 2026-11-04 · 约 18 分钟 · 8733 字 阅读 →
论文解读

线索可缺可组:WeSep 把目标说话人提取改写为异构线索条件学习

论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题,用解耦的线索前端与分离器主干实现可配置组合,并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性,主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。

 · 更新于 2026-11-04 · 约 17 分钟 · 8381 字 阅读 →
论文解读

先抓语义再补声音:GenTSE 用两段生成缓解自回归提取的错位

针对多人混合中抽取目标说话人的任务,GenTSE 用语义级与声学级两段解码器语言模型分工建模,并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量,在 Libri2Mix 上感知质量优于同类生成式基线,但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。

 · 更新于 2026-11-04 · 约 15 分钟 · 7051 字 阅读 →
论文解读

用音位束做视觉线索:在因果约束下重做在线视听目标说话人提取

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别,用跨模态蒸馏得到因果轻量视觉前端,再配因果分离器,在最低乘加运算量下取得可比或更好的分离质量,但跨域时仍受视觉前端训练域限制。

 · 更新于 2026-11-04 · 约 23 分钟 · 11044 字 阅读 →
论文解读

只看文字会把两个人说成一个人:用说话人向量修补假设聚类的多说话人识别

针对重叠语音中多人同词与注册信息利用不足的问题,该文把连续说话人嵌入加进假设聚类距离,在相同内容两说话人上把词错误率从 68.3% 降到 36.6%,在目标说话人干净两说话人上从 18.7% 降到 14.4%,代价是权重过大时会压制文本相似度并增加多假设解码聚类开销。

 · 更新于 2026-11-04 · 约 17 分钟 · 8490 字 阅读 →
论文解读

先把嘴型变成离散语义令牌,再去混合语音里捞人声

针对噪声混响下唇视觉与声学对齐不稳的问题,论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取,在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益,代价是两阶段流水线与令牌预测精度依赖。

 · 更新于 2026-11-04 · 约 18 分钟 · 8789 字 阅读 →
论文解读

用听者自己的耳朵形状做线索:在保住方位感的同时抽出目标说话人

针对双耳混合中目标说话人提取后空间线索易失真的问题,该工作选择直达路径头相关传输函数作为空间先验并在窄带分离骨干上做潜空间调制,在仿真上报告了更高的信失真比改善和更小的耳间线索误差,在头颈模拟器实录上报告了更高的非侵入式质量分,代价是依赖目标方位已知与头相关函数库的角度采样密度。

 · 更新于 2026-11-04 · 约 16 分钟 · 7554 字 阅读 →
论文解读

一个自回归模型同时吃同步与异步线索:用历史预测补缺失画面

TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索,以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81,代价是流式与弱模态组合仍有质量与语义折中。

 · 更新于 2026-11-04 · 约 23 分钟 · 11249 字 阅读 →
论文解读

真人对话里多说话人提取为何变难:静音太多与注册语音对不上

针对真实四人对话中目标说话人长期静音与朗读式注册语音失配问题,该工作用随机 VAD 掩蔽损失把 STOI 从 0.55 提升到 0.60、fwSegSNR 从 4.35 提升到 5.12,代价是仍需保留部分静音训练并受注册相似度制约。

 · 更新于 2026-11-04 · 约 18 分钟 · 8816 字 阅读 →
论文解读

四人餐馆对话要听清谁:CHiME-9 ECHI 在眼镜与助听器上做因果多说话人抽取

论文研究餐馆噪声下四人对话的同伴语音抽取,选择带说话人注册的目标说话人抽取与因果约束,用听音转写正确率与 P.835 质量分证明头部系统相对基线有实质提升,而客观指标与听感排名不一致且保留噪声与保真度不可兼得。

 · 更新于 2026-11-04 · 约 17 分钟 · 8300 字 阅读 →
论文解读

在说话人移动时仍逐帧更新:以加权似然把 ILRMA 与 RCSCME 改写为在线算法

针对漫射噪声下单目标实时提取问题,论文用最大加权似然把 NSR-ILRMA 与 RCSCME 改写为逐帧在线更新,并在静止与移动说话人仿真及真实录音中对比在线与分块批处理路线,其代价是每帧仍需矩阵求逆加速与稳定性控制且处理时间接近移位长度。

 · 更新于 2026-11-04 · 约 20 分钟 · 9663 字 阅读 →