同时看全场又不看未来:CAST-ASD 怎么做在线说话人检测
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
共分析 146 篇语音/AI 论文
论文把每帧多开一层 RVQ 值不值得花作为可学习的边际效用问题,用与目标码率无关的因果控制器预测效用,再用精确序列化前缀预算做分配,在不超预算下改善三域重建与部分冻结表征任务,但因果在线增益小于离线最优且主观增益仅在语音上显著。
共分析 93 篇语音/AI 论文
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对耳机通话中常规有源降噪会连带压制语音的问题,该文用因果 WaveNet 增强参考信号以滤除语音保留噪声,再沿用常规有限冲激响应控制滤波器降噪,最强证据是多种信噪比与真实噪声下误差信号的短时客观可懂度与 DNSMOS 均优于可运行基线,代价是约 9.53 M 参数与每秒约 38.12 G 乘加运算的参考增强开销。
针对在线视听目标说话人提取中选错人且会议泛化差的问题,该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调,在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%,并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升,代价是仅在双人混合上微调且未报告设备端真实耗时。
针对语音丢包隐藏中突发长丢包导致的相位失配问题,DDSN 把幅度与相位解耦建模并用幅度先验做残差引导,在 VCTK 与 2022 PLC 盲测集上提升 PESQ 与 PLCMOS,代价是 15.37M 参数量大于对比基线。
论文用视觉世界眼动时间线做基准,对比因果与非因果端到端语音识别模型的词激活轨迹,发现因果循环模型能复现先队列后押韵的竞争顺序而非因果与大预训练模型不能,但识别准确率更高者反而偏离人类,代价是小词表孤立词和受控语义目标的生态效度有限。
针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。
针对连续流关键词检测在 0.5 至 0.2 次误报每小时下交叉熵模型漏检严重退化的问题,论文提出只做离线辅助的目标受限拉紧加间隔排斥正则,在谷歌语音命令第二版上把 0.2 误报每小时下的漏检率从 29.85% 降到 14.80%,而封闭集准确率从 95.82% 微变为 95.68%,且部署端参数量、计算量与前视保持不变。
针对非因果教师特征含未来上下文与因果学生零前视能力冲突的问题,该文用下三角掩码的样本内时间关系蒸馏加离线双向拓扑先验,在 GSC V2 上把因果 1D-CNN 准确率从 95.12% 做到 96.91%,并在 1.0 FA/h 下把连续流误拒率从 8.52% 降到 4.15%,且不增加部署参数与单步延迟。
MuVAP 针对单通道音频加单视角视频的多人轮替问题,用角色相对投影把任意人数压缩为当前与下一持有者两角色,并用因果视听轨迹锚定全局声学预测,在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测,但历史窗依赖与类别不平衡带来延迟与偏置代价。
针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题,论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线,再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量,并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优,同时保留教师性能。
针对多模态对话情绪识别中全局图传播混合非目标说话人特征并可能看到未来的问题,论文提出先用因果 Top-K 注意力把跨说话人线索写成摘要、再只在单说话人异构子图上传播的 SF-HGN,在 IEMOCAP 上报告 68.76% 加权准确率与 68.73% 加权 F1、在 MELD 上报告 66.40% 与 65.65%,代价是 Angry 等类别明显下降且隐私仅 …
针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。
共分析 34 篇语音/AI 论文
该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别,用跨模态蒸馏得到因果轻量视觉前端,再配因果分离器,在最低乘加运算量下取得可比或更好的分离质量,但跨域时仍受视觉前端训练域限制。
针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题,WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射,在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带,并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。
Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题,用说话人匿名化做扰动并配全因果编码解码器,在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688,代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。