同时看全场又不看未来:CAST-ASD 怎么做在线说话人检测
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
论文针对智能眼镜四通道双人日常对话的重叠与远场转写问题,比较直接微调 SoulX-Transcriber 与 GSS 和多通道 DPRNN 前端辅助两路解码的差异,验证集上前端在高重叠时更优但最终以更稳定的直接微调系统提交并在测试集取得 tcpCER 6.22,代价是前端失真与零填充带来的幻觉和分段解码处理。
该文研究门诊多房间录音中无访客注册时的访客跨房链接,用逐设备中心化加并发与房间类型约束和员工语音校准阈值做聚类,在 VOiCES 仿真日上对 11 种嵌入全面超越无标签基线,但高度依赖跨房重复语音去除且单访患者仍易误合并。
针对 CPU 上低延迟流式说话人日志问题,论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类,在低重叠数据上取得领先但重叠语音仍是主要代价。
针对无预先切分的多语双人对话说话人归属转写问题,比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线,开发集上级联平均误差更低但统一路线在部分语言上占优,代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。
SepRQ 针对多人混合语音的表示学习问题,用无掩码的多分辨率伪源分离预测冻结随机码本序列,在 SUPERB 分离与日志任务上取得较强结果,代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销,且单说话人任务仍受限。
该文把说话人跟踪拆成段内分离加跨段两阶段组织,用重叠拼接接续连续语音、用工作记忆做说话人验证来连接中断语音,在 LibriCSS 和 AMI 上验证了在线跟踪效果与说话人增多时的代价。
针对在线日志人数偏多偏少都看不出来的问题,该文只改基线跟踪器何时注册新说话人,用候选池积累证据加确认后才输出,在九个数据集上把宏观人数误差从 225% 降到 21% 并降低宏观 DER,代价是全部输出平均多等 0.109 秒。
针对嵌入聚类时间分辨率与神经 diarization 长录音身份一致性互补但表示不兼容的问题,论文用神经说话人划分调制局部表示构成连续亲和并与多尺度声学亲和相加后做一次全局聚类,在 AMI 与 CALLHOME 上同时超过两个组成系统,而硬用说话人计数则显著变差。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对有限真实会议数据下的多人语音识别,论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词,在约 0.7B 参数下降低重复幻觉并改善说话人归属,代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。
针对 EEND-VC 局部分割需要处理重叠语音并扩展到长录音和任意说话人数的问题,论文用 WavLM 前端加双向 RetNet 后端做短窗分割,在冻结与微调 WavLM 的两阶段训练下把域内宏平均 DER 做到 15.8% 和 15.0%,代价是后端参数增至 8.6M 且最优结论依赖固定 10 秒训练窗和 VBx 调参条件。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对儿童中心长时录音跨库异构、无共享基准、儿童敏感语音难合规使用的问题,论文用 DataLad 加 ChildProject 标准化 27 个语料并给出四任务基准管线与 ELSI 分级治理,最强证据是全量数据重训语音类型分类在关键儿童类达 73.4% 而仅公开数据平均仅 44.4%,代价是 21 个语料仍需授权且人工筛选映射不可省。
针对精神病高危结构化访谈的长时双人对话问题,DIALOG-DeID 用可替换的语音识别加说话人分离加角色映射加文本去标识流水线产出带角色的脱敏转写,并用说话人归属词错率和限定词保留率证明总词错率 13.3±1.4 时归属词错率仍达 33.1±6.7 且 20-24% 片段丢限定词,代价是分离误差与小样本临床验证的局限。
针对儿童中心长时录音语料格式不统一、开源模型需要编程能力和常用指标缺乏可比评估的问题,ELSI 用标准化流程加网页端一键调用已有模型与导出指标的方案组织工作流,本文为展示型系统介绍未报告定量主结果与消融,其代价是仍依赖服务器算力与外部存档保护。
论文构造约 108 小时三类声学条件的多人对话基准并统一评测说话人日志与识别,报告显示印度专用管线在时长加权平均上取得最低的 16.0% 日志错误率与 38.8% 级联词错率,但高重叠与低资源语言仍使三类误差同步上升。
论文提出目标说话人遗忘转写任务与可插拔的注册条件门控模块,只训练轻量门控而冻结双流语音大模型,在 AMI 与 AliMeeting 上把退出者内容泄露率从 72.3% 降到 48.2% 和从 73.6% 降到 27.3%,保留者误差基本持平但混合重叠段仍有可测代价。
针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题,论文先在系统层引入空间特征与波束形成得到多通道级联,再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型,在相同识别后端下把时间受限词错率降到 17.86%,代价是更长的窗与额外的自适应流程。
论文以 DiCoW 与 Sortformer 为载体系统改变轮次、源域、增强与混合策略,报告显示加大重叠把 NSF-1 上合成训练 DiCoW 推到 22.1% 而把 Sortformer 宏平均推差到 27.6%,多样源混合与噪声加混响组合则分别主导两任务,合成加真实联合训练取得最优。