长对话里声音串台怎么办:在扩散重建之前先把说话人排好队
针对两人混合录音恢复后说话人会串轨道的问题,论文用固定注册身份在扩散前对粗分离流做排序,在 CANDOR 25 分钟对话上把错轨时间从 43.86% 降到 4.08%,只增加 1.84M 参数和约 2.8% 耗时且重建音质不变。
针对两人混合录音恢复后说话人会串轨道的问题,论文用固定注册身份在扩散前对粗分离流做排序,在 CANDOR 25 分钟对话上把错轨时间从 43.86% 降到 4.08%,只增加 1.84M 参数和约 2.8% 耗时且重建音质不变。
共分析 34 篇语音/AI 论文
针对多人混合语音中只提取目标说话人的问题,PromptSep-Speaker 用潜在扩散一次生成目标语音并支持四种可互换提示,在多组异域评测上提高分离准确率与听感,而去掉对齐损失后目标选择可靠性大幅下降。
共分析 25 篇语音/AI 论文
针对真实混响噪声加多人交叠下视觉也可能不可靠的问题,该文用双视觉流粗分离保留目标混响与底噪、再用混合加粗估计做目标提纯并做线性融合,在挑战赛两条赛道上以 12.31% 和 14.79% 的字错率取得最低,同时付出提纯后部分客观分离指标下降再由融合找回的代价。
共分析 69 篇语音/AI 论文
针对多语言混合语音中不同输入提取难度不同,该研究用样本级难度估计加共享多出口提取器做自适应路由,在 PolyExtract 上以 0.30 GFLOPs 达到 15.07 dB 宏平均 SI-SNRi 并把下游平均词错误率从 16.8% 降到 14.6%。
该文研究编解码器词元怎样用于目标说话人提取,提出判别语义分支加生成声学分支的分工结构,在 Libri2Mix 上把可比基线的 dWER 从 0.388 降到 0.118,代价是依赖两阶段结构和冻结的 DualCodec 编解码器。
共分析 146 篇语音/AI 论文
论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题,用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标,最强证据是噪声下客观与听感在竞争语音条件提升最大,代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。
论文把查询半径以内的说话人累加和作为直接目标,用连续半径调制和相邻半径一致性约束实现单模型连续区域提取,在实测混响上给出 29.25 dB 等结果,结论限定在两说话人训练和 0 到 4 米查询范围内。
该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进,报告了混淆与失配等条件下的定量变化,并强调无统一最优线索与范式,需按传感、同步与部署约束选择与评估。
针对合成训练与真实对话失配且无信号级真值的问题,该文用合成预训练加目标感知弱监督过渡再做质量过滤的 RemixIT 重混自适应,在 REAL-TSE 未见场景 EVAL-2 上把 TER 从 0.763 降到 0.713,代价是只保留 4.2 小时高置信伪标签且依赖说话人标注与转写质量。
该研究用共享交叉注意力接口统一文本线索和注册语音两种目标指定方式,在 30000 个双说话人混合评估上以五字文本加注册语音达到总体字错率 8.80%,代价是单线索推理弱于并行融合且依赖 oracle 文本跨度。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对在线视听目标说话人提取中选错人且会议泛化差的问题,该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调,在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%,并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升,代价是仅在双人混合上微调且未报告设备端真实耗时。
针对混合语音中重叠与噪声变化导致目标转写恶化的问题,该研究让同一 Whisper 分别学习目标转写与双说话人串行转写并在解码时以单一引导尺度调节声纹偏好,在冻结主干下用目标域开发集选全局尺度并以轻量预测器做逐句微调,取得可部署的全局加逐句增益而代价是需要标注开发集且预测器仍远低于逐句事后上限。
针对远场多说话人加噪声下目标说话人提取,论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制,在自采真实录制集平均词错误率从 28.40% 降到 20.38%,代价是两阶段级联与双分支结构更复杂。
针对端到端脑电引导目标语音提取在跨试次上因试次特异结构走捷径而失效的问题,论文提出冻结编码器的两阶段框架 TRUST-TSE,用同目标说话人负采样的对比预训练加置信度加权提取,在 KUL 上达到 62.27% 选择准确率、在 DTU 上达到 70.40%,代价是仍需处理部分脑电引导模糊片段的参考切换与加权。
论文把成人训练的自监督匿名化流水线用 MyST 儿童语料微调内容编码器和声码器并换成儿童音色池,在单人域内与跨口音和双人混合下维持高隐私的同时改善可懂度和儿童感,但双人可用性仍受目标说话人提取质量限制。