混着音乐时怎样取出想要的人声:MuseFlow-TSE 的两段做法
针对含有音乐的单通道目标语音提取,MuseFlow-TSE 先用显式估计音乐的跨源带划分提取器做掩蔽分离,再用从粗估计出发的数据到数据流匹配做 1 到 4 步精炼,在 16 kHz 合成复杂场景里保住词错误率和说话人相似度的同时改善听感,但结论只在该合成分布内成立。
针对含有音乐的单通道目标语音提取,MuseFlow-TSE 先用显式估计音乐的跨源带划分提取器做掩蔽分离,再用从粗估计出发的数据到数据流匹配做 1 到 4 步精炼,在 16 kHz 合成复杂场景里保住词错误率和说话人相似度的同时改善听感,但结论只在该合成分布内成立。
NarraSpace 针对 Cookie Theft 看图说话的痴呆分类问题,用固定场景图式把词语、语音时间和事件取回文本组织成可检查的证据,再用冻结语言模型做事件级类比打分与常规分类器结合,在官方 48 人测试集上平均准确率 80.88%,代价是小样本下家族贡献不确定且评估仍属探索性。
本文把字错率变化拆成修好、破坏和插入三部分,对比有无音频的纠错,发现有音频主要减少破坏,修好是增是减取决于改的是自己的草稿还是独立识别器的输出,而医疗口述中插入词会抵消总字错率上的好处。
针对多种退化混杂时单一模型难兼顾内容与音质的问题,该工作用语义分支保语言内容、声学分支保频率相位细节并经双向交互融合后交给大音频语言模型生成离散语音标记,在 Libri2Mix 与多退化子任务上内容指标占优但部分感知指标仍有起伏且依赖大规模合成训练。
AudiPsy 针对咨询语音多轮对话,用观察评估总结结构组织文本与声音情感证据并经三阶段训练,在 DAIC-WOZ 开发集上取得最高 MCC 与 F1,但结论只在给定划分与多数投票聚合下成立且推理仍需临床判断。
针对两人混合录音恢复后说话人会串轨道的问题,论文用固定注册身份在扩散前对粗分离流做排序,在 CANDOR 25 分钟对话上把错轨时间从 43.86% 降到 4.08%,只增加 1.84M 参数和约 2.8% 耗时且重建音质不变。
论文针对社区招募带来的自报诊断标签噪声问题,用注意力、执行功能和记忆三域测验分数重划痴呆、轻度认知障碍与健康对照标签,再训练语音转文本分类器,内部二分类与三分类分别提升约 13 与 12 个百分点并在三个外部语料上复现,而代价是重标签仍是代理标签且依赖单语英语与不均衡小样本。
SLM-SS 把多人分离变成先用自回归模型生成零阶码本的说话人串接序列、再用非自回归模块补高阶残差码本的符号生成问题,在 Libri2Mix 上以可听质量和可懂度为主要收益,代价是依赖编解码器上限、序列变长和离线解码开销。
论文研究攻击者在微调阶段植入以目标说话人自然声音为触发的后门,用两阶段微调先增强说话人可分性再绑定恶意负载,在保留他人正常转写的同时对目标实现高成功率但需干净微调前部署才成立。
本文在语音数据上对比经典方法与两种自监督指纹模型的检索率与开销,核心发现是自监督方法明显更好但语音成绩仍远低于音乐,且错配时更倾向于找对说话人而非找对文本内容。
围绕一位只有约 22 分钟数据的意大利病理嗓音说话人,论文比较四种 Whisper 容量与三种 LoRA 放置,发现两侧注意力同时适配最稳定且时间精度权衡最好,但增益随录音时长而变化。
针对通用语音编码器缺少可见发音几何约束的问题,CASE 用韩语语音-唇部网格对做短片段对比适配,再以残差交叉注意力把纯音频互补特征注入四种原有动画生成器,在英文 VOCASET 上把唇部顶点误差平均降低 2.8-6.0%,代价是增加约 132-135 MB 显存和额外端到端延迟。
论文针对警用电台录音里现成语音识别系统性漏掉关键术语的问题,用少量人工转写去修正大量机器转写得到的关键词平均频次,在巴尔的摩警务关键词上把区间有效的比例从只用人工的 27.2% 和只用机器的 43.0% 提高到 56.2%,但仍有近半数关键词无法给出有效区间。
本文用两个学生模型和两种专家语音比较四种偏好目标与直接或分阶段桥接两种监督路线,发现目标对分数尺度敏感度不同,而固定专家序列的似然升降与生成可懂度变化并不一致,桥接只能缓解部分退化而不能稳定超越初始模型。
论文用冻结的 XLS-R、XEUS 与 PhoneticXeus 表征加参考文本特征和岭回归解决三维度发音评分问题,在 305 段独立朗读上以排序和数值一致性对比专家与存档 Azure 分数,并报告了本地 CPU 运行的耗时与内存代价。
论文用同一批意大利语表演语音比较表演标签、听众投票多数与完整投票分布三种依据,发现复原表演条件更容易但问题不同,而分布监督不改变硬判决胜负却让概率更贴近听众分歧。
针对长对话中重叠导致局部声纹不可靠的问题,论文在预训练 WavLM-MHFA 中插入说话人活动条件变换以直接从完整窗口提取目标声纹,并在有限真实会议数据上微调使估计分割下宏平均说话人混淆误差相对降低。
论文针对冻结 WavLM 做说话人确认时适配不足的问题,用分组混合残差和逐帧层加权两处小改动,在 VoxCeleb1-O 上把冻结基线相对降低约两成,而 WavLM 侧只增加约两三千个可训练参数。
针对越南语多说话人条件流声学模型直接一步采样质量崩溃的问题,MixiSpeech 用 10→4→2→1 课程让一步学生拟合冻结教师的局部积分终点,在 100 组共享文本-说话人评测上恢复到接近 10 步教师的质量,而声学向量场评估降为 1 次、端到端耗时从 0.0662 s 降到 0.0312 s。
针对大模型语音识别把未登录词听成常见同音词的问题,PronCFT 用固定的候选发音序列做监督,训练模型先转写发音再匹配候选拼写,在合并的未登录词测试上把召回从 59.89% 提高到 83.57%,而通用词错误率基本不变。