用单乐器检测器清洗网络爬取音频:七轨分离数据的自动构建
针对音乐源分离缺少细粒度、大规模、高质量训练数据的问题,该工作用七类单源二分类检测器清洗多语言关键词爬取的独奏音频,最强证据是检测器七类平均准确率 97.14% 与清洗后联合训练带来平均 SDR 提升 1.16 dB,代价是阈值提高会大幅削减保留时长且类别时长仍不均衡。
针对音乐源分离缺少细粒度、大规模、高质量训练数据的问题,该工作用七类单源二分类检测器清洗多语言关键词爬取的独奏音频,最强证据是检测器七类平均准确率 97.14% 与清洗后联合训练带来平均 SDR 提升 1.16 dB,代价是阈值提高会大幅削减保留时长且类别时长仍不均衡。
针对印度、印尼和拉美口音的英语学习对话,该研究用启发式富实体选数据加分区 LoRA 双输出转写,把实体召回做到 80-85% 和填充词召回做到 76-86%,代价是依赖银标准参考和每区独立适配器。
该研究用固定朗读句控制词义、用端侧提取后删原音频来兼顾可比性与隐私,在 560 人 9877 条记录上验证了高依从与可分析性,但说话人分类强而 momentary 情感预测弱,且残留朗读合规与特征表达力的代价。
该工作把人到非人声音转换定义为保留源内容并复刻参考设计音色的任务,用 40 见过与 7 未见过预设和见过与未见过音色源构造配对测试,并以代表性模型的余弦相似度从 0.667 降到 0.610 和 MOS 从 3.81 降到 3.49 为代价展示泛化难度。
论文用十一人新标注数据把未见说话人笑声切分误差降到 23.0 毫秒与 30% 替换错误,再对比人工与自动标注训练的声码器参数合成与音频大语言模型合成,报告显示后者自然度更高而前者笑法还原更高,且自动标注仍落后于人工标注。
针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。
针对西班牙语渐冻症、帕金森和卒中后语音识别难且缺野外基准的问题,论文构建 22 人 444 段的 S-DiverSe 只做评测集,对比 4 个 ASR 系统与微调策略,最强证据是启发式文本后处理把 Voxtral-Mini 和 Whisper 在 S-DiverSe 上的总词错率降到 23.73% 和 22.01%,而全量微调在域外反而恶化到 26.81% …
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
论文用 85 人配对健康与感冒录音检验感冒对说话人嵌入的影响,发现传统声学特征经多重校正后大多不显著,而四种现代嵌入均出现可测量的有向偏移,其中 TitaNet 相对偏移最大但验证错误率仍保持在 1.51% 到 3.10% 之间。
针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。
论文针对静态双人语音难以反映真实移动对话的问题,构建了 50 人、64 导脑电加眼动与多路生理同步的移动对话数据集,用重复词检测、包络与轨迹重建和被试间相关验证了注意信号可用性,代价是轨迹特征弱、个体与慢生理信号差异大。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
该文要解决多人多设备共享声场下数据难采集难复现的问题,选择把场景定义与音频渲染分离为轻量菜谱加按需渲染,演示了手动搭建单场景与规则批量生成场景集合两条路径,但未报告定量识别或增强收益且未给出可验证的公开资源。
该工作把双工对话拆成先写意图关系再测语音时刻的合成管线,用 42 种现象的双通道数据证明因果语义 VAD 能学到起止边界且 Moshi 微调后接管轮次从 0.44 升至 0.85,代价是稀有打断类与自由生成的精确对齐仍弱。
该研究针对情感合成语音缺乏质量评估数据的问题,收集 13 套系统加自然语音共 18208 条样本的 262 人听评数据,发现中性语音训练的质量预测器与大模型裁判在部分情感上可排序系统但随情感波动明显,代价是跨系统比较条件不完全公平且零样本预测仍有差距。
该研究用 Pink Trombone 发音合成把英语词典逐词合成为男声与女声两套波形,并按发音指令时刻直接放置地标,以平均短时可懂度 0.75 左右为代价换来无人工标注歧义的确定性基准。
针对俄语重音移动与韵律标注缺失问题,Balalaika 用语义切分加多识别器投票加质量过滤构建约 5078 小时多源语料,并在 25 小时等量预算下验证去噪与语音合成的自然度收益,但严格过滤与单说话人优势等边界仍需注意。
针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。
该文先用英语量化把训练单元从 12.03 秒缩到 0.35 秒的代价,再用短语音训练的单音子模型去强制对齐长语音得到句子级语料,并在 5 种濒危语言上证明 CPU 可训练的 HMM 系统域外性能优于大模型,但 Jejueo 和 Mohawk 仍极难且 Hawaiian 只保留 23.20% 时长。