通用模型先标、专家再改:SpeechBench 把多步语音预标注装进一个本地可部署工具
针对通用语音模型预标注与人工精修脱节、现有工具缺少流水线编排和私有部署的问题,SpeechBench 用前后端分离加可视化流水线与层级编辑把多模型串接起来,展示了离线笔记本演示的可运行性,代价是本文未报告定量效率与精度对照。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对通用语音模型预标注与人工精修脱节、现有工具缺少流水线编排和私有部署的问题,SpeechBench 用前后端分离加可视化流水线与层级编辑把多模型串接起来,展示了离线笔记本演示的可运行性,代价是本文未报告定量效率与精度对照。
针对巴西葡萄牙语自发语音缺乏统一评测的问题,论文把多个公开语料的测试集拼成 72.46 小时的 Tarsila-ASR,用它评测开源模型并以 1156 小时会话数据微调 Whisper-large-v3 得到最低词错误率,但代价是推理更慢且中间检查点优于长训练。
针对合成训练难迁移到真实环境的问题,论文用 2.9 小时 CHiME-3 真实带转录噪声加 VCTK 合成对做开关双模式微调,在 CHiME 上把词错误率从 63.66 降到 20.27 并把感知质量做到 3.23,代价是增强偏置与识别偏置仍需二选一且加长开关会回落感知质量。
该研究针对 6 种南部班图语,用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习,在 Swivuriso 训练并向 NCHLT 迁移,最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%,但架构按语族分化且课程收益不稳定。
针对增强伪影损伤识别的问题,该文提出免训练的置信度加权观察相加方法,在多种增强与识别组合上降低词错误率,但当含噪与增强差距过大时仍可能不及最强单路。
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题,用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer,在约 17000 小时越南语无标注语音上预训练出 78M 参数模型,在识别、情感、方言和说话人验证四类任务上报告最优平均结果,代价是仍需大规模预训练算力与多条件微调验证。
针对微调后朗读变好、自发语音变差的演播室偏置问题,论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点,再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型,代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。
该文以 AVID 库 50 人在四个努力等级上的 F0、能量、频谱倾斜和语速斜率为表示,用 K 均值得到三类策略并以噪声、跨语料和 ASR 三重验证支撑,最强证据是簇内可分性与噪声可恢复性,代价是轮廓系数不高且性别关联不显著。
针对无监督域自适应下伪标签噪声与过自信问题,论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤,在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%,代价是需要多轮扰动推理与精细的掩蔽超参数。
论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移,用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证,最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%,代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。
该文把语音序列生成中的自回归搜索拆成估计、决策、先验更新与终止检验的递推结构,用纳入标准区分投机解码与非自回归方法,但未报告定量解码基准实验与可运行代码。
针对联邦环境中设备算力不一与语音任务所需表征深度不同,该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合,证据显示中间层常优于全 12 层,而浅层可大幅降低内存占用。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对只用英语训练、直接在七个未见语言上做零样本音素识别时替换错误占主导的问题,论文把识别改写为向通用发音特征空间的预测并用信息瓶颈过滤语言特异变化,报告平均音素错误率相对降低 20.56%、发音特征错误率相对降低 7.01%,代价是仍需目标语言音素清单做向量对齐且推理依赖 CTC 分段质量。
针对医生患者对话中联合识别内容与说话人角色的问题,该文冻结 ASR 换能器并训练同步的角色换能器,用任务专用预测器、高层编码器特征与一-best 路径交叉熵实现同步标注,在 DoPaCo 上把角色词错误率降到 6.1,代价是需要已对齐的 ASR 与角色标注训练数据。
该工作把希腊语歌曲做成片段级对齐的歌词转写基准,用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调,最强两阶段 Large-v3 把归一化词错误率降到 27.2%,代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。
针对印地语一线健康对话的自发、噪声和重叠语音问题,论文用级联式说话人日志加语音识别再接大模型主题与摘要的四任务基准组织评测,最强证据是领域微调把 IndicConformer 的 tcpWER 从 26.78% 降到 20.23% 而参赛队最优做到 18.63% 左右,但下游摘要 ROUGE-L 仅 0.20 上下说明理解仍难。
本文针对聋人及重听人口音与非听觉验证需求,提出以可用、可验证、优雅降级与公平问责透明伦理为框架重构语音转文字、文字转语音与语音转语音,核心证据是受限数字任务下聋人发音 13% 词错误率而听人发音几乎无错,代价是数据稀缺、隐私与身份保持难题尚未解决。