先分清元音清浊再认音素:用由粗到细的目标过渡缓解 CTC 的空白主导
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题,用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer,在约 17000 小时越南语无标注语音上预训练出 78M 参数模型,在识别、情感、方言和说话人验证四类任务上报告最优平均结果,代价是仍需大规模预训练算力与多条件微调验证。
针对微调后朗读变好、自发语音变差的演播室偏置问题,论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点,再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型,代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。
该文以 AVID 库 50 人在四个努力等级上的 F0、能量、频谱倾斜和语速斜率为表示,用 K 均值得到三类策略并以噪声、跨语料和 ASR 三重验证支撑,最强证据是簇内可分性与噪声可恢复性,代价是轮廓系数不高且性别关联不显著。
针对无监督域自适应下伪标签噪声与过自信问题,论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤,在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%,代价是需要多轮扰动推理与精细的掩蔽超参数。
论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移,用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证,最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%,代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。
该文把语音序列生成中的自回归搜索拆成估计、决策、先验更新与终止检验的递推结构,用纳入标准区分投机解码与非自回归方法,但未报告定量解码基准实验与可运行代码。
针对联邦环境中设备算力不一与语音任务所需表征深度不同,该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合,证据显示中间层常优于全 12 层,而浅层可大幅降低内存占用。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对只用英语训练、直接在七个未见语言上做零样本音素识别时替换错误占主导的问题,论文把识别改写为向通用发音特征空间的预测并用信息瓶颈过滤语言特异变化,报告平均音素错误率相对降低 20.56%、发音特征错误率相对降低 7.01%,代价是仍需目标语言音素清单做向量对齐且推理依赖 CTC 分段质量。
针对医生患者对话中联合识别内容与说话人角色的问题,该文冻结 ASR 换能器并训练同步的角色换能器,用任务专用预测器、高层编码器特征与一-best 路径交叉熵实现同步标注,在 DoPaCo 上把角色词错误率降到 6.1,代价是需要已对齐的 ASR 与角色标注训练数据。
该工作把希腊语歌曲做成片段级对齐的歌词转写基准,用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调,最强两阶段 Large-v3 把归一化词错误率降到 27.2%,代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。
针对印地语一线健康对话的自发、噪声和重叠语音问题,论文用级联式说话人日志加语音识别再接大模型主题与摘要的四任务基准组织评测,最强证据是领域微调把 IndicConformer 的 tcpWER 从 26.78% 降到 20.23% 而参赛队最优做到 18.63% 左右,但下游摘要 ROUGE-L 仅 0.20 上下说明理解仍难。
本文针对聋人及重听人口音与非听觉验证需求,提出以可用、可验证、优雅降级与公平问责透明伦理为框架重构语音转文字、文字转语音与语音转语音,核心证据是受限数字任务下聋人发音 13% 词错误率而听人发音几乎无错,代价是数据稀缺、隐私与身份保持难题尚未解决。
论文用西弗里斯兰语检验大模型生成式纠错能否超越五选一上限,靠公开集加非公开离线集对照排除记忆,最强证据是 GPT-5.1 把词错率降到公开集 8.9% 与离线集 13.8%,代价是开源小模型几乎不改写且插入词判断仍不稳。
针对语音增强语言模型受上下文窗口限制、难以从大规模偏置名单中识别多目标罕见词的问题,COALA 用判别投影做偏置打分并提出 MPD 与 DPD 损失,在 LibriSpeech 上把过滤后识别的偏置词错误率明显压低,代价是仍需两阶段训练与 Top-K 截断。
针对语音帧等距整数序号与语义弹性不匹配的问题,论文用深度可分离卷积从输入预测有界时间偏移并加到 RoPE 序号上,在 Branchformer 上以更少参数在全部 LibriSpeech 测试集和时间扰动下取得词错误率下降,但评估限于单数据集单种子且未做部件消融。
在约 20400 小时芬兰广播音频上比较 4 种递增过滤策略后,神经网络语音活动检测加语言标识用 42.3% 数据带来最高 12.7% 绝对词错误率下降,但能量法过滤反而有害且越 selective 的策略在 8 个非语音任务中通用音频理解下降最多 9 个百分点。
论文用冻结语音自监督模型的分层聚类信息量与下游可学习层权重的排序比较,证明在 10 分钟监督下对比式模型的权重分布能系统反映预训练音素与词信息结构,而 1 小时监督与聚类式目标会削弱这种对齐。