又快又稳:把一致性约束铺满非自回归精修的每一步
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题,LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索,在两套基准上降低内存到约 10 GB 并保持实时因子小于 1,代价是更频繁地调用大模型。
针对逐字转写中局部一两个字符的不确定性,论文把通配符旁路从词级下移到词元级并与熵调度的混合图结合,在 25 个任务上相对 CTC 平均降低 9.45% 词错误率,代价是需要按语料调旁路权重与验证集熵进度。
论文以 100 余种语言的统一评测回答损失、预训练表示与数据规模如何影响通用音素识别,用 XEUS 加自条件 CTC 在 IPAPack++ 上得到多语言 17.7% 与口音英语 10.6% 的 PFER,代价是对时序性发音特征与极低资源语言仍有高误差。
BranchShine-CR 用 25.39M 参数、log-mel 加 12 层旋转位置 E-Branchformer、中间自条件 CTC 与双视图一致性正则,在 16646 句共享测试上取得 4.47% 国际音标字符错,相对 ZIPA-CTC-NS 降低 22.3%,代价是整句完全正确率仍低于后者且大基线训练划分并不完全可比。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对波兰语儿童咝音替代筛查,论文用波兰语 wav2vec2 加 6 层后编码器做带括号替代标记的 CTC 词元识别,再经 Levenshtein 对齐定型并由固定模板助手呈现,在 10 名未见儿童 559 句上报告 88.7% 整句匹配与筛查代理 F1 为 0.67,代价是仅覆盖固定提示词与替代类偏差且假阴性仍明显。
针对语音大模型在 2000 词偏置下易受近音词干扰的问题,PTC-Bias 复用同一份帧级音素后验先做检索竞争选词定位、再做解码后局部竞争纠错,在 LibriSpeech 上把 Prompt-SLAM-ASR-7B 的偏置词错误率相对降低约 2 成而非偏置词错误率基本不变,代价是依赖轻量音素 CTC 分支与固定阈值检查。
针对示例查询语音词检测中变长发音的记号不一致问题,wav2tok 2.0 在 BEST-STD 骨干上先做对比学习与向量量化再加 CTC 与 DTW 帧级对齐,在 LibriSpeech 与 TIMIT 上一致提升检索一致性与 MAP/MRR,代价是两阶段训练与自适应加权维护。
共分析 75 篇语音/AI 论文
针对日语音形多对多导致正字法监督折叠词位读音的问题,论文把目标细化为 span 绑定的 ruby 序列并用 Qwen3-ASR 加 mora 级 CTC 联合训练,在五项基准上以加权 Kana CER 3.75% 改善读音直读而字形转写未退化,但自发语音与罕见词形仍是主要瓶颈。
共分析 62 篇语音/AI 论文
针对序列级塔布拉鼓点转录标注稀缺问题,该工作用教师模型生成伪标签、S-CEM 估计每个鼓点可信度、CMW-ATC 在不确定片段上按马尔可夫转移加权候选序列,在三组评测上把序列错误率降到 18.3、33.3 和 12.7,但仍需序列级标注和固定转移矩阵。
共分析 26 篇语音/AI 论文
该文用 16 层 Conformer 编码器加 CTC 解决英文短语音转写,在仅公开数据与三阶段训练下以 470M 参数进入 OpenASR 速度精度前沿,代价是依赖大幅降采样与 16K 子词建模。
共分析 36 篇语音/AI 论文
针对语音大模型强化学习只看文本词错率而放任语言先验补词的问题,该研究在训练期叠加冻结字符级 CTC 声学裁判做组内奖励,用一次贪心解码在 AMI 远场会议上把插入错误降低 22.3% 至 28.3%,代价是少量删除错误上升且只验证了单个 7B 策略与 0.3B 裁判组合。
论文把受约束加性 U-Net 等价为临界采样完全重构滤波器组,再用全速率残差路由把学习目标转为任务相关的取舍,在 TIMIT 上以相同识别器把测试音素错误率从 28.60±2.09% 降到 25.76±0.41%,代价是保留双路全分辨率表示带来的过完备冗余。
共分析 59 篇语音/AI 论文
共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读