短句训练的注意力解码器为何在长音频上失序:边界线索、位置编码与长编码训练
论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题,用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动,在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右,代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。
论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题,用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动,在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右,代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。
针对语音大模型逐词元自回归推理慢的问题,该文用冻结 CTC 编码器的贪心假设做草稿,经熵门控与单次 LLM 似然校验加失败回退,在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%,代价是高速档有约 12% 相对词错率上升。
SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频,以当代对话语料实现开放词汇覆盖,并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率,但跨模式泛化仍存在大幅落差。
针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题,TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词,证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时,主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。
针对纯文本对齐与声学解码接口不匹配且难度不可控的问题,TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督,在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强,代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。
针对带声调标记的音素识别数据稀缺问题,该研究用正字法与基频轨迹多任务训练加词典约束的格融合,在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%,代价是依赖词典覆盖与文本分支质量。
针对已知无变音文本加语音恢复阿拉伯语变音符号的问题,论文用无自回归 CTC 声学模型加字符级变音格约束解码,在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率,代价是仍依赖基字符序列正确且需已标注变音的语音做微调。
针对双流式文本到语音需要准确对齐与低延迟序列组织的问题,论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织,在单说话人流式与多说话人零样本任务上报告了更低词错误率,代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。
该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码,最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%,而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%,代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。
针对口吃检测与转写长期分开建模导致互相约束丢失的问题,DysfluentNet 用冻结 WavLM-Large 共享编码器同时做六类多标签检测与含口吃标记转写,在 SEP-28k 上报告宏观 F1 为 72.4、在 FluencyBank 上报告 DI-WER 为 18.3,代价是仅覆盖英语且对齐窗与冻结策略仍有未验证空间。
针对用户自定义关键词中仅差一两个音素的易混对,KFC-KWS 用 CTC 峰值后验选出音素关键帧再与全句表示做跨模态融合,在 LibriPhrase 上报告平衡 AUC 98.73% 与困难集 AUC 97.65%、EER 7.75%,代价是在简单集上略逊于全序列匹配。
针对对齐编码器顶层才突然形成对齐、在长语音上脆弱的问题,论文在中间层加细粒度对齐目标和 CTC 辅助损失,在 LibriSpeech 上把 5.0/7.8 降到 3.1/5.6,长语音增益最大,代价是多头预测器与权重调参。
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
针对 CTC 鲁棒性不足与标注依赖重的问题,该文把一致性正则化同时加到 Align-Refine 的基座 CTC 和两步精修上,并在半监督中用最后一步做在线伪标签,LibriSpeech 上监督与自训练均显著降词错率,但精修步数、权重与数据规模的结论只在给定 Conformer 与 SpecAugment 条件下成立。
针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题,LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索,在两套基准上降低内存到约 10 GB 并保持实时因子小于 1,代价是更频繁地调用大模型。
针对逐字转写中局部一两个字符的不确定性,论文把通配符旁路从词级下移到词元级并与熵调度的混合图结合,在 25 个任务上相对 CTC 平均降低 9.45% 词错误率,代价是需要按语料调旁路权重与验证集熵进度。
论文以 100 余种语言的统一评测回答损失、预训练表示与数据规模如何影响通用音素识别,用 XEUS 加自条件 CTC 在 IPAPack++ 上得到多语言 17.7% 与口音英语 10.6% 的 PFER,代价是对时序性发音特征与极低资源语言仍有高误差。
BranchShine-CR 用 25.39M 参数、log-mel 加 12 层旋转位置 E-Branchformer、中间自条件 CTC 与双视图一致性正则,在 16646 句共享测试上取得 4.47% 国际音标字符错,相对 ZIPA-CTC-NS 降低 22.3%,代价是整句完全正确率仍低于后者且大基线训练划分并不完全可比。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对波兰语儿童咝音替代筛查,论文用波兰语 wav2vec2 加 6 层后编码器做带括号替代标记的 CTC 词元识别,再经 Levenshtein 对齐定型并由固定模板助手呈现,在 10 名未见儿童 559 句上报告 88.7% 整句匹配与筛查代理 F1 为 0.67,代价是仅覆盖固定提示词与替代类偏差且假阴性仍明显。