CTC

共分析 43 篇语音/AI 论文

针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题，该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器，并用话者计数头路由到两话者或三话者串行 CTC 分支，在 LibriMix 上实现推理全编码器化，三话者条件显著优于同类大模型系统且实时率大幅降低。

针对多人重叠语音不知跨说话人词序的问题，该文用洗牌积与偏序有限状态自动机构造全部合法交错序列并以 CTC 式前向算法边缘化训练，实现单遍对齐与说话人归属转写，主要代价是图规模随重叠长度膨胀而必须用时间领约束剪枝。

针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题，MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习，在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%，代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。

该文研究话语级多维构音障碍评估，用冻结 CTC 音素识别器的后验不确定性加音素错误率构成 11 维 PED 特征，在四个主要维度上达到平均 AUROC 0.80，接近 HuBERT 的 0.81，代价是精细等级排序仍弱于黑盒表示。

论文把自动语音识别中的幻觉定义为对齐后的编造插入词，用因果中介与注意力行为定位到偏向文本的多头自注意力，再用连接时序分类门控与跨注意力构建 AudioSLM，在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%，代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。

针对儿童需要在家反复练但难坚持、且传统音素级判断只说对错不说错在哪的问题，SayCheck 用 Say Bananas 做采录与动机层、用 PhoneAid 做音素与音系属性两级分析，展示了从选词到录音再到汇总报告的可走通流程，但原文未报告受控实验数字与训练细节因而只支持可行性判断。

论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题，用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动，在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右，代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。

针对语音大模型逐词元自回归推理慢的问题，该文用冻结 CTC 编码器的贪心假设做草稿，经熵门控与单次 LLM 似然校验加失败回退，在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%，代价是高速档有约 12% 相对词错率上升。

SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频，以当代对话语料实现开放词汇覆盖，并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率，但跨模式泛化仍存在大幅落差。

针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题，TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词，证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时，主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。

针对纯文本对齐与声学解码接口不匹配且难度不可控的问题，TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督，在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强，代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。

针对带声调标记的音素识别数据稀缺问题，该研究用正字法与基频轨迹多任务训练加词典约束的格融合，在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%，代价是依赖词典覆盖与文本分支质量。

针对已知无变音文本加语音恢复阿拉伯语变音符号的问题，论文用无自回归 CTC 声学模型加字符级变音格约束解码，在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率，代价是仍依赖基字符序列正确且需已标注变音的语音做微调。

针对双流式文本到语音需要准确对齐与低延迟序列组织的问题，论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织，在单说话人流式与多说话人零样本任务上报告了更低词错误率，代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。

该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码，最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%，而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%，代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。

针对口吃检测与转写长期分开建模导致互相约束丢失的问题，DysfluentNet 用冻结 WavLM-Large 共享编码器同时做六类多标签检测与含口吃标记转写，在 SEP-28k 上报告宏观 F1 为 72.4、在 FluencyBank 上报告 DI-WER 为 18.3，代价是仅覆盖英语且对齐窗与冻结策略仍有未验证空间。

针对用户自定义关键词中仅差一两个音素的易混对，KFC-KWS 用 CTC 峰值后验选出音素关键帧再与全句表示做跨模态融合，在 LibriPhrase 上报告平衡 AUC 98.73% 与困难集 AUC 97.65%、EER 7.75%，代价是在简单集上略逊于全序列匹配。

针对对齐编码器顶层才突然形成对齐、在长语音上脆弱的问题，论文在中间层加细粒度对齐目标和 CTC 辅助损失，在 LibriSpeech 上把 5.0/7.8 降到 3.1/5.6，长语音增益最大，代价是多头预测器与权重调参。

针对 CTC 早期只预测空白标记导致的抑制期问题，论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC，并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%，代价是只验证了一种 S 形调度和一种粗粒度划分。