为检测保留病理:认知状态条件合成与 ASR 文本驱动的 AD 数据增强
针对 AD 语音数据稀缺,CoSTA 用认知状态条件化的 CosyVoice2 与 F5-TTS 合成 AD 样和健康对照样语音,并对比人工转写与 36 种 ASR 转写驱动,在 ADReSS 纯音频测试集上达到 85.83%,但合成伪影使增强超过约 2.5 倍后性能回落。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对 AD 语音数据稀缺,CoSTA 用认知状态条件化的 CosyVoice2 与 F5-TTS 合成 AD 样和健康对照样语音,并对比人工转写与 36 种 ASR 转写驱动,在 ADReSS 纯音频测试集上达到 85.83%,但合成伪影使增强超过约 2.5 倍后性能回落。
该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码,最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%,而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%,代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。
该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练,显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解,且未损害情感识别所需的声学信息。
针对口吃检测与转写长期分开建模导致互相约束丢失的问题,DysfluentNet 用冻结 WavLM-Large 共享编码器同时做六类多标签检测与含口吃标记转写,在 SEP-28k 上报告宏观 F1 为 72.4、在 FluencyBank 上报告 DI-WER 为 18.3,代价是仅覆盖英语且对齐窗与冻结策略仍有未验证空间。
针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。
针对构音障碍语音识别,该文比较四种病因知识用法,发现同码流内先预测病因再转写在 SAP 上达到 7.77% 词错误率,代价是训练仍需临床标签且代码链接当前不可用。
针对深而窄语音学生模型蒸馏训练慢的问题,论文提出每次把复制层插回原层之后以保持层位置一致的交错堆叠,在 SUPERB 四任务上以约 1.16-1.24 倍加速达到接近或超过全量训练的性能,代价是仍需分四阶段调度和中间层损失权重。
该研究在真实语音人工标注上对比文本特征、大语言模型与 Whisper 解码器内部探测三条路线,最强可部署证据是内部序列 BLSTM 在无参考下达到 F1 65.5%,而文本与内部融合进一步达到 F1 68.3%,代价是失去零样本可用性并需要直接访问模型内部。
针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题,论文用 200 万小时音频的簇级重加权预训练加领域感知微调,在受控对比中降低中亚语言词错误率,代价是英语小幅回退且依赖内部众包与合成数据。
论文针对词错率把所有错误等同处理而漏掉关键语义改变的问题,提出从词汇、语音、形态、语义四个维度分别计分的 SHALLOW 基准,最强证据是合成受控数据上各指标只在目标类别取峰且语义与词错率近正交,而代价是权重与语言相关模型带来领域依赖与英语限定。
针对离线语音基础模型在流式下因上下文受限而退化的问题,论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线,在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率,但低延迟与高难数据集上仍有代价。
论文针对音频大模型是否真用文本上下文做转写的问题,构建 55.93 小时、8 语 23 域的自然语音基准并用 L0-L6 逐级加信号的提示框架,在 5 个模型上测得母语文字实体表带来最大命名实体增益而对抗错误实体暴露盲从与无视两种失败,且基线转写好的模型不一定更会用上下文。
IQRA 2026 针对现代标准阿拉伯语的误发音检测与诊断任务,引入 1333 句真人误读语料与统一评测,用两阶段微调与对齐改进的 CTC 方案把 F1 从 0.4414 推到 0.7201,代价是小规模真人数据依赖与音素到字形反馈尚未打通。
论文用四类不流利标记改造 whisper-small.en,先在 SME 上建立标记机制再按 Pitt、Delaware 顺序持续适配,发现能稳定发出标记的方法都要付出预处理词错率代价,而跨注意力少数头的共享特化解释了标记学习与通用识别之间的冲突。
针对 Transformer 语音识别难解释且时间定位粗的问题,LEAF-X 选择模型内部注意力做熵加权与跨层聚合解释,在 Whisper 与 Canary 上以更低的删除代价和不稳定性支持更忠实的词帧对齐,但因果重加权带来额外前向开销且未做用户研究验证。
针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题,该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器,在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线,代价是仍需联合训练轻量头与低秩适配且晚注入会退化。
该文以 SLAM 语音大模型为对象,用角距离找连续可删层块并以联合修复验证,显示 7-8B 模型只保留约六成解码器层仍保持可用识别与翻译性能,而跨任务可删位置高度一致。
针对构音障碍语音数据稀缺且误读高度个人化的问题,该研究用说话人相关的音素映射矩阵指导典型语音 PPG 的音素替换,再结合说话风格转换和音素级变速做数据增强,在 UASpeech 上微调 HuBERT 后整体词错误率报告为 19.53%,代价是需要配对的典型与障碍语音做映射统计与强制对齐且合成器需两阶段训练。
针对说话人切换次数超出训练范围时多说话人识别会跳过整段话的问题,论文用说话人切换标记掩码加随机文本掩码切断解码器对切换次数的计数依赖,在仅见过至多 2 次切换的训练下把 3 次切换非重叠语音的字错率从 13.5% 降到 5.9%,代价是随机掩码率过大时训练变难且时间戳类标记越多时与上限差距越大。
针对 2-3 比特下标准 GPTQ 把所有语音帧等同对待导致静音和填充主导校准的问题,DiffAQ 用编码器隐状态帧间差的幅度给 Hessian 加权,在 Whisper Medium LibriSpeech test-other 2 比特上把 WER 从 17.53% 降到 12.93%,代价是仍不能挽救 Base 模型 2 比特的表征容量不足且对突发噪声 …