句子可预测时,语音细节为何不再左右词汇竞争
该研究用跨通道启动比较孤立词与高低可预测句中浊音目标词的身份优势,发现孤立词中嗓音起始时间模糊度以渐变方式缩小目标与竞争词反应时差,而句子中可预测性扩大该差值却不再受模糊度调制,代价是结论只限于词汇竞争层面且未直接检验语音编码保真度。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该研究用跨通道启动比较孤立词与高低可预测句中浊音目标词的身份优势,发现孤立词中嗓音起始时间模糊度以渐变方式缩小目标与竞争词反应时差,而句子中可预测性扩大该差值却不再受模糊度调制,代价是结论只限于词汇竞争层面且未直接检验语音编码保真度。
论文以 WavLM 与 wav2vec 2.0 的 12 层帧表示为对象,用 k 近邻估计的局部本征维度量扰动引起的几何膨胀,并报告该膨胀与词错误率退化同向出现、层级 LID 向量可区分对抗与良性输入,但高信噪比下可分性与攻击成功率同步下降。
针对 Whisper 在静音与非语音上产生虚假转写且 30 秒窗口被短语音浪费的问题,论文用前置锚音频做输入级接地与分隔符,在不改模型不微调下把总体词错误率从 32.18% 降到 13.23% 并把非语音幻觉压到 0.14% 左右,代价是锚短语需按领域挑选且批量失败时要回退重算。
针对端到端语音识别在真实无处理语音上是否幻觉的问题,论文用 Earnings 22 加七模型加人工跨度标注构建 HALAS,最强证据是字符与语义代理指标仅 81% ROC-AUC 而先进检测器仅 53.1% F1,代价是数据集为富集幻觉的高难度采样且不能反映真实部署频率。
针对阿联酋阿拉伯语口语与标准语差异大、已有语料多为标准语或埃及黎凡特方言的问题,Hamsa 构建 11 小时人工转写对话语料并用统一超参数微调多语识别模型,最强证据是 Whisper-v2 词错误率从 42.25% 降到 24.46%、字错误率从 71.91% 降到 8.27%,代价是规模仍小、说话人未严格隔离且原始音频暂只提供转写与采集脚本。
针对口语实现与书面形式多对多映射带来的转写不一致问题,论文用输出国际音标与正字法的语音转文本模型加以后续大语言模型做双文本规范化,在英语文本规范化与韩语牙科语料上报告了大幅误差下降,但英语评测依赖合成语音这一受控条件是主要代价与边界。
论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。
针对端到端说话人日志与识别中说话人判别不足的问题,该文用全局聚类加簇内重编码的分层分类与日志识别联合训练,在 AliMeeting 等三套会议数据上降低了归属误差,代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。
针对语音识别遇到训练未见词时语言模型无法给分的问题,该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词,再只学新增词符的嵌入与拼写分布,LibriSpeech 上 OOV 字符错最高相对降 14.97%,代价是只对重复出现的新词有效且依赖 CTC 候选质量。
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
针对带口音英语识别中音素实现系统性偏移的问题,该工作把适配轴从口音身份换成发音方式,用六个低秩语音专家加帧级混合路由做 Conformer 适配,在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%,代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对儿童语音的筛查需求,PhonLLM 把预期发音与声学证据一起送入解码器,联合输出标准音素和音系过程标签,在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线,但对 backing 与 deletion 仍明显更弱。
论文用相位声码器时间尺度变换做前端匿名,研究其对语速停顿等交际特征和高层评分的影响,最强证据是微调后匿名与原始词错误率差距缩小到 0.17 个百分点,代价是停顿计数等切分细节仍有波动且说服力构念相关偏低。
针对语音大模型在 2000 词偏置下易受近音词干扰的问题,PTC-Bias 复用同一份帧级音素后验先做检索竞争选词定位、再做解码后局部竞争纠错,在 LibriSpeech 上把 Prompt-SLAM-ASR-7B 的偏置词错误率相对降低约 2 成而非偏置词错误率基本不变,代价是依赖轻量音素 CTC 分支与固定阈值检查。
论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐,在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子,代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。
针对组织实体多词跨度、缩写和词表外名称导致的边界不稳,论文用 Whisper 为底座叠加定向语义增广、组织专用结束符和结构约束损失,在保持词错误率的同时把组织 F1 作为主指标提升,但类别专用优化伴随整体召回和识别精度的轻微代价。
针对 whisper-large-v3-turbo 编码器 32 层冗余问题,用留一层词错率变化选出 6 层直接删除,再以无标签英语语音做编码器隐状态均方误差蒸馏恢复,四语平均词错率从基线 18.2% 升至零样本 21.9% 再回落到 20.1%,代价是仍残留 1.9 个百分点的绝对升高和编码器参数减少 118M。
针对语音大模型含编码器与适配器且序列被音频主导的问题,提出编码器在适配器输出处打分与解码器只看文本词元的 SBI,在三模型上以无修复剪层对照显示高剪除率下更稳健,但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。
针对多人轮替与重叠会议转写,STAM-ASR 在冻结 Qwen2.5-Omni-7B 编码器上加内部说话人日志、残差 FiLM 调制与说话人/会话双记忆,在参考与预测说话人活动对比中显示时间证据与记忆互补,但预测跟踪误差仍是主要瓶颈。