语音识别

该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构，对比多说话人准确率、单说话人退化、内存占用与训练代价，并以排列不变动态时间规整解决短片段训练标签对齐问题，其中日志条件精度最好但需要微调与多实例代价。

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

针对中英双语带标签转写任务，论文用词汇重映射让 Whisper-medium 统一生成词与 16 类非言语声标签，并用公开语料增强过滤加影视挖掘把最终分从 33.32 提到 53.61，代价是英文纯文本词错率上升且细粒度类别仍偏弱。

针对级联式说话人日志与识别中误差传递与重叠语音难处理的问题，SpeakerLM 用音频编码器加投影器接入大语言模型的端到端多模态方案，在约 7638.95 小时数据下主指标超越最强级联基线，但小数据与仿真失配时仍明显落后。

针对会议幻灯 OCR 等长而 noisy 的上下文导致识别偏置词困难的问题，论文用两阶段剪枝加语音驱动池化先筛关键词再做识别，在 SlideSpeech 上报告 WER 7.71% 并在 LibriSpeech 上报告 WER 1.12%，代价是两阶段流水线与池化压缩带来的实现复杂度。

针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难，STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线，在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义，代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。

针对音频对抗样本跨模型迁移弱的问题，论文先用时间打乱与可解释性热图证明三类语音模型依赖局部时序与冗余特征，再提出可叠加的时间打乱梯度增强框架，在九个模型上取得更强的迁移效果，但粒度错配与权重过大会带来波动与额外开销。

该文针对越南语开源语音文本对质量杂、格式不一、缺词级时间戳的问题，提出七步聚合清洗与对齐流水线，用约 502.67 小时高质量数据把微调后模型正字法词错误率降到 12.46%，代价是严格过滤丢掉约 38% 采样数据且仍偏向北部口音。

针对粤语标注少且口语现象复杂的问题，该工作用多系统投票与质量标注流水线构建 21800 小时语料，并在多测试集上验证微调后的识别与合成模型达到可比最优水平，但强标签与高音质子集的选择本身带来覆盖偏差代价。

针对说话人日志与语音识别分开建模带来的切分错位和语义断裂，WhisperDiari 在 Whisper 上增加说话人适配器与说话人解码器做词元级说话人标注，LibriDiari 与 AMI 证据显示其词元级误差更低，但其帧级时间戳精度仍受解码器时间戳限制。

LipCoder 针对视障程序员在可视编辑器与 AI 补全中被迫逐行听屏的断裂，用语音输入与听觉输出统一导航理解修改验证，在 5 名视障被试的探索性对照中可用性数值向好但校正后均不显著，且强依赖识别与大模型可靠性。

针对方言、动态实体、口语不流利和长上下文的生产转写问题，该报告用混合专家大语言模型解码器统一控制语言、热词、历史与润色，并在中英文与多语基准及工业集上给出可核对的误差率与延迟对照，其代价是依赖大规模数据管线与指令组合训练。

针对单遍硬提交流式中文识别，X2Streaming-ASR 用监听与解码交替的等待或提交决策加三阶段训练，在五个测试集上报告平均字符提交延迟为 27 毫秒到 84 毫秒，并在 AISHELL-1 和 AISHELL-3 上取得参评流式系统中最优字符错误率，代价是部分测试集离线能力上限弱于基线。

该研究把 Whisper 用于含英语、粤语、台山话与毛利语的口述史转写，以人工转写的 9 分 33 秒片段为参照比较不同尺寸与语言指定条件，最好的语言未指定 LARGE-V3 词错误率为 12.10，但代价是对非英语片段的转写与区分能力不足，而全库 12 小时 42 分钟机转仅用 5 小时，约为估计人工时间的 1%。

GhostWord 用约 400 毫秒触发音与目标词的码本做词级时间定位投毒，在 Common Voice 英、立陶宛语和多种骨干上报告约 89.3% 攻击成功率，而 ABL、ANP、SAU、I-BAU 等优化防御把成功率压到约 29.1% 时干净 WER 从约 21.5% 升到约 45.0%。

针对 Whisper 在无语音输入上生成流畅幻觉文本的问题，论文用无语音校准集估计解码器幻觉子空间并在推理时做低秩投影以提升无语音概率，门控版本在保留语音识别的同时把非语音幻觉率大幅降低。

论文把幻觉拆为接地失效的必要条件与流畅编造的充分条件，用跳层因果干预定位到编码器最后 1-2 块为接地可恢复边界，并以有效秩压缩、透镜可读性与字形探针收敛作几何与可读性佐证，但干预本身只产生乱码或重复而非流畅幻觉。

该文只训练窄而深的学生编码器逐帧回归教师预量化潜变量，在 2.8 倍参数压缩下六组配对中五组相对词错误率退化不超过 1.9%，同容量独立训练对照优 3.9% 相对，而联合训练的 J3 退化 7.7% 揭示教师与阶段边界。

针对中文语音识别中口语忠实转写与书面可读转写难以兼顾的问题，论文用成对监督加提示词选形式训练一个共享模型，并以数字关键词加权的序列优化和分开考核必须改与禁止改的协议证明其在必须规范化上达到 4.64% I-CER 与 94.85% 关键词 F1、在禁止改上达到 95.18% 保留率，而无数字控制集上未引入虚假数字。

针对唇腭裂语音随严重程度差异大的识别难题，论文用不同严重程度组合微调 Whisper-small 并在 Jetson 上实测，NOMIMOSE 把合并词错误率从 62.46% 降到 22.72%，NOMIMO 把合并音素错误率降到 18.44%，CLP-only 拿到最接近零的公平性得分 -22.85，而微调模型保持 0.167-0.171 实时系数和约 …