在极 noisy 警用电台上做伪标签：内部置信度失灵时用外部语义判断来过滤

英文题目：Pretrained ASR Pseudo-labeling for Noisy Police Audio

标签：#语音识别 | #半监督学习 | #领域适应 | #低资源

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Kaavya Chaparala：机构信息未在 arXiv HTML 中可靠披露
• Su Huang：机构信息未在 arXiv HTML 中可靠披露
• Stephen L. Miller：机构信息未在 arXiv HTML 中可靠披露
• Rhiannon N. Miller：机构信息未在 arXiv HTML 中可靠披露
• Anjalie Field：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

广播警务通信（Broadcast Police Communication，BPC）语音识别（Automatic Speech Recognition，ASR）需将高噪声短语音转写为文本，难点在于信道噪声重、术语地域化强且人工标注昂贵，而现成大模型词错率极高。该工作构建无监督伪标签（Pseudo-labeling）链条：先用现成模型对无标注训练音频生成伪转写并去除循环幻觉，再经由过滤器筛除低质样本，最后用保留数据微调原模型形成闭环。相对依赖模型内部对数概率与注意力权重的过滤，外部大语言模型（Large Language Model，LLM）评审人利用参数知识判断警务语境合理性，机制上跳出失配声学下的过度自信。经定制数字归一化后，在芝加哥语料上较强基线词错率由0.3439降至0.3051，在巴尔的摩语料上由0.3611降至0.3496。链条还考察多轮自训练与跨模型伪标签复用，以检验新增映射能否带来持续增益。其结论适用边界受限于巴尔的摩与芝加哥两城英语警用电台，甲骨文阈值过滤仍大幅领先，跨城直接迁移失效且多轮迭代增益微弱，更大范围外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://broadcastify.com → https://www.broadcastify.com/ — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/1808.10583 — 链接可访问（HTTP 200）

• 第三方资源：https://ieeexplore.ieee.org/document/9814838/ — 链接可访问（HTTP 202）

• 第三方资源：https://ieeexplore.ieee.org/document/9585401/ — 链接可访问（HTTP 202）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界讲清

这篇解读的输入是论文原文证据中给出的任务、方法与实验条件，目标是让刚进入语音与音频方向的研究生能复述做法并理解适用条件。必须保留的信息包括数据来源与时长划分、两个基础语音识别模型、5 种过滤策略的构造方式、归一化后词错误率的比较口径，以及迭代与跨模型两种扩展范式。本文输出按学习依赖展开，先讲警用电台任务为何困难，再讲相关路线，然后进入完整管线与组件计算，最后讲实验条件、结果、反例与复现要点。

研究对象是广播警务通信，也就是调度台与街面警员通过无线电信道传递派单、位置、编号与现场进展的语音。论文指出这类语音的特点是噪声重、单句短、包含大量地域性术语与数字代号，例如十代码与语音字母表中的呼号。现成的大规模预训练语音识别模型在这类数据上词错误率很高，论文提到在警用电台数据上可达到干净朗读语料上错误率的许多倍，因而直接转写难以支撑后续语义分析。

另一方面，一个城市多年的存档量极大，人工逐一听写不现实，而且初步证据显示用一个城市的人工标注训练后换到另一个城市未必有效，因此需要一种不依赖目标城市人工标注的域适应方法。

论文选择的路线是伪标签。做法是拿一个现成模型先给未标注的警用电台音频生成转写，把这些机器转写当作训练标签，过滤后再微调同一个模型或另一个模型。教学上可以这样理解，例子是把一台已经会普通话朗读的机器放到警用电台频道里先猜，再把猜得比较像人话的句子留下来让它反复学习。这里的关键不是猜 1 次就结束，而是如何判断哪些猜测值得留，以及留下来后能否真正改善数字代号与警务词汇的识别。

同输入同目标的已有路线有何不同

与本文同输入同目标的工作主要围绕警察语音展开。论文回顾指出，此前较多研究关注随身摄像头视频中的语音，另有一条线只研究芝加哥一个城市的警用电台。随身摄像头与警用电台都存在音质差与警务专用词汇问题，现成模型表现不佳，用人工转写微调可以改善，但人工转写耗时昂贵。论文强调，据作者所知，还没有工作系统利用无标注警察音频来改善警用电台识别，这正是本文要补的位置。

与本文同监督形态但不同时代的工作是半监督伪标签。早期做法通常先用少量域内人工标注训练教师模型，再让教师给大量无标注数据打标签，然后训练学生模型或继续训练教师，常见变体包括动量伪标签、噪声学生训练与多轮迭代。论文指出，这类方法依赖域内有标注数据做初始化，而本文面对的是完全无监督适应，即直接用预训练基础模型产生第一版伪标签，不先要求目标城市的人工标注。

与本文同运行阶段的过滤方法包括内部置信度与外部评判。内部路线用教师模型的对数概率或由注意力权重导出的分数来判断伪标签质量，在域内数据初始化的模型上效果较好。外部路线有用大语言模型作评判来筛选代码切换等任务伪标签的尝试，但此前多依赖有监督初始化且音频相对干净。论文的对照设计因此很清晰，输入都是同一批机器伪标签，目标都是留下高质量句子，区别在于打分信号来自解码器内部还是来自外部语言模型的参数知识。

要解决的具体问题是什么，难在哪里

具体问题是，在没有目标城市人工标注的前提下，能否用大量未标注警用电台音频改善预训练语音识别模型在该城市测试集上的词错误率。输入是未标注训练音频与现成模型，输出是适应后的模型与测试集转写。评价方向是词错误率越低越好，同时要看训练集伪标签本身的词错误率与保留时长，因为保留太少会损失覆盖，保留太多会引入噪声。

难点有 3 层。第一层是声学噪声，电台信道、背景声与短促语句使声学证据不可靠，模型容易产生循环重复或截断。第二层是词汇分布偏移，十代码、街道名、呼号与调度用语在通用预训练中少见，模型可能把数字听成普通词，把呼号听成日常短语。第 3 层是跨城市差异，巴尔的摩与芝加哥的分区、代码习惯与录制条件不同，一个城市学到的映射未必能直接搬到另一个城市。论文还指出，内部置信度在严重偏离分布的数据上可能不再校准，也就是模型很自信但猜错，这使得过滤成为整个管线的瓶颈。

整条伪标签管线如何组织

论文构造的管线可以沿一个样本走完。输入是一段警用电台音频，先用现成模型做推理得到一句伪标签转写。接着进入过滤环节，决定保留整句、加权保留还是丢弃。然后用保留下来的音频与伪标签对做微调，得到适应后的模型，最后在 held-out 测试集上用归一化后的词错误率评价。训练与验证划分来自同一城市的其余数据，测试集来自特定日期或原有划分的子采样，细节在实验条件节交代。

管线中有 5 种过滤作为对照。第一是不过滤，只去掉明显的循环重复，即伪标签中出现五到八字重复超过 8 次的样本。第二是人工阈值构成的上限，用人工转写计算每句伪标签词错误率，只保留错误率不超过 0.2 的句子，真实部署中没有人工转写，因此它只用于估计过滤做好的天花板。第三是对数概率过滤，计算伪标签每个词的平均对数概率，低于负 1 则丢弃，阈值取自语音模型的解码策略。

第四是注意力分数方法，对每个词计算后验概率与注意力得分并用于加权交叉熵，无输出的样本直接丢弃。第五是本文提出的大语言模型作评判过滤，把城市与频道背景和伪标签一起送给语言模型，只输出 0 或 1，判为不合理则丢弃。

在扩展范式上，论文还考察迭代伪标签与跨模型微调。迭代做法是第一轮微调后，用新模型重新给全部训练音频打标签并重新评判，再微调，共做 3 轮。跨模型做法是用一个模型的过滤后伪标签去微调另一个模型，以检验不同模型能否提供新的语音到文本映射。归一化是贯穿评价的重要步骤，论文先用英文文本归一器，再把数字词转成数字、处理复合数字与成对读法、去标点并按空格切分数字，动机是十代码有多种写法，直接比字符串会夸大错误。

基础识别模型与过滤组件各自负责什么

基础模型选用开放的预训练语音识别模型，包括语音大模型与新一代语音识别模型。论文没有把重点放在重新设计声学编码器，而是把它们当作起点，它们的分工是提供初始的声学到文本映射。微调超参数在附录中给出，语音大模型与另一模型分别在单卡上训练并用早停控制过拟合，具体学习率与批量大小在复现节保留。由于原文未完整报告梯度是否只更新部分参数，这里不推定冻结范围，只按证据说微调同一模型或跨模型训练。

伪标签 × 无监督域适应： 伪标签负责把无标注语音变成可训练的语音到文本配对，无监督域适应负责说明为什么不需要目标域人工标注也能向新域迁移，二者搭配的理由是警用电台未标注音频易得而人工转写昂贵，组合意义是先用现成模型产生初始映射，再用过滤后数据把模型拉向警用电台分布。

对数概率与注意力分数属于内部信号。它们的计算只依赖转写模型自身的输出分布与注意力，不引入外部知识。论文的安排理由是这类信号在已有文献中对域内伪标签有效，因而值得在噪声警用电台上复验。实现上，对数概率是整句平均，低于阈值整句丢弃；注意力分数方法是词级别加权，训练时可疑词的损失权重被压低。原文未给出注意力得分的具体公式推导细节，因此这里不补写权重公式，只讲清保留与加权的监督来源。

大语言模型作评判属于外部信号。它的输入不是音频，而是城市背景描述加伪标签文本，输出是二值判断。标准提示要求模型判断转写是否像该城市警用电台中合理的调度用语，规则版提示进一步加入音频时长一致性与若干语义错误类型，并说明数字格式差异由下游归一器处理，不应因此判错。论文用较小指令模型作主要评判，并用更大模型做对照，以检验评判能力是否随模型规模明显变化。

三类过滤的计算差异与搭配理由

从计算目标看，3 类过滤都在回答同一问题，即这句伪标签能否作为训练目标，但依据不同。对数概率回答的是解码器对自己输出有多确定，注意力分数回答的是每个词在声学对齐上有多被支撑，语言模型评判回答的是这句话在警务语境中是否说得通。前两者不需要知道巴尔的摩的街道或十代码习惯，后者恰恰利用参数知识中的领域常识。

对数概率过滤 × 大语言模型作评判过滤： 对数概率过滤分工是利用解码器自身对每个词的平均确信度判断质量，大语言模型作评判过滤分工是利用外部参数知识判断转写在警务语境中是否合理，二者搭配比较的原因是内部确信度在严重偏离训练分布时可能失准，组合意义是通过对照揭示外部语义合理性在噪声域中更能剔除低质伪标签。

注意力分数加权 × 交叉熵损失： 注意力分数加权负责给每个词的可信程度打分，交叉熵损失负责按词计算预测与伪标签的差距并回传梯度，二者搭配的理由是不直接丢弃整句而是降低可疑词的影响，组合意义是在保留更多数据的同时让训练更关注被认为可靠的词。

自训练 × 跨模型伪标签微调： 自训练分工是用同一模型产生的伪标签再训练自己，跨模型伪标签微调分工是用另一个模型的伪标签训练本模型，二者搭配的原因是自训练只强化自身已有映射而跨模型可能引入新的语音到文本对应，组合意义是检验模型多样性能否纠正单模型的系统性错误。

这种组合的教学意义在于区分声学不确定性与语义不合理。举例来说，一句很短的音频却对应很长的转写，内部概率可能仍然不低，但外部评判会因时长不一致而判错；反过来，一句包含生僻呼号的正确转写，内部概率可能偏低而被误杀，但外部评判可能因符合调度习惯而保留。论文的实验正是要看在噪声域中哪种错误更常见。需要指出，规则版提示的构造曾借助另一模型分析高错误率但被误判为正确的样本，这在真实无标注场景中不可复用，论文将其定位为提示工程上限的估计，而非可部署策略。

训练如何构造，推理如何执行

训练构造从现成模型推理开始，得到训练划分上每段音频的伪标签。先做循环过滤，去掉明显重复解码的样本。随后按所选过滤策略得到保留集合，对数概率与语言模型评判是整句丢弃，注意力分数方法基本保留并在词级别加权。接着用保留集合微调模型，论文报告每次过滤实验做 3 次微调并取平均，用统计检验比较相对现成基线与相对不过滤基线的差异。迭代范式在每轮微调后重新标注与重新评判全部训练音频，再进入下一轮微调。跨模型范式把标注模型与训练模型分开，例如用一个模型的评判后伪标签训练另一个模型。

推理执行时模型采用确定性解码，温度设为零。评价前对参考文本与系统假设做相同归一化，再计算词错误率。论文同时报告未归一化的词错误率，显示归一化会明显降低数值，尤其对数字代号的不同写法影响大。因此比较时必须确认是否同一归一化口径，数值相同也不能当作同一指标。原文未报告解码束宽、语音活动检测或分段细节，复现时应保持原始切分与确定性解码不变，并先复现现成基线再进入滤后微调。

关于资源，论文说明微调在单张加速卡上进行，分别设置最大轮数、批量大小、学习率与早停耐心，每 100 步验证 1 次。原文未报告完整训练时长与推理延迟，因此不能承诺延迟或成本改善，训练资源与推理开销应分开讨论。

数据划分、基线与评价条件是否一致

数据来自两个城市。巴尔的摩数据覆盖多年多个警区，论文选择特定年份的周五晚间音频做人工转写，理由是该时段警务活动较多。芝加哥数据来自公开电台存档网站，覆盖多个调度分区，论文对其原始划分做随机子采样以匹配巴尔的摩的时长量级。所有工作在机构审查协议下进行，数据存放在加密服务器并限制访问。当前可用性方面，公开存档网站在资源状态中显示可用，芝加哥音频可经该网站获取；巴尔的摩的人工转写与划分按论文描述构造，未声称已公开。

下表整理两城训练、验证与测试的时长条件，比较问题是两城数据量是否可比，公平条件是同一城市内训练验证测试不重叠，指标方向是时长越大通常覆盖越广但噪声也可能更多。

上表显示两城训练与测试时长接近，支持跨城比较的量级一致性，但录制年份、分区与转写者不同仍是潜在差异。具体代价是跨城直接迁移可能失效，论文附录的跨城微调显示用一城人工标注训练后在另一城测试未必改善，因此每个城市单独做无监督适应更稳妥。未评测边界包括更多城市、更长时段与不同信道条件，本文结果不宜直接推广到所有警用电台。

基线包括现成模型直接推理、不过滤伪标签微调、对数概率过滤、注意力分数加权、语言模型评判过滤，以及人工阈值上限。评价指标是归一化后词错误率，越低越好。论文对过滤实验报告 3 次微调均值并做显著性检验，显著性水平为 0.05，分别对照现成基线与不过滤结果。

主结果显示什么，代价与反例是什么

主结果的比较问题是，在同一城市同一基础模型下，哪种可部署过滤能真正降低测试集词错误率。公平条件是同一训练音频、同一微调超参数与同一归一化口径，指标方向是测试集词错误率越低越好，训练集伪标签词错误率与保留时长作为辅助信息。

上表的主要收益是语言模型评判过滤在更强的模型上两城都显著优于现成基线与不过滤结果，芝加哥相对改善大于巴尔的摩。具体代价是它丢弃更多数据，保留时长明显少于不过滤集合，且与人工阈值上限相比仍有差距。论文报告人工阈值过滤丢弃约 2 倍于语言模型评判的数据，并能相对评判结果再降低至多 11.5% 的测试集词错误率，说明更好的过滤仍有空间，但该上限依赖人工转写，真实部署中不可用。

未胜出项必须同时说明。对数概率过滤丢弃很少，训练集词错误率仅略低于不过滤，测试集改善不一致且相对不过滤不显著。注意力分数加权保留更多并降低训练集词错误率，但在 4 组实验中有 3 组测试集词错误率高于现成结果，显示词级别加权未能把训练集的改善转化为测试集收益。反例是语音大模型在芝加哥测试集上起点较高，语言模型评判虽得到最低训练集词错误率，却未带来相对现成与不过滤的显著改善，提示当初始伪标签整体过差时，仅靠语义合理性过滤可能不够。

评判模型大小、提示规则与多轮复标是否带来额外收益

消融的比较问题是，语言模型评判的收益来自模型规模还是提示规则，以及多轮复标能否持续变准。公平条件是同一批伪标签或同一训练划分，只改变评判模型或提示词，或按轮次重复标注与训练。指标方向仍是测试集词错误率越低越好。

论文报告，更大评判模型与规则版提示都没有大幅缩小与人工上限的差距。规则版提示在两城带来约 1.7% 的词错误率改善，更大模型在一个城市略变差而在另一城市基本持平。这些边际变化支持论文的判断，即单纯换更大评判模型或做提示工程不是最有希望的方向。需要强调，规则版提示的规则来自已知真实错误率的样本分析，属于事后信息，不能当作可部署收益。

下表整理迭代伪标签的变化，比较问题是多轮是否持续改善，公平条件是每轮都用评判过滤后重新标注全部训练集，指标方向是测试集词错误率下降为好，训练集词错误率与保留量作为过程观察。

上表解释的主要收益与代价是，迭代 3 轮只有很小的额外改善，且每轮保留更多、训练集整体词错误率反而上升，可能意味着模型越来越会生成看起来合理但未必更准的转写。跨模型的反例很关键，2 模型起点接近时互训优于自训练，但强模型用弱模型在芝加哥的伪标签训练后不如自训练，说明跨模型收益依赖模型质量与多样性的平衡。未评测边界是更多模型组合与更多轮次，总体趋势不等于每轮都成立。

迭代伪标签 × 词错误率： 迭代伪标签负责用一轮微调后的更好模型重新标注同一批训练音频并再训练，词错误率负责度量每轮转写相对人工参考的词语错误比例，二者搭配的原因是需要用统一指标判断多轮是否真正变准而非只是看起来更顺，组合意义是把重复标注的收益与语义合理但内容仍错的风险区分开。

哪些结论有边界，哪些推测尚未验证

论文直接报告的是，在两城数据与两个基础模型上，语言模型评判过滤一致丢弃更多、训练集词错误率最低，并在多数情况下带来显著测试改善。论文支持的有限解释是，内部置信度在严重偏离分布的噪声域中校准不佳，而外部语义合理性更能剔除不合语境的伪标签。跨模型互训被定位为有希望的未来方向，而非已确立的最优策略，因为它只在 2 模型起点接近时优于自训练。

尚未验证的推测需要用可能或待验证表达。例如，更好的联合过滤可能同时利用声学不确定性与语义合理性，但论文未给出联合方案的定量结果。迭代伪标签是否会在更多轮次后漂移，论文只做到 3 轮且观察到训练集词错误率上升，长期稳定性待验证。自监督继续预训练是否优于伪标签微调，论文只在讨论中提出比较方向，未做实验。

缺失证据不是技术错误，但复现时要明确缺项。原文未报告误判率、延迟、实时因子与完整计算成本，因此不能承诺这些量得到改善。归一化显著改变数值，引用结果时必须说明是归一化后还是未归一化。跨城迁移的失败条件已在附录中提示，引用时不应把单城收益推广到所有城市。人工阈值上限与规则版提示都依赖事后信息，比较时应另行标明，不能代替可部署收益。

复现先做什么，需要哪些信息条件

复现先做数据与基线对齐。第一步按论文时长构造划分，巴尔的摩留出特定两日作测试集，其余作训练与验证；芝加哥对原划分做随机子采样以匹配训练、验证与测试时长。第二步用确定性解码得到现成基线，温度设为零，并在计算词错误率前对参考与假设做相同归一化，包括英文归一、数字词转数字、复合数字处理、去标点与数字空格切分。第三步再进入伪标签生成与循环过滤，保证不过滤基线可复现，然后分别加入对数概率、注意力分数与语言模型评判。

关键超参数与信息条件应保留。微调在单卡上进行，语音大模型与另一模型的学习率、批量大小、最大轮数与早停耐心不同，验证频率与早停步数也已给出。语言模型评判的标准提示包含城市、调度背景、十代码与地名呼号的说明，要求只输出 0 或 1；规则版提示额外加入音频时长一致性与若干错误类型，并明确数字格式差异不判错。复现时应先用较小指令模型跑通标准提示，再考虑更大模型对照，避免把提示上限当作常规结果。

代码与权重方面，论文引用公开的语音模型与语言模型，但原文证据未给出本文管线的完整开源地址，因此只能说基础模型权重可下载，不能声称本研究系统已可一键运行。数据方面，芝加哥音频经公开存档网站当前可用，巴尔的摩划分与人工转写按论文描述处理，并受审查协议与加密存储限制。复现报告应区分代码开源、权重下载与系统可运行三件事，并记录随机种子、过滤阈值与保留时长，否则难以判断改善来自过滤还是来自训练波动。

何时值得尝试这种做法，如何一句话记住它

当目标域无标注音频易得、人工标注昂贵且跨城迁移不可靠时，值得尝试先用预训练模型打伪标签，再用外部语义评判过滤后微调。适用信号是转写中有大量数字代号与固定调度用语，语义是否合理本身就能筛掉一批明显错误。不适用信号是初始伪标签整体错误率过高，或音频极短而转写极长等声学证据已严重缺失，此时仅靠文本合理性难以纠正内容错误。

实践建议是把语言模型评判当作默认的可运行过滤，把对数概率与注意力分数当作对照而非首选；把人工阈值只当作上限估计，把规则版提示只当作提示工程上限估计。跨模型互训可以在 2 个模型起点接近时尝试，若一方明显更弱，应先检验弱标签是否拖累强模型。迭代伪标签可做少量轮次，但要同时监控训练集词错误率与保留量，避免把越来越顺但越来越错的句子当作进步。

对论文特有的误解需要澄清。第一，训练集词错误率最低不等于测试集一定最好，注意力分数的反例说明加权保留与测试收益之间还有距离。第二，总体改善不等于每个词都改善，论文的词级别分析显示警务字母表、十代码数字与高频功能词改善较多，但这不保证每个编号都变准。第三，芝加哥改善大于巴尔的摩不代表方法在所有城市都更有效，城市间录制与术语差异仍是边界。记住一句话，内部确信度在噪声警用电台上可能自信地犯错，外部语境判断能更积极地丢弃不像调度用语的句子，但距离知道每句真值仍有明显差距。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-29 语音/音乐/音频论文速递