标签：#语音识别 | #强化学习 | #CTC | #会议转录 | #鲁棒性
评分：6.8/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Tingzhen Xiong：机构信息未在 arXiv HTML 中可靠披露
- Rilin Chen：机构信息未在 arXiv HTML 中可靠披露
- Weiwei Li：机构信息未在 arXiv HTML 中可靠披露
- Wentao Zhang：机构信息未在 arXiv HTML 中可靠披露
- Qicong Xie：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
自动语音识别（Automatic Speech Recognition，ASR）以音频为输入并输出转写文本，远场混响与重叠语音削弱声学证据时大语言模型仍会凭先验补全出流畅但无依据的插入词。该方法对每条音频采样8个候选并用截断词错率（Word Error Rate，WER）打分，同时由冻结的字符级声学裁判计算对齐适配分，两项各自在组内做中位数与中位数绝对偏差稳健Z归一化后加权融合，最后用组相对策略优化（Group Relative Policy Optimization，GRPO）更新语音大模型低秩适配器，推理时仅单次贪婪解码。与进度匹配的纯WER基线相比，关键差异是引入与策略优化解耦且推理无关的声学一致性约束，使弱证据下的克制在训练期被强化而非在推理期重打分。在AMI远场会议语料评测条件下，μ=0.6方法的WER为34.71%，低于纯WER基线μ=0的WER 35.89%，近场插入错误减少28.3%而远场减少22.3%且会议级聚类自助区间显著。反事实探针显示不可懂但能量保留音频上的输出长度坍缩85%至90%，表明抑制跟踪可懂度而非语音能量。训练仅用LibriSpeech加噪语音而远场混响未见于训练，基线插入率随六级难度梯度单调上升。结论边界是仅验证一种7B策略与一种0.3B裁判及单一会议语料，裁判在远场区判别力下降而训练未覆盖混响，原文未披露训练与推理耗时成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要解决的插入幻觉为什么值得单独拿出来？
这篇论文研究的输入是 16 千赫单声道语音，目标是输出与之对应的文字转写。研究生刚进入这个领域时容易把识别只理解成听清每个音再拼成词，但现代语音大模型里还有一条很强的语言先验：模型在预训练中见过海量流畅文本，一旦声学证据变弱，它会顺着上下文把句子补完整。这种补全在干净语音上几乎不扣分，可一旦进入噪声、远场混响和多人重叠，模型仍按老习惯补词，就会输出音频里并不存在的流畅词串。论文把这类无依据增词称为插入幻觉，并在词错率分解中用插入项来计数。
词错率由插入、删除、替换三部分除以参考词数得到，其中删除加替换加命中等于参考长度。把插入单独拿出来是有教学意义的：删除是漏听，替换是听错，插入是无中生有，三者对下游的伤害不同。在会议记录、检索和指令执行里，多出来的词可能虚构人名、数字和动作，比漏掉更难被发现。原文沿六档难度画出的梯度显示，纯词错率奖励基线的插入率随难度严格单调上升，干净端很低而真实远场会议端显著升高，说明病症集中在部署最需要可靠性的地方。
插入错误 × 幻觉： 插入错误指词错率分解中参考文本没有而识别结果多出的词，负责计数；幻觉指这些多出词在音频中找不到声学依据时的机制解释，负责定性。二者搭配的原因是仅看词错率总数会把删、替、插混在一起，而该文要单独约束无依据补词，因此用插入错误做可计数的风险代理，用幻觉指明是在弱声学证据下语言先验失控，组合意义是把可靠性目标从降总错率收窄为降无依据增词。
需要先建立的学习依赖是：先理解声学证据与语言先验是两条降词错率的路径，再理解文本奖励为何管不住第二条路径。文本奖励只比较假设与参考是否字面一致，从不回看假设是否被音频支持，于是在干净数据上它会默许靠猜测拿分。研究生复述时要能说清这一点：不是模型故意说谎，而是奖励函数没有给克制加分，弱证据下继续补全反而是奖励默许的局部最优。本文后续所有设计都是为了在训练时补上缺失的声学回看环节，同时推理时不增加额外模型。
同输入同目标的三条路线各缺了什么？
第一条路线是用强化学习或偏好优化做语音识别后训练。已有工作把序列级奖励、规则奖励或文本偏好引入语音大模型，确实把词错率推低了，也有人在 AMI 上报告过插入错误。但这些奖励仍住在文本空间，或者用策略自身、同质模型给自己打分，尺子会随策略漂移，相当于自己给自己判卷。最接近的两个 GRPO 语音工作同样用组采样优化，其中一个也在 AMI 上看插入，区别是本文在训练时多加了一个与被训练模型无关的冻结声学一致性奖励。
第二条路线是测量和缓解语音幻觉。已有工作量化了分布偏移下的幻觉，指出静音和非语音音频是常见触发器，但缓解多是事后检测，不是训练时修正。第 3 条路线是在推理时引入外部信号，例如 N 选重排、浅融合和生成式纠错。前者重排固定候选池，后者可以生成池外文本，但都要在推理时多跑一个外部模型和一个外部阶段。3 条路线留下的共同缺口是：没有方法在训练时引入一个独立于被训练模型的声学一致性奖励，让模型在弱证据下学会克制，同时推理时不需要裁判。
对照时要注意运行阶段是否一致。重排和纠错的收益来自推理时多看、多算，不能直接与训练时内化能力的做法比单次解码成绩。本文把比较锚定在同数据、同训练步数、只差奖励权重的基线上，再把重排单独做成诊断分支，这样读者才能分清收益来自奖励设计还是来自推理时多花算力。教学例子是：同样是考试加分，一种是平时训练更扎实，一种是考场上多带一本词典，两者的成本和可部署性完全不同。
论文把问题形式化成什么可测的现象？
论文把问题形式化为插入率随声学难度上升的现象。输入仍是同一段音频，输出是转写文本，参考是人工标注。测量时把 LibriSpeech 测试集的同一批话语用不同噪声重渲染，再加上真实会议的近场和远场两档，共六档难度。关键设计是前四档是同一批音频的 4 种条件，不是 4 个独立集合，这样难度变化更干净；后两档换了语料和说话风格，所以梯度同时混入了声学与语料差异，原文明确说这只能定位病症出现的位置，不能孤立证明声学难度是唯一原因。
基线选择也值得学习。纯词错率 GRPO 基线已经比不做强化学习的原始语音大模型少插很多，后者在 AMI 近场和远场插入率高达 2 位数量级且词错率更高。这说明声学奖励不是在收拾强化学习闯的祸，也不是简单把输出变短：原始模型输出最长且插入最多。因此问题陈述包含两个可核对点：一是基线插入率从干净到远场单调上升，二是基线本身不是弱基线，后续改进是在一个已经很强的基线上再降插入。
训练时有裁判、推理时无裁判的全景如何走通？
全景分上下两半，上半是训练且裁判在线，下半是推理且裁判缺席，这是全文反复强调的部署约束。拿一条训练音频为例，策略先在采样温度下生成 8 个候选转写，冻结声学裁判和负词错率文本打分器分别给这 8 个候选打分，两路分数各做组内稳健标准化再加权成最终奖励，用 GRPO 更新 LoRA 适配器。推理时同一策略只做 1 次温度为零的贪心解码，不调裁判也不调文本打分器，直接输出单个结果。
GRPO × 声学保真奖励： GRPO 负责对同一条音频采样一组候选并在组内归一化算优势，不用价值网络；声学保真奖励负责用冻结裁判给每个候选打声学一致分，与负词错率文本分加权。搭配原因是纯文本奖励只比对假设与参考，从不回看音频，而组内比较正好需要一个同音频、与策略无关的排序尺，组合后奖励同时保留对错字和对是否贴合音频的压力。
下面这张系统总览图把上述分工画得很直白，上半训练流从左到右经过策略、候选、裁判与文本器、组归一化与更新，下半推理流只有策略到单个输出，右侧被打叉的模块明确表示缺席。读图时先跟主路径再看缺席部分，才能理解所谓内化是什么意思：训练时多花的算力不带到线上。
看图路径： 1. 先从左侧输入音频出发，沿策略采样出 8 个候选的主箭头向右看；2. 再看同一音频以粗黑线直达冻结声学裁判的第二条输入，确认裁判与策略读的是同一段声音；3. 对比上半训练区同时出现声学裁判与文本打分器，与下半推理区两个模块都被打叉缺席的布局；4. 注意右下角图例中火焰表示可训练、雪花表示冻结的颜色与图标分工
论文图 1。原论文 Fig. 1:：“System overview. Training (Judge-on): the policy samples G=8 candidates; a frozen CTC acoustic judge and the -WER text scorer score them; group-wise robust-Z normalization yields…”。
从像素看，上半用虚线标出组级别的更新回路，策略框带火焰表示可训练，裁判框带雪花表示冻结，中间绿色裁判框下方画有帧级柱状示意，紫色文本框旁标注参考转写，黄色归一化框旁画有分布曲线。下半中间用红色虚线写明裁判只在训练侧，右侧灰色框内两个模块被交叉覆盖并标注不存在，最终只剩蓝色输出框。这种画法把可训练、冻结、文本、归一化 4 类颜色分开，初学者可以按颜色先分类再看箭头，就不会把文本打分器误当成声学模型。
奖励的两项各算什么，组内归一化在做什么？
奖励由文本项与声学项组成。文本项是候选相对参考的词错率取负，词错率先在 2.0 处截断再取负，避免极端离群候选主导一组。声学项是冻结裁判给出的声学一致分，取值非正，越接近零表示对齐越好。每一项先在 8 个候选组内做稳健标准化：用中位数减去中心，用中位绝对偏差乘以约 1.4826 估计标准差并做下限保护，再截断到正负 2 之间。两项标准化后按权重相加，权重记为缪，缪为零就退化为纯词错率基线。所有实验臂都不加相对冻结参考的散度惩罚，所以缪是臂间唯一差别。
先看奖励合成公式，符号含义是组内第 i 个候选的最终奖励等于标准化后的负截断词错率加上缪乘以标准化后的声学一致分，输入是同一音频下的 8 个候选文本与参考文本。
\[\begin{split}R_{i}={}&Z_{\text{grp}}\!\big(-\min(\mathrm{WER}(y_{i},\text{ref}),\,2.0)\big)\\ &+\mu\,Z_{\text{grp}}\!\big(S_{\text{ctc}}(y_{i},X)\big)\end{split}\]再看组内稳健标准化的计算目标：把量纲不同的两路分数拉到可比尺度，同时抵抗离群候选，中位数与截断都为稳健服务。
\[Z_{\text{grp}}(v)=\mathrm{clip}\!\Big(\tfrac{v-\mathrm{median}}{\max(1.4826\,\mathrm{MAD},\,\epsilon)},\,-2,\,2\Big)\]最后看声学项的完整实现，输入是音频的帧级字符对数概率与候选的字符序列，计算目标是给出可排序的声学贴合分。该式在目标长度平均过的 CTC 损失之外，又除以字符数与 5 的最大值，原文明确报告了这一长度归一化细节，绝对值只在给定长度下可比，组内用来排序候选。
\[\displaystyle S_{\text{ctc}}(y,X)=-\frac{\mathrm{CTCLoss}\big(\log p_{\text{ctc}}(X),\,\mathrm{tok}(y)\big)}{\max(|\mathrm{tok}(y)|,\,5)}\]策略模型 × 声学裁判： 策略模型是可训练的 Qwen2-Audio-7B 加 LoRA 适配器，负责听音频并生成转写，训练中更新；声学裁判是单独预训练并永久冻结的字符级 wav2vec2-CTC，负责把音频转成帧级字符后验并对候选算对齐损失，训练中不更新。搭配原因是二者读同一音频但优化相互独立，裁判像一把固定尺子，组合意义是训练时有外部声学约束而推理时可以拿掉裁判，只留策略 1 次贪心解码。
需要提醒的是声学项的具体实现带有长度相关的 2 次归一化特征：在目标长度平均过的 CTC 损失之外又除以字符数与 5 的最大值，长候选在同等单字损失下得分更接近零。原文如实报告了这一点，并说明组内标准化只能去掉组间公共部分，去不掉组内长度差异。行为上是否塌缩要用实测长度比判断，而不是靠公式意图假设。空转写或字符数超过可用帧数的候选直接取固定负分，另有一个未设防的边界是 CTC 在不可对齐时可能返回最有利分数，但在全句目标下未观察到。
为什么选字符级 CTC 做裁判，它的独立性指什么？
裁判选的是约 0.3B 的字符级 wav2vec2 大模型，在 960 小时 LibriSpeech 上预训练，非自回归、无外部语言模型、帧预测条件独立。它的词表只有 32 个字符符号，转写先转大写再逐字映射，不做发音词典和字音转换，因此不受词典覆盖限制，对分布外生词更友好。原文举例的量级是匹配转写约负 0.01，失配约负 0.85，空转写负 10，便于建立直觉：裁判分不是概率，而是有序的贴合排序分。
CTC 打分 × 文本词错率奖励： CTC 打分负责衡量候选字符序列与音频帧后验的对齐代价，音频不支持的转写得分更差；文本词错率奖励负责衡量候选与参考文本的字面差距，错词越多得分越低。搭配原因是前者看声音证据、后者看文字正确，二者量纲不同所以各做组内稳健标准化再按权重相加，组合意义是在组内排序时让无依据但流畅的候选同时被声学项拉低。
独立性在这里特指优化独立：裁判永久冻结，不接受策略梯度，训练中只是固定尺子。它的监督与强化学习数据有重叠，都来自 LibriSpeech，但 AMI 不进强化训练。裁判的有效区事先用门控诊断圈定：每个匹配转写与 5 个失配转写比对排序准确率，干净、10 分贝、5 分贝分别过各自阈值，而 AMI 远场准确率低于阈值且最难负例的间隔为负。正因如此，远场条件被排除在训练混合之外，强化学习只在裁判有效的加噪区用它，推理评测才去远场看迁移。这种训练有效、评测越界的设计是理解后文重排失效与强化有效的关键。
训练数据、采样与更新如何组织，哪些参数动哪些不动？
策略是 Qwen2-Audio-7B 加 LoRA 适配器，只更新查询、键、值、输出四处低秩矩阵，秩 16，缩放 32，其余冻结。裁判全程冻结，不更新。采样时每个音频采 8 个候选，训练采样温度 1.0 以保证多样性，推理评测用温度 0 贪心。优化用预热 30 步的 1000 步余弦计划，有效批量 32，学习率 1 乘 10 的负 6 次方，所有缪取值共用同一计划与同一批退化音频，因此臂间差异只能归因于奖励权重。评估统一在第 1000 步用合并后适配器加贪心解码完成，因为所用推理版本不支持带适配器的音频模型直推。
训练音频来自 LibriSpeech 干净训练集 100 小时子集，共 28539 条，预先按固定种子分成四桶各 25%：干净、10 分贝、7.5 分贝、5 分贝噪声，噪声来自与测试不相交的 MUSAN 训练子集。只加加性噪声，不加混响，这是后文远场迁移的重要前提。7.5 分贝桶是插值设置，未单独做门控。超参数中重排权重在噪声 5 分贝上网格搜索，缪网格事先固定为 4 个值且全部报告，不在 AMI 上选模型与超参。3 个随机种子各训一遍，主表报告其中一个种子，跨种子离散度另行报告。
梯度路径要说准：裁判在离散解码之后打分，没有梯度穿过采样文本；强化学习直接优化这个序列级分数，而不是像参考监督 CTC 那样用标注算梯度。组内奖励已归一化，优势只减组均值，不再除标准差。这种写法把价值网络省掉，代价是对组内多样性敏感：干净音频下候选往往高度相似，声学项的区分信号就弱，音频变难后才有信息量。
评测条件、指标方向与统计口径是否公平可比？
评测共 33282 个话语条件实例。LibriSpeech 侧是同一 5350 条测试话语在干净、10、5、0 分贝 4 种 MUSAN 测试噪声下的重渲染，参考词总数约 10 万；AMI 侧是 16 场会议的近场与远场各 5941 条，参考词约 7.8 万。LibriSpeech 梯度记为域内，但 0 分贝低于训练最低 5 分贝，属于训练下限之外的更难点；AMI 两档记为域外，全程不进训练、不做选型。MUSAN 训练测试子集不相交。
指标以语料级词错率及其插入、删除、替换、命中分解为主，风险对齐的主指标是事先固定的插入率，另有长度比、每删换插比、空输出率、召回与反事实探针做配套。所有比较带配对自助 95% 区间，AMI 用会议级整群自助：同一录音内的话语共享房间、通道和重叠统计，若按条独立重采样会夸大显著性，所以按整场录音重采样。主基线是计划匹配的纯词错率 GRPO，读完全相同的退化波形；另有 32 选重排与参考词错率神谕做诊断上限，神谕需参考文本，不可部署。
下表把数据规模与训练配置收拢在一处，阅读时先看行是数据还是优化设置，再看列是基线、本方法还是公共条件，不要把可部署策略与神谕上限混在同一列比较。表前问题是：在同数据同计划下，声学奖励是否只改奖励而不改其他训练条件。表中方向是批量、步数、解码方式完全一致，唯一变量是缪。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 六档难度共 33282 实例 | 插入相对降幅 | 纯词错率 GRPO | 声学加权 0.6 贪心单解码 | 计划匹配基线 |
| 远场会议 | 词错率 | 35.89% | 34.71% | 同数据同步骤 |
| 干净端 | 插入率 | 0.37% | 更低但差距小 | 同语料梯度 |
| 远场端 | 插入率 | 5.75% | 相对降 22.3% | 域外会议 |
| 训练配置 | 采样与批量 | 组大小 8 | 组大小 8 | 有效批量 32 |
上表的主要收益是把可比性条件显性化：数据、步数、解码一致时远场插入与词错率同时下降。代价与反例在后文主结果中展开，这里先记下未胜出项：干净与加噪域内档的绝对差距很小，不能指望在简单语音上看到大改进；0 分贝虽低于训练下限但仍属同语料重渲染，不能当成真实远场。
主结果在远场降了多少插入，词错率净变化是什么？
主比较是缪从 0 到 0.6，在计划匹配基线上的变化。近场会议插入计数从 1598 降到 1145，相对降 28.3%，整群区间为正；远场从 4502 降到 3498，相对降 22.3%，区间同样为正。净词错率在远场从 35.89% 降到 34.71%，下降 1.18 个百分点且区间不含零；在近场从 16.70% 降到 16.28%，下降 0.42 个百分点但区间含零，记为未检出差异而非等效。
其余四档域内词错率差异均不显著。代价是删除增加，近场加 77，远场加 320，替换在近场加 47、远场减 241，命中略降。按每增加一个删除换回的插入数算，近场约 5.88，远场约 3.14，空输出率仍低于 1%，说明不是靠整体拒答换来的。
选择性识别 × 插入-AURC： 选择性识别负责按置信度从低到高丢弃一部分话语，用覆盖率换可靠性；插入-AURC 负责把所有覆盖率下的池化插入率取平均，刻画整条风险覆盖曲线下的面积，越低越好。搭配原因是单点词错率看不出拒识是否有用，而该文要求置信度只用策略自身平均词元对数概率、不用裁判，组合意义是检验声学奖励带来的低插入优势在可拒识的部署形态下是否仍然存在。
下图先建立难度梯度直觉：横轴从干净到远场，纵轴是插入率，基线严格上扬，最右端最高；大权重曲线只在右端两档明显下移，左端四档几乎重合。读图不要把纵轴的相对降幅与绝对点数混淆，远场相对降幅较小但绝对点数更大。
看图路径： 1. 先确认横轴是难度从干净到远场递增的六档，纵轴是插入率百分比；2. 再沿红色基线从左到右检查是否单调上升，并在最右端找到远场峰值；3. 对比深蓝色大权重曲线在右端两档相对红线的下移幅度，左侧四档几乎重合
论文图 2。原论文 Fig. 2:：“Insertion rate versus acoustic difficulty, by \mu.”。
从像素看，红色基线在最右端显著高于其他曲线并标有单调上升注释，蓝色大权重曲线在近场与远场两处被引线标出相对下降，中间三档 3 条曲线挤在一起，0.1 与 0.3 几乎重合且为可读性做了垂直偏移。教学要点是阈值效应：中小权重几乎不动，只有 0.6 同时在两个会议档显著，这不是剂量反应，而是过阈才生效，且 0.6 之上未测试，不能谈最优。
下表把主结果与梯度放在同一问题下：测什么、与谁比、条件是否一致、指标方向如何。表前问题是：在强基线上，声学奖励是否在域外降插入且不抬高词错率。公平条件是同波形、同计划、单次贪心解码，指标方向是插入率与词错率越低越好，相对降幅为正表示改进。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 远场会议 | 词错率 | 35.89% | 34.71% | 下降显著 |
| 六档全量 | 实例数 | 33282 实例 | 同实例重算 | 配对自助 |
| 近场插入 | 相对降幅 | 基线计数 | 28.3% | 会议级整群 |
| 远场插入 | 相对降幅 | 基线计数 | 22.3% | 域外会议 |
| 干净插入 | 插入率 | 0.37% | 差距小 | 同语料梯度 |
上表的主要收益是远场插入大降且词错率净降，具体代价是数百量级新增删除与近场命中小降。未胜出项是近场词错率与全部域内档的词错率区间都含零，不能宣称全面变好；原文也明确未做等效性检验，不显著不等于等效。稳健性来自四重检查：多数会议各自改进、留一会议仍保持约 20% 相对降幅、800 至 1000 步检查点差距为正、3 种子复现且远场词错率每种子都不差于基线。
反证一：是真听内容还是只看能量？重排能否替代强化？
第一个反证是 3 条件反事实：原始音频、不可懂音频与失配等长真实话语。不可懂音频用包络调制语音形噪声保留能量、语音活动、均方根与长期谱但破坏音素内容；失配条件是等时长另一条真实话语。三者时长与能量相近，若模型只是有能量就说，那在不可懂音频上仍会长篇输出。结果是两臂在不可懂音频上输出长度比都塌缩 85% 到 90%，在等长真人语音上接近 1.0，抑制特异性约 0.85 到 0.90，说明抑制跟踪可懂度而非能量存在。
更细的是无依据词数：大权重臂在三档都显著更少，近场从均值 1.882 降到 1.465，远场从 1.545 降到 1.367，加噪 5 分贝从 2.860 降到 2.035，而在原始音频上召回只降 0.1 到 0.3 个百分点且不显著。失配条件下两臂都转写所听内容而非任务参考，证明输出跟随声学。
下表把反事实与重排诊断收拢，表前问题是：声学奖励的增量是内容条件下的克制，还是整体更沉默；训练内化能否被推理时重排替代。公平条件是复用已训模型不再训练，重排只在 600 条分层子集上评测，权重只在加噪集上调参。指标方向是不可懂词数与插入率越低越好，神谕仅作池上限。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 神谕上限 | 插入率 | 0.93% | 池内有更优 | 需参考文本 |
| 选择性识别 | 插入风险面积 | 1.524 | 0.859 | 近场曲线平均 |
| 选择性远场 | 插入风险面积 | 4.932 | 3.147 | 远场曲线平均 |
上表的主要收益是 3 条同时成立：不可懂时更克制、重排反增插入而单解码更优、拒识曲线下更优。具体代价与反例是：塌缩行为两臂共有，不能说强化教会了听，增量只是更少虚构；所测重排配置在会议档失效恰因裁判在远场失效区，而强化只在有效区用裁判，结论限于所测配置，更强选择器或生成纠错可能追回更多。下图展示拒识形态，政策自身置信度做横向排序，纵轴对数刻度下面积越小越好。
看图路径： 1. 先确认纵轴是对数刻度且越低越好，横轴是四个评测条件；2. 逐组对比红色基线柱与蓝色本方法柱的高度差，注意左侧两组真实会议柱远高于右侧两组噪声柱；3. 查看每组蓝色柱上方标注的相对下降百分比与对号，确认四组方向一致
论文图 3。原论文 Fig. 3:：“Judge-free selective ASR: insertion-AURC (risk = pooled insertion rate, log scale, lower is better) with policy-only confidence.”。
从像素看，4 组柱都是红高蓝低，左侧两组真实会议柱高出右侧两组一个数量级以上，蓝色柱上方标有约 36%、44%、17%、12% 的相对下降且带对号。数值上近场面积从 1.524 降到 0.859，远场从 4.932 降到 3.147，加噪两档降一成多，全部区间不含零。注意面积是整条曲线平均，低面积不保证每个覆盖率点都显著，例如八成覆盖处的词错率差异在近场就含零；词错率面积也显著但相对降幅小得多，说明拒识收益集中在插入而非均匀降错。
哪些边界没有测，哪些表述不能夸大？
第一是范围：一个策略、一个裁判、一个域外会议语料共 16 场。裁判未做胡 BERT 或耳语模型替换，插入代理未经人工标注验证，不能排除逐条误差重标记，即总数上插入换删除但单条未必更忠实。第二是训练条件：只加加性噪声、不加混响，远场增益是越界迁移，值得肯定但不能推广到所有远场。第三是优化对照：所有臂散度系数为零，没有冻结教师约束，无法分离声学反馈与一般正则化的作用。第四是权重网格止于 0.6 且只有该档双档显著，剂量反应、词错率悬崖与缪的一般选择都未解决。第五是奖励实现按长度 2 次归一化，未用逐字归一化重训，行为靠实测长度比支撑而非假设。
统计表述也要收敛。不显著的词错率差异不得写成等效，原文明确未做等效检验。会议级整群区间在近场较宽，反映只有 16 个整群；远场种子离散更大，反映远场异质性。神谕与搜索最优要另行标注，不可替代可部署收益。缺失证据不是技术错误，相关性不是因果，未测延迟与成本时不承诺更快更省。
下表把代价敏感性与未测项并置，表前问题是：插入更贵时结论是否更稳，以及代价是否可接受。指标方向是加权词错率越低越好，盈亏平衡系数越小说明即使插入只贵一点本方法也划算。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 远场加权 | 盈亏平衡系数 | 1 | 0.08 | 标准权重为 1 |
| 近场加权 | 盈亏平衡系数 | 1 | 0.27 | 同上 |
| 远场代价 | 每删换插比 | 基线 | 3.14 | 新增删除 |
| 近场代价 | 每删换插比 | 基线 | 5.88 | 同上 |
| 空输出率 | 占比 | 基线 | 低于 1% | 非拒答 |
上表显示两档盈亏平衡系数远低于 1，且点估计下标准词错率已占优，因此插入越贵结论越稳。未胜出项是删除确实上升，若下游对漏听极敏感则需另做权衡；未来应补人工验证、裁判替换、散度对照与逐字归一化重训，再谈一般化选择。
要复现先固定什么，再跑什么，最容易踩坑在哪？
先固定数据与划分。训练用 LibriSpeech 干净 100 小时子集的 28539 条，按固定种子预生成四桶退化音频，噪声来自 MUSAN 训练子集；评测用同一 5350 条测试话语的 4 种测试噪声重渲染加 AMI 两档，AMI 全程不进训练与选型。核对实例数、参考词数、会议数与 MUSAN 训练测试不相交，任何重采样或重加噪都会破坏可比性。再固定优化与解码：组大小 8，学习率 1 乘 10 的负 6 次方，最大补全 200 词元，有效批量 32，LoRA 秩 16 缩放 32，1000 步余弦预热 30 步，训练采样温度 1.0，评测贪心温度 0 并先合并适配器。缪网格 4 个值全跑全报，主结论取 0 与 0.6 在第 1000 步比较。
再跑门控与诊断。门控在强化前跑 1 次，匹配对失配五选排序准确率与最难负例间隔决定训练是否纳入该条件；远场不过门故不进训练混合，这是设计依据而非事后解释。重排诊断只在分层 600 条子集上跑，权重只在加噪集上搜，AMI 保持未调。统计用配对自助 2000 次、种子固定，AMI 用会议级整群。硬件原文为 8 卡 H20，推理用兼容版本。
最易踩坑有三处：一是把神谕或搜索最优当可部署收益，神谕需参考文本不可上线；二是把单位与聚合搞混，相对百分比与百分点不同，语料级池化与逐条平均不同，数值相同不代表同一指标；三是忽视长度归一化的 2 次特征与不可对齐边界，若自行重写 CTC 打分而改了归一化或零无穷处理，结果不可比。资源状态方面，本次未发现来源绑定且完成验证的代码模型数据资源，不得声称已公开，只能按论文文字复现流程，缺项要明确记录为未报告而不猜实现。
何时值得尝试这个做法，收束时应带走哪句话？
当你的语音识别已用文本奖励的强化学习推到瓶颈，且错误集中在弱声学条件下的增词，而部署只允许单次解码、不允许线上外挂模型时，这个做法值得尝试。它的本质是训练时用一把冻结的弱语言先验尺子给组内候选排序，让无依据的流畅候选被扣分，从而把克制内化到策略自身。预期收益在真实会议远近场最大，在干净与合成噪声上很小；预期代价是少量删除上升，需按插入与删除的业务成本加权后再验收。
带走的一句话是：文本奖励管对错，声学裁判管是否有声可依，二者组内加权后用贪心单解码落地，远场插入可降两到三成且词错率不升，但结论限于单个策略裁判组合与 16 场会议，换裁判、换语料、加混响训练与更大权重都待验证。复述方法时按样本走一遍：同一音频采 8 候选，两路打分各做稳健标准化，加权成奖励更新适配器，推理只贪心 1 次；数字只认同条件同解码下的插入率、词错率、面积与区间，不把神谕上限当成绩，不把不显著当等效。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses