标签:#语音识别 | #检索增强 | #CTC | #关键词检测
评分:8.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Zhiqi Ai:机构信息未在 arXiv HTML 中可靠披露
- Han Cheng:机构信息未在 arXiv HTML 中可靠披露
- Shiyi Mu:机构信息未在 arXiv HTML 中可靠披露
- Yongjin Zhou:机构信息未在 arXiv HTML 中可靠披露
- Shugong Xu:机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
上下文偏置语音识别需要在给定大规模偏置词表时转写稀有词,难点是长提示带来干扰且初始转写常漏掉近音词。该工作提出 PTC-Bias(Phoneme-Level Temporal Competition Bias),两阶段复用冻结音频编码器后轻量音素 CTC 分支输出的帧级音素后验。预填充阶段 PTC 检索(PTC Retrieval)把偏置词转为带重音的音素 Trie 并做帧同步 CTC 搜索,再经区间重叠竞争计算纳入边缘概率,得到至多 10 个词及其语音区间送入语音大语言模型(SpeechLLM)提示。解码后 PTC 纠错(PTC Correction)在缓存后验的局部窗口内比较检索词与转写差异片段的 CTC 前向概率,以声学裕量加词法与边界检查决定替换。与独立排序或单路径关键词点选不同,该方法把重叠发音显式建模为互斥解释并在检索与纠错两次复用同一证据做竞争。在 LibriSpeech test-clean / test-other 与 2000 个干扰词下,Prompt-SLAM-ASR-7B 的偏置词错率(B-WER)为 3.38% / 7.63%,相对 CTC-Filter 的 4.41% / 10.02% 降低 23.4% / 23.9%,而非偏置词错率(U-WER)为 1.06% / 2.43%,与基线 1.03% / 2.47% 基本持平。该结论限于英语朗读语音与至多 2000 词偏置表,未验证噪声、对话或跨语言外推;原文未披露训练时长、推理端到端成本与部署成本。
🔗 开源与复现资源
- 代码相关资源:https://github.com/aizhiqi-work/PTC-Bias — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音大模型为什么还认不好罕见词?
输入是语音波形,目标是输出文字转写。语音大模型的做法是把音频编码器得到的连续表示与文字提示一起送入自回归大语言模型,直接生成转写。
对于常见句式这种方法很强,但人名、地名、技术术语等罕见词在训练中出现少,模型更倾向于输出发音接近的高频词。必须保留的信息是任务定义与 3 类指标:总词错误率衡量整体,偏置词错误率只算偏置表内罕见词,非偏置词错误率只算表外普通词。
偏置词错误率越低越好,非偏置词错误率越低越好。初学者容易只看总错误率,本文的教学重点是把 2 类错误分开,防止用误伤普通词换取罕见词提升。
输出是 1 篇可复述的方法解读:先讲为什么大偏置词表不能直接塞进提示词,再讲如何用声学证据先检索后纠错,最后讲在什么实验条件下数字成立。本文只讲这篇论文实际做的 LibriSpeech 英文朗读语音上下文偏置任务,不扩展到对话或噪声场景。
已有偏置路线卡在哪里?
同输入同目标的路线有 3 类。深度偏置把偏置信息做进声学或解码网络,需要改模型。文本自适应与上下文提示把偏置词写进提示词,不改模型但词表大时提示变长。
检索式方法先从大表中选少数声学相关词再提示,是本文所属路线。同监督同运行阶段的对照包括基于发音相似度、语音文本表示、中间假设和学习检索分数的方法。
论文指出 2 处不足:基于嵌入的方法可扩展但缺少精确定位,基于初始转写假设的方法若首版转写漏掉正确词就找不回来。而且多数方法独立打分,同一段语音的多个近音词会被同时选中,而不是互相比较。
另一条相关线是音素关键词检测。基于联结时序分类的词检测器在音素后验上搜索候选发音,用户自定义关键词系统有用流式音素搜索与多阶段匹配的。但论文说明它们多为单个关键词设计,每个候选走独立解码或匹配路径,没有显式建模重叠发音之间的竞争。
纠错侧也有把检测词插入假设的做法,但误检会把本来正确的转写替换掉,因此需要第 2 次比较。
大词表下真正的困难是什么?
设 1 条语音对应 1 个偏置表,表中有少量真正出现的罕见词和大量干扰词,干扰词数量从 100 到 2000 变化。模型要在不明显增加推理代价的前提下提高偏置词召回,同时不引入词汇干扰。
举 1 个教学例子帮助理解,不代表论文数值:假设音频实际是罕见拼写的广场一词,偏置表同时有发音极近的另一个常用词。若 2 个词都进提示,语言模型可能因词频偏好选常用词。若检索独立打分,2 者分数都高也会同时进提示,干扰仍在。
论文要解决的正是这种同一段声学证据对应多个解释时的选择问题。因此问题可分解为 2 步:第 1 是如何在帧级别定位每个候选的语音区间并只保留互不矛盾的 1 组。第 2 是即使正确词已进提示,模型输出仍可能是错切分或近音词时,如何用局部声学证据决定是否替换。
2 步都要求复用同一份后验,且不增加语音大模型的前向次数。
PTC-Bias 的 2 个阶段是如何分工的?
沿 1 个样本走完流程有助于建立整体感。输入为 1 段语音与包含数 100 至 2000 词的偏置表。冻结的音频编码器先输出各层表示,轻量音素分支将其融合成帧级音素后验并缓存。
预填充阶段的检索在该后验上逐帧搜索,输出至多 10 个词的短表及其起止时间与置信度。短表作为文字偏置提示与语音表示一起送入冻结的语音大模型,得到初始转写。解码后纠错阶段对准初始转写,在每个检索区间附近取 1 个短转写片段,与检索词在相同上下文下比较声学得分,决定是否局部替换。
上下文偏置 × 偏置检索: 上下文偏置负责把用户给定的罕见词送入语音大模型的提示词以提高其出现概率,偏置检索负责在解码前从上 1000 个候选中只挑出与当前音频声学匹配的少数词;二者搭配的原因是大词表直接进提示会增加长度并引入词汇干扰,而检索用声学证据先过滤,使偏置只在有声学支撑的位置生效。
下图是全文总览,左侧为上下文语音大模型,中间为音素解码与检索,右侧为解码后纠错,箭头标明了短表与区间的复用关系,图中红色箭头是理解数据流向的关键。
看图路径: 1. 先沿左侧语音经音频编码器到上下文语音大模型的主路径看输入输出;2. 再看中间音素解码分支从各编码层引出后验的虚线连接;3. 比较中间检索框选出短表向下送提示词、向右送区间的 2 条红线;4. 最后看右侧框内缓存后验与局部窗口如何支撑纠错替换
论文图 1。原论文 Figure 1::“Overview of PTC-Bias. A lightweight phoneme-CTC branch extracts frame-level phoneme posteriors from the frozen audio encoder.”。
从图中可以看到关键设计:音素后验只计算 1 次,2 个阶段共享。检索结果既向下影响提示词,又向右影响纠错窗口。纠错比较的是缓存后验上的局部前向概率,而不是再次调用大模型。
这种安排使大词表扩展主要落在中央处理器可并行的检索搜索上,而不是大模型推理上。
音素后验是如何得到的?
白话说,音素后验就是每 1 帧属于每个音素的概率,英文为 phoneme posteriors。分支输入是编码器全部层输出的加权和,权重经柔性最大化归一化,只学习融合权重、轻量 Transformer 与分类头。
参考文本与偏置词都用发音词典工具转成带重音的 ARPAbet 音素序列,保证训练与检索共用同一套音素表。符号与输入如下:时刻帧表示来自第几层,权重为归一化系数,融合后经 Transformer 与 CTC 头输出后验。
该后验计算 1 次,供检索与纠错共享,不需要额外的音频编码器或大模型前向。
\[\overline{\mathbf{H}}_{t}=\sum_{\ell=1}^{L}\alpha_{\ell}\mathbf{H}^{(\ell)}_{t},\qquad\boldsymbol{\alpha}=\operatorname{softmax}(\mathbf{g}),\]该公式的计算目标是得到融合表示,原文明确的实现是冻结编码器、只优化融合权重、轻量 Transformer 与 CTC 头。训练数据为 LibriSpeech 干净子集与全量集,帧率随前端不同而不同,具体见训练节。
需要指出,论文未报告该分支的梯度是否回传到编码器以外的投影模块,按证据只能说编码器冻结,不能推定其他大模型参数的更新情况。
检索阶段怎样做时间竞争?
检索的输入是帧级后验与偏置表,输出是检索事件集合。先把偏置词转成音素序列并建成共享前缀树,使共享前缀的候选复用解码状态。搜索允许每个候选从任意帧开始,逐帧进行基于前缀树的 CTC 步骤,并记录每个词的最佳局部路径与区间。
长度校准分数对路径对数概率按发音长度平均,再加长度项,避免长词系统性吃亏。
\[S_{k}=\max_{\begin{subarray}{c}1\leq a\leq b\leq T\\ \mathcal{C}(\boldsymbol{\pi}_{a:b})=\mathbf{w}^{(k)}\end{subarray}}\left[\frac{1}{U_{k}}\sum_{t=a}^{b}\log P_{t}(\pi_{t})+\beta\log U_{k}\right],\]其中符号含义为偏置词发音长度、起止帧、CTC 折叠算子、该帧取该符号的后验概率、长度校准系数。计算目标是每个词的最佳事件 3 元组,即词、区间与分数。论文给出的检索超参数为保留前 100 个事件、最终至多选 10 个词,校准系数为 1.1。
得到事件后进入竞争。把区间重叠的事件视为对同一段声学的竞争解释,只允许选择区间互不重叠的事件子集,空集也被允许以表示 1 个都不选。每个兼容集合的权重由事件分数经参考分与竞争温度换算后求指数得到,再用区间前向后向高效计算每个事件被包含的边缘概率作为置信度。
\[q_{k}=\frac{\displaystyle\sum_{\begin{subarray}{c}\mathcal{A}\in\mathfrak{C}_{M}\\ \xi_{k}\in\mathcal{A}\end{subarray}}\psi(\mathcal{A})}{\displaystyle\sum_{\mathcal{A}\in\mathfrak{C}_{M}}\psi(\mathcal{A})}.\]该置信度高于阈值的事件按置信度排序取前列,论文阈值为 0.05,参考分为 0,温度为 0.25。最终送入大模型的不仅是词字符串,还包括区间与检索置信度,区间留给纠错使用。
音素 CTC 后验 × 时间竞争: 音素 CTC 后验负责给出每 1 帧是哪个音素的概率分布,是全部声学证据的来源,时间竞争负责把落在同一段时间区间、互相重叠的候选发音路径当作互斥解释来比较;二者组合的意义是把独立打分变成同一段语音只能选 1 个最合理的词,从而压制近音词同时入选。
解码后纠错比较什么?
纠错的输入是初始转写、检索词及其区间、缓存后验,输出是可能被局部替换的新转写。对每个检索区间,先把初始转写对准到后验,找到与区间重叠且发音相似的短片段。
为在相同语音上下文下公平比较,构造 2 个音素序列:左右共享上下文音素不变,中间分别放检索词发音与转写片段发音。2 者都在向两侧各扩展 5 帧后验的局部窗口内算 CTC 对数前向概率,差值即声学裕量。
\[\Delta_{k}=F(\mathbf{z}_{k}^{+};\Omega_{k})-F(\mathbf{z}_{k}^{-};\Omega_{k}),\]其中正序列对应检索词,负序列对应原转写片段,窗口为扩展后的局部区间。只有当裕量超过阈值并通过词法与边界检查才替换,论文阈值为 2.0。完全同音词因音素无法区分,只在受限的罕见词或切分条件下处理。
多个编辑冲突时结合裕量与检索边缘概率解决。
PTC 检索 × PTC 纠错: PTC 检索负责在预填充阶段选出偏置词短表并记录其语音起止区间,PTC 纠错负责在语音大模型输出初稿后只在这些区间内比较检索词与转写片段的声学得分;二者分工形成前后呼应,搭配理由是检索到了不等于模型一定生成对,纠错用同一份后验做第 2 次局部验证,新增作用是处理切分错误和仍被高频近音词替换的情况。
这种设计的教学要点是选择性纠错:不是凡检索到就替换,而是检索词必须在局部声学上明显胜过当前转写片段。这解释了为什么非偏置词错误率能基本保持,因为大量正确转写会在第 2 次比较中被保留。
哪些参数训练、哪些保持冻结?
本研究训练的部分只是音素前端,不是语音大模型。2 个语音大模型主干在偏置实验中保持冻结。被训练的是层融合权重、2 层 Transformer 与 71 类音素 CTC 头。
训练工具为 WeNet,批量大小为 8,在 4 块 3090 上训练。论文比较了 3 种前端:3.61 M 参数的关键词基线、冻结的 WavLM 加小分支、问答语音模型的音频 Transformer 加小分支。
冻结音频编码器 × 轻量音素分支: 冻结音频编码器负责保持原语音大模型的声学表示不变,避免重训大模型,轻量音素分支负责在编码器各层输出上学习加权融合加 2 层 Transformer 与音素分类头;搭配原因是大编码器已具音素区分能力,只训练小分支即可得到帧级后验,新增作用是以很小的可训练量同时支撑检索与纠错 2 个阶段。
具体规模按原文为:WavLM 总量 317.31 M、可训练 1.86 M,工作在 50 Hz。音频 Transformer 总量 186.48 M、可训练 1.83 M,工作在 12.5 Hz。轻量基线工作在 25 Hz。
训练数据为 460 小时干净子集与 960 小时全量集,评估在测试干净集与测试其他集上进行。未报告的缺项是优化器类型、学习率与训练轮数,复现时需查阅开源代码补齐,不能从模型名称推定。
实验条件与指标如何对应复现?
数据与协议遵循罕见词评测做法。每条语音配其真实罕见词与数量为 100、500、1000、2000 的干扰词,检索至多选 10 个词作为文本提示送入 2 种冻结主干。测试集包含 2620 条干净语音与 2939 条其他条件语音。
音素前端在干净子集与全量集上分别训练,以考察数据量影响。指标方向必须记清:词错误率、偏置词错误率、非偏置词错误率与音素错误率都是越低越好。检索指标中达到 99 % 召回所需的平均候选数为越低越好,前 50 内真实词召回为越高越好,前 50 内近音干扰词召回为越低越好。
聚合对象是测试集上的平均,论文以干净集与测试其他集成对报告。对照条件方面,主基线是直接进提示的语音大模型与 CTC 过滤方法,另有深度语言模型与文本偏置方法作为背景。
特别需要注意交叉条件:问答语音模型部分结果复用了 WavLM 检索结果以控制变量,解读时不能与自带前端结果混为一谈。硬件预算只报告了训练用卡与批量,检索延迟排除了后验提取与字典树构建时间。
主结果在多大词表下成立?
要回答的核心问题是:在干扰词增至 2000 时,方法相对最接近的可运行检索基线是否同时改善罕见词且不损伤普通词。比较条件是同一主干、同一偏置表、至多 10 个提示词,指标方向均为越低越好。下表先看音素前端本身的区分能力,这是 2 个阶段共享证据质量的基础。
| Front-end | test-clean | test-other | test-clean | test-other |
|---|---|---|---|---|
| DS-KWS [3, 2] | 4.44 | 13.39 | 4.45 | 11.80 |
| AuT [18] | 2.39 | 5.88 | 2.06 | 5.13 |
| WavLM [5] | 1.29 | 2.44 | 1.13 | 2.27 |
表后解释需要同时看到收益与代价。表中 WavLM 在全量训练下错误率最低,音频 Transformer 次之,轻量基线最高。这支持论文的判断,即现有语音大模型的音频编码器已具足够的音素区分能力来支撑 2 个阶段,但也显示前端质量有差距,纠错依赖的后验精度并非无代价。未胜出项是轻量基线,其错误率明显偏高,说明若只用极小前端可能限制竞争精度。
偏置词错误率 × 非偏置词错误率: 偏置词错误率负责衡量偏置表内罕见词的识别好坏,非偏置词错误率负责衡量其余普通词是否被误伤;二者必须同时看的原因是只降前者可能靠激进替换实现,搭配观察才能判断方法是真正区分了声学证据还是牺牲了正确转写,PTC-Bias 的目标是前者明显下降而后者基本不变。
下图展示检索阶段的时间竞争实例,上为语谱与词边界,下为各候选完整路径分数随时间变化,实线为选中、虚线为被压制的竞争路径,横轴时间单位为秒。
看图路径: 1. 先对照上部梅尔谱与白色虚线切分确认 3 个目标词的时间范围;2. 再看下部完整路径分数曲线中实线选中路径与虚线竞争路径的高低;3. 注意同一时间段内多条近音词曲线重叠但只有 1 条保持高分
论文图 2。原论文 Figure 2::“Temporal competition among phoneme paths in PTC Retrieval. Solid paths are selected; dashed paths are competing alternatives.”。
从图中可以执行 3 处观察:目标词区间内选中路径分数明显高于重叠的近音词路径。不同目标词的选中区间互不重叠,符合兼容集合的定义。被压制的虚线在重叠段后迅速下降,说明边缘概率起到了抑制作用。
该图是单样本可视化,不能推广为全测试集的平均行为,平均效果需看下 1 节数字表。
跨主干与跨词表是否一致?
第 2 个结果问题是增益是否只在某个主干或某个词表大小上偶然出现。论文在 100 至 2000 个干扰规模与 2 种主干上重复了实验,报告显示从检索到加纠错的偏置词错误率(%)逐级下降,且在 2 个测试集上方向一致。公平比较要求同一主干与同一干扰数,下表整理论文在 2000 干扰下报告的成对数字与检索加纠错的增量。
| 评测条件 | 指标含义 | 检索后数值 | 检索加纠错后数值 | 比较对象 |
|---|---|---|---|---|
| 2000 干扰 Prompt 主干干净集与其他集 | 总词错误率 | 3.85%/8.24% 对应偏置词检索值 | 1.30%/2.93% | PTC-Bias 整体 |
| 2000 干扰 Prompt 主干干净集与其他集 | 偏置词错误率 | 3.85%/8.24% | 3.38%/7.63% | 检索对比纠错 |
| 2000 干扰问答模型干净集与其他集 | 偏置词错误率 | 5.08%/9.24% | 4.45%/8.61% | 检索对比纠错 |
表后解释要区分 2 层增益。论文报告在该条件下检索已优于 CTC 过滤,纠错进一步把偏置词错误率从 3.85% 与 8.24% 降至 3.38% 与 7.63%,问答语音模型上也有从 5.08% 与 9.24% 到 4.45% 与 8.61% 的下降。这支持检索到了不等于生成对、局部竞争能处理近音与边界错误的判断。限制是相对降幅的计算依赖 CTC 过滤基线的具体实现,若基线阈值不同结论可能变化。同时普通词错误率只是基本不变而非严格不升。
控制变量的 1 组复用 WavLM 检索结果给问答语音模型解码,相对 CTC 过滤仍有 2 位数的相对下降,说明增益不完全来自前端更换。背景方法中部分只报告了小词表结果,大词表处为空,解读时不能把缺失当作零误差。
检索质量与延迟各付出什么?
消融与特有细节按 2 类展开。第 1 类是检索本身的区分度。论文比较了声学与文本 2 种检索变体,关注达到高召回所需的短表长度与近音干扰占比。下表用原文连续句整理关键数字,条件为测试其他集与 2000 干扰。
| 评测条件 | 方法 | 达到 99 % 召回所需候选数 | 前 50 真实词召回 | 前 50 近音干扰召回 |
|---|---|---|---|---|
| 测试其他集 2000 干扰声学对照 | 声学检索基线 | 42.2 | 99.3% 对应保持值 | 69.3% |
| 测试其他集 2000 干扰本方法 | PTC 检索 | 16.9 | 99.3% | 22.0% |
表后解释需同时讲收益与未胜出项。收益是达到 99 % 真实词召回所需的平均候选数从 42.2 降至 16.9,近音干扰在前 50 中的占比从 69.3% 降至 22.0%,而真实词在前 50 中的召回保持在 99.3% 附近,说明短表更小且更干净。代价是真实词召回并非最高,声学基线另有 99.7% 的报告值略高于本方法,若只看召回会误以为基线更好,必须结合干扰占比与短表长度一起判断。
第 2 类是部署成本。检索延迟在 2000 词、4 工作线程下为毫秒级。词表增至 5 万时,单线程与 16 线程的差距拉大,增加并行可把延迟从数百毫秒降至数十毫秒。下图展示延迟随词表与核数的变化,排除了后验提取与字典树构建。
看图路径: 1. 先看横轴偏置词数与纵轴检索延迟的主趋势;2. 比较 1 核到 16 核共 5 条曲线的斜率差异;3. 再看左上小图在 1000 词以下对数纵轴下的细节差异
论文图 3。原论文 Figure 3::“CPU search latency of PTC Retrieval for a 5.09-s utterance across bias-list sizes and worker counts. Phoneme-posterior extraction and trie construction are excluded.”。
从图中可以看到:横轴词表增大时单核曲线近乎线性上升,多核曲线明显更平。右端 50,000 词处核数越多延迟越低,左上小图显示 1000 词以下各曲线差距小,对数纵轴下仍保持有序。该测量是中央处理器检索搜索部分,不包括音素后验计算与大模型解码,不能直接当作端到端延迟。论文未测量误替换率与端到端实时率,相关结论待验证。
哪些情况方法可能不生效?
首先是同音词的本质限制。音素无法区分发音完全相同的词,论文明确只在受限的罕见词或切分条件下处理此类替换,说明该分支不是通用语义消歧。若偏置表含大量完全同音的不同拼写,声学裕量将接近零,方法只能依赖词频或拒绝替换。
其次是阈值与对准依赖。检索置信度阈值、竞争温度、纠错裕量阈值与窗口扩展帧数都是固定超参数,论文未报告它们在新领域或新采样率下的敏感性。若后验质量下降或对准偏差增大,区间可能错位,导致漏纠或误纠。
第 3 是评测边界。实验为英文朗读语音,未评测噪声、口音、对话重叠与跨语言偏置。训练资源只给到卡数与批量,未给学习率与收敛曲线。延迟排除了后验与建树开销。
因此不能承诺在其他数据分布或端到端系统上同样改善,相关性不等于因果,缺失的测量应视为待补验证而非技术错误。
复现时先做什么才能对上数字?
第 1 步是按原文固定信息条件:每条语音配真实罕见词加指定数量干扰词,检索至多取 10 个,纠错窗口向两侧各扩 5 帧,检索阈值 0.05、温度 0.25、校准系数 1.1、纠错裕量阈值 2.0。主干保持冻结,只训练音素分支的融合权重与小 Transformer 与分类头。
第 2 步是核对指标口径:总错误率、偏置与非偏置错误率分开统计,检索用达到 99 % 召回所需候选数、前 50 真实召回与前 50 近音召回。注意百分点与相对百分比不同,论文的 23.4 % 与 23.9 % 是相对 CTC 过滤的相对下降,不是绝对百分点。
代码状态依据本次收到的资源信息:项目地址的可用性为可用,状态码为 200,可写当前可用。但可用不等于权重可下载或一键可运行,复现前应先确认发音词典工具、WeNet 训练脚本与 2 种主干的权重获取方式,再跑通后验提取、建树、检索与纠错的缓存复用路径。
何时值得尝试这种先竞争后纠错?
当偏置表较大且近音干扰多、而大模型提示长度受限时,值得尝试先用帧级声学证据做竞争式检索,再用同一证据做选择性纠错。它的适用前提是有可靠的音素后验与可估计的语音区间,以及能接受阈值调参的场景。若任务主要是语义消歧而非发音混淆,或后验质量很差,则收益可能有限。
复述方法的关键链条是:融合编码器各层得后验,逐帧搜索得每个词的最佳区间,区间重叠者按兼容集合算边缘置信度取短表,短表进提示得初稿,初稿片段与检索词在相同上下文与局部窗口内比前向概率,裕量足够才替换。记住 2 处易误解点:短表小不等于召回一定最高,要看干扰占比。
纠错不是越多越好,而是只在声学明显胜出时替换,这正是普通词得以保留的原因。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses


