📄 不只数错了几个词:如何判断语音识别错得要不要紧
英文题目:SMART: Semantic Segment Mapping and Assessment of Recognition Transcripts with Contextual Rubrics
评分:6.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Xiaoyu Gu:机构信息未能在本次解析中与作者逐人可靠绑定
- Chencheng Wang:机构信息未能在本次解析中与作者逐人可靠绑定
- Fuyang Li:机构信息未能在本次解析中与作者逐人可靠绑定
- Yu Xi:机构信息未能在本次解析中与作者逐人可靠绑定
- Tao Liu:机构信息未能在本次解析中与作者逐人可靠绑定
- Jiaoqi Guo:机构信息未能在本次解析中与作者逐人可靠绑定
- Kai Yu:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
语音识别的输入是连续语音,输出是转写文本,难点在于同样的字面编辑可能带来完全不同的语义后果,例如漏掉否定词会反转含义,而插入语气词则几乎无影响。论文先对参考文本与假设文本做字符级对齐,再按英文空格与中文分词的块边界切分为语义连贯片段,并把单侧空片段并入相邻片段以保留增删的局部上下文。评估分支对每个差异片段输入周围参考上下文,用结构化细则判断对齐有效性、语义变化与上下文可恢复性,再经确定性规则汇总为有后果或无后果标签,并按话语、块、词三级统计为语义影响错误率(Semantic Impact Error Rate,SIER)。修正分支不接触参考文本与评估诊断,只用目标假设与前后识别假设生成修复指导,再由大模型改写,改写后才用混合错误率与语义影响错误率复评。相对已有整句相似度打分和下游任务间接评估,该方法能定位到具体片段并区分后果有无。在3.4小时Canvas Speech中文课堂语料与7.2小时TED-LIUM release 3英文演讲子集的差异片段分类中,以多数票人工标签为基准,框架的F1为0.843,高于直接用LLM判断的0.745。结论仅在单说话人连续语音、前后各十句连续话语为上下文且主评测用DeepSeek-V4-Flash的条件下验证,多说话人交互、其他语域与上下文缺失或更长时的判断尚未验证,对齐证据不足或上下文无法消解指代省略时可能误判。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源:https://github.com/NytePlus/SMART — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音识别评测要回答什么问题
语音识别的输入是一段连续语音,目标是输出与说话内容一致的文字。初学者容易以为只要数字词错得少就是好,但论文开头举的例子很直接:漏掉一个否定词可能把意思完全反转,多出一个语气词可能完全不影响理解,而且这两种错误可以出现在同一个句子里。
传统词错误率的做法是把替换、删除、插入都按同样代价相加,它能告诉你错了多少字词,但回答不了哪处错误改变了原意。另一类做法是给整个句子打一个语义相似分,它能告诉你整体意思接近程度,但无法定位是哪一段识别错误造成的,也就难以指导针对性修复。
这篇论文要解决的就是中间这个缺口:在保留定位能力的前提下,逐段判断每个识别差异在上下文中是否真正改变了原意,并把判断结果变成可统计的指标和可执行的纠错指导。
已有三条路线各缺了什么
论文把已有工作分成 3 类来对比。第一类是下游任务评测,例如看识别错误是否影响意图识别和槽位填充。它的输入和目标与具体任务绑定,只有影响任务结果的语义扭曲才会被发现,不影响任务但丢失细节的错误可能被漏掉。
第二类是句子级语义评测,用上下文表示或大语言模型判断参考文本和假设整体有多像。它把多个差异压缩成一个总分,没有明确区分哪处差异要紧、哪处不要紧,因此定位和细粒度分析能力有限。
第 3 类是混合或严重程度加权的指标,以及按段对齐再打语义分的方法。它们已经开始给局部差异打分或加罚分,但打分本身不等于在上下文中判定后果,特别是缺少对前后话语的显式使用。论文认为指代、省略和跨句依赖都需要在话语上下文中才能判准,这是已有局部打分方法主要缺的部分。
论文把任务重新定义成什么
论文把语义评测形式化为上下文感知的、段级的、可追溯的后果评估。输入是参考文本和识别假设,输出不是一个总分,而是每个差异段的明确标签:要紧还是不要紧,并且每个标签能追溯到具体的识别错误。
这里要紧的含义在正文中有概念界定:只有当语义变化在考虑上下文可恢复性和解释影响之后仍然构成有意义的干扰,才判为要紧。也就是说,不是字面不同就要紧,能从上下文自然恢复、不改变理解的差异应判为不要紧。
这个定义决定了后续全部设计:先要把零散的字词差异组织成语义连贯的段,再逐段引入上下文做判断,最后把标签聚合成指标。纠错也被纳入同一框架,但信息条件完全不同,后面会单独说明。
整体流程分哪两条分支
方法名为 SMART,包含参考感知的评测分支和无参考的纠错分支。评测分支的输入是参考文本、识别假设和前后参考上下文,输出是每段的后果标签和三层语义影响错误率。纠错分支的输入只有目标假设和前后识别假设,输出是修复指导和改写后的假设。
两条分支共享结构化推理的思想,但准则和可用信息不同。关键的隔离设计是评测诊断不传给纠错,纠错完成后再用同样的混合错误率和语义指标重新评测,这样纠错的提升不是靠偷看答案得到的。
下面这张总览图把 4 个步骤画得很清楚,可以先按从左到右的顺序建立整体印象,再进入每个组件的细节。
看图路径: 1. 先从左到右看四个大框的输入输出:对齐切段输出什么,评分输出什么,指标输出什么,纠错输出什么;2. 注意第二框的三个输入格和三个评分项分别对应参考段、假设段和上下文;3. 对比第三框从话语到块再到词的箭头,理解三层指标是同一标签的不同聚合
论文图 1。原论文 Figure 1::“SMART: Context-aware segment-level semantic consequence assessment and correction.”。
从图中可见,第一步把参考与假设组织成对齐的差异段,第二步用参考上下文和结构化准则逐段判定后果,第三步把要紧段按话语、块和词 3 个粒度统计成指标,第四步在看不到参考的情况下用假设上下文做检测和改写。图中第二步和第四步都列出了同样的三项检查,但输入条件不同,这是理解全文的关键。
对齐切段如何把碎片拼成可评判的单元
切段要处理的对象是参考文本和假设之间的字词差异。直接按词算编辑距离容易把一个语义差异切碎,特别是遇到插入、删除以及词的拆分合并时,一个意思可能被拆成多个不连贯的编辑操作。
论文的做法是先做字符级编辑对齐,再按语言感知的块边界切段。英文按空格分词,中文按结扎分词工具切分出的单元作为块。只有当对齐两端同时到达块起点或遇到对齐空格时才切分,这样拆分合并错误会被保持在同一段内。单侧为空的插入删除段会被并入相邻段,使孤立的增删保留局部上下文。
切段的输出形式在原文中记为对齐单元集合与差异下标,含义是全部对齐段加上其中参考与假设不相同的那些段,后续只有差异段会被送去做语义判断。
\[\mathcal{M}=[(r_{k},h_{k})]_{k=1}^{K},\qquad\mathcal{I}=\{k\mid r_{k}\neq h_{k}\},\]上式中每对小括号内分别是参考段和假设段,差异下标集合就是两者不相等的段号。这个表示本身不做判断,它的作用是把后续语义判断的输入固定为成对、可追溯的单元。
参考文本 × 识别假设 × 对齐切段: 参考文本是人工正确的转写,识别假设是语音识别系统输出的文本,对齐切段是把两者先做字符级对齐再按语言分词边界切成可评判的小段;三者搭配后,零散的字词增删改被收拢成语义完整的对照单元,后续才能逐段判断后果并追溯到具体识别错误。
参考感知的准则怎样逐段判定后果
每个差异段的判断输入是三样东西:参考段、假设段和该目标句前后各十句参考上下文。准则不直接输出标签,而是先要求模型给出结构化推理痕迹,再用固定规则汇总成标签,这种设计是为了让判断过程可检查。
推理痕迹包含三项:第一项检查对齐是否有效、证据是否充分,第二项刻画参考与假设之间的语义变化,第三项评估在前后参考上下文下原意是否仍可恢复,以及该差异如何影响理解。原文强调,只有语义变化在考虑可恢复性后仍然构成有意义干扰,才判为要紧。
固定汇总规则把三项推理转成二分类标签,要紧或不要紧。被判为要紧的段构成后续指标的统计集合,不是要紧段内的编辑在指标中直接被忽略。
结构化评分准则 × 上下文可恢复性 × 后果标签: 结构化评分准则要求模型依次检查对齐是否有效、语义发生了什么变化、在前后参考上下文中原意是否还能恢复;上下文可恢复性是其中关键一步,用来排除脱离上下文会误判的情况;三步推理再经固定规则汇总成后果标签,即该段是要紧还是不要紧,标签直接决定后续指标只统计哪部分错误。
举个教学例子帮助理解:假设参考是否定句而假设漏掉了否定词,即使前后文都在讨论同一件事,读者按假设理解会得到相反结论,这种差异在上下文中无法恢复,应判为要紧;假设只是多了语气词或填充词,不改变事件和态度,上下文理解不受影响,应判为不要紧。这里例子只是说明判定逻辑,论文的实际判定由准则和固定规则对每个真实段执行。
语义影响错误率在三个粒度上数什么
混合错误率是论文用作词法基线的指标,它以中文单字和英文单词为统一单位,把替换删除插入总数除以参考总单位数。对纯中文它退化为字错误率,对纯英文退化为词错误率。公式先交代它数什么,后面才能理解语义指标与其可比的原因。
\[\mathrm{MER}=\frac{\sum_{i}(S_{i}+D_{i}+I_{i})}{\sum_{i}L_{i}},\]上式分子是各句替换删除插入之和,分母是各句参考单位数之和。它统计的是全部字词错误,不区分后果。
语义影响错误率沿用同样的字词编辑计数和分母,但只保留要紧段内的编辑。话语级统计含有要紧段的句子比例,块级统计要紧段内假设侧块数占参考块总数的比例,词级统计要紧段内字词编辑占参考总单位数的比例。因此词级语义指标与混合错误率直接可比,两者差值就是落在不要紧段内而被排除的字词错误量。
混合错误率 × 语义影响错误率: 混合错误率以中文单字和英文单词为单位统计全部字词替换删除插入,分母是参考文本长度;语义影响错误率只统计被判为要紧段内的同样字词编辑,分母保持一致;两者搭配后,前者回答错了多少,后者回答其中多少真正改变了意思,两者差值就是被排除的不要紧错误量。
话语级 × 块级 × 词级: 话语级统计含有要紧段的句子比例,块级统计要紧段内假设侧分词块占参考块总数的比例,词级统计要紧段内字词编辑占参考总字词数的比例;三层共用同一批后果标签,只是聚合对象从句子到块再到字词,分别回答有多少句子受影响、多少语块受影响、多少字词量是要紧的。
这篇论文训练了什么没有训练什么
这篇论文没有训练新的声学模型或识别模型,也没有报告准则本身的参数更新、梯度路径或冻结细节。它的实际计算是构造评测流程、调用已有大语言模型执行准则推理、按固定规则汇总标签,再按定义统计指标。
评测和纠错调用的大语言模型在主要实验中是 DeepSeek-V4-Flash,敏感性分析中还换用其他模型做同一批人工标注段的分类,以检验方法是否依赖单一模型。纠错用的提示式改写模型同样是调用已有模型,不是重新训练纠错器。
人工标注部分是对每个数据集抽取 300 个差异段,由 5 名领域标注者独立标注,多数投票作为真值。准则和汇总规则在评测前冻结,相似度基线则允许用事后最优阈值,这一点在比较公平性时需要注意,后文会解释。
在什么数据和条件下做实验
实验用两个连续语音数据集,覆盖不同语言和领域,且都以单说话人为主,这样可以在没有多人对话干扰的情况下考察话语上下文。中文部分是内部课堂数据集 Canvas Speech,共 3.4 小时连续教学录音,含中英混读和领域术语;英文部分是从 TED-LIUM release 3 中选出的 7.2 小时连续演讲子集。
评测上下文是目标句前后各十句连续参考文本,纠错用同样时间窗内的对应识别假设,不接触参考文本。这种时间窗设计保证了评测能看到话语上下文,而纠错只能看到假设上下文。
比较的识别系统包括开源和闭源两组,指标方向是混合错误率和三层语义指标越低越好,人工一致性中的准确率、精确率、召回率和 F1 越高越好,其中要紧为正类。纠错对比的是匹配的无准则基线,即同样的目标假设、假设上下文、模型和解码,只是去掉准则指导,以此分离出准则本身的增益。
词错得少是否等于意思保得好
要回答的核心问题是词法准确与语义影响是否一致。论文同时报告句子级和词块级的两套数字,句子级比较句子错误率与话语级语义指标,词块级比较混合错误率与词级和块级语义指标,方向都是越低越好。
| ASR System | Utterance-level | Utterance-level | Lexical / chunk-level | Lexical / chunk-level | Lexical / chunk-level |
|---|---|---|---|---|---|
| ASR System | SER ↓ | SIERutt ↓ | MER ↓ | SIERlex ↓ | SIERchunk ↓ |
| Open-Source Models | |||||
| Qwen3-ASR[21] | 98.07 | 80.94 | 12.97 | 6.08 | 6.40 |
| whisper-v3[17] | 94.22 | 75.59 | 24.41 | 16.05 | 15.16 |
| whisper-v3-turbo[17] | 95.29 | 76.66 | 23.19 | 15.16 | 14.34 |
| sensevoice[1] | 98.29 | 82.66 | 11.87 | 5.43 | 6.23 |
| paraformer[4] | 98.07 | 84.15 | 15.04 | 6.09 | 7.22 |
| Closed-Source Models | |||||
| Qwen3-ASR-Filetrans | 84.15 | 56.75 | 9.64 | 3.60 | 3.82 |
| Doubao Filetrans | 87.79 | 62.10 | 11.13 | 3.42 | 4.03 |
上表比较多个识别系统在两个数据集上的词法与语义结果,列包括句子错误率、话语级语义指标、混合错误率、词级语义指标和块级语义指标,单位均为百分比。表后需要关注两个现象:话语级语义指标普遍低于句子错误率,说明有些句子虽有字词错误但无语义后果;不同系统的词法排序与语义排序可能不一致。
论文正文明确报告的一个例子是,某闭源文件转写系统混合错误率更低,但词级语义指标反而更高,说明词错得少不等于意思保得好。教学上可以这样复述:在同样分母下,语义指标只数要紧段内的编辑,词法指标数全部编辑,因此语义指标揭示的是错误质量,词法指标揭示的是错误数量。
| Context Why can a longer vacation feel only slightly better? | ||
|---|---|---|
| Reference There are no new memories added; you have not changed the story. | ||
| Hypothesis | WER ↓ | SIERlex ↓ |
| A: There are no new memories added; | 8.33 | 8.33 |
| you have changed the story. | 8.33 | 8.33 |
| B: Uh, well, there are no new memories | 16.67 | 0.00 |
| added; you have not changed the story. | 16.67 | 0.00 |
上表是同一个英文句子的两个假设对比,参考句含有否定结构,一个假设漏掉关键否定词但字词改动少,另一个假设保留否定但多了填充词。表中词错误率更偏好前者,词级语义指标更偏好后者,单位均为百分比且越低越好。这说明只看字词数量会奖励漏掉关键信息的简洁假设,而语义指标能惩罚改变原意的遗漏。该结论成立的条件是同一句子、同一参考和同一分母下的直接比较,不能推广为所有句子都如此。
机器判断与人工多数投票有多一致
第二个要回答的问题是机器的要紧判断是否接近人工。真值是 5 人独立标注后的多数投票,数据是两数据集各 300 个差异段,其中约三成是要紧。比较的方法包括相似度基线、交互式评测、直接让大语言模型判断,以及本文方法和去掉上下文的变体,所有大语言模型方法在该表中都用同一模型,以保证输入准则之外的条件一致。
| Classifier | Acc. ↑ | Prec. ↑ | Rec. ↑ | F1 ↑ |
|---|---|---|---|---|
| Similarity-based metrics | ||||
| BERTScore [26] | 0.215 | 0.214 | 0.910 | 0.331 |
| SeMaScore [20] | 0.370 | 0.261 | 0.910 | 0.384 |
| LLM-based evaluation | ||||
| Interactive ASR [23] | 0.515 | 0.297 | 0.955 | 0.440 |
| Direct LLM | 0.900 | 0.764 | 0.731 | 0.745 |
| SMART w/o context | 0.920 | 0.822 | 0.822 | 0.822 |
| SMART | 0.925 | 0.857 | 0.830 | 0.843 |
该表比较不同分类器在差异段上与人工的一致性,指标为准确率、精确率、召回率和 F1,要紧为正类。公平条件是相似度基线使用了在评测集上使 F1 最大的事后阈值,属于偏向基线的设置;直接判断与本文方法都用同一底层模型,区别在于是否有切段、结构化准则和上下文。
表后解释主要结果:相似度方法召回率高但精确率和准确率低,倾向于把不改变原意的字词差异也判为要紧;直接判断的 F1 为 0.745,去掉上下文的本文变体已提升到 0.822,加入参考上下文后进一步达到准确率 0.925、精确率 0.857、召回率 0.830、F1 0.843。这支持两个判断:结构化逐段判断本身带来提升,话语上下文带来进一步提升。该结论的适用条件是冻结准则、多数投票为真值、要紧为正类的段级分类,不能直接等同于整句转写质量。
无参考纠错的增益来自哪里
纠错要回答的问题是在看不到参考的情况下,准则指导是否比同样条件的直接改写更好。实验对象是对 SenseVoice 在两个数据集上的输出做改写,对比原始假设、匹配的无准则基线和有准则指导的改写,指标为混合错误率和词级语义指标,越低越好。图注还说明柱子顶部的粉色部分是新引入的错误量,绿色双向箭头是相对原始假设的修复量。
看图路径: 1. 先看左右两大组分别对应哪个指标,纵轴都是错误率且越低越好;2. 再看每组内三根柱子从原始到无准则再到有准则的变化,以及顶部粉色新增错误块;3. 最后读绿色双向箭头标注的修复量,对比有无准则在语义指标上的差距
论文图 2。原论文 Figure 2::“Target-reference-free correction of SenseVoice on Canvas Speech and TED-LIUM 3.”。
从图中可见,两组柱子分别是混合错误率和词级语义指标,每组内按数据集再分三根柱子,分别对应原始、无准则和有准则。两类改写都比原始好,说明仅利用假设上下文做改写本身有效;有准则的柱子更低,且绿色修复量更大,粉色新增量相对可控,说明准则的额外增益主要来自修好了更多语义错误量。
正文报告的具体数字是:Canvas 上混合错误率从 10.43% 降到 9.58%,词级语义指标从 6.96% 降到 5.31%;TED 上混合错误率从 12.94% 降到 11.96%,词级语义指标从 5.11% 降到 3.93%。摘要进一步把准则相对无准则基线的绝对降幅总结为混合错误率 0.85 至 0.98 个百分点、词级语义指标 1.18 至 1.65 个百分点。这里是百分点的绝对下降,不是相对百分比。该结论成立的条件是同一目标假设、同一假设上下文、同一模型和解码下的匹配比较。
去掉上下文或换模型会发生什么
要分离上下文的作用,论文比较了完整方法与去掉上下文的变体。两者都用结构化准则和同一模型,唯一区别是是否输入前后参考上下文。结果是去掉上下文已优于直接判断,加入上下文后精确率从 0.822 升到 0.857,召回率从 0.822 升到 0.830,F1 从 0.822 升到 0.843,说明结构化判断是主要增益来源,上下文提供进一步但幅度较小的改善。
要检验是否依赖单一模型,论文在同一批人工标注段上换用 4 个评测模型做分类,要紧仍为正类。比较问题是不同底层模型下的一致性是否稳定,条件是同一段集合、同一准则和同一真值。
| Evaluation LLM | Acc. ↑ | Prec. ↑ | Rec. ↑ | F1 ↑ |
|---|---|---|---|---|
| GPT-4.1 | 0.895 | 0.750 | 0.800 | 0.774 |
| GPT-5.5 | 0.915 | 0.868 | 0.733 | 0.795 |
| GPT-5.6-Luna | 0.895 | 0.714 | 0.889 | 0.792 |
| DeepSeek-V4-Flash | 0.925 | 0.857 | 0.830 | 0.843 |
上表报告 4 个评测模型下的准确率、精确率、召回率和 F1。表后可见各模型 F1 在 0.774 到 0.843 之间,准确率都在 0.895 以上,精确率和召回率有所波动但总体分类性能接近。论文据此认为方法对评测模型选择相对不敏感,不依赖单一模型。限制是这只是同一任务、同一标注集上的分类一致性,没有评测延迟、成本或跨领域稳定性,不能推广为任意模型任意数据都一样好。
参考感知的评测分支 × 无参考的纠错分支: 参考感知的评测分支能看到参考文本和前后参考上下文,用于诊断每段的语义后果;无参考的纠错分支看不到参考文本,只能看到目标假设和前后识别假设,用于发现可疑区域并生成修复指导;两者在信息上严格隔离,评测诊断不直接传给纠错,纠错后的新假设再重新走评测,保证纠错效果是独立测出来的。
哪些结论还不能下
首先,语义指标依赖准则模型的判断和固定汇总规则,即使与人工一致性较高,也不能等同于人工评价本身。相似度基线用了事后最优阈值,直接比较 F1 时对基线更有利,但这不改变本文方法优于直接判断的结论,只是提醒阈值选择方式不同。
其次,纠错实验只覆盖两个连续语音数据集和一个被纠错的识别系统,上下文窗口固定为前后十句。换领域、换说话人数量、换窗口大小或换底层模型时,修复量和新增错误量的平衡可能变化,论文没有报告推理开销和延迟,因此不能承诺纠错一定更省时或更便宜。
最后,来源方面只有第三方仓库链接在本次检查中可达,论文正文称准则、提示、汇总规则和代码已公开,但按执行规则只有归属明确的作者资源才能写作者已公开,此处只能说论文给出了第三方链接且本次可达,不能断言作者资源状态。来源未确认不是技术缺陷,只是复现时需要自行核对。
如果要复现第一步做什么
复现应从评测分支开始,因为它的输入输出最明确。先准备参考文本和识别假设,按英文空格和中文分词工具确定块边界,再实现字符级对齐与切段逻辑,输出对齐段和差异段。单侧为空段的合并规则要按原文实现:先与后一段合并,末尾则与前一段合并,并去掉空段。
第二步冻结准则和汇总规则,再引入前后各十句参考上下文,对每个差异段生成三项推理并汇总成标签。人工验证时可先复刻每数据集 300 段、约三成要紧、5 人多数投票的设置,再比较准确率、精确率、召回率和 F1。
纠错复现要严格隔离信息:只能用目标假设和前后识别假设生成修复指导,不能传入参考文本或评测诊断,改写后再用混合错误率和语义指标独立评测。还需保留匹配的无准则基线,否则无法分离准则本身的增益。缺口是原文未披露准则提示的全部超参数以外的解码细节和计算预算,复现时应记录模型版本、温度和重复次数,并补测不同窗口和跨数据集的稳定性。
什么时候值得尝试这个方法
当词错误率已经很低但仍担心关键语义错误,或者同一句子内同时存在要紧和不要紧错误需要定位时,这个方法值得尝试。它把整体相似分拆成逐段可追溯的标签,既能回答错了多少,也能回答其中多少改变了意思,并能直接指出要优先修哪段。
它的代价是流程更重:需要字符对齐、语言分词、上下文拼接和大模型逐段推理,还要维护固定汇总规则。上下文窗口和模型调用成本都会影响实际部署,直接用在实时系统前需要补测延迟和费用。
总体上,论文的证据支持在所测的课堂中文和英文演讲数据、所用的上下文窗口和所测的模型范围内,结构化切段加上下文准则比直接判断更接近人工,且无参考准则指导比无准则改写修好更多语义错误。超出这些条件的效果仍待验证,使用时应把混合错误率和语义指标并列报告,避免只看其中一个就下结论。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
