英文题目：SpeechCritic: Learning a Diagnostic Speech Judge from Limited Human Preferences
标签：#语音质量评估 | #偏好优化 | #跨语言 | #语音 | #基准测试
评分：7.1/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Mingyue Huo：机构信息未在 arXiv HTML 中可靠披露
- Shivam Mehta：机构信息未在 arXiv HTML 中可靠披露
- Bhavin Jawade：机构信息未在 arXiv HTML 中可靠披露
- Yinghong Lan：机构信息未在 arXiv HTML 中可靠披露
- Haoqi Li：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
诊断性语音评价以源语言参考为锚点，比较两个目标候选并输出总体二选一与说话人情感时序发音伪影五维度的A/Tie/B判定及可定位的可听证据，难点在于专家标注昂贵而前沿音频语言模型直接标注存在维度错位与Tie严重低估。SpeechCritic先在约300组人类开发集比较上以分组交叉验证筛选与人类一致的声学度量并丢弃无效伪影指标，再拟合L2正则多项逻辑回归得到维度A/Tie/B概率映射并冻结为校准分布，随后将分布作为非绑定提示连同原始音频与转录交给Gemini-3.1-Pro生成上万条监督，学生在Qwen2.5-Omni-7B上依次经监督微调建任务、在位策略蒸馏迁移教师轮廓与门控强化学习锐化奖励编码行为。与直接让前沿模型替代标注不同，该链条以人类校准的可验证度量约束教师却允许其按音频推翻，从而保留覆盖度的同时纠正系统性Tie偏差。在英语到日语测试集下，SFT的总体准确率为69.54%，高于Qwen2.5-Omni-7B基线的总体准确率13.10%。该结论适用边界受限于自建合成候选池与英语到日语主评测，英语到西班牙语复现与VOX-DUB仅为近似对照，低一致样本与长篇说服性推理伴随错误 verdict为已知失败条件，自然泛化与跨系统部署尚未验证。硬件上原文披露主体实验使用八卡NVIDIA A100 80GB与八卡H200，训练时长与推理开销等完整成本仍未充分量化。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么不能只打一个自然度分？
这篇论文的输入是一个三音频加双文本加评分规则的组合。每个比较包含一个源语言参考和两个目标语言候选，主实验是英语参考对日语候选，另有英语对西班牙语的复现。系统同时看到源与目标转写本和评价指令，输出是对 5 个感知维度的裁决加一个必须二选一的总体裁决，外加支持每个裁决的解释。5 个维度固定为说话人、情感、节奏、发音口音和音频损伤。
白话说，就是听起来像不像同一个人、情绪对不对、停顿语速顺不顺、发音地不地道、有没有杂音断音这类技术坏点。英文名按原文是说话人、情感、节奏、发音口音与音频损伤，后文分别简称为说话人维、情感维、节奏维、发音维和损伤维。
为什么不用一个自然度总分代替？论文的动机是总分无法定位改进方向。两个候选可能总体接近但坏在完全不同的地方，一个像说话人但节奏拖沓，另一个节奏贴参考但口音漏出。若只输出谁赢，合成系统的开发者不知道改音色建模还是改时长模型。诊断性判断要求每个维度独立给出甲乙或打平，并在解释中点出可听可定位的证据，例如某个词、某个短语边界、某次呼吸或某段韵律变化。总体裁决仍保留，因为维度之间会有取舍，最终需要一个基于最重要可听差异的排序结论。
诊断性语音评价 × 总体胜负： 诊断性语音评价负责说清两个候选在音色情感节奏发音和损伤五个维度上各自谁更好或是否打平并给出可听证据，总体胜负负责在存在维度间取舍时综合出一个必须二选一的最终赢家，二者搭配的原因是只给总体胜负无法指导改进而只给维度会缺少行动结论，组合后系统既保留细粒度可核查依据又能输出明确排序决策。
直接把任务丢给现成音频语言模型是否可行？论文先做了零样本探测，覆盖 3 种专有模型和 5 种开源模型，统一指令后在自建英日测试集上比较。报告的模式是总体准确率与维度宏平均都低于人类一致性参考，多款模型出现明显的甲乙偏斜，而基座之一在大量比较上输出任务不允许的总体打平。更关键的是没有模型在 5 个维度上都稳定可靠。这说明零样本输出不能直接当作可扩展监督，动机就落在如何用少量人类判断去校准机器标注，而不是直接替换机器标注。
下图把这种差距做了可视化，左为总体与维度得分散点，中为甲乙选择偏斜，右为分维度雷达，教学上先看差距是否存在再谈后续校准是否有必要。
看图路径： 1. 看左图散点中人类一致性点与所有模型点在总体与维度两个轴上的位置差距；2. 看中图堆叠条中各模型在甲打平乙三段上的偏斜特别是无效打平占比；3. 看右图雷达中两款模型在五个维度上无一维度贴近人类虚线
论文图 2。原论文 Figure 2:：“Zero-shot probing of three proprietary and five open-source audio-language models on our constructed English–Japanese test set (conducted only after all model choices were…”。
从像素看，左图人类一致性点位于右上方孤立位置，所有模型点都明显偏左下。中图部分模型的灰色打平段异常长或蓝色甲段接近满格，例如基座模型的打平段占据约四分之三。右图两条模型曲线在 5 个角上都远离人类虚线且各有所短。这支持正文判断：现成模型不是可靠的零样本诊断法官。需要强调的是人类一致性在这里只是标注主观性的参照，不是模型性能上界，论文明确不把人类分歧当作模型错误的借口。
同输入同目标的已有路线差在哪里？
按同输入、同目标、同监督和同运行阶段对照，已有语音评价路线可分为两类。第一类是直接提示现成音频模型做评价，以及把声学线索转写成文字再交给文本大模型推理的方法。第二类是训练专用评价器，例如用大规模人类偏好训练的专用法官，或用专家打分训练的评分模型，还有覆盖指令评价、低层质量、多语言判断和对话评价的系列工作。这些工作大多强调自然度或低层声学质量，与本文要求在跨语言参考条件下同时输出 5 维裁决与可听证据的目标不完全相同。
在可扩展训练方面，文本评价器已有用模型反馈蒸馏、显式批评再判断、基于人类原则的反馈和自举推理等做法。但语音模态的监督模型必须自己听声学信号，并把裁决与解释都落实到可听证据，这使得机器监督本身的可靠性成为中心问题。弱监督方面，相关系统把带噪启发式直接组合成概率训练标签，而本文的域度量不直接定标签也不替代原始音频。已有结构化声学证据方法也会给评价器声学信息，但本文多了一步按维度在留出人类判断上筛选每个候选度量，再校准为概率提示并只作非约束性指导。
另一支审计工作指出语音大模型法官可能依赖响度、内容丰富度等声学捷径且解释很少暴露这些影响。本文的回应是把解释质量拆成可听证据定位、与裁决一致性来单独用人听评估，而不是从文本流畅度推断可靠性。这个区分贯穿后文对强化学习与长解释的讨论，也决定了后文实验必须把裁决正确性与解释 grounding 分开测量。
要解决的比较问题与人类基准如何搭建？
论文把一般诊断任务实例化为参考条件下的跨语言比较。形式上输入记为源参考、候选甲乙、源与目标转写和规则的元组，输出是 5 个维度的甲乙或打平加总体甲乙。总体不允许打平，维度允许打平。标注时先听英语参考再比较两个目标候选，先选总体赢家再独立判断 5 个维度，不评价翻译是否直译，只听可听语音特征与技术质量。比如甲更像参考音色但把停顿放错，乙音色稍远但节奏贴合，标注者可以在说话人维选甲、节奏维选乙，总体按最重要差异二选一，该例子仅用于教学，不代表原文数值。
数据构造上，论文用多个现成合成系统制造异质语音池。说话人维用同人与异人条件做音色转换，发音维对比目标语言克隆与跨语言条件引入的口音泄漏，情感节奏损伤维从两种多语言合成架构各采样多输出以覆盖模型内随机差异与模型间系统差异。同一目标维度内随机配对，确定性打乱甲乙位置并按目标维度与位置平衡。训练开发测试按说话人不交叉划分，开发 315 组、测试 290 组用于英日主实验，西语另有开发与测试各 307 组。每组通常 3 人标注，另有 30 组锚点收集 20 人标注以检验 3 人多数的稳定性。总体无严格多数的比较不进入基准。
评估指标上，总体用二分类准确率，维度用三分类宏平均在 5 维上再平均。共识分层把总体 3 比 0 记为高共识，2 比 1 记为低共识。人类一致性参考用单评分者对面板多数的期望准确率刻画，在英日测试集上报告为总体 85.8% 与维度宏平均 78.8%，另有维度打平召回 86.07%。论文强调这只是主观性参照，不是上限。5 维是否足以解释总体？等权加总经单特征逻辑校准后在英日开发集分组交叉验证中恢复总体多数标签的准确率为 93.0%，更灵活的分维度模型并未更好，这支持 5 维是连贯的规则，但不证明维度穷尽或总体由等权加总因果决定。
三百人评如何变成万级监督？先看全景
中心矛盾是专家维度标注贵，直接让前沿模型打标签又出现系统性偏差：人类在维度层约过半选打平而模型很少选打平，且解释可能出现无支撑的声学断言。论文的关键选择不是用人类替换模型，而是用人类校准模型。管线称为选择、校准、扩展 3 步。选择解决哪个域度量可信，校准解决可信多少并表达为不确定性，扩展解决如何把冻结的映射作为非约束提示交给仍能听原音频的机器标注器去产出万级裁决加解释监督。
全景图上半定义法官行为，下半定义构建与评估流程，开发集用于校准与选型，测试集全程锁定不参与校准训练与选型。先沿一个样本走一遍：输入 3 段音频与转写，进入人类校准的可扩展监督模块得到软提示，再分别走监督微调、在策略蒸馏与强化学习 3 条训练路径得到学生法官，最后从裁决准确率、解释质量与多语言三方面评估。域度量差值与原始音频是并行输入，提示可被覆盖，这是与传统弱监督直接定标签的本质区别。
看图路径： 1. 先沿上半部分从源语言参考加两个目标候选到法官再到五维裁决加总体赢家的主路径看；2. 再看下半部分从多样候选对经有限人类判断到可扩展监督再到三类训练信号与三类评估的分支；3. 核对测试集在图中被上锁表示不参与校准与选型的隔离含义
论文图 1。原论文 Figure 1:：“In a reference-conditioned cross-lingual comparison, a diagnostic speech judge produces multidimensional verdicts and evidence-grounded rationales that identify audible…”。
从像素看，上半左侧 3 个波形分别标注源参考与候选甲乙，下方有两个文本框为转写与指令，中间法官图标向右输出 5 维表格与总体赢家，表格中证据列有绿色高亮而裁决列有黄色高亮。下半左侧为多样候选堆叠，经耳机标注员到开发与测试分叉，测试带锁，中间灯泡模块为人类校准的可扩展监督，右侧 3 个并行框为 3 类训练信号，最终汇入同一法官再分出 3 类评估，底部横条把阶段串成多样对、有限判断、可扩展监督、互补信号与评估。教学上应把该图当作后续所有公式与训练对照的地图，而不是只记一个框架名。
关于可复现性，本次收到的资源状态中未发现可验证的公开代码模型或数据绑定，因此不声称代码权重或数据已公开，后文只讲论文报告的配置与数据划分，缺失的下载与运行信息在复现节集中说明。
选什么信号，如何变成概率提示？
输入表示先形式化。每个比较的完整输入包含源参考音频、候选甲乙音频、源与目标转写与规则，输出约束已在任务节说明。域度量筛选的操作对象是每个维度候选度量在甲乙上的有向差值。白话说，先把度量方向统一为越大越支持某候选，再算甲减乙的差值，配上该维度的人类多数标签构成监督对。实现上用五折分组交叉验证，同源组必须同折，每折内在另四折拟合标准化与临时概率映射，在留出折上与人类标签比宏平均，并与同四折估计的类别频率基线比。只有超过基线的才保留，临时映射随后丢弃。
\[x=\left(x^{\mathrm{src}},x^{A},x^{B},t^{\mathrm{src}},t^{\mathrm{tgt}},r\right),\]上式只是输入元组的符号打包，教学作用是提醒后续所有映射与损失都以同一输入为条件，避免把域度量差值当成独立于音频与转写的标签。沿一个样本看，同一组三音频与转写既用于算域度量差值，也用于机器标注器听音核验，两路不能割裂。
\[\Delta_{ik}^{(j)}=m_{kj}(A_{i})-m_{kj}(B_{i}),\qquad z_{ik}\in\{A,\mathrm{Tie},B\},\]该式定义有向度量差值与人类维度标签的配对，是筛选与校准的共同数据单位。符号含义为第 i 组比较、第 k 维度、第 j 个候选度量在甲乙上的差值，标签取自人类多数的甲打平乙。计算目标是衡量该差值能否在留出组上预测人类标签，原文明确的实现是折内拟合标准化与临时映射再算宏平均。
筛选结果是 4 维各保留一个可信信号，损伤维无保留。说话人保留与目标参考的说话人嵌入余弦，情感保留基于唤醒度的失配，节奏保留时长偏差加包络动态时间规整的复合分，发音在日语保留字错率而在西语保留目标语言后验。被拒的包括效价失配、大模型情感嵌入、基频轮廓、语音端点对齐、通用质量预测器等，拒因是交叉验证无提升或专家小样本试听无改善。损伤维因无候选超基线而不给任何域提示，总体也不给提示。
域度量筛选 × 概率校准： 域度量筛选负责从说话人相似度唤醒度失配时长包络字错率等候选中只保留在人类开发集分组交叉验证中超过频率基线的信号，概率校准负责把保留信号的甲减乙差值经标准化后映射为甲打平乙三类不确定性分布，二者搭配的原因是筛选解决信哪一个信号的问题而校准解决信多少的问题，组合后机器标注器收到的才是经过人类验证且带不确定性的软提示。
校准把保留信号的差值变成 3 类概率。做法是在全部开发比较上重拟合一个带正则的多项逻辑映射，输入是标准化后的差值，输出是甲打平乙的分布。冻结标准化参数与回归参数后，该分布表达的是人类选择映射的不确定性，而不是硬标签。
\[\mathbf{p}_{ik}=f_{k}(\Delta_{ik})=\operatorname{softmax}\!\left(\bm{\alpha}_{k}+\bm{\beta}_{k}\frac{\Delta_{ik}-\mu_{k}}{\sigma_{k}}\right)=\bigl(\Pr(A),\Pr(\mathrm{Tie}),\Pr(B)\bigr).\]该式中符号为第 k 维度的截距与斜率向量、均值方差与经归一化的 3 类概率。计算目标是用交叉熵学习从差值到人类维度裁决的不确定映射，原文明确的实现是全开发集重拟合后冻结。随后对每个未标注比较算同样差值并过冻结映射得到软提示，与原始语音转写规则一起交给机器标注器，标注器需对照音频核验并可覆盖提示，再生成 5 维裁决加解释与总体裁决。
下图把基线失败与 3 步法放在同一页，阅读时先看失败再看每步解决哪一个失败，避免把软提示误解为硬标签。
看图路径： 1. 对照上半基线框中直接标注的三类失败模式文字；2. 沿下半三步箭头看筛选指标列表经约 300 开发集到多项逻辑回归再到冻结映射的走向；3. 确认大规模未标注样本同时走域度量差值与原始音频两路进入同一标注器的非约束设计
论文图 3。原论文 Figure 3:：“Human-calibrated domain hints. Direct machine labeling exhibits systematic disagreement with human.”。
从像素看，上半基线框左侧未标注样本进入前沿音频大模型，右侧 3 条粉色警告分别写维度不对齐、过少选打平、解释幻觉。下半 3 步中第一步列出说话人嵌入、唤醒效价、时长规整、语种后验字错率与质量预测器等标签并指向约 300 开发集，第二步经多项逻辑回归与甲乙差值轴输出 3 类曲线，第 3 步约万级未标注样本分两路进入同一模型，黄色便签给出说话人维示例概率并强调对照音频核验。教学上应抓住两路并行与可覆盖这两个动作，这是非约束性的可执行含义。
三种训练信号各自训练什么，如何实现？
学生统一从 7B 音频语言模型初始化，默认冻结音频编码器与投影，只在语言模型加低秩适配。监督微调在固定机器目标上做自回归学习，目标包含维度裁决、解释与总体裁决，主设置用约 7840 组训练 6 轮。它的作用是建立任务：让零样本总体仅约 10% 的基座学会按格式输出、区分维度与给出结构化解释，但必然暴露于机器目标中的错误。
在策略蒸馏改为在学生自生轨迹上最小化与冻结教师的逐词分布差异。普通版师生看到同一输入，特权版额外给教师一份来自可扩展监督的证据简报而学生只看普通输入。教师可以是任务适应的同系列模型或更大模型，学生初始化可以是基座、微调后或强化后。它的作用是迁移教师的条件判断风格，而不是普遍更强的判断。
\[\mathcal{L}_{\mathrm{OPD}}=\frac{1}{T}\sum_{t=1}^{T}\operatorname{JSD}\!\left(p_{\theta}(\cdot\mid x,y_{\lt t})\,\middle\|\,q_{\phi}(\cdot\mid x,c,y_{\lt t})\right).\]该式中前者为学生、后者为教师的下一词分布，输入为普通输入，特权证据只给教师，已生前缀来自学生，轨迹长度为分母。计算目标是沿学生轨迹的平均分布差异，原文明确的实现是学生贪心生成至多 1024 词后冻结教师在同轨迹上打分再最小化差异。梯度路径只更新学生低秩参数，教师冻结。
强化学习只对解析出的裁决计分，不设解释奖励。主奖励是门控式：总体正确得正分错误得负分缺失或打平也记错，维度分只在总体正确时按有决断目标的维度平均加权加入，打平目标维度不计分。比较过只奖总体、只奖维度、相加与门控等变体，以及不同算法对照。它的作用是锐化奖励编码的裁决行为，允许策略联合改写裁决与解释而不模仿目标解释。
\[R=r_{\mathrm{overall}}+\lambda\mathbf{1}\{r_{\mathrm{overall}}=+1\}r_{\mathrm{dim}}.\]该式中总体分为正负一，维度分为有决断维度上的平均正负 1 分，指示函数实现门控，权重在主配置取 0.3。计算目标是提升奖励定义的决策行为，原文明确的实现是每提示采样多回复、温度为 1、按解析裁决计分。未报告的是解释文本的梯度是否应被屏蔽的细节，论文只说无解释奖励，复述时不应脑补梯度路径。
监督微调 × 在策略蒸馏： 监督微调负责用固定的裁决加解释目标做逐词学习以建立任务格式和基本维度区分，在策略蒸馏负责让学生在自己采样轨迹上逐位置逼近冻结教师的下一词分布以继承教师的条件判断风格，二者搭配的原因是前者解决从零到能按规则输出的问题而后者解决在自生前缀下保持判断分布的问题，组合后可以分离任务建立与判断风格迁移的不同影响。
门控维度奖励 × 强化学习： 门控维度奖励负责只在总体裁决正确时才给予维度正确性的加权平均分，强化学习负责只对解析出的裁决计分而不直接奖励解释文本，二者搭配的原因是前者把优化压力放在先选对赢家再做对维度上而后者允许策略在不模仿目标解释的前提下改写裁决与解释的联合序列，组合后观察到高共识样本改善而维度分可能漂移的现象。
三者不是精度阶梯，而是分工。微调建任务，蒸馏传风格，强化锐化被奖励的行为。理解这点才能读懂后文为何总体最高的教师反而维度分低，以及为何强化后解释定位变好但维度分下降。
数据划分、指标聚合与统计口径如何保证可比？
数据层面，参考语音按说话人不交叉划为训练开发测试约 8 比 1 比 1，英日机器标注覆盖 11824 组，经格式与置信过滤后进入可扩展池约 9797 组，主微调取其中 80% 约 7840 组，西语另有 8000 组。人类开发判断只用于选择与校准域度量，开发总体准确率另用于选检查点，测试判断直到最终评估才使用。构造池用域度量做分布审计而不用于选赢家，甲乙位置确定性随机化并平衡。
指标层面，输出仅当总体与 5 维都能解析才算成功解析，否则记错，总体预测打平也记错。维度无严格多数的比较不计入该维宏平均，再在 5 维上等权平均。共识分层在模型结果中用多数占比阈值 0.8 划分，以兼容 20 人锚点，这与人类基准中严格 3 比 0 与 2 比 1 的计数口径不同，引用数字时必须注明口径。种子差异是 3 次独立训练的样本标准差，不是置信区间。配对自助区间是联合重采样参考簇 20000 次的百分位区间，只在明确报告处使用。
高共识比较 × 低共识比较： 高共识比较指三人标注中总体票型为 3 比 0 的清晰样本，低共识比较指票型为 2 比 1 的分歧样本，二者搭配的原因是语音感知本身存在主观分歧需要分层评估，组合后才能判断训练信号是改善了清晰可判的情况还是连人类都分歧的情况，避免用单一总体准确率掩盖适用边界。
硬件与实现上，主微调与强化用 8 卡大显存，蒸馏用另一型 8 卡，微调与强化基于现有训练框架而蒸馏用自定义分布式实现。检查点按开发集总体准确率选择。论文未给出可验证的公开下载绑定，复述时不把配置可运行等同于权重可下载，缺项在复现节集中列出。训练资源与推理延迟分开讨论，原文未测量延迟与成本时不承诺这方面改善。
机器标注器加提示后维度对齐变好了吗？
这里的比较问题是同一机器标注器在直接标注与加校准提示两种策略下，谁的维度层更接近人类，谁的打平率更接近人类，总体准确率是否变化。公平条件是同一底层模型、同一测试子集划分与同一解析规则，指标方向是维度宏平均越高越好，打平率平均绝对误差越低越好，总体准确率越高越好。论文用参考簇联合自助法做配对差值的区间，标注策略比较锁定在主要合成候选子集，而全集打平率描述包含少量自然对照，口径不同不能直接互推。
下表整理论文报告的开发与测试对照，数值保留原文写法，百分点差值只在正文用文字描述而不写入表内，避免把派生差值当成原表数字。
| 策略 | 总体准确率开发集 | 维度宏平均开发集 | 打平误差开发集 | 总体准确率测试集 | 维度宏平均测试集 | 打平误差测试集 |
|---|---|---|---|---|---|---|
| 直接标注 | 72.6 | 44.1 | 29.0 | 71.3 | 42.3 | 35.2 |
| 加校准提示 | 75.8 | 50.9 | 22.1 | 69.9 | 48.5 | 24.8 |
表后解释需要同时说收益与代价。收益是维度宏平均在测试集提升约 6.3 个百分点，打平误差下降约 10.4 个点，且配对自助区间均不含零，支持校准改善了维度对齐与打平校准的判断。代价是总体准确率变化约负 1.5 个点且区间跨零，显示无可检测变化，即维度变好不等于总体变好。反例是即使加提示，打平仍欠预测，人类维度打平率远高于模型，说明提示只是把同一模型变成更好的监督源而非完全对齐。未胜出项是损伤维因无提示仍靠音频判断，后文学生模型在情感与节奏维仍高度果断，提示效果具有维度依赖性。复述时要注意单位与口径，原文的提升是百分点差值，不是相对百分比。
要测的第二个问题是可扩展监督应如何使用，比较对象包括零样本基座、微调、不同教师与特权的蒸馏、不同奖励与算法的强化，以及蒸馏加门控强化的组合。条件一致性上，主结果共享同一可扩展池与同一选点规则，但可调模块与教师条件不同，因此不能只看总体排序，需要分高低共识与维度分一起读。指标方向是总体与高低共识准确率越高越好，维度宏平均越高越好。关键数字按原文主结果复述：零样本基座总体仅约 10%，微调后总体约 69.5%、维度约 52.4%。
特权大教师蒸馏总体约 73.8% 但维度约 44.6%，而特权微调教师蒸馏总体约 71.7% 且维度约 52.2%。门控强化从微调总体约 69.5% 到约 71.8%，增量几乎全在高共识约加 3.9 个点而低共识无增，维度从约 52.4% 降到约 47.6%。组合训练总体约 73.9%、低共识约 56.9%、维度约 52.9% 为三者中最均衡。支持的判断是微调建任务、蒸馏传教师风格、强化锐化奖励行为，而非统一阶梯。
解释质量需要单独用人听评估。下图是裁决相同时微调与微调加强化的解释对比，阅读时先确认裁决相同再比证据定位，避免把选对赢家误当成解释变好。
看图路径： 1. 在裁决相同的前提下对比左右两栏对同一候选的描述粒度；2. 注意右侧被人类偏好一栏是否把证据定位到具体日语短语与插入声的位置；3. 观察左侧泛化表述与右侧定位表述在情感与损伤维度上的差异
论文图 4。原论文 Figure 5:：“RL can improve rationale grounding without direct rationale rewards. Given identical verdicts, SFT+RL cites more specific and better-localized acoustic evidence than SFT.”。
从像素看，左栏为微调解释，右栏为微调加强化且标注被人类偏好，两栏都谈情感捕捉、节奏破坏与合成损伤，但右栏把情感定位到具体短语、把节奏破坏定位到短语之间插入的拖长发声、把损伤定位到贯穿全片的机械失真并用绿色高亮，左栏对应位置为橙色泛化表述。论文的人听比较在裁决相同的 28 组判断中，11 组偏好强化、1 组偏好微调、16 组无差异，符号检验显著，支持裁决奖励在不直接奖解释时也能改善证据定位的判断，但 16 组无差异说明不是每例都变好。
维度打平行为的分解决释了提示与训练的局限。比较问题是人类多数打平率与直接标注、校准标注、蒸馏法官的预测打平率在 5 维上是否接近，公平条件是同一英日测试集，指标是每维预测为打平的占比，方向是越接近人类多数分布越好，但边际接近不等于逐例正确。
| Dimension | Human-majority Tie (%) | Direct Gemini Tie (%) | Calibrated Gemini Tie (%) | OPD judge Tie (%) |
|---|---|---|---|---|
| D1: Speaker | 52.03 | 9.59 | 18.08 | 34.32 |
| D2: Emotion | 25.38 | 3.08 | 4.62 | 4.36 |
| D3: Timing | 39.63 | 7.41 | 12.59 | 4.57 |
| D4: Pronunciation and accent | 70.42 | 21.48 | 46.83 | 72.89 |
| D5: Audio artifacts | 87.89 | 57.44 | 64.71 | 87.77 |
表后解读要讲清维度依赖。校准标注把发音维打平率从约两成拉到约 40% 以上，向人类约七成靠近，损伤维也接近人类约 80%。但情感与节奏维仍高度果断，蒸馏法官在节奏维甚至更低。这说明提示与训练没有均匀改善诊断，总体最高的长解释教师反而可能靠冗长与细节显得可信，人听虽偏好其定位却多出现在维度或总体错误时，论文因此警告流畅不等于可靠，解释必须对照音频并检验与裁决的一致性。
消融与跨语言：数据量、音频路径与新语言怎么变？
第一个消融是监督量。固定训练轮数与配方，改变可扩展监督比例，性能先升后降，全量反而不如 80% 左右。论文的解释是固定目标微调会模仿新增比较中的噪声，支持后续用约 8000 组而非全池的决策。第二个消融是可调模块。只调音频投影总体仅约 10% 多，说明投影 alone 不足以建立任务。语言模型加音频编码器把总体从约 69.5% 拉到约 72.4%，但维度宏平均基本不动，说明音频路径适配改善总体决策而不均匀增强维度诊断，细粒度感知需要另设目标。
第三组是蒸馏与强化的条件对照。普通大教师蒸馏总体仅约五成多，特权证据使其跃升到约七成多，换学生初始化只在约 72% 到 73.8% 间波动，说明教师行为与条件主导初始化。强化中只奖总体无增益，门控最好，维度只奖则维度分掉得最多。音频适配微调加门控强化的组合反而不如单用其一，纠正重叠度很低，说明非可加不是重复纠错，而是干预方向不同。单轮对照多为单种子，论文明确只作敏感性证据而不作排名。
跨语言分两层：管线能否在新语言复现，法官能否跨语言迁移。西语零样本基座与前沿模型总体分别约 8% 与 62.9%，为专用化参照。单语微调跨测时，日语训的模型在西语总体约 65.9%、西语训的在日语约 70.9%，联合训练无明显损失，支持框架与行为在两种目标语间可迁移。外部有效性用公开配音基准的英西子集做分布外检查，其维度与本文只是近似对应且无总体裁决，须按原文当作参照而非等同复现。
人评解释的配对结果进一步揭示说服力陷阱。比较问题是在裁决相同时哪份解释更好，公平条件是同裁决配对、匿名随机顺序、听完音频再读解释，指标是人听在总体、沟通、定位、一致性与维度卫生上的偏好计数。
| Models | Overall | Communication | Grounding | Consistency | Dim. hygiene |
|---|---|---|---|---|---|
| SFT vs. SFT+RL | 3/11/14 | 2/3/23 | 1/11/16 | 1/6/21 | 2/5/21 |
| SFT vs. Gemini 3.1 Pro | 10/7/9 | 3/6/17 | 6/6/14 | 1/1/24 | 9/1/16 |
| SFT vs. audio-adapted SFT | 10/6/13 | 1/3/25 | 6/3/20 | 2/1/26 | 5/4/20 |
| OPD (Qwen3 teacher) vs. OPD (SFT teacher) | 15/5/5 | 5/4/16 | 13/2/10 | 5/4/16 | 6/5/14 |
表后解读要强调反证。微调加强化在定位上 11 比 1 占优而其余多为无差异，支持强化改善定位的判断。大教师蒸馏对微调教师蒸馏在总体与定位上分别 15 比 5 与 13 比 2 占优，却多出现在至少 1 维或总体错误时，支持长细节解释可能靠冗长显得可信的担忧。重复标注一致性总体仅约 30%，说明解释评价主观性大，只能认大而连贯的模式，不宜做完整排名。文本自动打分器因听不到音频，其定位分几乎无预测力，论文因此不用它作定位证据。
外部基准的维度对照同样需要保留不利基线。比较问题是自建法官在分布外配音基准上是否仍有区分力，公平条件是同一英西子集、双向顺序池化、维度近似映射，指标是维度宏平均越高越好，但自然度与节奏只是近似对应。
| System | D1 Voice | D2 Emotion | D3 Naturalness∗ | D4 Pronun. | D5 Audio | Mean |
|---|---|---|---|---|---|---|
| Human upper reference | 72.3 | 78.4 | 75.8 | 77.8 | 79.7 | 76.8 |
| Human lower reference | 50.0 | 56.4 | 49.0 | 64.3 | 65.5 | 57.0 |
| Always Tie | 29.5 | 11.4 | 22.6 | 25.9 | 19.9 | 21.8 |
| Random | 25.8 | 31.1 | 31.9 | 29.6 | 32.5 | 30.2 |
| Gemini 3.1 Pro | 26.1 | 45.1 | 35.9 | 45.0 | 48.2 | 40.0 |
| EN–JA audio-adapted SFT | 19.8 | 38.9 | 36.2 | 51.8 | 22.5 | 33.8 |
| English–Spanish SFT | 28.7 | 39.1 | 33.4 | 53.8 | 38.4 | 38.7 |
| Joint-language SFT | 25.4 | 45.5 | 31.4 | 51.6 | 40.3 | 38.8 |
表后解读要保留不利基线。该外部集打平占比高，尤其音色维多数为打平且标注者间可靠性低，没有被评模型能超过全打平基线，音色维因此几乎无区分信号。英西与联合微调的平均分接近前沿模型，并在发音维超过前沿模型，这支持超出自建集的迁移，但平均分仍远低于人类上下参照，说明分布与规则差异必须可见，不能把外部分当成主基准的延续。未评测边界是自然对照只是次要测试，比较仍以合成候选对为主。
哪些结论有边界，哪些缺项不能脑补？
已验证的边界包括三点。第一，校准只改善维度对齐与打平校准，不改善总体，损伤维无提示，情感与节奏仍欠打平。第二，训练信号分工明确但各有代价，更多监督非单调，音频适配不均匀，强化掉维度分，长解释可能误导。第三，跨语言只在日语与西班牙语两种目标语验证，外部基准只是近似映射，不能推广到任意语言与任意配音规则。
缺项方面，原文未报告推理延迟、训练成本与误判率的系统测量，未给出梯度在解释词上的精确处理，未公开可验证的下载绑定。相关性不等于因果，例如强化后解释变好可能因序列联合更新改变裁决与解释，但论文只给支持性解释并标注为可能机制，不作因果承诺。总体趋势不等于每组每步成立，种子标准差与自助区间只在明确处适用，不能把单种子消融当排名。
另一个特有误解是把打平率接近当成逐例正确。边际分布接近只是必要非充分条件，主要诊断指标仍是维度宏平均。同样，把总体准确率高当成诊断可靠也是误读，必须分开看裁决正确性与声学定位，前者用准确率，后者必须用人听对照音频评估。论文明确指出人类一致性只是主观性参照，不是上限，也不为模型错误开脱。
复现先做什么，需要哪些超参数与信息条件？
复现的第一步是重建数据划分与标注协议。按说话人不交叉划分训练开发测试，开发只用于筛选度量与选检查点，测试锁定。标注页先选总体赢家再独立判断 5 维，维度允许打平总体不允许，不评翻译意义，评语可选。转写只用于定位可听证据，禁止编造数值时间戳与信号处理事实，维度定义与输出格式按原文系统提示逐项落实，总体需在一到三句内讲清取舍。
第二步是重跑选择校准。按有向差值分组交叉验证筛选，超基线才保留，随后全开发集重拟合带正则的多项逻辑映射并冻结，再对未标注池算差值过冻结映射得到软提示。主超参数按原文记录：微调低秩 128、缩放 256、学习率 5 乘 10 的负 5 次方、有效批量 64、6 轮。蒸馏低秩同微调、学习率同量级、至多 750 步。强化低秩 64、学习率 5 乘 10 的负 6 次方、每提示采样 8 回复、门控权重 0.3。音频路径消融需显式说明冻结投影编码器还是连同语言模型一起适配，缺失的实现细节不要从模型名推定。
第 3 步是评估与统计。解析失败记错，维度无多数不计入该维，宏平均再平均 5 维，共识分层注明用 0.8 阈值还是严格票型，种子报告样本标准差，差值显著性用参考簇联合自助。还需补的验证是新语言的度量筛选是否仍成立、损伤维是否仍无信号、长解释的说服力偏差是否在新标注者池中复现。由于本次未收到可验证的资源绑定，复现前应先确认数据与基座的可获得性，不把论文中的配置可运行等同于权重可下载。
何时值得尝试这条从少到多的路径？
当任务需要说清哪里不一样而不仅是谁赢，且只能负担数百组专家维度标注时，这条先筛选再校准再扩展的路径值得尝试。它的适用条件是存在可计算的域度量候选、人类打平行为可观测、机器标注器仍能听原音频并可被覆盖。若域度量全员不超基线，或目标维度完全依赖细粒度听感而无代理信号，则不应强行给提示，原文对损伤维的处理就是例子。
训练选择上，若目标是建立格式与基本诊断，先做监督微调。若已有强教师但风格不对，考虑特权蒸馏并注意它会连弱点一起迁移。若总体在清晰样本上还有空间且能接受维度分波动，再用门控强化锐化裁决行为，并用人听单独检验解释定位。跨语言时先在新语言重跑筛选与校准，不要直接复用旧映射，发音维在日语与西语保留不同信号已说明映射的语言依赖性。
最终的校准增益与分工结果可总结为：报告显示校准提示改善维度与打平行为但不改变总体。训练分工改善不同切片但带来维度或说服力代价。跨语言在两种目标语成立但外部基准提醒规则差异。待验证的是更大语言覆盖、损伤维的可靠代理、以及在不奖解释时解释变好的因果机制，这些都可能改变何时用哪种信号的决策。研究生复述时应保留百分点方向、区间是否含零、口径是否一致这三项核对，而不是只记总体排序。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses