其中 c(s,x) 是 Whisper 转录与原文的字符错误率，\tilde{p}(s) 是归一化后的非负预测分数，b 是 CLEAN 区奖励加成，ρ 是 VIOLATE 区固定惩罚。实验中 τl=0.10、τh=0.30、b=0.5、ρ=1.0。三区分别对应 CLEAN、FEASIBLE、VIOLATE，设计意图是让高感知分无法数值上补偿转录失败。

归一化方式按预测器而异，这点常被忽略却直接影响优化地形。论文给出：

这是 AnimeScore 的截断，有符号原始分加 3 后截零，保证奖励非负且保留排序信息。

这是 Likability 的映射，1 至 6 的期望类别值线性压到 0 至 1。UTMOS 则用 p(s)/5 把 1 至 5 分压到 0 至 1，VAD-Arousal 仅裁剪到 0 至 1。不同尺度若不归一，GRPO 的组内标准化会失真。

字符错误率 × CER 分区奖励： 字符错误率负责衡量可懂度底线，它用 Whisper 转录生成波形后与原文比对；CER 分区奖励负责决定主观分数何时生效。两者组合成 CLEAN、FEASIBLE、VIOLATE 三区：只有可懂度达标时才让感知预测器的分数参与奖励，否则给固定惩罚。这样搭配避免了模型用一句含糊但高分的语音去数值上抵消转录失败，解决了主观奖励易被不可懂样本劫持的问题。

优势计算同样是组内相对的：

其中 ri 是减去自适应 KL 惩罚后的标量奖励，μr 与 σr 是同一提示下 K=4 条轨迹的均值与标准差。优势为正则该轨迹在组内相对更好，优化会推高其概率，反之则压低。

预测器—轴—基座三元组：为何不直接说某个轴难或易？

论文反复强调，成败不应归因于抽象的感知轴本身，而应看预测器、感知轴、基座三者的组合。AnimeScore 用 WavLM-base 加 BiLSTM 与 RankNet 排序头，在成对偏好数据上训练；UTMOS22-strong 是现成自然度预测器；Likability 是为本研究在 CocoNut-Humoresque 上用类别加权交叉熵训练的六分类期望模型，验证集上 SRCC 0.712，目的就是保留分数分散度，避免回归导致的均值坍缩。

三元组视角的价值在于可证伪。同样是喜好度，若换一个在基座分布上分辨率更高的预测器，或换一个本身就更易表现喜好度的基座，结论可能完全不同。论文因此把每个实验条件记为一个元组，后续诊断都围绕元组展开，而不是给感知轴贴标签。

这种拆解也解释了为何要做跨轴打分。单奖励 GRPO 后，论文不仅看目标轴是否提升，还用其他预测器给同一批生成打分，检验提升是轴特异的还是通用质量提升。结果显示对角线增益最大，说明主观奖励并非通用质量代理。

训练如何跑，检查点如何选？

基座是 Llasa-1B-Multilingual 公开 checkpoint，声学编解码用 XCodec2，训练框架基于 verl 与 vLLM，rollout 与奖励预测分置于两张 H100 80 GB，gpu_memory_utilization 设为 0.6。输入文本最长 512，响应最长 2048 个声学码，启用仅语音 token 掩码。

GRPO 每提示采样 K=4，训练 batch 16，PPO mini-batch 16，micro-batch 每 GPU 4，Actor 用 AdamW 全参更新，学习率 5×10^-7，Top-p 0.85、Temperature 1.0、重复惩罚 1.05，PPO 裁剪比 0.1，熵系数 0。KL 采用 in-reward 模式，不单独算 KL 损失，而是把自适应 KL 惩罚直接从奖励中扣除，控制器初值 β=0.05，目标 KL 0.05，视界 2000 步。

组相对策略优化 × 优势标准化： 组相对策略优化负责在没有价值网络的情况下估计策略好坏，它对同一文本采样 K 条轨迹并在组内比较；优势标准化负责把组内奖励减均值除标准差，得到相对优势。搭配后，模型不再依赖绝对分数高低，而是学习在同一提示下哪条轨迹相对更好，这让不同尺度的主观预测器能在同一优化框架下被公平比较，同时配合 KL 惩罚保持与参考策略的距离。

检查点选择是论文的一个细节点：不以原始预测分最高为准，而是以约束感知验证奖励最大化并监控违规率与 KL 漂移。文中报告 AnimeScore 日语实验在步 1400 验证奖励 2.584 最高，步 1710 虽原始分升至 0.955 但违规率升至 0.31 且验证奖励回落至 2.556，因此不选。这体现了硬约束的设计初衷，防止过优化。

硬件与耗时也有记录：含 Whisper 时每步约 115 秒，不含时约 43 秒；自适应 KL 在平台期中位约 0.025，四分位 0.014 至 0.052，奖励 KL 惩罚中位 0.041，最大 0.094。这些数字说明约束与感知信号在训练中始终博弈。

数据、协议与人评如何设计以避免自证？

训练用 900 条日语 Wikipedia 衍生提示，验证 100 条，评测 50 条且与奖励模型训练、GRPO 训练及验证均不相交。评测集按内容分为情感表达 18、动漫风格 14、中性对话 10、长叙事 3、语言学挑战 5 5 组，辅助英语集为独立撰写的 50 条英语提示，非日语集翻译。Likability 预测器训练用 CocoNut-Humoresque 原始划分，测试集 283 条。

评估分两种解码协议。首发评估为固定种子单次采样，用于度量原始违规率；CER 重试评估为对称重生成协议，若首发 CER>0.30 则用重试种子依次生成并取首个 CER≤0.30 样本，否则保留最低 CER 样本，且保留全部 50 题不做事后过滤，避免对强化学习支架指标的有偏筛选。Best-of-4 与 Best-of-8 用同门控奖励选优，确保与 GRPO 公平对比。

人评通过 Lancers 平台完成，每轴 50 对、每对 5 人、每轴 10 人且轴间听者不重叠，A/B 盲测随机化侧位，设跳过通道但不计入胜率。指标包括人类胜率 HWR、机器胜率 MWR 与一致率 Agreement，均为 50 题多数投票的题级指标，投票级分析另标为 Vote HWR。统计上用 Wilson 95% 区间、题簇稳健标准误的投票级 logistic 回归与 Wald 检验，检验标准化奖励间隔 zR 与 CER 间隔 zC 对个体选择的预测力。

下表把数据与协议收敛到一处，便于对照后续结果的适用边界。该表要回答的是：在何种数据划分与评估协议下比较才算公平，统一条件为日语主评测集 50 题与对称重试，基线为 Llasa-1B 基座，指标方向为约束感知奖励越高越好、CER 与违规率越低越好。

这张表的净收益在于把训练、评测与人评的控制变量对齐，便于判断后续增益是否来自奖励本身；失败项是 Likability 基座分散度仅 0.44 且英语辅助仍用日语听者，提示域与听者匹配不足；不能由此推出阈值 0.10 与 0.30 在其他语言或解码下同样最优。

机器分数涨了，人耳跟上了吗？

先回答机器层面的 3 个问题：单奖励是否产生轴特异提升、CER 分区是否改善可懂度权衡、策略优化是否超越重排序。论文在同一 CER 门控下比较 Zone-CER、Target-only 与 Best-of-N，统一报告目标轴均值增量、中位 CER 与违规率。

下表按比较问题组织，统一实验条件为 50 题 held-out 日语集，基线为 Llasa-1B 基座与同奖励的 Best-of-8，指标方向为目标增量越高越好、CER 与违规率越低越好。

这张表的净收益是 Zone-CER 在 AnimeScore 与 UTMOS 上同时提升目标并降低违规，验证了分区约束的有效性；失败项是 Likability 增益仅 0.17 且中位 CER 仍高于 Best-of-8，说明约束无法弥补预测器分辨率不足；不能由此推出 GRPO 在人感上必然超越重排序，实际人评接近随机。

Best-of-N 重排序 × 策略内化： Best-of-N 重排序负责在推理时从基座采样 N 个候选并用同一 CER 门控奖励挑优，它检验奖励偏好的样本是否已存在于基座支撑集；策略内化则是 GRPO 要做的事，把这种挑选行为摊销进策略参数，使单次采样就能达到接近重排序的效果。两者对比的意义在于，如果 Best-of-8 已能拿到相近的人感收益，GRPO 的价值就不是普遍超越重排序，而是用 1 次前向替代多次采样与打分的成本。

跨轴对角线增益进一步说明，主观奖励并非通用质量代理：AnimeScore 优化主要动 AnimeScore，UTMOS 优化主要动 UTMOS，Likability 优化主要动 Likability，交叉轴增益小甚至为负。约束模板在 AnimeScore 与 UTMOS 上相对 Target-only 显著提升目标并降低违规，但在 Likability 上增益有限，暗示约束不能弥补预测器在基座分布上分辨率不足。

人评层面，GRPO 对基座在 50 题多数投票下，AnimeScore 人类胜率 80.0% 且一致率 88.0%，UTMOS 人类胜率 62.0% 一致率 80.0%，Likability 人类胜率 36.0% 一致率 76.0%。而 GRPO 对 Best-of-8 的人类胜率分别为 52.0%、46.0%、48.0%，均在随机附近。这说明机器分数的提升并不均匀转化为人感偏好，且强重排序已是人感层面的强基线。

不能由这张表推出的是，Likability 平均失败就等于该轴不可优化。后续分箱显示其在高奖励间隔区仍高度校准，平均失败掩盖了高置信区的有效性。

奖励间隔何时能预测人的选择？

平均胜率会掩盖分数差的感知意义。论文因此做汇合 1000 票的投票级 logistic 回归，用标准化奖励间隔 zR 与 CER 间隔 zC 预测个体是否选 GRPO 侧，并加入轴固定效应与题簇稳健标准误。

要区分奖励差与可懂度差谁更能解释人选，需要在统一回归框架下比较两者斜率。下表在汇合 1000 票、控制轴固定效应与题簇稳健标准误的条件下报告结果，统一条件为 CER 重试后的人评音频，基线为同轴内的标准化间隔，指标方向为胜算比大于 1 表示更倾向选 GRPO 侧。

这张表的净收益是汇合层面奖励间隔显著预测人选而 CER 间隔不显著，支持在重试机制下用奖励差筛选高置信样本；失败项是 AnimeScore 分轴斜率不显著且 Likability 高置信区仅 8 题，校准的覆盖度有限；不能由此推出平均胜率高的奖励一定在题内幅度上更可信。

汇合层面，奖励间隔显著而 CER 间隔不显著，说明在 CER 重试机制下，人偏好更多由感知奖励优势解释，而非残余可懂度差异。但分轴检验显示异质性：Likability 与 UTMOS 的奖励间隔斜率显著，AnimeScore 斜率正但不显著。

AnimeScore 平均迁移最强，却在题内分数差上不敏感，可能是多数题已偏向 GRPO，题内幅度信息量下降。分箱可视化进一步揭示，Likability 在绝对奖励间隔 0.3 至 1.0 区间投票人类胜率达 90.0%，1.0 至 2.5 区间达 100%，但仅 8 题与 2 题，覆盖度极低。这解释了为何平均失败与高置信区校准可以并存，也提醒筛选奖励时不能只看均值。

四项诊断如何帮你在多奖励前筛选奖励？

论文把诊断总结为四项检查，均为启发式而非因果定律。第一是奖励间隔校准，用小规模 A/B 检验看分数差是否预测人选；第二是基座输出上的预测器分散度，若基座自然输出的分数几乎相同，说明预测器在该分布上分辨率不足；第三是域匹配，跨域使用需用听者验证；第四是可行区内信号强度，约束虽防漂移，但也要求预测器在可行区内仍有足够变异以影响 GRPO 排序。

预测器—轴—基座三元组 × 奖励间隔校准： 预测器—轴—基座三元组负责把成败归因从抽象的感知轴拆开，强调预测器架构、目标感知维度与基座模型分布共同决定结果；奖励间隔校准则负责检验分数差是否对应人耳偏好。两者搭配后，诊断不再问 likability 这个轴好不好优化，而是问在这个预测器、在这个基座上，分数拉开多大时人才会跟票，从而区分平均迁移失败与高置信区仍校准的不同情况。

基座分散度与域匹配在数据上可见。基座在测试集上的预测器分布为 AnimeScore 均值 -0.39、标准差 1.53、范围 -2.52 至 4.20，分散最宽；UTMOS 均值 3.08、标准差 1.01；Likability 均值 4.20、标准差 0.44、范围仅 2.78 至 4.58，最窄。分散度与平均迁移排序一致，但不能单独决定成败。

VAD-Arousal 是可行区内信号不足的反例。验证唤醒度在 0.61 至 0.64 间仅变动约 0.014，而验证奖励从 -0.34 升至 -0.05 主要靠违规率从 0.62 降至 0.45，说明训练主要靠把样本移出 VIOLATE 区提分，而非在可行区内提升唤醒度。该轴未做人评，仅作训练动态反例，提示约束与感知信号需平衡。

下表把关键消融与失败条件收敛，便于在扩展到多奖励前做快速筛查。该表要回答的是：四项诊断中哪项能预警奖励失效，统一条件为单奖励 Zone-CER GRPO 在 50 题日语集上的表现，基线为基座与 Best-of-8，指标方向为目标增量越高越好、违规率越低越好、校准斜率显著为优。

这张表的净收益是把四项诊断并列，可在多奖励前快速筛掉低信号奖励；失败项是 VAD-Arousal 奖励提升却目标几乎不动，揭示可行区内信号不足的陷阱；不能由此推出分散度宽或校准显著就一定带来平均人感迁移，需结合域与听者验证。

哪些结论不能外推，哪些测量还缺？

论文明确承认，结论应解读为三元组诊断而非感知轴本身难易的因果结论。奖励模型在架构、数据、尺度与基座覆盖上不同，交叉轴比较易混淆预测器质量与轴特性。评估受限于预算，仅评估单一主解码配置、固定奖励轴集合、Best-of-8 主重排序基线与每题有限听者数。

样本量是主要瓶颈。每轴 50 题、每题 5 票使 Wilson 区间较宽，分箱高置信区仅 2 至 8 题，Likability 高间隔校准的实用覆盖度存疑。单基座 Llasa-1B 与单一 Top-p/Temperature 解码限制外推，未报告多基座与多解码敏感性。CER 以 Whisper large-v3 自动转录且无语言特定归一化，阈值 0.10 与 0.30 缺乏敏感性分析。英语辅助研究仍用日语母语听者池，跨语言人感迁移证据不足。

作者也列出更大研究可加入的方向：更多基座、更广听者群体、英语母语听者、更大重排序预算、固定 KL 对比、多随机种子与提示内 rollout 分散度直接测量。VAD-Arousal 仅作训练动态反例，未做人评，跨语言与跨域结论仅作辅助证据。

复现需要哪些材料与成本？

开源方面，代码与 Demo 已发布，包含 AnimeScore 预测器仓库、提示词、生成音频样本与奖励分数；基座 Llasa-1B-Multilingual、WavLM-base、WavLM-base-plus、UTMOS22-strong、Whisper large-v3 等依赖均为公开 checkpoint，但论文明确不重新分发合并后基座权重与受限许可的奖励权重，数据集如 Emilia、Multilingual LibriSpeech、CocoNut-Humoresque、AnimeScore 偏好语料库未提供直接下载链接，属于部分核心产物开放。

可复现性上，附录披露了 GRPO 通用超参数、verl 与 vLLM 的 rollout 配置、检查点选择策略与 KL 轨迹、奖励预测器实现与输出尺度、50 条测试集构成、奖励差距分箱与英语辅助实验细节，训练配置包含验证集规模与每种语言 50 条评测集，关键超参数如 K=4、batch 16、AdamW 学习率 5×10^-7、Top-p 0.85、Temperature 1.0、KL 初值与目标 0.05 等均有记录，但仍有少量缺失。

下表把训练与部署成本收敛，便于估算复现预算与工程取舍。该表要回答的是：复现 1 次 Zone-CER GRPO 需要多少硬件与时间，统一条件为双 H100 流水线与 K=4 采样，基线为不含 Whisper 的纯生成耗时，指标方向为每步耗时与 KL 漂移越低越可控。

这张表的净收益是给出双 H100 流水线与每步 115 秒的实测成本，便于估算复现预算；失败项是未报告真实部署延迟与吞吐，且部分权重与数据受限分发；不能由此推出相同超参在其他基座或更大采样预算下复现结果不变。

何时该用主观奖励，何时该先做诊断？

回到最初的问题：主观分数能否当奖励？论文的回答是条件性的。AnimeScore 在日语域内给出强平均迁移，UTMOS 给出高一致率但中等偏好位移，Likability 平均失败却在高置信区校准，VAD-Arousal 则在约束下几乎无可行区信号。机器分数的提升是必要但不充分条件，人感对齐需要额外诊断。

对刚进入方向的研究生，这篇工作的教学价值在于把奖励视为可检验的元组而非抽象的感知轴。它提供的四项检查——校准、分散度、域匹配、可行区信号——能在投入大规模多奖励后训练前，先用小规模 A/B 与基座分散度测量筛掉低置信奖励，避免把计算与标注预算花在不可分辨的优化上。

更深一层，Best-of-8 与 GRPO 在人感上近乎持平的发现，重新定义了策略优化的角色。与其追求普遍超越重排序，不如把 GRPO 看作把奖励选择行为摊销进策略的工程选择：当部署需要单次前向、低延迟或固定采样预算时，策略内化才有明确收益；若可接受多次采样与打分，重排序本身已是强基线。

⚖️ 评分依据与证据（展开查看）

← 返回 2026-09-01 语音/音乐/音频论文速递