预测 MOS 能替人评比出哪个增强系统更好吗：用系统级偏好一致率检验

📄 预测 MOS 能替人评比出哪个增强系统更好吗：用系统级偏好一致率检验

英文题目：How Reliable Are Predicted MOS for Reproducing Human System-Level Preferences in Speech Enhancement?

标签：#语音质量评估 | #评测协议 | #语音增强 | #语音 | #领域适应

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

👥 作者与机构

• Nahomi Kusunoki：机构信息未在 arXiv HTML 中可靠披露
• Tsubasa Ochiai：机构信息未在 arXiv HTML 中可靠披露
• Naohiro Tawara：机构信息未在 arXiv HTML 中可靠披露
• Marc Delcroix：机构信息未在 arXiv HTML 中可靠披露
• Naoyuki Kamo：机构信息未在 arXiv HTML 中可靠披露
• Tetsuji Ogawa：机构信息未在 arXiv HTML 中可靠披露
• Shoko Araki：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

语音增强系统比较以多系统处理后的语音为输入，以系统间胜负平判定为输出，难点在于人工平均意见分采集成本高而预测分与人评相关高仍可能出现成对排序反转。本文引入系统级偏好准确率并把每对系统映射为胜负平三分类，以自助重采样估计均值与置信区间并用显著性差异确定平局阈值。接着在两个语音增强语料上评测六个公开预测器的单模型可靠性，再比较平均与多数投票集成以及闭域与开域自适应对偏好错误的修复作用，其中后一步的输出直接进入偏好一致性计算。与线性相关和排序相关的关键机制差异在于该指标只检验成对符号一致并容忍微小差值平局，因而能暴露高相关下仍存在的成对反转并指导可靠的系统选型。在URGENT24评测设置下，Ave(All)的SPA准确率为79.8%，高于最优单模型的SPA准确率76.8%。结论仅适用于所测模型与任务分布，开放未知系统与说话人下改善有限且阈值选择尚未原则化。该结论的适用边界受限于已测闭域语料与已知系统，开放未知说话人与系统的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是语音增强系统的输出语音，以及人类听音得到的质量分。目标不是给单条语音打分，而是回答在两个增强系统之间，哪个更好，或者两者听感相当。论文要回答的是常用做法是否可靠：用预测平均意见分来代替人工，直接比较系统平均分的高低。

对刚入门的读者，先把名词说白。语音增强指从带噪、混响或失真语音中恢复出更干净、更可懂的语音。平均意见分是多人对每条语音按 5 分制打分后平均，系统级分数是把该系统处理的所有句子的分数再平均。人评平均意见分就是听音实验得到的真值，预测平均意见分就是神经网络模型看波形或频谱估计出的分数。研究生常犯的误解是把单条打得准等同于系统比得准，本文正是要拆开这两件事。

本文的输出是一个可复述的判断流程和一组证据。作者引入系统级偏好准确率，统计预测与人评在所有系统对上是否给出相同的胜负平结论，并用自助采样给出不确定性。然后在两个增强任务、6 个预测模型上检验单模型、集成和领域自适应 3 种设置。需要保留的关键信息是任务始终是系统级两两比较，指标方向是偏好准确率越高越好，结论只在原文报告的数据集、模型和阈值条件下成立。

人评 MOS × 预测 MOS： 人评 MOS 负责给出听感真值，分工是多人打分再平均得到每个系统的感知质量；预测 MOS 负责免人工地估计这个分数，分工是输入增强后语音直接输出分数。两者搭配的理由是希望用预测代替人工做系统排序，组合意义在于只有当预测的排序与人评排序一致时，替代才是可信的，否则省成本会换来错误结论。

已有路线在练什么，为什么还缺系统级检验？

已有的一条路线是训练 utterance 级偏好一致的预测模型。做法是在损失中加入哪条语音分数更高的偏好目标，并在评价时报告 utterance 对的偏好准确率。这条路线解决的是单条之间谁更好的问题，监督来自同一内容或不同内容的两条语音的人评高低。

另一条路线是改进预测本身的拟合能力，例如用多个子模型集成提升相关系数，或用目标域少量数据微调缓解训练与评测域不匹配。这些工作通常用线性相关系数和斯皮尔曼等级相关系数报告进步，默认相关高了系统比较就更可靠。

本文指出两者与实际使用的错位。语音增强论文在比较系统时，看的是系统级平均预测分的高低，而不是单条谁高。单条偏好准不保证平均后系统对的顺序对，高等级相关也可能容忍个别系统对的顺序翻转。因此需要一个直接对齐实践的指标：在系统对上比较预测与人评的胜负平是否一致。这就是本文与已有工作的同目标、不同评价粒度的对照，同输入都是增强语音，同监督都是人评分数，但运行阶段落在系统比较而非单条打分。

为什么相关系数高，系统二选一仍可能错？

设想有 5 个系统，人评平均分依次拉开，预测分整体趋势也向上，但把中间两个名次很接近的系统排反了。此时等级相关仍可能很高，因为大部分顺序都对，只有局部 1 对错了。可论文要做的二选一恰恰会抽到这 1 对，于是得出与人评相反的胜负结论。教学例子：这就像考试总排名相关很高，但第 2 名和第 3 名的先后判反了，若只关心这 2 人的奖学金归属，相关系数给不了保证。

再看平局问题。人评里两个系统差距很小会被判为相当，预测模型若对微小差距过度敏感，就会把相当判成胜负。反过来，预测若过于保守，又会把真有差距的胜负判成平。这两种错误在相关系数里都被压缩成数值偏差，看不出是判反还是判平。

因此问题定义必须包含三分类。每个系统对的结果只能是甲胜、乙胜或平局，预测与人评各自给出一个，相同才算对。阈值决定多小的差距算平，阈值不同结论会变，原文用固定阈值加自助采样来显式处理这种不确定性。

相关系数 × 系统级偏好准确率： 相关系数负责度量两组分数整体单调或线性趋势，分工是看大方向是否一致；系统级偏好准确率负责逐个系统对判定胜负平，分工是看每个二选一是否与人评相同。搭配原因是高相关仍可能翻转个别系统对，组合意义在于用偏好准确率补上相关系数看不见的成对错误。

系统级偏好准确率的全景：从语音到一致率走一遍

沿一个样本走完全程有助于建立依赖顺序。取第 i 条原始语音，经系统甲和系统乙分别增强，得到两段波形。每段波形有两个人评分数，也分别送入同一个预测模型得到两个预测分数。这是 utterance 层，尚未做系统比较。

接着做系统层聚合。对固定的系统对，把自助采样抽到的所有句子的甲减乙差值平均，分别得到人评平均差和预测平均差。然后用带平局阈值的符号函数把差值映射为胜负平：差值大于阈值为胜，小于负阈值为负，绝对值在阈值内为平。两个映射结果相同则该系统对记 1 分，否则记零分。

最后做全集聚合与不确定性估计。把所有系统对的得分平均，得到 1 次自助迭代的一致率。重复上 1000 次有放回重采样，把多次一致率再平均作为总体分数，并取分位数得到置信区间。原文在 2 个数据集上都用 1000 次自助采样，平局阈值取 0.125，动机是显著性检验得到的最小显著差异与 8 人平均的分辨率都落在该数值附近。

这个流程的输入是增强语音与人评分数，表示是系统对的平均差值，组件是阈值符号函数与自助采样，目标是成对一致率，输出是总体分数加置信区间。后文的集成只替换预测分数或偏好再投票，自适应只替换预测模型本身，评价骨架不变。

三个组件各自算什么：差值、阈值符号、自助采样

第一个组件是平均差值。它把系统比较归约为 1 维数值，避免直接比较两个绝对分。做法是对同一批句子逐句求甲减乙再平均，人评与预测各算一个。这样做的前提是两系统在相同句子集合上比较，原文的交叉验证划分正是按说话人与系统对组织子集，以保证比较使用同一模型和同一句子集。

第二个组件是带平局的符号函数。它把连续差值离散为 3 类，阈值是关键超参数。阈值太大则多数判平，阈值太小则微小抖动都被判胜负。原文没有声称阈值最优，只说明用图基诚实显著差异检验得到的最小显著差异约为 0.122 和 0.131，且 8 人平均的分辨率为 1/8=0.125，因此取 0.125，并在未来工作中讨论更原则的显著性规则。

第 3 个组件是自助采样。它对句子下标有放回重采样，每次重算所有系统对的一致率，用分布的均值和分位数报告分数与区间。这一步处理的是数据抽样变异，不是模型训练随机性。理解这一点才能正确复述置信区间：区间窄说明在当前句子集扰动下结论稳定，不代表换一批说话人或系统也稳定。

平均集成 × 多数投票集成： 平均集成负责先把多个模型的 utterance 分数平均再判定偏好，分工是平滑单个模型的噪声；多数投票集成负责让每个模型先各自判定胜负平再投票，分工是综合多个独立判断。搭配理由是考察综合多模型能否更稳，组合意义在于比较分数层融合与决策层融合哪种更适合系统比较，原文报告平均总体更可靠。

本研究训练了什么，没有训练什么，集成与自适应如何执行？

本研究没有从零训练 6 个预测模型。6 个模型是直接调用公开实现的已有模型，包括在不同域上训练的种类，论文只做推理、集成与领域自适应微调。因此不存在统一的训练损失、优化器全程训练过程，不能把无训练等同于确定性求解，推理仍受模型权重与数据影响。

集成有两种可执行方式。平均集成是把多个模型的单条预测分先平均，再走平均差值与阈值判定；多数投票是让每个模型各自算出胜负平，再取出现最多的类别作为集成偏好。前者保留分数信息，后者只保留决策信息。原文指出多数投票无法计算相关系数，因为它不输出连续分数，这一点在复现时要记住。

领域自适应是带人评的小样本微调。做法是按说话人与系统对划分交叉验证子集，每个子集训练一个适配模型并只预测对应子集的句子，再跨说话人子集合并后算一致率。闭集允许使用除评测子集外的所有子集，开集则排除与评测子集共享说话人或系统的子集，混合信号子集按系统闭集方式特殊处理。学习率通过在一个闭集折上留出 10% 做开发集、看线性相关系数来调。原文未报告完整的优化器细节与冻结层设置，复现时只能按上述信息条件执行，并注明缺项。

闭集自适应 × 开集自适应： 闭集自适应负责在目标说话人和目标系统已见过少量带人评数据时微调，分工是消除已知域偏差；开集自适应负责在目标说话人和系统都未见过时微调，分工是检验向未知条件的泛化。搭配原因是实际部署多为未知条件，组合意义在于区分理想上限与实用收益，避免把闭集的高分误当成通用能力。

在什么数据、什么模型、什么阈值上测，条件是否对齐？

数据与协议按原文交代。评测用两个近期数据集：语音增强任务的评测集包含 5 个系统、7 位说话人、640 条样本，内容为多说话人混响环境下的真实对话；另一盲测集包含 23 个系统、177 位说话人、6900 条样本，覆盖多种失真类型。前者用人评的整体分，后者用人评的平均意见分，分别遵循相应听音标准。系统对数量可直接推算，前者为 10 对，后者为 253 对，比较规模差异很大。

模型覆盖 6 个代表性预测器，训练域各不相同，有的偏向降噪挑战语音，有的偏向网络电话语音，有的偏向合成语音，有的跨多域。调用的是公开实现，领域自适应时排除基于特定格式分发、实现上难以微调的一个模型。评价指标是系统级斯皮尔曼等级相关与系统级偏好准确率，偏好阈值统一取 0.125，自助迭代 1000 次。

公平条件需要逐项核对。单模型比较时同一数据集、同一阈值、同一自助流程；集成比较时分全部 6 模型与事后最优子集，后者是遍历所有组合挑最高分，属于不可部署的上限；自适应比较时分闭集与开集两种信息条件，样本量在小数据集上取一百和三百，在大数据集上取二百和一千。混淆矩阵分析不做自助采样，直接在全量上有序对上统计，这是与主结果不同的聚合口径，引用时要区分。

单模型与集成：相关高是否等于比选准？

先提出比较问题：在相同数据集与阈值下，单模型的等级相关越高，偏好准确率是否也越高；把多个模型平均或投票，能否稳定超过最佳单模型。公平条件是同一系统对集合与同一自助流程，指标方向是两者都越高越好，但本文关心的是后者是否被前者保证。

上表用原文连续句覆盖全部数字与单位，表头单位与裸值按原文写法保留，基线指同数据集上单模型最高分，全部指 6 模型集成，最优组合指事后遍历挑最高的事后上限，不代表可部署收益。多数投票的全部与最优值同样来自原文连续句，平均集成的比较需结合正文说明投票不输出分数故无相关系数。

表后解释主要收益与代价。收益是平均集成在大规模集上从 76.8% 提到 79.8%，事后最优可到 83.1%；在小规模集上事后最优平均可到 80.6%，看似提升大。代价与反例更关键：小规模集上全部平均反而跌到 40.8%，低于最佳单模型；多数投票的最优上限在两个集上都低于平均，分别为 49.8% 和 78.6%。

未胜出项是多数投票，它在单模型本就不可靠时更脆弱。负结果是即使取事后最优，仍有约 10% 七到十九的系统对判错，说明多模型不能解决可靠性问题。原文还报告单模型偏好准确率主要落在 30.8% 到 76.8%，最好的单模型仍有约 23% 的比较会错，这与高等级相关并存，正好支撑相关不保证比选的判断。

领域自适应：闭集上限与开集实用收益差多少？

这里的比较问题是加少量目标域人评数据微调后，偏好准确率在已知系统与说话人条件下能提到多高，在未知条件下还剩多少。公平条件是同一模型、同一评测子集划分，只改变候选自适应数据是否包含同系统或同说话人，指标方向仍是越高越好，样本量按数据集规模分别设定。

上表数字与单位由原文连续句逐字覆盖，闭集指目标系统与说话人已见，开集指两者都未见，最后一列不是同一指标的差值，只是并列原文报告的误差构成以防把不同指标混读。百分点与相对百分比在此不做换算，自动指标不充当人评。

表后解释收益与代价。小规模集闭集下收益极大，2 个模型分别达到 98.2% 和 98.8%，看似已可靠；但开集下前者剩 85.9% 仍有约 10% 四判错，后者跌到 44.2% 反而不如不适应。未胜出项是后者在开集的退化，说明自适应收益高度依赖模型。更大规模多失真集上收益整体有限，有的模型小幅提升，有的反而变差，换学习率也未解决，可能与失真多样、系统数量多有关。限制是自适应不能保证实用条件下的可靠比较，闭集高分不可推广到全程。

错误拆开看：是彻底判反，还是在平局边界上摔倒？

本节的观察任务是把不准确率拆成两类：彻底的胜负反转与平局相关的混淆。前者是人评判甲胜而预测判甲负，后者是一方判平而另一方判胜负。做法是对有序系统对统计人评行与预测列的百分比，对角线为一致，非对角线为两类错误。需要先确认图例的行列含义与时间范围是全量无自助采样，避免与主结果的自助均值混淆。

看图路径： 1. 先确认三块面板分别为哪个预测模型，行是人评胜平负，列是预测胜平负；2. 再读对角线三个蓝色格的百分比，判断一致率集中在哪里；3. 然后对比非对角线中左上与右下附近的反转格与平局行列的混淆格大小；4. 最后比较三个模型在平局行的分散程度，确认误区分是否普遍

论文图 1。原论文 Figure 1:：“Confusion matrix of human-rated MOS vs. predicted MOS on URGENT24.”。

上图为本次收到像素的原图，共三块面板，分别对应一个预测模型在多失真大数据集上的混淆矩阵。行是人评的胜平负，列是预测的胜平负，格内数字为有序对百分比。对角线蓝色格代表一致，非对角线浅色格代表两类错误。可见对角线胜与负格多在 26% 到二十九，平局格多在 10% 一到十九；彻底反转的角落格多为零到 3.8%，而平局行与平局列的混淆格明显更大。像素可辨的数值不要硬推多位小数，重点是分布形态：反转小而平局混淆大。

把像素与正文数字结合，报告显示胜负反转在所有模型上都很小，范围为 0% 到 7.6%；平局相关混淆则很大，范围为 20.8% 到 40.4%，占据错误的绝大部分。这支持预测模型对差距明显的系统对相对稳健，对分数接近的细粒度比较不可靠。进一步以一个模型为例，误区分合计 20.6%，误等同合计 4.0%，前者是把相当判成有差距，后者是把有差距判成相当，前者更频繁，应视为更关键的错误类型。

胜负反转错误 × 平局相关混淆： 胜负反转错误负责记录人评判甲胜而预测判甲负的严重颠倒，分工是捕捉大差距误判；平局相关混淆负责记录一方判平而另一方判胜负的细粒度分歧，分工是捕捉接近分数的边界误判。搭配原因是两类错误严重性不同，组合意义在于指出预测模型主要栽在难分的接近对而非差距明显的对。

哪些结论有边界，哪些缺项不能脑补？

已验证的边界要逐条保留。阈值取 0.125 依赖特定显著性检验与 8 人平均分辨率，检验假设未必严格成立，更原则的显著性判定留待未来工作。混淆矩阵未做自助采样，与主结果的区间估计口径不同，不能直接拿格点百分比去套主表的置信区间。集成中的最优组合是事后遍历上限，不是可部署策略，不能当成方法收益。

未报告的缺项也要点名。自适应实验排除了一个因分发格式难以微调的模型，因此该模型的适配能力未知。微调的冻结层、优化器、梯度路径与重置时机在证据中没有完整交代，不能从模型名称推定实现。训练与推理成本、延迟、输出帧率均未测量，不能承诺这些量得到改善。

相关性不是因果，缺失证据不是技术错误。单模型在小规模集上偏好准确率下限很低，可能与域不匹配有关，但原文只说可能与多样性及系统数量有关，属于有限解释，应用可能或待验证的语气复述。总体趋势不等于每组都成立，例如开集下有的模型保持相对高分，有的模型大幅下跌，复述时必须分模型、分数据集说明。

要复现这套检验，先做什么，需要哪些配置？

复现先做数据对齐。准备每个系统在相同句子上的增强语音与人评分数，记录系统数、说话人数与样本数，明确用的是整体分还是平均意见分。划分交叉验证子集时按说话人与系统对组织，而不是按单系统组织，以保证每个系统对用同一模型比较。混合信号子集按原文做系统闭集特殊处理，避免引入意外的域外条件。

再做指标配置。固定平局阈值为 0.125，自助采样 1000 次，报告均值与 2.5%、分位数区间。单模型先跑推理得到单条预测分，再算平均差值与阈值符号，最后在所有系统对上平均。集成时分别实现平均与多数投票，注意后者不算相关系数。

自适应复现保留信息条件。闭集候选为除评测子集外的所有子集，开集排除共享说话人或系统的子集，按分层采样凑足样本数。学习率在一个闭集折上用 90% 适应、10% 开发，看线性相关系数调优。资源状态方面，本次收到的证据未绑定完成验证的公开资源，不得声称代码、模型或数据已公开；论文正文提到计算代码将公开，但应表述为作者的计划而非当前可用。还需补的验证是阈值敏感性、显著性判定规则，以及在新系统与新说话人上的开集重复实验。

何时值得尝试预测比较，如何避免被高相关误导？

值得尝试的条件很窄。当目标系统与说话人已知且能拿到少量人评做闭集自适应，并在部分模型上验证到 90% 以上的一致率时，预测比较可作为内部快速筛选。但即使如此，仍要保留人工抽检，因为阈值附近的接近对最易错，而这恰是选型最关心的边界。

不值得单独依赖的场景是正式的系统优劣结论，尤其在未知系统与未知说话人的开集条件下。此时最佳单模型仍有约两成错误，集成上限仍有 10% 以上错误，自适应也可能退化。若只看等级相关很高就发布胜负结论，会把相当判成有差距，犯误区分错误。

给研究生的可执行清单是：先报告系统级偏好准确率与置信区间，再报告相关系数作为补充；同时给出胜负反转与平局混淆的拆分，说明错误集中在哪里；涉及集成必须区分全部平均的可运行收益与最优组合的事后上限；涉及自适应必须分闭集与开集报告，并注明模型依赖。这样才能把省成本的便利与判错的代价同时讲清，复述方法时也不遗漏阈值、自助与划分这 3 个决定结论可比性的细节。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-01 语音/音乐/音频论文速递