绝对打分与两两偏好为何要放在一个语音质量模型里学

英文题目：URGENT-MOS: Unified Multi-Metric and Preference Learning for Robust Speech Quality Assessment

会议身份：conference:interspeech:2026:conference-paper-id:wang26aa_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #多任务学习 #鲁棒性 #语音 #语音质量评估

评分：7.5/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Wei Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Wangyou Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Chenda Li：机构信息未能从会议 PDF 纯文本可靠映射
• Jiahe Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Samuele Cornell：机构信息未能从会议 PDF 纯文本可靠映射
• Marvin Sach：机构信息未能从会议 PDF 纯文本可靠映射
• Kohei Saijo：机构信息未能从会议 PDF 纯文本可靠映射
• Yihui Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Zhaoheng Ni：机构信息未能从会议 PDF 纯文本可靠映射
• Mengxiao Bi：机构信息未能从会议 PDF 纯文本可靠映射
• Tim Fingscheidt：机构信息未能从会议 PDF 纯文本可靠映射
• Shinji Watanabe：机构信息未能从会议 PDF 纯文本可靠映射
• Yanmin Qian：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音质量评估需同时输出绝对质量分与成对偏好判断，但现有数据标注异构且跨域泛化差，难以兼顾多指标与人偏测试。URGENT-MOS 先用多分支预训练编码器提取并对齐波形表征，再由绝对指标预测模块按类别回归多维质量分，同时由自然度条件偏好模块对成对表征做交叉注意力比较得到偏好分，两路共享底层特征并容忍缺失标签联合训练。相比仅做单平均意见分回归或独立偏好建模，该设计以自然度表征约束偏好、以多指标互补正则绝对预测，并直接从绝对类别评分差值派生偏好监督从而复用大规模异构语料。该框架按自然度等类别组织多指标监督并容忍缺失标注，使异构语料能共同训练以提升跨域鲁棒性。在LIVETALK偏好测试任务下，F4C1M5Dref的准确率为0.85，高于UTMOS的准确率0.80。该结论限于语音合成与增强等已测域，细粒度难分样本与跨语种外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/vvwangvv/URGENT-MOS — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，学习前必须先看清什么？

这篇解读的输入是会议论文正文与两张官方原图像素，目标是让刚进入语音与音频方向的研究生能够复述 URGENT-MOS 的做法、训练数据的构成方式、评价条件与主要结论。必须保留的信息包括任务定义、模块分工、缺失标注处理、偏好对构造策略、模型命名规则、评价指标方向与关键对照数字，输出是 1 篇按学习依赖展开的中文技术解读。自动语音质量评价要解决的问题是评价现代语音生成系统，包括语音合成、语音增强与语音编码。

人工听音测试仍然是金标准，但成本高且难以扩展，因此需要可靠的客观替代方法。早期客观指标依赖信号处理与心理声学模型，近年神经网络 MOS 预测器实现了非侵入式感知质量估计，也就是不需要参考干净语音也能给出接近人打分的质量分。但是不同数据集的标注并不一致，有的只有 MOS，有的只有增强后的退化类型，有的缺少参考信号，这限制了在异构监督下的稳健性。

研究生容易误以为只要在一个数据集上把 MOS 拟合准就等于解决了质量评价，原文恰恰指出当生成语音接近自然语音时，系统间差异变得细微，听音人的判断对主观偏好与上下文更敏感，单一绝对分值难以反映这种比较关系。因此需要同时理解绝对质量与成对偏好两条路线，本文的方法、训练与实验都是围绕统一两者展开的。

已有路线在相同输入与目标下各解决了什么？

在相同输入都是待评价语音、相同目标都是估计感知质量的前提下，已有工作可以分为 3 类。第一类是信号级与心理声学客观指标，例如 PESQ、LSD、MCD、SDR、ESTOI 等，它们有明确的计算定义，有的需要参考信号，有的不需要，优点是可复现，缺点是与人感知并不完全一致。第二类是神经 MOS 预测器，例如 DNSMOS、UTMOS、NISQA_MOS、SCOREQ、Distill_MOS 等，它们用学习的方法拟合人打分，通常在一个或少数几个域上表现好，但跨域时容易下降，论文表 5 显示这类基线在某些数据集上相关性明显偏低。

第 3 类是比较范式，直接建模成对偏好，例如 SpeechEval 与 SpeechJudge 等语音大模型裁判，以及 MOSPC、E2EPref 等基于排序监督的工作，它们对细微差异更敏感，但论文指出专门收集比较评分的数据规模有限，而绝对类别评分的 MOS 数据更丰富。另一条相关路线是多指标统一框架，例如 Uni-VERSA 同时预测多种互补质量指标，URGENT 挑战本身也采用多指标协议，同时报告多个绝对质量指标与人工偏好测试。

本文与它们同输入、同运行阶段，但监督与输出不同，本文不是只做绝对预测或只做偏好预测，而是把多指标绝对预测与偏好预测放在共享结构里联合学习，并显式处理缺失标注。本文没有把类别差异当作同条件胜负，而是分别在偏好准确率与绝对相关性两种协议下与对应基线比较。

为什么绝对分与偏好判断会被割裂，统一的难点在哪？

割裂来自数据与评价两个方面。数据方面，不同语料库的标注模式不同，有的提供人工 MOS，有的只适合计算参考型指标，有的没有对齐的干净参考就无法计算 SDR 等指标，如果训练要求每个样本都有全部标签，就只能丢掉大量数据。评价方面，实际研发管线既需要绝对分来判断是否达标，也需要偏好判断来比较两个系统谁更好，现代评价协议如 URGENT 挑战同时包含两者，但多数已有方法只优化其中一端，错过了跨数据集的互补监督。统一的难点在于三点。

第一，表示要通用，既能支撑多个绝对指标，又能支撑比较，需要在不同时间分辨率与不同预训练编码器之间融合。第二，偏好监督稀缺，直接收集比较标注成本高，如何从存量 MOS 中派生可靠的偏好对而不引入过多噪声。第三，多指标之间相关性不一致，论文图 2 显示某些指标与其他指标相关弱，若用单一共享编码器硬拟合全部指标，可能互相干扰。

举一个教学例子而非原文实验，假设同一句话有两个合成版本，绝对分可能都是 3.8 分与 3.9 分，差距在标注噪声内，但 AB 对比试听时多数人稳定选择后者，这说明绝对回归的损失对这种细微排序不敏感，需要额外的成对损失来放大排序信号。统一模型必须同时回答单个样本得多少分与两个样本谁更好，并且在缺失部分标签时仍能训练。

沿一个样本走完输入到两种输出的主路径是什么？

先沿一条语音走完全流程。输入是一段波形，例如记为 XA，共享特征提取器先用多个异构预训练编码器并行编码，原文列出 WavLM、Kimi-Audio、Qwen3OmniCaptioner 与 Audio Flamingo，得到不同维度与不同时间长度的表示，再通过插值对齐到共同长度并融合成统一表示。这个统一表示同时送给两个模块。绝对分支按预定义类别分别编码，再经各指标专用头输出多个质量分，类别划分见原文表 1，包括噪声与伪影、自然度、可懂度、说话人与频谱准确度等组。

偏好分支则取 1 对语音 XA 与 XB 的自然度类表示，用交叉注意力让一个样本的表示以另一个样本为条件，最终输出偏好预测分。训练时绝对损失与偏好损失共同约束共享表示，使两种监督互相正则。推理时既可以对单条语音输出多个绝对指标，也可以对 1 对语音输出偏好方向。

绝对质量预测 × 偏好预测： 绝对质量预测负责给单条语音估计一个或多个质量分值，偏好预测负责判断两条语音中哪一条更好，二者搭配的理由是前者提供可迁移的绝对刻度、后者提供对细微差异更敏感的相对监督，组合后共享表示使两种监督互相正则，支持异构标注数据联合训练。

下面先看总体结构图，重点是两条输入如何共享底层又分叉为两种输出。

看图路径： 1. 先从底部两个特征提取器出发，确认输入 XA 与 XB 两条支路如何向上汇入共享编码器；2. 再看左右两侧绝对指标预测模块中按类别划分的共享编码器与线性头结构；3. 接着观察中间偏好模块两路交叉注意力的查询与键值交叉方向；4. 最后核对底部雪花标记与顶部两种损失符号分别对应哪条监督路径

论文图 1。原论文 Figure 1：“Overview of URGENT-MOS. A shared feature extractor encodes each input.”。

从像素看，该图左右两侧是对称的绝对指标预测模块，底部各有一个特征提取器，分别接收 XA 与 XB，向上经过按类别划分的共享指标编码器，再经池化与线性层输出。中间是自然度条件偏好模块，两路自然度表示交叉送入两个交叉注意力块，一个把 A 作为查询、B 作为键值，另一个方向相反，随后经池化与参数共享的线性层输出 2 个方向的偏好分并对应偏好损失。右侧还显示每个绝对指标头之后带有范围约束激活并对应绝对损失。这种布局把方法全景讲清楚了，共享底层保证跨任务迁移，专用上层保留任务特性，偏好只用自然度表示是原文明确的设计选择，不是全量表示直接比较。

特征、绝对头与偏好比较各负责什么计算？

特征提取器负责多分支互补表示。给定波形，多个预训练编码器并行产生不同时间分辨率的特征，再插值到共同长度后融合。原文强调这种设计能灵活接入不同编码器，实验中对比了只用 WavLM 的单分支与用 4 个提取器的多分支版本。绝对指标预测模块负责多指标同时预测，遵循 Uni-VERSA 范式，包括信号级度量、学习型感知指标与人工 MOS，表 1 给出每个指标的取值范围与是否需要参考信号。每个指标头之后接范围约束激活，作用是保证预测落在合法区间。

原文给出 3 类处理，对同时有上下界的指标用缩放 Sigmoid，对只有下界的指标用 softplus 形式，对只有上界的指标用反向 softplus 形式。偏好模块只在自然度类表示上操作，给定成对表示，用交叉注意力把一个样本作为查询、另一个作为键与值，输出偏好分。这种条件化比较使模型显式看到对方信息，而不是独立打分再相减。训练时每个样本对还会加入反向对作为增广，以鼓励顺序不变性。

AMPM × NCPM： AMPM 即绝对指标预测模块，分工是按类别编码后为每个客观与主观指标输出绝对分值，NCPM 即自然度条件偏好模块，分工是在自然度类表示上用交叉注意力比较两个样本，搭配原因是偏好判断主要依赖自然度感知而绝对模块提供多方面质量表征，组合使偏好与绝对预测共享特征空间又各有专用计算路径。

理解这组搭配时要注意，绝对分支追求覆盖面，偏好分支追求区分度，共享特征是两者互相帮助的通道，但偏好分支限定在自然度表示上，避免被与偏好弱相关的信号级指标带偏，这也为后文全量指标不总是有益埋下伏笔。

范围约束与缺失掩码如何保证输出合法且可训练？

范围约束解决输出合法性问题。不同指标量纲不同，例如 MOS 在 1 到 5 之间，PESQ 在 1 到 4.5 之间，LSD 与 MCD 定义在 0 到无穷，LPS 只有上界。如果不加约束，回归输出可能越界，在后续使用与评价时会产生无效值。原文为每类区间选择单调映射，既保留排序又限制范围。缺失掩码解决异构可训练性问题。

对每个指标，将不可用标签记为缺失并用二值有效掩码标记，单指标损失只在有效样本上求平均，总体绝对损失再对本批次中至少有一个有效标签的指标求平均。这样当对齐的干净参考不可用时，SDR 等参考型指标被忽略，而 MOS 或 DNSMOS 等非侵入指标仍能提供监督。这种写法使大规模多源数据能混合训练，不要求每个样本具备全部标签。

需要指出的缺项是原文没有报告各编码器参数是否冻结、梯度是否截断到预训练部分的细节，只说明共享指标编码器是 6 层 Transformer，解读时不应从模型名称推定冻结或微调实现。

范围约束激活 × 指标头： 指标头指每个质量指标独立的线性预测分支，范围约束激活指接在每个头之后把输出限制到合法区间的函数，分工是前者负责区分不同指标的映射、后者负责尊重各指标上下界，搭配原因是直接回归会输出越界无效值，组合后用缩放 Sigmoid 与 softplus 变体保证预测落在表 1 规定的范围内。

把这两者放在一起看，一个管输出值域，一个管监督有效性，都是为了让多指标联合训练在数学上成立，前者是前向的合法化，后者是损失的合法化。

偏好对如何从 MOS 派生，训练配置与损失怎样组织？

偏好监督来自人工 MOS 的派生，因为直接收集比较评分的数据规模有限，而绝对评分数据更丰富。给定两条样本的人工 MOS 分 sA 与 sB，构造 3 种配对策略，任意匹配、同一语料库内匹配、共享相同内容或相同干净参考的参考级匹配。引入 tie 阈值处理标注不确定性，当分差绝对值小于等于阈值时视为平局，原文实验取 0.5。偏好损失是预测偏好分与派生标签之间的平方误差。每个训练对同时加入反向对，以鼓励与顺序无关的预测。

绝对损失如前所述是掩码平均后的多指标平均。训练数据覆盖合成、声码、增强、网络电话、电话与损伤等多个域，包括 BC19、BVCC、NISQA、PSTN、SOMOS、TCD-VoIP、腾讯会议相关数据、TMHINT-QI、TTSDS2、UR24-SQA、UR25-SQA 等绝对标注数据，以及 SpeechEval 与 SpeechJudge 的偏好对数据。每个共享指标编码器实现为 6 层、8 头、模型维度 768、前馈维度 2048 的 Transformer，学习率恒定为 3 乘 10 的负 5 次方，按音频时长动态组 batch，每批约 400 秒语音，在单张 A100 上训练 60,000 步，依特征提取器数量不同耗时 12 到 48 小时。

ACR × CCR： ACR 是绝对类别评分，一条语音独立打一个 MOS 分，CCR 是比较类别评分，直接对样本对做比较标注，二者搭配的原因是 CCR 规模小而 ACR 存量大，组合意义在于用 ACR 分差派生偏好标签，把丰富的绝对标注转化为可用的相对监督，缓解偏好数据不足。

派生偏好的关键是阈值与配对范围，阈值过滤掉感知不可区分的微小分差，配对范围控制内容与通道一致性，后文消融显示不同配对策略影响有限，说明阈值已足够分离出可感知的差异。

多指标监督 × 异构监督： 多指标监督指同时学习 PESQ、DNSMOS、MOS、可懂度、说话人相似度等多类指标，异构监督指不同数据集缺失的指标不同、有的无参考信号，分工上前者提供互补感知线索、后者要求训练能容忍缺失，搭配后用有效性掩码只在可用标签上计算损失，使大规模多源数据能放在一个目标下训练。

总体训练目标是绝对损失与偏好损失联合优化，绝对部分容忍缺失，偏好部分利用派生对，二者共享底层表示，这是全文复现时最需要保留的组织方式。

用什么数据、什么划分、什么指标来测两种能力？

评价同时覆盖绝对质量与偏好两种场景。对于提供官方测试划分的数据集，直接采用官方测试集。为了对齐实际的偏好比较需求，还用参考范围匹配构造了成对比较数据，只在包含足够配对信息的数据集上构造，包括 NISQA LIVETALK、SOMOS、TMHINT-QI、CHiME-7-UDASE 评测集与 UG25-SQA 等。模型命名规则需要先讲清，否则无法复述表格。F 表示特征提取器数量，F1 只用 WavLM，F4 用 4 个提取器。

C 表示指标类别数，C1 把全部指标放在一组，C5 按表 1 分类。M 表示监督范围，M1 只用人 MOS，M5 用自然度组 5 个指标，M15 用表 1 全部指标。D 表示偏好对构造策略，对应任意、语料库内与参考级。偏好评价报告准确率，区分 acc0 与 acc0.5，acc 后下标表示排除人工 MOS 分差小于该阈值的样本对，因此阈值越大条件越容易。绝对评价报告话语级皮尔逊相关与斯皮尔曼秩相关，越高表示预测与人工标注越一致。

基线包括 DNSMOS、UTMOS、SCOREQ、Distill-MOS、NISQA-MOS 等绝对预测器，以及 SpeechEval 与 SpeechJudge 等偏好模型。原文指出 SpeechEval 可以预测平局分，计算准确率时排除平局，因此与其他模型不严格可比，这是在解读数字时必须保留的公平性说明。硬件与训练预算已在上一节交代，评价时注意不同指标的差值不能混为一谈，百分点与相对百分比也不同。

跨域偏好与绝对相关性显示了什么收益与代价？

偏好评价的核心问题是在未见过的域上谁更稳，公平条件是同一组构造的偏好对与相同的准确率定义，指标方向是准确率越高越好。表前需要明确，SpeechEval 与 SpeechJudge 在各自基准上强，但在跨域上泛化较弱，提示数据集特异性过拟合，而 URGENT-MOS 各变体在合成、增强与混合域上保持稳定。

该表显示在 SOMOS 与 LIVETALK 等跨域偏好对上，多特征与自然度多指标版本取得高于基线的准确率，但在 SpeechJudge 自有基准上本方法并未超过原基线，这是一个必须保留的未胜出项，说明统一模型提升了稳健性而非在所有分布上都是最优。绝对相关性方面，URGENT-MOS 在多个数据集上取得强相关，与偏好结论一致，支持跨域稳健性的判断。

该表显示在 SOMOS 与 TMHINT-QI 上本方法相对基线提升明显，但在 FOR 上 SCOREQ 仍略高，说明总体趋势不等于每组都成立。解读时不能把自动指标当成人评，这里的相关性是相对人工标注计算的 utterance 级相关，不是偏好准确率。 下面看指标间相关性热力图，它解释了为何全量监督不总是有益。

看图路径： 1. 先确认左右两幅热力图的行列都是同一组语音质量指标名称；2. 再观察对角线深红色与非对角线颜色深浅代表的相关强弱；3. 重点找到 LSD 与 MCD 所在行列与其他指标交叉处的浅蓝色低相关带；4. 最后对照右侧颜色条从负相关到正相关的刻度方向再判断好坏

论文图 2。原论文 Figure 2：“Spearman / Pearson correlation across different speech quality metrics on the UG25-SQA dataset.”。

从像素看，两幅热力图结构相同，横纵轴均为 PESQ、DNSMOS、LSD、SDR、MOS、UTMOS 等指标，对角线为深红色自相关，多数非对角线为橙红色中等正相关，但 LSD 所在行列与 MCD 所在行列呈现明显的浅蓝色低相关或负相关带，右侧颜色条从负 1 到正 1 确认了颜色方向。这支持原文的解释，即 LSD 与 MCD 与其他指标相关弱，在单一共享编码器下联合拟合可能互相干扰，这与后文 M15 版本在部分数据集上退化的现象互相印证。

配对策略、监督范围与特征数量各自改变了什么？

消融要回答 3 个操作问题，改变偏好对构造范围是否影响结果，扩大监督指标是否单调变好，增加特征提取器是否有益。比较条件是固定其他命名位，只改变 1 位来观察。原文报告配对策略影响有限，参考级、语料库级与无约束配对在各评测集上结果接近，支持阈值 0.5 已能分离感知可区分样本的判断，即使存在跨语料库不一致。

监督范围方面，自然度多指标 M5 相对只用 MOS 的 M1 略有提升，说明互补感知线索有助于偏好区分，但扩展到全部 15 个指标并不一致地带来增益，F1C1M15 在若干数据集上退化。特征方面，多特征 F4 提供一致增益，而全量多指标不总是有益，最好的整体稳健性来自 F4C1M5 组合。类别划分方面，C1 与 C5 在 M15 下差异不大，但 C5 在部分偏好集上略好。

为避免只讲趋势，这里保留原文实际可运行策略的数字形态，重点是同一数据集、同一指标方向下的对照，百分点差异不能说成相对百分比提升。

偏好与相关性消融共同说明，更多监督不是无条件更好，关键在于监督之间的相关性与共享编码器的容量是否匹配，这是复现时调参的依据。

哪些边界没有测，哪些推测还不能当结论？

首先是未评测边界。偏好构造依赖人工 MOS 分差与阈值，对真正的听音人直接偏好是否完全一致，原文没有提供新的人听实验来验证，只能说在派生偏好协议下有效。 tie 对的处理在准确率中被排除或阈值过滤，实际部署中遇到难以区分的样本对时的误判率没有单独测量。

其次是全量指标退化的解释，原文用图 2 相关性分析支持 LSD 与 MCD 弱相关的说法，但这属于有限解释而非因果证明，不能断言拿掉这两个指标必然在所有结构下变好，也可能与单共享编码器容量或优化有关。第三是成本与延迟，原文报告了训练耗时与步数，但没有报告推理开销、输出帧率与实际延迟，因此不能承诺该方法在延迟或成本上得到改善。第四是基线可比性，SpeechEval 的平局处理使偏好准确率不严格可比，解读时应保留该说明而不做跨口径排名。

最后是缺项，预训练编码器是否冻结、梯度路径、不同类别编码器是否共享参数等实现细节未完全报告，复现时需要以开源代码为准，不应从名称推定实现。

要复现应先准备什么，按什么顺序跑通？

复现先做三件事。第一，确认代码当前可用，官方仓库地址已在摘要给出，本次资源状态显示可用，因此可以写当前已公开，但权重下载与系统可运行仍需按仓库实际说明核对，区分代码开源与权重可运行。第二，按表 2 准备多域数据，注意样本数与时长单位不要混淆，绝对标注与偏好对是两类输入，偏好对需要按 3 种策略构造并用 0.5 阈值过滤，参考级匹配要求共享相同文本或相同干净参考。

第三，按命名规则先跑通最小配置，例如 F1C1M1 参考级版本，再逐步打开 M5 与 F4，保留学习率、Transformer 层数与动态组 batch 的关键超参数。训练时实现掩码损失，只在有效标签上平均，缺失参考时跳过参考型指标。评价时同时跑偏好准确率与相关性两套协议，偏好注意 acc0 与 acc0.5 的过滤条件不同，相关性注意 LCC 与 SRCC 方向都是越高越好。信息条件方面，指标取值范围与是否需要参考必须与表 1 一致，否则范围约束激活与损失掩码都会错位。

复现中若发现全量指标版本波动，应先检查 LSD 与 MCD 的分布与相关性，而不是直接断定代码错误。

何时值得尝试这种统一建模，还需补哪项验证？

当研发管线同时需要绝对分与系统间比较，且手头数据来自多个标注不一致的语料库时，这种统一建模值得尝试。它用共享表示承接两种监督，用掩码训练包容缺失，用派生偏好放大排序信号，实验显示跨域稳健性优于只在单域优化的基线。当只有单一干净标注且只关心单点 MOS 拟合时，引入偏好与多指标的收益可能有限，还会增加训练复杂度。

还需补的验证包括在真正的人偏好听测上的对照，而不仅是 MOS 派生对上的准确率，以及在推理延迟与模型规模受限条件下的表现，因为原文未测量这些量。常见误解是把相关性提升等同于偏好判断必然变好，本文恰恰用两套协议分别测量，说明两者相关但不等同。另一个误解是认为指标越多越好，本文的反证是全量 15 指标在单共享编码器下可能退化，自然度聚焦的 M5 与多特征 F4 组合更稳。

掌握这些条件后，研究生可以把本文当作处理异构语音质量数据的模板，而不是一个放之四海的最优配置。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总