众包听音为何变扁：P.808 与 P.800 对照下的筛选补救

英文题目：Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests

会议身份：conference:interspeech:2026:conference-paper-id:treffehn26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#众包评测 #统计分析 #语音 #语音质量评估

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Anika Treffehn：机构信息未能从会议 PDF 纯文本可靠映射
• Andrea Eichenseer：机构信息未能从会议 PDF 纯文本可靠映射
• Emily Kratsch：机构信息未能从会议 PDF 纯文本可靠映射
• Nicola Pia：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究输入为24条英语干净单声道语音经20种经典与神经编解码退化后的刺激，输出为退化平均意见分Degradation Mean Opinion Score / DMOS的条件均值，难点是众包环境不可控导致量表压缩与方差膨胀。方法链分三段推进：先以实验室P.800退化类别评分Degradation Category Rating / DCR为基准并行采集众包P.808结果形成可比对偶，再对众包端施加测前问卷与可懂度预测试、测中陷阱与金标准题、测后评分跨度与锚点排序三类筛查，最后以与基准的条件均值误差与相关性度量各筛查的单调改善。与已有P.808建议相比，关键机制差异是用预定义阈值的最低参考分与锚点不等式做基于用户的硬筛查，避免了按条件标准化剔除离群值在小方差时误伤真实感知差异。无筛查时两测试条件均值间平均绝对误差Mean Absolute Error / MAE为0.573，参考条件c01低估1.11分而最差锚点c02高估0.88分，而陷阱加参考最低分加跨度加排序的联合筛查后MAE降至0.230且Pearson相关达0.974。结论仅适用于单声道英语语音的DCR场景，未验证其他语言、通用音频与立体声素材。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是两套对同一批语音编解码刺激的主观评分，一套来自符合 P.800 的实验室退化类别评分测试，一套来自亚马逊众包平台上的 P.808 测试。目标不是提出新编解码器，而是回答众包结果相对实验室基准到底差在哪里，以及哪类筛选能把众包结果拉回可用。必须保留的信息是测试条件完全对应、被试分组与面板划分、评分语义与聚合方式，以及每种筛选保留多少人后误差与相关如何变化。

输出是一组可复述的操作建议：测前问卷与预测试效果有限，测中陷阱题与最低参考分有效，测后评分跨度与锚点排序最强，组合使用最好但要超额招募。初学者可以把全文理解为 1 次方法校准实验，先固定刺激再比较人群与流程，最后用统计量验收筛选。

实验室测试与众包测试各解决什么问题？

实验室路线用 P.800 框架固定设备、环境、母语与听力门槛，换来低方差与可复现的条件排序，代价是招募慢、成本高，1 次数十人规模常需数周。众包路线用 P.808 框架把任务放到众包平台，数小时即可收齐数十人数据，代价是无法控制耳机、房间噪声与注意力，评分质量通常更差。相关客观指标路线试图用算法代替人耳，但在神经编解码的非线性失真面前表现不稳，因此主观听音仍被视为最可靠的体验质量依据。

另一条相关路线是多刺激隐藏参考与锚点测试，它对少量关键样本分辨力高，但覆盖的语音内容与条件数量不如退化类别评分，难以暴露神经模型对不同语料的不可预测反应。本文不比较哪种主观范式绝对更好，而是固定退化类别评分，只改变执行环境与筛选，以实验室为基准度量众包偏差。

众包结果的偏差具体长什么样？

论文报告的未筛选对照显示，两套测试对 20 个条件的相对排序高度一致，但绝对分值明显不同。众包参与者更少使用 1 分与 5 分两端，把分数挤向中间，导致参考条件被低估、最差锚点被高估，条件均值向 3 分收缩。第二个症状是众包在多数条件上的条件内方差显著更大，尤其在高分与低分两端更明显，有限量表的截断加上大方差进一步把均值推向中间。

初学者易误以为相关高就等于可替代，本文的例子恰好说明相关只保证排序大致对，而平均绝对误差超过半分意味着若直接用众包绝对分做横向比较或达标判断会失真。问题于是被拆成可操作的筛选问题：如何在不引入内容偏好的前提下，识别不用满量表、排错已知锚点、听不出参考的人。

两场听音与三类筛选如何组织？

方法全景是先做两场刺激完全相同的听音，再在众包数据上施加测前、测中、测后 3 类筛选，最后以实验室条件均值为基准计算误差与相关。语音集是 24 条 8 秒英语干净单声道样本，2 男 2 女共 4 位发话人，每条含两句不同句子加中间停顿。20 个条件覆盖参考、调制噪声参考单元三档、3.5 千赫低通、经典编解码与多个神经编解码，共 480 个刺激并按规范分成 6 个面板，每位听众每条件恰好听 4 次，含熟悉流程的训练集后净时长约 32 分钟。实验室 27 人，众包 33 人，均记录性别年龄与面板分布。评价统一在条件均值上计算平均绝对误差、均方根误差、皮尔逊相关与斯皮尔曼秩相关，前两者越小越好，后两者越大越好。

退化类别评分 × 退化平均意见分： 退化类别评分是每次试听的动作，听众把当前刺激与明确参考比较后在 1 到 5 的退化语义档上打分；退化平均意见分是对同一条件下多人多次打分的平均，它承担把离散判断汇成可比质量标尺的分工。二者搭配的理由是单次评分噪声大，只有按条件聚合才能比较编解码器，组合后新增的作用是得到每条件一个可算误差与相关的稳定目标值。

3 类筛选的分工不同。测前筛选在测试开始前判断资格，优点是不污染人口与面板分布且省钱；测中筛选在测试进行中监控并可即时终止不合格者；测后筛选在数据收完后按统计模式剔除，效果可能最强但已花费全部测试成本。理解这个顺序对复现很关键，因为保留人数与成本含义完全不同。

每种筛选让听众做什么，阈值怎么定？

测前有预测试与问卷。预测试改编自可察觉差异思路，共 10 题，每题给定参考并要求判断 A 或 B 哪一个与参考质量更相似，劣化覆盖带宽压缩、加噪与编码伪像，考察设备、环境与分辨力。问卷要求对近一周主观测试经历、近两周听音经历、环境是否安静可用、是否佩戴或可获得有线耳机等作肯定或否定回答，目的是唤起硬件环境意识并排除过度熟练的工人。测中有陷阱题与金标准题。

陷阱题随机安插并用语音指令要求点击指定分数，失败过多可立即终止，既检验语言理解又因存在本身提高注意力。金标准只用参考评分，观察每人最低参考分是否达到阈值，作者明确不用锚点评分做金标准，因为锚点主观性大。测后有评分跨度与锚点排序。评分跨度等于个人参考均值减去最低锚点 c02 均值，要求达到阈值；锚点排序要求个人对 c02、c03、c04 与 c01 的均值满足不等式链，按满足条数计 0 到 3 分。

调制噪声参考单元 × 锚点排序： 调制噪声参考单元是已知质量递进的可控劣化锚点，c02 到 c04 按噪声量 Q 分出强中弱三档，分工是提供物理上应单调的外部刻度；锚点排序是检查听众对这三档加参考的均值是否满足 c02≤c03≤c04≤c01，分工是检验分辨力与注意力。搭配理由是若连已知单调都排错，则对未知神经编解码的评分不可信，组合新增的作用是得到 0 到 3 分的与内容无关的筛选分数。

陷阱题 × 金标准问题： 陷阱题是测试中随机插入并用语音直接指令要求点击指定分数的题目，分工是实时检验语言理解与是否在听；金标准问题是观察最低参考评分是否达标，分工是检验在自有设备上能否听出无损并愿意用满分。搭配理由是前者抓走神与误解量表，后者抓设备环境与量程使用习惯，组合新增的作用是在测试进行中就能剔除或标记不合格者而不必等全部数据收完。

沿一个众包听众走一遍流程有助于复述。进入时先过语言、任务批准率、听力自报与地域限制，再做 10 题预测试并回答问卷；进入主测试后每面板听若干刺激并打 1 到 5 分，途中偶遇陷阱题必须按指令点击；结束后研究者计算其最低参考分、评分跨度与锚点排序分，再决定保留或剔除。阈值不是普适常数，论文通过扫阈值观察误差与保留人数的权衡来推荐可操作点。

本研究训练了什么，没有训练什么？

本研究没有训练任何语音或音频编解码模型，也没有训练主观评分预测模型，不存在梯度更新、参数冻结、优化器或早停设置。所有编解码条件都是作为待测黑盒刺激直接调用已有实现，包括经典链路与神经链路，听音框架是改过的网页端听音软件。真实计算过程是数据收集与统计计算：按面板播放刺激并记录 1 到 5 的退化类别评分，按条件对人与重复取均值得到条件均值，再与实验室条件均值比较得到误差与相关。

筛选过程是按规则计算每人的预测试正确数、陷阱失败数、最低参考分、评分跨度与锚点排序分，再按阈值过滤后重算条件均值与指标。缺项是论文未报告众包每人的耳机型号、声压校准与房间噪声的客观测量，也未报告重测信度，因此不能从筛选有效推定设备差异已被完全消除。把无训练理解为确定性求解是错误的，因为人评本身是随机变量，保留人数变化会带来抽样噪声。

刺激、被试与量表如何保证两场可比？

可比性的基础是刺激与流程相同，只有执行环境与人群不同。刺激侧固定 24 样本与 20 个条件，条件含参考、低通、不同码率与带宽的经典与神经模型，面板划分遵循众包规范以平衡顺序与疲劳。被试侧实验室要求自报英语至少 B2 且近两月未参加听音，并用听力图排除明显听力损失；众包要求任务批准率至少 80% 且已批准 100 单、自报至多轻度听力损失、无音频编码从业经历，并用自报英语加工作地限制在澳大利亚、加拿大、爱尔兰、英国与美国来保证英语理解。

量表侧统一使用退化语义：1 为非常烦人，2 为烦人，3 为稍烦人，4 为可闻但不烦人，5 为不可闻。两场均用同一网页框架实现，含训练集，每人每条件 4 次。初学者复现时最易忽略的是每条件重复次数，若每人每条件只有一两次评分，则个人条件均值噪声大，跨度与排序筛选会因个别离群点而误杀，这是论文明确提醒的适用条件。

未筛选时众包与实验室差多少？

未筛选基线的比较问题是：在刺激与量表完全相同下，仅把实验室换成众包，条件均值会偏多少，排序是否还可用。公平条件是同一 480 刺激集合与同一条件均值聚合，指标方向是平均绝对误差与均方根误差越小越好，两种相关越大越好。论文报告未筛选众包与实验室的条件均值相关均为 0.929，说明排序大体一致，但平均绝对误差为 0.573，均方根误差为 0.659，平均偏离超过半分。极端条件放大了偏差，参考条件下降约 1.11 分，最差锚点上升约 0.88 分。

分布证据显示众包更少用两端分数，实验室两端使用更充分。下面的柱图把这种量程压缩可视化，左侧实验室两端落差大，右侧众包整体向中间收缩，但相对高低关系仍相似。

看图路径： 1. 先对比左右两组 c01 参考柱与 c02 最差锚点柱的高低落差是否右侧明显变小；2. 再沿 c02 到 c04 观察单调递增是否在两侧都成立但右侧斜率更平；3. 最后看中间神经编解码条件柱群是否右侧整体向 3 分附近收缩

论文图 1。原论文 Figure 1：“P.800 (left) and P.808 (right) results without any screening applied.”。

上图左右分别为实验室与众包的每条件退化平均意见分，横轴为 c01 到 c20，纵轴为分数。解释时不要只读单柱高低，而要读两端落差与单调性。众包的参考柱变矮、最差锚点柱变高，调制噪声三档的爬坡更平缓，神经条件群的中段差异被压缩。这支持量程未用满与方差增大的机制解释，也为后文用跨度与排序筛选提供了直接动机。该结果的限制是它只证明排序可比而绝对值不可直接替换，若下游只关心选出最好模型可能影响较小，若关心绝对达标则必须筛选或重定标尺。

组合筛选的收益与代价如何权衡？

组合比较的问题是：在实际可运行的固定阈值下，哪种筛选能在保留可接受人数的同时最接近实验室。公平条件是同一众包原始数据与同一实验室基准，只改变保留子集，指标方向同前。下表把论文明确报告的 5 个可运行点放在同一标尺下比较，基线代表不筛选，中间三行代表单类筛选的可操作阈值，最后一行代表测后双筛选组合。表前需要说明，搜索最优阈值是事后可见的，部署时应预先固定阈值，表中阈值即论文推荐的预设值而非对每批数据重搜的最优值。

表后解释要同时讲收益与代价。收益是所有筛选行的误差都低于基线，组合行最低，平均偏离从超过半分降到约 0.23 分，相关升到 0.974 附近，说明量程与排序同时被校正。代价是保留人数从 33 人降到 14 人、10 人、15 人左右，组合仅剩 7 人，面板与人口覆盖可能被破坏，且小样本对个别评分更敏感。未胜出项是预测试与经验问卷，它们在表中没有位置，因为论文报告其几乎不改善或不显著，不应作为部署筛选。另一个反例是理论理想跨度 4 不可取，因为锚点评分主观性大，强制满量程会误删正常人，论文建议锚点排序阈值取锚点数减一即可在保留多数人与降低误差间折中。

哪种筛选真正拉回结果，哪种几乎无效？

本节按筛选时机组织反证，测什么、阈值多少、保留多少人、指标变到多少是验收要点。测前预测试的结论是否定的，24 人答对至少 9 题，但正确数与结果质量几乎无关，最好的阈值是答对 5 题，相关与误差仅比基线略好，更严反而跌破基线，说明当前预测试不是好的预测器。问卷中环境与耳机全答是，经验问题 19 个“yes” 对 14 个“no” 分布，但按经验分组比较条件均值与实验室的误差没有显著差异，置换检验 p 值为 0.079，因此不建议把该问卷当有效筛选。

测中陷阱题多数答对，但抓到一个多数陷阱失败的极端离群者，其全部评分疑似倒置，证明陷阱对强离群有效但覆盖面小。金标准最低参考分效果单调，阈值取 4 时保留 14 人，误差与相关全面改善。测后两法更强，跨度阈值 2.5 保留 10 人，完美锚点排序保留 15 人左右，均显著改善。下面的方差图解释了为何最低参考分有效，它直接压低了参考端的离散。

评分跨度 × 条件内方差： 评分跨度是同一听众对参考均值减去最差锚点 c02 均值的差，分工是度量其是否真正用满量表；条件内方差是同一条件下多人评分的离散程度，分工是度量共识强度。搭配理由是跨度小的人把高低条件都挤向中间，直接推高条件内方差并拉平条件均值，组合新增的作用是指出众包量程压缩的机制并给出事后可计算的补救抓手。

为理解方差膨胀如何把两端均值拉向中间，下图按条件逐个对比实验室与众包的均值方差，可先观察深浅两色柱的高低对比与两端差距是否系统性偏高。

看图路径： 1. 先确认每条件成对柱中深色众包柱是否多数高于浅色实验室柱；2. 再重点看 c01 与 c02 两端条件的高低落差是否最大；3. 最后记住该方差增大是后续用最低参考分筛选要压低的对象

论文图 2。原论文 Figure 2：“Mean variance; light: P.800, dark: P.808.”。

上图每条件 1 对柱，浅色为实验室，深色为众包，纵轴为均值方差，范围约 0 至 1.5 以上，可见深色柱在多数条件下更高，两端条件差距尤为明显，这与未筛选时两端均值被拉向中间的现象一致。金标准通过强制参考分下限收紧了参考分布，跨度筛选通过强制两端落差拉开分辨率，排序筛选通过强制已知单调保证分辨力，三者分别从不同侧面压低方差。需要强调的代价是人数迅速减少，跨度 2.5 仅剩 10 人，组合筛选仅剩 7 人，小样本下条件均值的抽样噪声会增大，因此论文建议招募时按目标人数的 3 到 5 倍超额招募。

筛选后还剩什么问题，什么不能承诺？

筛选后的形态可用下图直观验收。左侧为中期筛选后保留 14 人的结果，右侧为事后双筛选后保留 7 人的结果，相比未筛选众包，两端落差明显拉开，中段分辨力恢复，更接近实验室形状。但必须指出 3 个边界。第一，人数过少导致结论的统计稳定性下降，论文未给出按面板分层的保留分布，不能承诺人口代表性未受损。第二，筛选只改善与实验室条件均值的一致性，未测量误判率、完成时长、单位成本与听音延迟，因此不能承诺更快更便宜，只能说为已采集的评分增值。

第三，材料限于英语干净单声道语音与特定 20 个条件，未验证其他语言、通用音频与立体声，神经模型的失真类型变化后，最差锚点是否为 c02 需要重新确认，否则跨度计算会用错基准。

看图路径： 1. 先看左侧中期筛选后 c01 是否抬高且 c02 是否压低；2. 再看右侧事后筛选后两端落差是否进一步拉开并接近实验室形态；3. 最后对比左右两组中间条件的误差棒是否仍比实验室更长

论文图 3。原论文 Figure 3：“P.808 results after mid- (left) and post-screening (right).”。

上图左右两组柱分别为中期筛选与事后组合筛选后的每条件分数。可以执行的观察是先看 c01 与 c02 的两端距离是否比未筛选更大，再看 c02 到 c04 单调是否更陡，最后看 c06 与 c14 等低分条件的误差棒是否仍较长。若把末端改善推广为全程无噪声是错误的，因为个别条件在小样本下仍波动，且右侧仅 7 人的均值对方差更敏感。论文还提醒不应套用标准化离群规则，因为当条件内标准差很小时，中等偏离也会被误判为离群，而预设阈值的用户级筛选更稳定、无偏且可自动化。

要复现这套对照，先做什么，后验什么？

复现先固定刺激与流程，再固定人群门槛，最后固定筛选阈值。刺激侧准备同样的 20 条件结构，至少包含参考、三档调制噪声参考单元、低通与若干经典加神经条件，按规范分成多个面板并加入训练集，保证每人每条件 4 次重复。被试侧实验室记录英语水平、近期参试史与听力图，众包侧记录批准率、已批准任务数、听力自报、从业经历与地域，并统一用同一网页框架采集 1 到 5 退化评分。

筛选侧预先写死规则：陷阱题位置随机且失败过多即终止，最低参考分阈值取 4，评分跨度阈值取 2.5，锚点排序要求完美或至少满足锚点数减一，并确认最差锚点确实是 c02。验收时以后验指标为准，报告保留人数、平均绝对误差、均方根误差与两种相关。下表把论文中可直接照搬的操作点整理成清单，部署时按此预设即可运行，不必重搜阈值。

表后说明代价与未评测边界。组合收益最大但人数最少，若目标是每面板每条件有足够重复，必须按目标人数的 3 到 5 倍招募。预测试与经验问卷在论文中未显示有效性，复现时可记录但不应作为剔除依据。跨研究比较时注意百分点与相对百分比不同，误差下降 0.3 分是绝对分差缩小，不是相对提升 30%。资源状态方面，未发现来源绑定且完成验证的资源，因此不得声称代码模型或数据已公开，复现应按论文文字重建流程而非寻找下载链接。

何时值得用众包加筛选替代实验室？

当任务是早期原型快速迭代、条件众多且只关心相对排序时，众包加筛选值得尝试，因为它数小时可得与实验室排序高度一致的结果，再用推荐筛选把绝对偏差压到约 0.2 到 0.3 分。当任务是正式达标、发布级绝对分或人口代表性要求严格时，不应直接替代，因为组合筛选后仅剩个位数听众，分布偏移与小样本噪声可能引入新偏差。操作上建议必做陷阱题与最低参考分，再做跨度与排序的事后筛选，阈值预先固定以保证无偏与自动化。

还需补的验证包括其他语言与通用音频、立体声材料、不同神经失真下最差锚点的确认，以及成本与时长的实测。记住核心误解：相关高不等于绝对值可用，预测试好不等于听音认真，只有用量程使用与已知单调这两把与内容无关的尺子，才能在不偏向任何待测编解码器的前提下为众包评分增值。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总