英文题目：Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
标签：#语音识别 | #评测协议 | #鲁棒性 | #环境声
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Vsevolod Kovalev：Boston University, Boston, MA, USA
- Pranay Manocha：Princeton University, Princeton, NJ, USA
📌 核心摘要
输入为含家庭与远场非语音干扰的语音，输出涉及意图、情感、说话人与转写4类任务决策，难点在于下游分数稳定时底层表征可能已大幅偏移且安静干扰常被忽略。方法链分4步：先冻结8个编码器并对最后一层做时间平均得到句级嵌入，再以余弦距离度量干净与加噪嵌入的漂移，接着用RAVDESS重复录制与情感强度变化构建重复基线与变化上限构成的走廊，最后在全段、仅语音段与仅暂停段3种放置下对比漂移与任务损失。与只报告下游分数的已有鲁棒性评测不同，该工作把干扰位置与局部信噪比显式分离，并揭示上下文编码会把暂停干扰传播到语音帧。在全段加噪评测任务下，任务语料漂移指标的平均斯皮尔曼相关为0.81，高于占空比指标的平均斯皮尔曼相关0.70。该结论的适用边界受限于测试的编码器、声音与语料，在更响时语音段干扰可同时主导漂移与损失，情感任务放置效应亦较弱。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，读完要能复述什么？
本文的输入是已经录好的带语音句子，以及人为加入的非语音声音，目标是同时回答两个问题：编码器的整句表示变了多少，下游任务分数又变差了多少。读者需要带着 3 条必须保留的信息去读：干扰放在整段、只放在语音段、只放在暂停段是 3 种不同实验；强度用标称信噪比表示，数值越大表示干扰越安静；漂移大不等于任务一定差，论文的中心矛盾正是二者在换位置时经常反向。
输出是一套可复述的方法：冻结编码器，计算干净与受扰平均嵌入的余弦距离，再用同一受扰音频测 4 个任务的分数变化，并用重复录制距离做尺度。初学者容易误以为加噪只影响被加噪的那几帧，或认为表示变化小任务就安全，本文用暂停干扰外溢到语音帧，以及暂停漂移大但语音更伤任务的例子，直接反驳这两种直觉。
后续各节按学习依赖展开：先讲已有评测只看分数的不足，再讲漂移与参照的定义，然后讲声音选择与强度口径，最后讲四任务结果与放置错位，复现时只要按相同顺序检查冻结、语音活动检测、种子与聚合，就能定位分歧。
已有路线测了什么，为什么还要同时测表示？
已有路线主要是下游分数评测。语音识别在环境噪声下的表现有专门基准，失真版的通用语音基准在 3、6 或 9 分贝等较响强度下测试，这些工作报告加噪后词错率或准确率掉了多少。另一条线索是非语音音频确实会影响识别，而在访谈音频上加入非语音增强有时还能改善脚本与自发语音检测的迁移。
本文的起点是分数稳定不代表表示稳定：时间平均嵌入把语音帧和非语音帧混在一起，上下文编码器又会跨时间搬运信息，安静的暂停声音可能已经大幅改变平均向量，但任务头恰好对其不敏感。表示质量度量与基于感知判断学习距离的工作，启发作者用受控语音变化做参照，而不是只报告原始余弦距离。
教学上可以把已有路线理解为只看出口成绩，本文则同时打开中间表示这间教室去点名：先比较整段加入不同声音时漂移能否给任务损失排序，再把同一声音搬到语音与暂停，看排序是否还成立。例子是帮助理解的例子：如同检查水管漏水只看水表读数不够，还要看墙内湿度，湿度大不一定立刻反映为水费大增，但说明墙体已经受潮。
要检验的具体问题与可证伪的对照是什么？
具体问题有两个。第一，在整段加入干扰时，不同声音造成的漂移排序是否与任务损失排序一致，用跨 7 种声音的斯皮尔曼相关回答。第二，把同一声音从语音段搬到暂停段，漂移更大的一侧是否也是任务损失更大的一侧，用暂停与语音的效应比回答。可证伪的对照很直接：如果漂移是任务损伤的可靠代理，那么整段下相关应显著为正，且搬位置后漂移比与损伤比应在等值线同侧；如果出现暂停漂移更大但语音损伤更大的系统性反向，则代理假设不成立。
论文还设置强度维度：从 80 分贝极安静扫到零下 5 分贝很响，观察错位只在安静到中等强度成立，还是全程成立。参照问题是漂移多大算大：用同一人同一句重复录制之间的最小平均距离做下限，用不同情绪与强度之间最大平均距离做上限，形成走廊，干扰漂移进入走廊即与真实语音变化可比。未验证的推测与直接报告要分开：相关系数与比值是直接报告，任务权重方向解释错位只是有限解释，留待未来检验对齐程度。
方法全景：一个样本如何走完输入到判断？
沿一个样本走一遍最清楚。取一条原始波形，用语音活动检测标出哪些采样属于语音，哪些属于暂停；选一种干扰声并决定放在整段、仅语音或仅暂停，按标称信噪比调好激活段的均方根幅度后相加，时长不变。将干净与受扰音频分别送入同一个冻结编码器，取末层逐帧隐状态，在时间上平均得到整句嵌入，计算二者余弦距离得到漂移；把同一受扰音频送入已在干净音频上训练好的任务头，得到意图、情感、说话人验证或识别的分数变化得到任务损失。
声音一端覆盖 9 种生成声与 14 种真实录制声，强度一端覆盖 11 个等级，放置一端覆盖 3 种，编码器一端覆盖 8 个冻结模型，任务一端覆盖 4 个语料。生成声与录制声的搭配不是随意堆料，而是为了分离连续程度与音色：录制声按谱平坦度与波形峭度网格选取并统计占空比，生成声用白噪声、粉噪声、纯音组合连续、门控与滴答 3 种时序，补足极稀疏一端。
时间占空比 × 频谱平坦度与波形峭度： 时间占空比负责描述声音在时间上有多连续，决定固定激活强度下注入的总能量与覆盖帧数；频谱平坦度与波形峭度负责描述能量在频域是否分散与波形是否脉冲，决定声音的音色类型；搭配原因是只按音色选声会混淆连续与稀疏的影响，论文先按平坦度与峭度网格选 9 类，再补 5 类做相似占空比对照，并用生成声音补足极稀疏一端，从而分离覆盖率与音色各自的作用。
全景的公平性靠三处固定：各编码器收到完全相同的受扰音频；任务头只在干净音频上训练，测试时才见干扰；语音与暂停放置在所选片段上时长占比接近，使注入总能量接近，从而把差异归因于位置而非能量。
漂移如何计算，参照走廊如何定标？
漂移的输入是干净整句平均嵌入与受扰整句平均嵌入。对第ℓ层，先把该层全部 T 帧向量相加除以 T 得到句向量，报告时用末层。计算目标是两个句向量夹角的余弦距离，越接近零表示方向越一致，越大表示受扰后方向偏转越多。原文还用帧匹配的语音伯特分数做校验，在参照语音对上与余弦的斯皮尔曼相关为 0.86 到 0.92，说明用余弦做主距离不是随意选择。任务头输入处的漂移是另一口径：在任务头学到的层加权求和之后再算同样距离，用于看层加权是否缩小放置差距。
参照走廊的输入是同一说话人说同一句的不同录制：重复录制参照取同一表达条件下重复次之间最小平均距离，表达变化参照取不同表达条件之间最大平均距离，中性录制的重复距离最小，定义上限的那对必含强烈恐惧语音。走廊下限除以自身归一为 1，上限与下限比在各编码器为 6.5 到 8.2，交叉信噪比即漂移随变响首次达到下限或上限的强度。末层与层平均的上限交叉中位差 6 分贝，因此主指标固定为末层余弦。
表示漂移 × 任务损失： 表示漂移负责度量干净与受扰整句平均嵌入之间的余弦距离，不看任务权重，只反映编码器输出变了多少；任务损失负责度量同一扰动下意图、情感、说话人验证或识别分数变差了多少，直接决定下游可用性；二者搭配的原因是下游分数稳定时漂移仍可能很大，组合起来才能区分表示变了但决策未变与表示和决策一起变这两种不同失效模式。
\[d(e,e^{\prime})=1-\frac{\langle e,e^{\prime}\rangle}{\lVert e\rVert_{2}\lVert e^{\prime}\rVert_{2}}.\]上式中 e 与 e 撇分别表示干净与受扰句嵌入，分子为内积，分母为二范数乘积，整个分数为余弦相似度，用 1 减去它得到距离。wav2vec2 大鲁棒模型的末层距离比其他编码器小约 1000 倍，在现有流程下参照交叉数值不稳定，因此它只参加任务评测，不进入漂移汇总与配对放置比较，这是必须保留的排除条件。
重复录制参照 × 干扰漂移： 重复录制参照负责给出同一人同一句不同次录制之间的编码器特有距离尺度，区分正常语音变化带来的小漂移与表达方式大变化带来的大漂移；干扰漂移负责给出加入非语音声音后的同种距离；搭配理由是直接报告余弦距离数值跨编码器不可比，只有除以重复录制参照并看是否进入重复到表达变化走廊，才能判断 1 次安静干扰是否已经和换 1 次录制一样大。
强度与位置如何定义，稀疏声音为何特殊？
强度的符号要先讲清：信噪比越高表示干扰越安静。标记信噪比的输入是原始波形在语音采样上的均方根，以及干扰声在激活采样上的均方根，取比值后乘 20 取对数。放置通过激活集合与语音集合的关系定义：整段为全程激活，仅语音要求激活集合包含于语音集合，仅暂停要求激活集合与语音集合不交，暂停是语音活动检测定义的非语音区，本身可能含有其他背景声。在 RAVDESS 上语音占 0.47、暂停占 0.53，因此两种放置注入能量接近。
稀疏声音特殊在激活均方根与整段均方根是两种口径：按激活口径定级时，稀疏声音在不发声时不注入能量，总能量更少；若换成整段均方根，同样标称下稀疏声音在发声瞬间会更响，生成门控声两种口径差 10 到 22 分贝。即使换成整段口径并按峭度匹配生成与录制声，下限交叉仍差至少 12 分贝，说明差异不只是口径游戏。
区域相对信噪比把暂停干扰换算为相对其所在暂停局部背景的强度，即标称值加上该片段背景相对语音的值，38 分贝背景下 60 分贝标称的暂停干扰相当于低于背景 22 分贝。
\[\mathrm{SNR}_{\mathrm{tag}}=20\log_{10}\frac{\mathrm{RMS}(s,\mathcal{V})}{\mathrm{RMS}(p,\mathcal{G})}.\]上式中 s 为原始波形，p 为加入的声音，V 为语音采样集合，G 为干扰激活采样集合，RMS 为在对应集合上的均方根，输出即标记信噪比。
标记信噪比 × 区域相对信噪比： 标记信噪比负责按语音段语音能量与干扰激活段干扰能量计算标称强度，保证稀疏声音在发声瞬间与连续声音可比；区域相对信噪比负责把暂停干扰再减去该片段暂停背景与语音的差值，反映干扰相对其所在局部背景的对比度；搭配意义是标称相同不等于听起来相同，只有同时看两种口径，才能解释为何暂停干扰在标称口径下更容易漂移，而在局部对比口径下差距缩小。
\[\mathrm{SNR}_{\mathrm{rel},i}=\begin{cases}\mathrm{SNR}_{\mathrm{tag}},&\text{speech placement},\\ \mathrm{SNR}_{\mathrm{tag}}+b_{i},&\text{pause placement}.\end{cases}\]上式中 b 为该片段用 20 毫秒非语音帧中位均方根估计的背景相对语音的值，语音放置沿用标称值，暂停放置加上 b，RAVDESS 语料估计为负 37.9 分贝，对应标称 37.9 分贝。
没有训练阶段时，真正计算了什么？
本研究没有训练编码器，这是必须明确的缺项说明：8 个编码器全部冻结，包括 HuBERT 大小模型、WavLM 系列、wav2vec2 大鲁棒模型与 Whisper 中杯和大杯第二版，音频按原始长度单条送入，扰动不延长录音。真正的计算发生在两处。第一处是表示计算：前向得到各层帧表示，平均池化得到句嵌入，再算余弦距离，以及在任务头层加权求和后的同样距离，没有梯度更新，没有重置时机可言。
第二处是任务头训练：4 个任务头在干净音频上训练，干净分数与已发表通用基准相差至多意图 0.3 个准确率点、情感 1.6 点、验证约 1 个等错率点、识别 1.1 到 2.1 个词错率点，其中说话人验证与识别头采用固定训练预算且按设计欠训练。监督来源是各语料原有标签：意图用流利语音命令，情感用 IEMOCAP，说话人验证用 VoxCeleb1，识别用 LibriSpeech。变化量均从各头自己的干净分数算起，意图与情感记准确率下降点数，验证与识别记等错率与词错率上升点数。
不能把冻结等同于系统输出确定：4 个扰动种子带来的漂移波动为 5 到 6%，说明同一强度下不同随机截取仍有可测变化。
数据、划分与聚合如何保证可比？
数据一端用中性 RAVDESS 做放置与走廊主图，用平静表达做生成与录制比较，用 ESC-50 选 14 类录制声；任务一端用 4 个公开语料，比较语音与暂停时挑选暂停与语音时长比在 0.44 到 0.52 之间的片段，使跨语料暂停占比相似。声音选择按 3 乘 3 网格覆盖谱平坦度与波形峭度 9 类，再加 5 类做相似占空比对照，所选类中位占空比从 0.23 到 1.00，因无中位低于 0.13 的真实类，用占空比为 1、0.10、0.006 的生成声补稀疏端。强度扫 11 级从 80 到零下 5 分贝，背景用 20 毫秒非语音帧中位均方根估计。
聚合口径必须记牢：漂移多用七编码器中位，任务损失多用七或八编码器均值，走廊图为七编码器中位，下游主图为八编码器均值，放置比值图漂移用七编码器中位、损失用七编码器均值并在稠密与稀疏组内池化。参照稳健性用 1000 次 12 对 12 说话人划分与 2000 次自助重采样检验，重新选参照条件并重加权漂移曲线，十四录制声加白噪声按七编码器中位上限交叉排序的划分半相关中位 0.975、最小 0.906，男女划分 0.968，能交叉声音的自助交叉标准差在能交叉的抽样上平均 1.99 分贝。
资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成验证的资源，因此不得声称代码、模型或数据已公开，复现只能按文中模型名、语料名与参数重搭流程。
声音、强度与放置的实验矩阵如何搭建？
实验矩阵分两步。第一步整段加入：在中性或平静 RAVDESS 与各任务语料上，把白噪声与 6 种录制声全程加入，录制声中前 4 种稠密占空比大于 0.6，后两种稀疏，观察漂移与损失随变响的分离。第二步搬位置：同一 7 种声音只在语音或只在暂停加入，暂停占比跨语料对齐，重点看 30 分贝、20 分贝等中等强度，以及 40 分贝及更安静处损失不足一点而漂移已可区分的区间。
外溢实验单独在 RAVDESS 上做：只汇聚局部输入窗不含注入采样的语音帧，算其平均表示漂移与全帧漂移之比，并按距最近注入的距离画逐帧漂移。层加权对照在白噪声流利命令 20 分贝实验上做，比较末层与任务头层加权输入处的暂停语音漂移比。区域相对口径对照把暂停强度换算为相对局部背景，检验最具音调声音仍在暂停安静 8 到 12 分贝即达下限，而 Whisper 在该口径下反而对语音更敏感。所有受扰音频各编码器完全相同，这是跨编码器比较公平的前提。
扰动种子 4 个，波动已在训练节交代。
整段干扰下漂移能否给任务损失排序？
整段干扰下的回答是能，而且优于只看占空比。下游主图显示稠密录制声随变响通常比稀疏声造成更大损失，在各自估计背景附近各任务表现不同：在 IEMOCAP 背景处最伤的稠密录制声在每个编码器上都使情感准确率掉 9 到 13 点，其他任务在各自背景附近变化较小，随变响稠密与稀疏的分离在四任务上都更清晰。
走廊图显示全部 14 类录制声在七编码器上都穿过下限，最稀疏的生成信号通常停在下限之下，20 种能交叉声音的占空比与交叉信噪比相关为 0.85，越连续越能在更安静处达到参照。下表比较不同排序依据与任务损失的平均斯皮尔曼相关，每个相关在给定信噪比下对 7 种整段声音排序，RAVDESS 交叉跨任务与强度复用。
表前比较问题是：在强度固定、声音类型变化时，哪个量更能预判哪种声音更伤任务，公平条件是同一强度、同一 7 种声音、同一四任务平均，指标方向是相关越大排序能力越强。
| Measure | 20 dB | 10 dB | 0 dB |
|---|---|---|---|
| Duty | 0.70 | 0.66 | 0.65 |
| Drift, task corpus | 0.81 | 0.86 | 0.88 |
| Drift, RAVDESS | 0.77 | 0.77 | 0.84 |
| Repeat-take crossing | 0.47 | 0.53 | 0.60 |
| Delivery-variation crossing | 0.82 | 0.88 | 0.88 |
表中任务语料漂移在 20、10、0 分贝的相关为 0.81、0.86、0.88，高于占空比的 0.70、0.66、0.65，也高于重复交叉的 0.47、0.53、0.60，与表达变化上限交叉的 0.82、0.88、0.88 接近，说明上限交叉跨语料迁移了部分排序能力。代价是相关不等于因果，且该结论限于整段放置与这 7 种声音，不能推广到换位置的情形。未胜出项也要保留：重复下限交叉排序能力最弱，占空比居中，表明只数连续程度不够，必须看表示本身。
表前比较问题延伸到走廊形态：在中性 RAVDESS 上整段加入不同连续程度声音时，漂移曲线何时进入重复到表达变化走廊，公平条件是同一七编码器中位、同一归一尺度，指标方向是归一漂移越大越接近表达变化。
看图路径： 1. 先看横轴信噪比从 80 到 0 向右变响，纵轴为除以重复录制参照后的末层余弦漂移；2. 再看灰色走廊下沿为重复录制、上沿为表达变化，实心点为达到下沿的位置；3. 对比连续噪声曲线与极稀疏滴答曲线的高度与交叉信噪比差异；4. 找到纵向虚线估计背景，确认多条曲线在背景左侧已进入走廊
论文图 1。原论文 Figure 1:：“Drift under whole-recording interference on neutral RAVDESS, normalized by each encoder’s repeat-take reference (seven-encoder median).”。
上图为中性 RAVDESS 上整段干扰的漂移走廊，纵轴为除以重复录制参照后的末层余弦漂移，横轴越向右越响，灰带为重复到表达变化走廊，实线为生成声、虚线为录制声，实心点为下限交叉，纵虚线为估计背景。可见连续声更早进入灰带，极稀疏滴答全程偏低，24 分贝跨度标注提示连续与稀疏达到同等漂移所需的强度差，背景线左侧多条曲线已在走廊内，支持低于背景仍可比重复录制的判断。
表前比较问题是下游分数形态：在四任务语料上整段加入白噪声与稠密稀疏录制声时，分数随变响如何分离，公平条件是同一八编码器均值、同一标称强度轴，指标方向是准确率越高越好、错率越低越好。
看图路径： 1. 先按图例区分方块白噪声、圆点稠密录制声与三角稀疏录制声；2. 再看上排四任务主曲线与下排靠近干净分数的放大视图；3. 核对每面板上方背景信噪比、干净分数与该背景下白噪声分数三行读数；4. 观察从背景向 0 分贝走时稠密与稀疏曲线的分离过程
论文图 2。原论文 Figure 2:：“Task performance under whole-recording interference from seven sounds (eight-encoder means).”。
上图为 7 种整段声音在四任务上的分数随强度变化，上排为主曲线、下排为靠近干净的放大，方块、圆点、三角分别对应白噪声、稠密与稀疏录制声，水平实虚线为干净与机会水平，纵虚线为语料背景，面板上方给出背景、干净与该背景下白噪声分数。可见稠密声在变响后显著偏离干净，稀疏声偏离更小，下排放大显示背景附近情感掉得最多，其他任务更接近干净，报告显示稠密与稀疏分离随变响更清晰。
把同一声音搬到语音与暂停，为何漂移与损伤反向？
搬位置后的回答是错位。在 30 分贝信噪比处几乎每个声音编码器组合在各语料上都是暂停漂移更大，而意图、说话人验证与识别通常是语音干扰损失更大。20 分贝稠密声使识别词错率在语音放置上升 5.6 点，在暂停仅为 0.5，约为语音期间 11 倍损失，但此处暂停漂移更大、任务损失更小。在 40 分贝及更安静处两放置平均损失都不足一点，漂移已能区分二者；随变响漂移差距缩小，某些强度下语音漂移与损失同时更大，因此错位依赖强度与位置。
情感是反例：20 分贝时仅 28 个声音编码器组合中语音更伤，暂停语音漂移比也小于其他语料，放置效应更弱。下表整理放置错位的关键数字，表头为条件、指标、语音放置、暂停放置与比较对象，数值与单位与原文连续句一致，指标方向为准确率下降或错率上升越大越差，漂移比越大表示暂停漂移相对越大。表前比较问题是：同一声音、同一标称强度下，换位置是否改变漂移更大侧与损失更大侧的一致性，公平条件是暂停占比对齐、同一强度，指标方向按上文。
| 条件 | 指标 | 语音放置 | 暂停放置 | 比较对象 |
|---|---|---|---|---|
| 20 分贝稠密声识别 | 词错率上升 | 5.6 points | 0.5 | about 11 times as much loss during speech |
| 背景处最伤稠密声情感 | 准确率下降 | 9–13 points | 9–13 points | on every encoder |
| 20 分贝情感组合 | 语音更伤占比 | 28 of 49 sound–encoder combinations | — | weaker placement effect |
| 20 分贝白噪声意图 | 暂停语音漂移比 | falls from 2.4 to 1.7 | — | speech remains more damaging |
表后解释是：主要收益为定位了代理失效的区间，安静到中等强度下不能用漂移大小断言任务损伤大小；具体代价是情感任务不符合多数规律，若把意图与识别的结论直接套到情感会误判。未胜出项是层加权把漂移比从 2.4 降到 1.7 但方向不变，说明任务头加权缩小差距却不翻转方向，线性分数权重正交解释仍待验证，支持有限解释而非已验证机制。
表前比较问题是比值图可见像素形态：在 4 个语料面板上比较蓝色漂移比与橙色损伤比随标称强度变化，以及右侧面板中相对漂移随距注入距离的变化，公平条件是漂移用七编码器中位、损失用七编码器均值并按组池化，指标方向是比值偏离等值线越远错位越大。此处必须披露错配：该资源网址为 fig4_placement_ratio_readable.svg，官方标签与图注仍写 Figure 3 及 7 种声音放置比例，但实际收到像素显示的是 4 个语料面板的漂移比与损伤比曲线加右侧距离衰减面板，以下只按可见像素解释，不把图注中的声音类别描述归给该图。
看图路径： 1. 先看左半四个语料面板横轴信噪比与纵轴镜像倍数及等值线位置；2. 再对比蓝色漂移比曲线与橙色损伤比曲线在安静到变响段的位置差异；3. 看右半横轴距注入毫秒数与纵轴相对漂移百分比随距离下降后走平
论文图 3。官方 HTML 将此资源标为 Figure 3，图注称七种声音在语音或停顿中的放置比例相近；但绑定 URL 的实际像素对应 Figure 4，左侧显示四个语料上表示漂移比与任务损伤比随信噪比变化，右侧显示停顿位移后的语音帧漂移随距离衰减。图注与像素错配，本段按绑定图像说明，不把原图注当成图像事实。
上图实际绑定像素并非图注所述的 7 种声音明细图，其网址为 fig4_placement_ratio_readable.svg。按可见像素解释：左半为 4 个语料面板的镜像尺度，上半为暂停效应更大、下半为语音效应更大，等值线在损失过小时兼作绘图基线，纵虚线为语料背景；右半为相对漂移随距注入毫秒数变化的面板。可见安静段蓝色漂移比多在上半、橙色损伤比多贴基线或在下半，中等强度橙色显著下探而蓝色仍在上半，较响处二者收敛；右图支持上下文把暂停影响带入语音帧且约 200 毫秒后走平的判断。保留来源图注证据，不改网址。
换口径、换层与只看语音帧时结论还成立吗？
3 组对照分别检验口径、层与池化。区域相对口径把暂停强度换算为相对局部背景，语音暂停差距缩小，但最具音调声音仍在暂停安静 8 到 12 分贝即达下限，两个 Whisper 在此口径下反而对语音更敏感，说明结论不是单一口径假象。层对照在任务头学到的层加权求和后重算漂移，白噪声意图 20 分贝暂停语音比从 2.4 降到 1.7，语音仍更伤，说明加权缩小但不改变方向。
池化对照只平均局部窗不含注入采样的语音帧，其漂移与全帧漂移中位比为 0.28，逐帧漂移随距注入距离在约 200 毫秒前下降后走平，删掉直接污染帧仍留下改变的语音表示。下表整理这些特有细节，表头同样为五列，数字与单位来自原文连续句，指标方向为比值或分贝差越大表示效应越强或越敏感。表前比较问题是：在更公平的局部对比、更贴任务的层输入与更干净的语音帧池化下，暂停干扰是否仍不可忽略，公平条件是同一声音、同一强度、同一编码器集合，指标方向按上文。
| 条件 | 指标 | 自监督五编码器 | Whisper 两编码器 | 比较对象 |
|---|---|---|---|---|
| 连续暂停声达下限 | 低于背景 | 24–34 dB below the estimated RAVDESS background | 4–18 dB below it | repeat-take reference |
| 语音帧池化与全帧比 | 中位比 | 0.28 | 0.28 | speech-only drift to all-frame drift |
| 划分半相关 | 中位与最小 | median 0.975 and minimum 0.906 | male/female split gives 0.968 | 12 对 12 划分 |
| 自助交叉标准差 | 均值 | averages 1.99 dB over draws that cross | averages 1.99 dB over draws that cross | sounds crossing |
| 末层与层平均上限交叉差 | 中位差 | differ by a median 6 dB | differ by a median 6 dB | main distance metric |
表后解释是：主要收益为 3 对照一致指向暂停干扰的真实性，不是平均嵌入混入污染帧的简单解释。具体代价是 Whisper 行为与其他编码器不同，且上限与下限交叉差中位 6 分贝提示换层会移动交叉强度，复现时必须固定末层；未评测边界是权重对齐检验留待未来，对线性分数权重正交的解释尚未测量，相关性不能当作因果。
语音帧 × 上下文传播： 语音帧负责提供只含语音输入的局部时间窗，是检验干扰是否外溢的观察窗口；上下文传播负责描述编码器把相邻暂停信息带入当前帧表示的机制，是外溢的原因；二者搭配的意义是即使池化时删掉被直接污染的帧，只要编码器有跨时建模，纯语音帧的平均表示仍会携带暂停干扰的痕迹，平均嵌入的漂移因此不能简单归因于被污染帧的直接叠加。
稳健性数字也要保留：划分半相关中位 0.975、最小 0.906，男女划分 0.968，能交叉声音自助交叉标准差平均 1.99 分贝，说明声音排序与交叉强度对说话人选择相对稳健，但仍有分贝级波动。
哪些边界未被测，不能承诺什么？
未被测的边界要逐条点名。编码器只覆盖 8 个冻结模型，漂移汇总只用其中 7 个，wav2vec2 大鲁棒模型因末层距离小约 1000 倍被排除在漂移汇总与配对比较之外，不能把七编码器漂移结论直接套到它身上。任务只覆盖意图、情感、验证与识别，验证与识别头按设计欠训练，干净分数与已发表结果有至多一点到两点的差距，比较的是从各自干净起的变化，不是绝对最优分数。
强度只扫到零下 5 分贝，声音只覆盖所选生成与录制集合，真实家居与远场混响、重叠人声与动态信噪比未被建模。统计上只报告跨声音排序相关与比值，未测量误判率、延迟、算力与输出帧率，不能承诺漂移排序能省算力或降延迟。线性权重正交只是可能解释，未测量嵌入变化与任务权重的对齐程度，不能当作已验证机制。总体趋势不等于每组都成立：情感放置效应弱、较响时语音漂移与损失可同时更大、Whisper 区域相对口径下对语音更敏感，都是对总论的限制。
缺失证据不是技术错误，但复述时必须用报告显示表达已测部分，用支持表达有限解释，用可能待验证表达未测机制。
复现先做什么，哪些参数必须原样保留？
复现先固定三处最易跑偏的地方。第一是语音活动检测与集合定义：用 Silero 语音活动检测标出语音采样，暂停为其补集，整段、仅语音、仅暂停按激活集合与语音集合的包含与不交实现，扰动不延长录音，单条前向。第二是强度口径：先按激活段均方根实现标记信噪比，扫 11 级从 80 到零下 5 分贝，再按片段背景实现区域相对换算，背景用 20 毫秒非语音帧中位均方根相对语音，RAVDESS 语料估计为负 37.9 分贝；稀疏声必须保留激活口径，不能偷换为整段口径，否则 10 到 22 分贝的差会吃掉结论。
第三是聚合与参照：末层时间平均后算余弦距离，走廊下限为重复录制最小平均距离、上限为表达变化最大平均距离，归一后下限为 1、上限为 6.5 到 8.2，漂移汇总用七编码器中位、损失用均值，任务头只在干净上训练并从各自干净算变化，扰动跑 4 个种子并报告 5 到 6% 波动。何时值得尝试是：当需要在安静干扰下比较不同声音的相对危害并做排序时，可用整段漂移先排。
当需要断言某次漂移大就一定更伤任务时，不值得单独用漂移下结论，必须补语音与暂停分开放置的对照，并补任务头层输入与语音帧池化两项检查，还需补权重对齐测量才能谈机制。
一句话收束：何时信漂移，何时信位置？
整段比较声音时信漂移的排序能力，任务语料漂移与损失平均斯皮尔曼 0.81 到 0.88 高于占空比的 0.65 到 0.70，上限交叉也有 0.82 到 0.88，这是可用的部分。换位置时信位置而非漂移大小，安静到中等强度下暂停漂移更大但语音更伤意图、验证与识别，40 分贝及更安静处损失不足一点而漂移已区分，情感是弱放置效应的例外，这是必须加的条件。
低于估计背景仍可进入走廊：自监督五编码器上连续白噪声、粉噪声与和弦在暂停达到下限时比背景安静 24 到 34 分贝，Whisper 为 4 到 18 分贝，占空比与交叉相关 0.85，这是安静干扰不可忽略的证据。暂停影响会走进语音帧：语音帧池化漂移与全帧比中位 0.28，逐帧漂移约 200 毫秒后走平，删污染帧不能删掉影响，这是平均嵌入的机制注脚。
最终的复述口径是：漂移帮助按声音排序损伤，但更大漂移不持续指示更大任务损失，任何部署判断都要同时报告强度、放置与任务名，否则就是把相关当成了因果。
📎 论文与评分元数据
排名：前50% | 文档类型：应用研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses