不对齐标签而累积特征：用时间平均的群延迟代替显式移位

英文题目：Revisiting Delay Compensation via Feature-Level Temporal Accumulation in Continuous Emotion Recognition

会议身份：conference:interspeech:2026:conference-paper-id:xiang26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #模型比较 #鲁棒性 #语音 #语音情感识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jian Xiang：机构信息未能从会议 PDF 纯文本可靠映射
• Jingyao Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Ting Dang：机构信息未能从会议 PDF 纯文本可靠映射
• Vidhyasaharan Sethu：机构信息未能从会议 PDF 纯文本可靠映射
• Eliathamby Ambikairajah：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

连续情感识别需从语音逐帧回归唤醒度与效度，人工持续标注存在感知、决策与动作延迟，导致预测与金标错位。作者提出累积延迟补偿，先用冻结的wav2vec 2.0 base提取语音表示并降采样至标注分辨率，再对每维特征施加因果滑动平均以群延迟引入延迟并同时平滑特征，最后送入受约束神经微分方程建模连续情感动态。滑动平均输出作为累积后特征向量进入微分方程求解器按固定步长积分，初始状态由累积后特征映射得到，形成从特征提取经时间累积到动态回归的方法链。与需截断与复制边界的平移延迟补偿不同，累积延迟补偿不修改输入标签对齐，延迟由积分窗长决定，具有更宽的近优区间。在RECOLA语料语音任务评测设置下，唤醒度上ADC的CCC指标为0.820±0.012，高于SDC的CCC指标0.811±0.021。统一有效延迟的公平对比显示效度优势显著而唤醒度差异不显著，部分维度消融表明高低频增益无显著差异。该结论适用边界受限于单语料单模态、五个固定种子及1秒到7秒窗搜索，效度最优窗长于唤醒度，跨语料与跨模态外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

标注为什么总比声音慢半拍？

输入是连续语音，目标是逐帧输出唤醒度和效价两条时间曲线。唤醒度可以白话理解为激活或平静的程度，效价可以白话理解为愉悦或不愉悦的程度。论文研究的就是语音连续情绪识别，也就是英文缩写 CER 代表的任务。

难点在于金标准标签来自人持续推动操纵杆或滑动条的感知记录。标注员要先听到声音，形成情绪判断，再执行手部动作，这个过程被原文称为反应滞后。结果是标签整体滞后于引起判断的那一刻语音，模型若直接拿当前帧语音去拟合当前帧标签，就会学到错位映射。必须保留的信息是这种滞后不是固定电路延迟，而是包含判断形成和动作执行的混合过程，原文还提醒神经证据显示情感反应可以在数百毫秒内出现，因此把延迟简单设为 2 到 4 秒的做法值得重新审视。

连续情绪识别 × 延迟补偿： 连续情绪识别负责把语音逐帧映射为随时间变化的唤醒度和效价值，而延迟补偿负责处理标注员感知、判断和推动操纵杆所需时间造成的预测与标签错位，二者搭配的原因是若不先说明错位来源，后续任何回归损失都会把时间偏差误当成数值误差来优化。

输出是 1 篇可复核的方法解读，读者应能复述输入如何变成特征、延迟如何被处理、用什么指标判定好坏。本文不评价代码是否公开，因为本次证据中没有任何完成验证的资源绑定，只能依据论文文字和已收到的 3 张原图像素写作。

已有路线如何处理这段滞后？

同输入同目标的已有做法主要是基于反应滞后的移位延迟补偿，英文为 shifted delay compensation，缩写为 SDC。它的做法是把标注序列整体平移一个假设的延迟秒数，训练时截掉开头的标签帧和结尾的特征帧，评估时再做对应的截断和复制对齐。原文引用先前工作指出该值常凭经验取 2 到 4 秒，对参数选择敏感，且需要在序列边界做显式截断。

同运行阶段的另一条线索是上下文建模。原文引用先前研究说明引入过去时间上下文会系统性影响连续情绪识别性能，并引入认知惯性的说法，即评价状态是通过随时间累积证据逐渐形成的。这为不移动标签、而是让模型看到一段历史提供了动机。

与本文的对照在于，SDC 假设标注是基于某一时刻信号形成的判断的延迟报告，本文假设标注是基于一段时间窗口内信息逐渐累积的评价过程。前者只引入延迟，后者同时引入延迟和平滑。本文的后端沿用受约束神经微分方程，英文为 Constrained Neural ODE，这不是本文新提出的，而是作为连续时间预测动力学的已有建模工具被采用。

要回答的具体问题是什么？

论文要回答 3 个可操作的问题。第一，有效累积窗口取多长时性能最好，唤醒度和效价是否需要不同长度。第二，在相同有效延迟下，累积法与移位法谁的峰值更高。第三，当时间参数偏离最优点时，谁的性能下降更慢，也就是对参数选择的鲁棒性。

移位延迟补偿 × 累积延迟补偿： 移位延迟补偿的分工是用一个纯延迟把整段标签向前或向后平移固定秒数，累积延迟补偿的分工是对过去一段输入特征做平均从而自然产生群延迟，二者搭配比较的理由是前者只改对齐位置不改特征形状，后者同时改变对齐和平滑程度，组合意义在于检验延迟本身与历史上下文各自贡献了多少性能。

教学例子仅为帮助理解，不代表论文数值：比如标注员在听到笑声后 1 秒才把操纵杆推向高愉悦，SDC 的做法相当于把整条标签前移 1 秒去对齐笑声，累积法的做法相当于让模型在笑声时刻看到过去几秒的平均声学特征，从而预测值自然滞后。例子中的 1 秒只是示意，论文实际在 1 到 7 秒范围内扫描有效延迟。

整体流水线经过哪三站？

按一个样本走完全程更易复述。输入是一段 300 秒的原始音频，目标是输出与 25 赫兹标注同长度的唤醒度或效价序列。第一站是特征提取，16 千赫重采样后的音频被切成 60 个不重叠的 5 秒块，送入冻结的 wav2vec 2.0 基础编码器得到 768 维隐表示，再经 2 帧均值池化把约 49 赫兹的编码器帧率对齐到 25 赫兹标注，并做边界补齐以保证长度精确匹配。第二站是输入级时间累积，把对齐后的特征沿时间做因果滑动平均得到延迟补偿特征。第三站是用受约束神经微分方程做时间序列预测，输入累积特征，输出情绪轨迹。

下面这张总览图把三站的衔接画了出来，读图时先抓主路径再看分支汇合，图中像素细节只描述本次实际看到的内容。

看图路径： 1. 先从顶部原始音频波形沿编码器箭头向下找到绿色特征序列 x0 到 xT-1；2. 再看左侧灰色复制扩展块如何为起始帧补齐长度为 N 的历史；3. 接着沿斜向累积窗口箭头观察绿色帧如何汇成粉色累积特征；4. 最后看粉色特征分两路分别预测初始值和驱动导数网络积分出黄色预测点

论文图 1。原论文 Figure 1：“Overview of the proposed framework.”。

图中顶部是原始音频波形，向下经黄色编码器得到中间绿色长条特征序列。从 x0 向左伸出灰色虚线块，红色复制箭头表示用首帧值向前扩展，以便起始帧也能做 N 抽头平均。斜向彩色箭头标出累积窗口，即每个粉色累积特征由其左侧一段绿色帧平均而来。底部粉色条为累积特征，黑色箭头表示由首个累积特征预测初始情绪值，粉色导数网络箭头和蓝色积分箭头表示每一步用当前累积特征和当前预测值求导再积分出下一步黄色预测点。这种画法直接对应了不移动标签、只改造输入的设计。

滑动平均如何同时产生平滑和延迟？

先讲符号与输入。记 xi[n] 为第 i 个特征维度在离散时间 n 的取值，N 为累积窗口的抽头数，h 为 N 抽头因果线性相位均值滤波器，其非零区间取值为 1/N。输出为卷积结果，也就是当前及过去 N 减 1 帧的算术平均。论文给出其群延迟为(N 减 1)/2 帧，换算成秒即有效延迟。对比用的标准移位补偿对应纯延迟滤波器，只把序列整体延迟而不做平均。

特征级时间累积 × 群延迟： 特征级时间累积负责沿每个特征维度对过去 N 帧求均值，群延迟负责刻画该均值滤波器使输出整体滞后的等效秒数，搭配原因是 N 抽头均值滤波器的群延迟约为(N-1)/2 帧，组合后可以用窗口长度这一个可调量同时控制融入多少历史和等效延迟了多少秒。

计算目标是得到与原序列等长的延迟补偿特征。实现上对训练中常见的大量短语音段，特征流在负时间部分用常数扩展补齐，即用初始帧值填充 n 为负的位置，使 N 抽头滤波器输出与原输入等长。时域看这是时间累积，频域看这是低通滤波。论文明确指出，累积法既随时间平滑特征又向输入流引入延迟，而移位法只引入延迟。边界处理的区别很关键：实践版移位法要截断序列，累积法和后文公平版移位法都工作在同一条经首帧扩展的序列上，只是所加滤波器不同，从而把边界效应与延迟机制分开。

模型如何从累积特征学到轨迹？

后端采用受约束神经微分方程作为拟合主干。输入是累积后特征向量与当前情绪预测值的拼接，记作拼接后的向量。动态函数是一个 3 层多层感知机，输入维度对应 128 维投影特征加 1 维当前预测，隐层为 64 维，输出为情绪值的时间导数。该导数再经约束函数缩放以保证稳定性，约束形式把导数限制在正负阿尔法之间，论文取阿尔法为 1。求解器按 0.04 秒固定步长积分得到整条预测序列，初始值由一个线性头根据首个累积特征预测得到。

受约束神经微分方程 × 一致性相关系数： 受约束神经微分方程负责把累积后特征和当前预测值映射为情绪值随时间的变化率并积分得到连续轨迹，一致性相关系数负责同时衡量预测与金标准在相关性和均值方差一致性上的吻合，搭配原因是前者保证预测轨迹平滑有界，后者把这种轨迹质量转化为可做早停和选参的单一训练损失。

监督来源是金标准标注，损失为 1 减去一致性相关系数，英文为 concordance correlation coefficient，缩写为 CCC。该系数同时考虑预测与标签的皮尔逊相关以及均值方差的一致性，越高越好。特征投影模块为两层多层感知机，把 768 维映射到 256 再到 128 维，训练时该模块被冻结以避免前端与累积法的交互，真正更新的是动态函数和初始值预测头。优化器为 Adam，学习率为 0.01，配合衰减率为 0.9 的指数学习率调度，依据开发集 CCC 早停，耐心为 10 轮，每个设置用 5 个固定种子重复。原文未报告梯度在编码器和投影层的具体截断实现之外的细节，本文不从冻结名称推定其他实现，只按证据说明编码器和投影模块冻结、后端更新。

数据、划分和扫描网格如何固定？

数据采用 RECOLA 语料，遵循官方训练和开发划分，开发集同时用于早停和最终评估。每条语音长 300 秒，标注分辨率为 0.04 秒，含初始帧共 7501 帧。采用金标准标注作为真值。音频重采样到 16 千赫，编码器输出经处理后与标注精确等长。

比较围绕有效延迟组织。先前工作报告最优移位延迟多在 2 到 4 秒，论文据此在 1 到 7 秒内评估有效延迟，其中 1 到 4 秒密集覆盖常用最优区，更大延迟用于观察超出该区后的衰减。对累积法，累积窗口秒数按约 2 倍有效延迟换算，并评估 1 到 15 的整数抽头以密集刻画行为。评估指标为 CCC，方向为越高越好，聚合方式为 5 个种子上的均值和标准差，部分还做单侧 Wilcoxon 符号秩检验。

两种比较必须分清。实践级比较采用先前常用的基于显式重对齐的移位法，训练时截掉前几秒标签和后几秒特征，评估时丢弃后几秒预测并复制首个预测以对齐长度。公平比较则让两种方法工作在同一条经首帧扩展的序列上，分别加均值滤波器和纯延迟滤波器，从而孤立延迟机制本身。缺项是原文未报告训练硬件、耗时和推理开销，本文不能承诺延迟或成本改善。

峰值相当、鲁棒性谁更好？

下面先看实践层比较的最佳延迟与峰值表现，以确认累积法在不重对齐下是否达到相当水平。

表后解释需要同时看到收益与代价。唤醒度上累积法在 2 秒有效延迟取得 0.816，略高于重对齐移位法在 1.5 秒的 0.808。效价上累积法在 6 秒取得 0.485 但有一个种子失效即 CCC 低于 0.1，剔除失效后最好点在 4.5 秒为 0.484，仍高于移位法在 3 秒的 0.473。2 维度最好累积法都超过本研究基线即唤醒度 0.746 和效价 0.385。未胜出项是效价长窗下出现单种子失效，说明长累积并非对所有初始化都稳定，这是复现时必须注意的边界。

表后解释是唤醒度两者相当，单侧检验 p 为 0.094 不支持累积法显著更好，效价累积法更高且 p 为 0.031。维度特异性也同时显现，唤醒度偏好较短积分窗，效价受益于更长窗口，这支持了评价过程的时间尺度因维度而异的判断，但原文只是报告现象，未验证因果。

灵敏度分析的读法需要先理解区间定义，再观察原始参数空间与统一有效延迟下分组柱状差异。

看图路径： 1. 先看 A 面板横轴时间参数与纵轴 CCC 构成的钟形曲线及 95% 峰值水平线；2. 再看 B 面板原始参数空间下蓝色 ADC 柱明显宽于橙色 SDC 柱的分组；3. 最后对比 C 面板统一为有效延迟后唤醒度仍保留优势而效价优势消失

论文图 2。原论文 Figure 2：“Sensitivity analysis of ADC and SDC. (A) Illustration of the sensitivity interval definition.”。

A 面板用一条钟形 CCC 曲线示意灵敏度区间的定义，横轴为时间参数秒数，纵轴为 CCC，水平虚线为峰值乘以 0.95，紫色双向箭头标出的跨度即性能保持在峰值 95% 以上的参数范围。B 面板在原始参数空间比较，蓝色累积法柱在唤醒度 95%、唤醒度 98% 和效价 95% 上都明显宽于橙色移位法柱，说明按各自原生参数即窗口长对移位秒数衡量时，累积法近优区更宽。C 面板统一为有效延迟后，唤醒度上累积法仍更宽，效价上两者区间接近、无明显优势。总体判断是原文报告累积法在原始参数空间鲁棒性更好，在统一延迟下仅唤醒度保留优势，不能推广为所有条件下都更鲁棒。

提升只是低通去噪吗？

测什么很明确：如果提升主要来自低通滤波去掉高频噪声，那么高频成分更强的维度应从累积中获益更多。与谁比也很明确：只对选出的少数维度用累积、其余维度用对齐到相同有效延迟的移位法，作为部分累积对照。条件是否一致是肯定的，同一批种子、同一截止频率决定通带与阻带划分，再按阻带与通带功率比排序挑选前三和后 3 维度。指标方向仍为 CCC 越高越好。

表后解释是靠前与靠后维度差异很小，单侧检验 p 在唤醒度为 0.781、效价为 0.500，均不支持高频维度获益更大。未胜出项恰是该反证本身：它不支持去噪是主因。论文据此提出一种可能但待验证的解释，即滑动平均使不同延迟处的特征值更相似，从而对延迟参数变化更不敏感。注意这只是有限解释，不是因果证明。

下面这张平滑分析图把上述对照的构造画了出来，有助于复述如何挑选维度。

看图路径： 1. 先看上方面谱图横轴频率与纵轴功率谱密度及蓝色 -3 dB 截止线位置；2. 再对比橙色虚线 Bottom 维度与蓝色实线 Top 维度在通带和阻带的相对高低；3. 最后看下方示意图中仅单个维度走 ADC 而其余维度走 SDC 的对照构造

论文图 3。原论文 Figure 3：“Illustration of the smoothing analysis.”。

上方面谱图横轴为频率赫兹，纵轴为功率谱密度，蓝色实线为示例 Top 维度 60，橙色虚线为 Bottom 维度 53，蓝色竖虚线为均值滤波器的 -3 dB 截止频率，顶部括号分别标出通带功率和阻带功率，比值即排序依据。下方示意图左右分别为 Bottom 单维度走累积和 Top 单维度走累积，其余绿色维度走移位补偿，橙色和蓝色高亮条即被选中的单个维度。该图支持的判断是挑选逻辑可复现，但它本身不证明性能差异，性能结论仍以前表数字为准。

哪些边界尚未被验证？

直接报告的限制有三处。第一，效价在最长窗下出现单种子失效，说明峰值附近稳定性不如唤醒度，复现时不能只看均值，还要检查各种子是否出现低于 0.1 的坍缩。第二，鲁棒性优势依赖于参数空间的定义，在统一有效延迟下效价无明显优势，因此不能笼统宣称累积法处处更不敏感。第三，平滑对照只做了前三与后 3 维度的部分累积，未评测全维度逐维消融之外的其他频率划分，也未测量误判率、延迟和计算成本。

未验证的推测需要明确标出。原文关于特征值更相似带来鲁棒性的说法用了可能一词，应理解为待验证假设。关于认知惯性和随时间累积证据的动机属于理论启发，不是本文测量的标注员行为数据。相关性不等于因果，长窗口与高效价 CCC 同时出现，不代表长窗口必然导致高效价。总体趋势也不等于每组每步成立，灵敏度柱状图本身带有跨种子的误差棒，效价区间的误差棒尤其宽。

要复现应先固定什么？

复现先做三件事。第一，固定数据与划分，按官方训练和开发划分使用 RECOLA，金标准为监督，每条 300 秒、7501 帧、0.04 秒分辨率，音频重采样到 16 千赫，切 60 个 5 秒块再经冻结 wav2vec 2.0 基础编码器和 2 帧均值池化对齐到 25 赫兹，并做首尾帧补齐以保证等长。第二，固定后端与训练，投影层冻结，动态函数为 129 到 64 到 64 到 1 的 3 层结构，约束阿尔法为 1，求解器步长 0.04 秒，相对容差 1e-7、绝对容差 1e-13，损失为 1 减 CCC，Adam 学习率 0.01 加指数衰减 0.9，早停耐心 10 轮，5 个固定种子重复。第三，固定扫描网格，有效延迟取 1、1.5、2、2.5、3、3.5、4、5、6、7 秒，累积抽头取 1 到 15 的整数并按窗口秒数约 2 倍有效延迟换算，缺失网格点用相邻运行线性插值估计 CCC。

还需补的验证包括在其他语料和多模态输入上重复维度特异性结论，记录训练与推理耗时和内存，以及报告每个种子的完整曲线而非仅峰值。关于可用性，本次证据中资源状态为无绑定完成验证，因此只能写本次未能确认代码、模型或数据可达，不写已公开或当前可用。

何时值得尝试累积法？

当任务是逐帧情绪回归且怀疑标签存在秒级滞后时，值得把累积法作为与移位法并列的第一候选，尤其在唤醒度上它在相同有效延迟下与移位法相当且对参数扰动更宽容。效价若尝试长窗，应从 4.5 秒有效延迟附近开始，并同时监控多个种子的稳定性，避免直接跳到 6 秒以上长窗。

复述方法的关键句是：不移动标签，用过去 N 帧的均值改造输入，均值的群延迟即等效补偿，边界用首帧复制补齐，后端用受约束微分方程积分出轨迹，选参看 CCC 峰值与 95% 或 98% 峰值的参数跨度。论文特有的误解需要澄清：累积不等于简单平滑去噪，部分累积对照已显示高频维度并无额外获益；鲁棒不等于处处最优，统一延迟下效价的鲁棒优势即消失；长窗不等于总是更好，个别种子会在过长窗下失效。综合来看，该文的价值在于提供了一种可分解、认知上可解释的延迟表述，即把延迟看作结构性时间积分的结果，而不是一次性的标签搬运。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总