📄 Do SpeechLMs Hear Their Own Opinions? Diagnosing and Mitigating Previous-Belief Contamination in Streaming Emotion Understanding
标签：#语音情感识别 #语音大模型 #流式处理 #鲁棒性
8.9/10 | 创新 1.9/2 | 严谨 1.5/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.4/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.4/1.5
🔥 8.9/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #语音情感识别 | #语音大模型 | #流式处理 #鲁棒性 | arxiv
👥 作者与机构
第一作者：Haoyue Liu（The Chinese University of Hong Kong, Shenzhen，School of Science and Engineering） 通讯作者：正文未明确标注 作者列表：Haoyue Liu、Zhichao Wang、Ye Chen、Haonan Deng、Xiaoying Tang（机构：The Chinese University of Hong Kong, Shenzhen；XJTU-POLIMI Joint School, Xi’an Jiaotong University；University of California, Berkeley）
💡 毒舌点评
这篇工作最有说服力的地方，是用完全相同的当前音频证明上一标签会直接改写感知，而不是把流式退化含糊归因于误差累积。acoustic firewall 的修复位置也与诊断结论一致。需要压住的宣传是“已解决污染”：兼容性的闭式算子仍比无历史控制低 18.61，且 2 套固定标签基准、未开放缓存和后验可访问假设都限制落地。
📌 核心摘要
流式情感识别常把上一时刻的预测标签写回后续提示，目的是让模型保持状态连续。然而这会产生更危险的反馈：历史标签可能在模型形成当前音频判断之前就改变感知，而不只是事后平滑状态。本文把这种 previous-belief contamination 单独定义，并用同一音频片段在不同历史标签下的反事实后验直接测量。
CREMA-D-Stream 的 120 个平衡片段分别注入 6 种候选历史标签，形成 720 种条件。只改变历史标签就让当前音频准确率从 72.5% 降到 30.42%，65.69% 的预测发生翻转；在错误历史条件中，71% 的结果被拉向注入标签。标签间拉力呈现极宽的逐标签跨度，说明单个全局黏性参数无法解释污染。
EmoUpdate 把感知和状态更新拆开：acoustic firewall 先在不含历史的条件下形成当前观察，随后 evidence-shrunk causal belief filter 才引入历史，并在转移证据不足时向对称先验收缩。若服务接口无法隔离历史，系统用同一反事实矩阵构造闭式去污染算子，不训练新模型，也不增加在线策略调用。
4 个 SpeechLM、2 个流式基准组成的 8 种组合中，EmoUpdate 的 step accuracy 与 state-balanced accuracy 均为最佳，最大增益分别为 38.41 和 69.71。不过闭式补救只把暴露准确率恢复到 53.89%，仍低于 72.5% 的无历史控制。结果证明了污染及分离感知的价值，但没有证明固定情感 ontology 之外同样有效。
🔗 开源详情
论文没有给出 EmoUpdate 代码、posterior cache、CREMA-D-Stream 与 HumDial-En 派生划分或固定版本结果仓库。方法虽无需训练新模型，但核心复现实物仍未开放；正文中的算法和公式只能支持自行重建，难以满足开放实现锚点，因此开源分为零。
🏗️ 方法概述和架构
诊断首先构造可识别的因果对照。对每个当前音频片段，指令、解码方式和音频内容保持不变，只替换提示中的上一情感标签。无历史暴露的后验作为控制，每种注入标签产生反事实后验；准确率衡量最终分类，flip rate 统计相对控制的标签改变，wrong-prior pull 只看错误先验是否把结果拉向自身，JSD 则比较完整后验分布。这样可以把普通识别误差和由历史文本额外造成的偏移分开。
沿下图比较相同当前音频在不同历史标签下的路径，重点判断历史信息是在声学观察形成前污染感知，还是在观察之后才参与状态更新。
图中箭头先让 acoustic firewall 形成 prior-blind 观察，再由 causal filter 引入经证据收缩的历史；历史只在观察形成后参与状态更新，CREMA-D-Stream 上的效果仍要由 accuracy 与 S-BAcc 验证。
CREMA-D-Stream 诊断集按 6 种情感各取 20 个片段，共 120 个；每段注入 6 种候选上一标签，得到 720 条件。逐标签矩阵不仅报告平均污染，还保留高度非对称的逐标签转移结构。提示中即使明确要求忽略历史，错误先验拉力仍很高，因此问题难以简化为提示措辞。
在线主路径是 prior-blind acoustic firewall。SpeechLM 先只看当前音频形成观察后验，历史状态不参与该步骤。随后 evidence-shrunk causal belief filter 才将观察与历史转移结合；当数据不支持某个标签转移时，估计向对称先验收缩，证据充分时才保留标签特定动态。CREMA 的转移近似均匀，收缩系数自动为零；HumDial-En 的证据较强，系数为 0.87。
这一顺序与把历史直接拼入提示不同。直接拼接让历史参与声学观察的形成，污染无法由后端平滑完全撤回；EmoUpdate 则把历史限制在状态修订阶段。评价同时使用 step accuracy 和 state-balanced accuracy，后者减轻状态频率不均造成的虚高，并与多种受控历史策略比较。
当现有服务栈无法禁止历史进入感知时，作者从反事实污染矩阵推导闭式去污染算子。算子复用离线测得的标签转移，不需梯度训练，也不增加每片段调用数。交叉验证时，它将暴露准确率从 30.42% 提高到 53.89%，并把 wrong-prior pull 从 71% 降到 12.17%，但仍无法达到无历史控制。
实验冻结 4 个 SpeechLM，并在 CREMA-D-Stream 与 HumDial-En 上复用相同 posterior cache 比较 7 类策略。共享缓存确保不同状态规则不会因额外模型调用或随机解码获得优势。不过这种可控性依赖能访问标签后验与离线构造流式划分，黑盒只返回单一标签的接口不一定满足条件。
💡 核心创新点
最重要的创新是把“历史有帮助吗”改成“历史在观察形成的哪个位置进入”。固定当前音频、只干预上一标签的设计把 previous-belief contamination 从相关现象变成可量化因果效应；准确率骤降、翻转率和 wrong-prior pull 同时指向同一故障。
逐标签非对称得以保留，而非压成统一平滑强度。4.76% 到 98.2 的 prior pull 范围表明，不同情感历史对当前类别的吸引力差异极大。evidence-shrunk filter 只在数据支持时保留这种结构，CREMA 与 HumDial-En 自动得到不同收缩系数。
相同诊断矩阵同时服务于机制诊断和补救。能改变调用链时，acoustic firewall 在观察前隔离历史；难以改变时，闭式算子在后验层去污染。2 条路径都无需更新 SpeechLM 参数，也没有把优势建立在更多在线调用上，使机制判断和系统选择相互对应。
创新边界同样清楚。闭式算子并未完全恢复无历史准确率，说明后验修正难以撤销所有内部表征污染；固定情感标签集和可访问后验也是强假设。方法目前解决的是流式分类状态反馈，不等同开放式情感解释、连续维度跟踪或真实对话中的多源记忆治理。
评测设计还把诊断上限纳入方法比较：无历史控制给出可恢复性能的参照，闭式算子与该上限的 18.61 差距被明确保留。把未完全恢复的负结果写进主结论，使防火墙和兼容补救的适用顺序有数据依据，而不是把 2 条路径包装成等价方案。
📊 实验结果
核心诊断与补救结果可放在同一受控表中：
3 个受控条件回答同一音频在无历史、注入标签和闭式算子下的差异，分别给出性能上限、污染量与可恢复部分。
| 条件/设置 | 当前音频准确率 ↑ | 预测翻转或先验拉力 ↓ |
|---|---|---|
| 无历史暴露控制 | 72.50% | 0% 控制后验 |
| 注入历史标签 | 30.42% | flip 65.69%；wrong-prior pull 71.00% |
| 闭式去污染 | 53.89% | wrong-prior pull 12.17% |
但 720 个 CREMA-D 反事实消融条件表明，保持音频和解码不变时，仅历史文本就能造成 42.08 个百分点的准确率损失。翻转率说明这不是少数边缘样本，wrong-prior pull 又证明变化具有朝注入标签移动的方向性。逐标签范围 4.76% 至 98.2% 进而否定统一黏性解释。
在 4 个 SpeechLM 与 2 套基准组成的 8 种设置中，EmoUpdate 的 step accuracy 和 S-BAcc 均领先受控基线，最大提升分别为 38.41 与 69.71 个百分点。这里的“最大”难以解释为每个模型都获得相同幅度，但 8 个设置方向一致，支持感知—更新分离具有跨模型稳定性。
闭式算子的结果既是正面证据也是负面边界：它把准确率提高 23.47 个百分点，并把错误先验拉力压低 58.83 个百分点，却仍比控制低 18.61 个百分点。若可以修改调用链，应优先阻止污染发生；后验去污染适合作为无法隔离历史时的兼容补救，而不是等价替代。
🔬 细节详述
诊断集从 CREMA-D-Stream 开发部分抽取 120 个平衡片段，每个情感 20 个。6 种历史标签逐一注入同一片段，所有条件保持音频、指令和解码固定。后验缓存使 7 类策略在同一次 SpeechLM 调用结果上重放，避免某个方法通过多调用或不同随机性获益。
wrong-prior pull 的分母只包含注入错误历史的条件，回答错误先验是否把预测吸向自己；flip rate 则对比有无历史时的最终标签，JSD 使用完整分布。三者对应方向性、离散改变和分布变化，难以相互替代。准确率从 72.5 到 30.42、翻转 65.69% 与拉力 71% 共同排除了单纯置信度抖动。
状态滤波中的收缩系数来自观测证据。CREMA 转移结构接近均匀，系数自动为零，意味着不保留虚假的标签特定历史；HumDial-En 为 0.87，说明该数据存在更强可用动态。这个差异是方法自适应性的关键，但也意味着新域需要足够校准数据估计转移。
闭式去污染在平衡干预网格上交叉验证，难以直接用相同件拟合再评估。它将准确率从 30.42% 提高到 53.89%，将 wrong-prior pull 从 71% 降到 12.17%。残余差距提示历史可能已影响模型内部表示，单纯线性后验操作无法恢复所有信息。
当前实现不训练参数，但不代表零前置成本：需要构造流式划分、缓存每类反事实后验并选择情感 ontology。论文未发布这些缓存、派生数据划分或实现仓库；不同模型 API 若只返回硬标签、不返回概率，也无法按相同方式复现滤波和去污染。
⚖️ 评分理由
创新性 (1.9/2)：固定当前音频只干预上一标签，首次把流式情感历史污染变成逐标签因果诊断，并从同一矩阵导出去污染算子，创新性很强。
技术严谨性 (1.5/1.5)：prior-blind 防火墙先形成观察、证据收缩滤波器后更新状态，诊断和修复因果顺序一致；固定 ontology 与后验可访问假设限制一般性。
实验充分性 (1.4/1.5)：4 个 SpeechLM、2 套流式基准、7 类受控基线及 720 个干预条件证据充分，闭式修复仍低于控制上限的负结果也被保留。
清晰度 (0.9/1)：准确率、翻转率、wrong-prior pull、JSD 和 S-BAcc 的定义与方向清楚，控制暴露、状态更新和不可隔离接口 3 种设置区分明确。
影响力 (1.4/1.5)：历史自反馈污染是流式语音情感系统的直接可靠性问题，标签非对称达到 4.76 至 98.2 说明影响显著；任务仍限固定情感集合。
开源 (0.0/1.5)：全文没有发布 EmoUpdate 代码、后验缓存或构造后的 CREMA-D-Stream 与 HumDial-En 划分，因此核心复现实物未开放。
可复现性 (0.4/0.5)：干预网格、收缩系数和主要评价协议可从正文重建，但缺后验缓存、划分与实现仓库，完全复现仍依赖较多自行工程。
工程/实践价值 (1.4/1.5)：方案无需训练，防火墙路径也不增加额外策略调用，部署代价低；无法隔离历史时的闭式修复只恢复到 53.89，仍有显著残差。
🚨 局限与问题
诊断主要基于固定情感 ontology 和 2 套流式基准，改善不能直接外推到开放式情感解释或真实在线噪声。去污染算子仍未恢复到 prior-blind 控制准确率，且框架依赖可访问标签后验或可做离线反事实校准。
进一步审视
2 套基准都使用固定、离散的情感集合，标签转移可枚举；开放式描述、连续效价唤醒度、多说话人情绪与真实在线噪声没有验证。反事实注入能识别历史文本的因果影响，但难以代表实际系统中同时发生的 ASR 错误、轮次错位和长期记忆压缩。
方法需要访问标签后验并进行离线反事实校准。只返回单一标签的封闭接口难以估计 JSD、转移矩阵或闭式算子；新语言和新 ontology 也要重新测量非对称结构。闭式补救仍低于 prior-blind 控制，难以被描述为完全消除污染。
代码、后验缓存和派生流式划分尚未开放，使论文给出的丰富数字难以被第三方逐条件复核。部署还需监控情感状态的群体偏差与错误累积，尤其难以把受控基准的最大增益直接外推到心理健康、客服或高风险决策场景。