在过拟合与欠拟合之间架桥：用类原型扩散重塑语音情感表示

英文题目：Diffusion Bridge Learning Between Overfitted and Underfitted Representations for speech emotion recognition

会议身份：conference:interspeech:2026:conference-paper-id:lee26w_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #鲁棒性 #跨语言 #语音 #语音情感识别

评分：5.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Shi-wook Lee：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音情感识别需从语音波形映射到离散情绪标签，难点在于情绪线索微弱且与说话人、信道和语言内容纠缠，小规模语料极易诱发过拟合。该方法先从同一骨干不同训练阶段抽取配对表征并以类内均值构建类别原型，再用共享条件去噪器学习域内样本与原型双向随机映射。接着以配对对齐与循环一致约束稳定几何变换，最后用共享分类器与对数几率对Kullback-Leibler（KL）正则保持判别结构。与直接跨域翻译或强制域不变不同，该设计以原型为中介做类中心化重塑，旨在保留决策边界同时平滑过特化方向。在英语训练、日语测试的跨语言设置下，异质桥接后模型的准确率WAR为51.74%，高于桥接前基线的准确率WAR 45.32%。结论仅在英语与日语的4类情绪语料间验证，未证明对噪声、说话人或大规模自然分布的有效性。跨噪声与大规模自然分布的外推尚未验证，适用边界受限于上述双语实验。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么跨语言很难？

这篇论文只研究 1 个任务：语音情感识别，也就是从一段语音推断说话人的情感状态，类别包括愤怒、高兴、中性、悲伤 4 类。输入是一段 utterance 的波形，目标是输出情感标签。初学者容易把这个任务理解为只要声学特征足够强就能分对，但原文强调的难点在于情感线索微弱，并且与说话人特质、录音条件、语言内容纠缠在一起，而可用的情感语料通常规模小且异构。

在这种条件下，现代深度模型可以在域内取得高分，却依赖数据集特有的伪相关，换一个语料就失效。论文把跨语言作为最严格的检验：在英语的 IEMOCAP 与 MSP-IMPROV 上训练，到日语的 JTES 上测试，反过来也测 1 次。英语与日语在语言学上距离较远，声学分布、韵律习惯、录音流程都不同，因此跨语言性能直接反映模型是学到了情感本身，还是学到了某个语料的捷径。

必须保留的关键信息是：骨干编码器采用预训练的 HuBERT Large，整体流程跟随 SUPERB 的语音情感配置；评价指标是加权平均召回率，即按每类样本数加权的总体准确率，越高越好；资源状态方面，本次收到的证据中没有绑定且完成验证的代码、模型或数据链接，因此不能声称代码或权重已公开，复现只能依据论文文字重做。

已有路线做了什么，为什么还要谈训练阶段？

进入方法前需要先定位 3 条相关路线。第一条是自监督语音表示，以 wav2vec 2.0、HuBERT、WavLM 为代表，它们提供可迁移的编码器，可以冻结做特征，也可以微调，这是当前语音情感识别的标准起点。第二条是数据增强与域泛化，例如 Mixup、流形 Mixup、对抗域不变学习，它们通过改造输入或显式约束域不变性来提升泛化。第 3 条是扩散生成建模与扩散桥，原文引用去噪扩散概率模型、基于分数的随机微分方程，以及扩散薛定谔桥与去噪扩散桥模型，说明如何在两个端点分布之间构造随机路径。

本文与上述路线都不重合。它不改造波形输入，也不显式做域对抗，而是把训练轨迹本身当作结构来源。依据是表示动力学的观察：训练早期表示相对平滑通用，后期表示越来越特化、判别性更强。在语音情感中这个转变很明显，早期鲁棒但类分离弱，晚期判别锐利但容易对齐语料特异因素。已有方法通常只用一个检查点或一种微调策略，等于默认站到权衡的一边。

因此论文提出的问题是：能否显式连接欠拟合的早期表示与过拟合的晚期表示，组合各自的互补优势。教学上可以这样理解，这不是在两个语言之间翻译，也不是在两种模型之间蒸馏，而是在同一骨干的不同训练阶段之间做表示空间的几何手术。例子：同一个英语愤怒样本，早期表示可能与其它愤怒样本离得不远但也不近，晚期表示把英语愤怒聚得很紧却把日语愤怒推远，桥的作用就是把后者的过紧聚类适当打散，同时不丢掉愤怒与中性的边界。

问题如何形式化？过拟合与欠拟合各指什么？

论文把问题形式化为表示空间的变换学习。记 D 取 A 或 B 为两个表示域，它们来自同一骨干编码器的不同训练阶段，A 对应晚期过拟合表示，B 对应早期欠拟合表示。对每个 utterance i，假设有配对表示与标签三元组，两个域的维度相同。训练前先用训练集上联合统计做标准化，这是为了让两个域的尺度可比，避免一个域的范数主导距离计算。

关键定义是类原型。对每个域 D 与每个类别 c，原型是训练集中该类所有样本表示的经验均值。这是一个确定性动作：把同类向量加起来除以个数，得到类中心。原型不随单样本抖动，因此适合做锚点。目标不是直接学 A 到 B 的映射，而是学各自域内样本与原型之间的随机桥，即 A 与其原型之间、 B 与其原型之间各一组双向变换。

欠拟合表示 × 过拟合表示： 欠拟合表示指训练早期提取的表示，分工是保留更平滑、更通用的几何，对语料特异因素不敏感但类间分离不足；过拟合表示指训练晚期提取的表示，分工是提供更锐利、任务判别性更强的方向，但容易对齐数据集特有声学线索。搭配理由是二者在训练轨迹上天然配对、互补了鲁棒性与判别性，组合意义在于不直接二选一，而是把二者作为两个端点，用随机几何变换在保留情感语义的同时平滑过特化方向。

沿一个样本走一遍有助于建立依赖：输入一段英语语音，先经 HuBERT 编码得到晚期向量 a 与早期向量 b，查到其真实标签 y 对应的两个原型，再把 a 送入样本到原型的桥得到更靠类中心的新向量，最后用共享分类器判别。若桥学得好，新向量在跨语言测试时更少依赖英语特有的锐利方向，从而在日语上保持可分。

方法全景：原型中介的扩散桥如何组织？

全景可以分为 4 步。第一步是准备端点与原型：训练好或选定早期与晚期编码器，抽取配对表示并计算类均值原型。第二步是条件扩散建模：在表示空间上定义前向加噪过程，用轻量条件多层感知机做去噪器，预测加入的噪声。条件编号有 4 个，分别编码域与角色：0 表示 A 域样本，1 表示 A 域原型，2 表示 B 域样本，3 表示 B 域原型。第三步是桥约束：对去噪器输出的干净估计施加成对对齐与循环一致性，让样本到原型与原型到样本互相可逆。第 4 步是判别保持：用共享多层感知机分类器对原始端点与翻译后表示同时做交叉熵，并用对数几率对 KL 让软分布对齐。

类原型 × 扩散桥： 类原型分工是充当类中心的稳定锚点，用训练集同类样本均值定义，为随机变换提供目标；扩散桥分工是学习样本与原型之间的随机路径，用条件去噪过程实现可采样的映射。搭配原因是直接在早期与晚期表示之间翻译不稳定，而以原型为中介把问题分解为各自域内的样本到原型、原型到样本，组合后形成更以类为中心的几何，同时仍保留不同训练阶段的结构差异。

最终目标是加权求和，权重分别控制噪声预测、成对、循环、原始分类、翻译后分类与 KL 六项。实验中固定后四项为 1，只调节成对与循环的权重，记为高权重、低权重与无权重三档。推理时评估两种表示：原始表示，以及样本到原型翻译后的表示，用同一分类器打分，比较是否更具类中心组织与域外泛化。需要强调的是，论文没有声称直接翻译跨阶段，而是用原型中介同时反映训练阶段相关的结构，这是稳定随机翻译的设计理由。

去噪器与样本-原型翻译具体算什么？

先讲符号与输入。记 t 为离散扩散步，前向加噪把干净表示与高斯噪声按噪声表加权相加，噪声强度由调度与尺度参数控制。去噪器的输入是带噪表示、时间步与条件编号，输出是对噪声的预测。训练时对两个域的样本与原型都计算噪声预测误差，这是表示空间扩散的基础监督。

再讲翻译目标。从带噪表示出发，用预测噪声反推干净估计，这是标准的去噪公式应用。论文据此定义域内双向翻译：样本到原型用原型条件，输入是样本加噪后的版本；原型到样本用样本条件，输入是原型加噪后的版本。B 域同理，只是条件编号换成对应的 1 对。直观上，去噪器学会了在不同条件下把噪声拉回不同的流形，条件切换就实现了角色切换。

成对对齐 × 循环一致性： 成对对齐分工是直接监督单步翻译的终点，要求样本到原型的输出接近真实原型、原型到样本的输出接近真实样本；循环一致性分工是要求往返变换回到起点，防止随机映射坍缩或语义漂移。搭配原因是单向监督只保证端点接近，不保证映射可逆与稳定，二者叠加后既拉近目标又约束路径，组合意义是让随机桥在表示空间中 faithful 且 stable。

成对损失要求 4 个方向的输出分别接近真实目标，循环损失要求样本出发经往返回到样本、原型出发经往返回到原型。两项都是均方误差形式，系数在总目标中可调。教学例子：若只做成对，模型可能记住原型位置但路径不可逆；加上循环后，往返误差会惩罚这种捷径，迫使变换保留语义结构。原文未给出梯度是否截断、去噪步数与网络宽度的完整细节，这部分属于缺项，复现时需自行记录并做敏感性检查，不能从模型名称推定实现。

交叉熵分类 × 对数几率对 KL 正则： 交叉熵分类分工是让共享分类器对原始端点和翻译后表示都能判对硬标签，维持判别能力；对数几率对 KL 正则分工是让翻译后表示的软化类后验分布向对应端点的分布看齐，保留决策结构。搭配原因是硬标签只管分对，不管类间关系在随机平滑中是否被抹平，软分布约束补上这一层，组合后在几何重塑过程中不丢失情感判别边界。

分类器部分同时作用于原始与翻译后表示，KL 项用温度参数软化分布，教师是端点、学生是翻译结果，方向固定为端点监督翻译结果。这保证随机平滑不把类后验抹平。

训练与推理按什么顺序执行？哪些参数更新？

训练协议分 2 个阶段。第一阶段是基线准备：在 A 与 B 上独立训练分类器，量化欠拟合与过拟合表示之间的差距，得到变换前的性能。这个动作很重要，因为后文所有提升都是相对各自基线的同种子配对比较，不是跨种子混比。第二阶段是联合训练：同时优化条件去噪器与共享分类器，最小化六项加权总目标。论文明确写出联合训练，但未报告优化器类型、学习率、批量大小、扩散步数与训练轮数，这些是复现缺项，需要补做记录。

监督来源要分清：噪声预测来自加噪过程的真实噪声，成对与循环来自表示空间的欧氏距离，分类来自情感硬标签，KL 来自端点对翻译结果的软分布。没有使用目标语言标签做监督，跨语言测试集只在评估时出现。推理时不做多步采样生成，而是用去噪器做 1 次样本到原型的投影，再用共享分类器分类。评估时同时报告原始与翻译后两种结果，以检验桥是否改善了类中心组织。

需要避免的误解是：这不是数据生成，不产生新波形；也不是微调骨干编码器，至少按文字描述，学习对象是表示空间的变换与分类器，而非更新 HuBERT 本体。若复现时选择连带微调编码器，就改变了论文的运行阶段假设，必须单独标注并重新做基线。

数据、划分与跨语言协议是什么？

实验只用 3 个情感语料。日语 JTES 来自推特相关情感语音库，英语侧把 IEMOCAP 与 MSP-IMPROV 合并为一个训练域。类别统一为愤怒、高兴、中性、悲伤 4 类。论文给出每个数据集的 utterance 数量，JTES 每类 5000、共 20000，英语两库合计约一万三千余条，具体分布见下表。划分与采样细节、说话人是否不重叠、验证集如何切分，原文没有完整交代，这是复现时必须补记的第一项。

加权平均召回率 × 跨语言评估： 加权平均召回率分工是按每类样本数加权的总体正确率，反映类别不均衡下的整体性能；跨语言评估分工是提供分布偏移的检验场，英语训练日语测试与反向各测 1 次。搭配原因是只看域内准确率会掩盖对语料特异线索的依赖，必须在语言切换下用加权指标检验，组合意义是把鲁棒性变成可比较的数字，方向是越高越好。

评估协议有 2 个方向：英语训练、日语测试，以及日语训练、英语测试，构成语言距离较远的挑战性基准。骨干为 HuBERT Large，流程跟随 SUPERB。每个设置跑 5 个随机种子，报告均值与标准误，用同种子配对 t 检验比较变换前后，显著性标记沿用常规阈值。桥损失权重只动成对与循环两项，其他固定为 1，并比较 3 种表示对配置：欠拟合与欠拟合、同为过拟合、过拟合与欠拟合混合，其中混合还分报过拟合侧分类器与欠拟合侧分类器。

下表把数据集规模整理为可核对的形式，比较问题是不同语言的训练量是否对称，公平条件是类别统一为 4 类，指标方向是后续加权平均召回率越高越好。表格本身不替代性能结论，只交代输入条件。

上表说明英语侧合并后在总量上仍少于日语单库，且类别分布不如日语均衡，这意味着日语到英语方向的训练数据更均衡但测试域更大更杂，英语到日语方向则相反。未评测的边界包括说话人无关划分是否严格、录音信道差异多大，这些都会影响对跨语言增益的归因，不能把全部提升都归于情感语义本身。

主结果：桥在哪个方向、哪一侧真正带来增益？

要回答的核心问题是：在跨语言测试上，翻译到原型的表示是否稳定优于原始表示，以及增益集中在哪种表示对上。公平条件是同一种表示对、同一种权重、同 5 个种子配对比较，指标方向是加权平均召回率越高越好。下表聚焦论文报告的最强证据，即高权重下混合配置的欠拟合侧，以及同表中的对照。

上表显示 2 个方向的一致趋势，但幅度和显著性不同。英语到日语的高权重混合欠拟合侧平均提升约 6.42 个百分点，最大单种子提升 8.10 个百分点，配对检验显著；日语到英语的对应位置平均提升约 4.00 个百分点，最大 5.20 个百分点，同样显著。论文摘要也以这两个数字作为上限表述。代价与反例同样明确：同为过拟合的桥增益很小，英语到日语仅约 0.50 个百分点且不显著，日语到英语约 0.64 个百分点；混合配置的过拟合侧提升也不大且多为不显著，说明过拟合侧的决策几何更刚性，不易被随机平滑改善。

因此支持的判断是：桥接异质表示时最有效，尤其改善欠拟合侧的判别性而不牺牲其鲁棒性。但总体趋势不等于每组都成立，不能把末步最优推广为全程最优，也不能把自动指标当作人评。百分点是绝对差值，不是相对百分比，解读时不要混淆。

权重与表示对消融：去掉约束会怎样？

消融要回答的是桥约束的强度是否必要，以及同质表示对是否还有空间。比较问题是：在成对与循环权重从无到低到高变化时，增益如何变化；公平条件是其他损失权重固定为 1，只动这两项；指标方向仍是加权平均召回率越高越好。下表整理论文文字报告的趋势性数字。

上表之后需要解释代价与机制。论文报告增加成对与循环权重会让变换更一致，增益随之增大，并在 10 与 1 附近出现饱和，这是有限解释，不是因果证明。几何上的解释是欠拟合表示更平滑各向同性、曲率较低，过拟合表示更锐利各向异性更高，扩散桥可视为随机正则化投影，可能降低各向异性从而提升跨语言鲁棒性，但原文并未给出各向异性与曲率的直接测量曲线，因此只能写为可能与待验证，不能当作已测事实。未胜出项是过拟合侧与同质桥，它们在多档权重下都提升有限，说明桥不是万能，适用条件是端点几何异质且待改善侧仍有判别余量。

哪些结论尚未被验证？边界在哪里？

首先区分 3 层表述。直接报告的是跨语言加权平均召回率的提升数字与配对显著性，这是可复述的。有限解释的是类中心几何改善与过特化方向被平滑，这是与数字一致但缺乏几何诊断直接支撑的。未验证推测是各向异性降低、曲率变化与更广义的域泛化能力，这些在文字中被提及但没有给出测量方法与曲线，不能当作性质证明。

缺失证据不是技术错误，但必须点名。原文未报告训练资源与推理开销：去噪器虽轻量，但扩散步数、批量、训练时长、推理延迟均未给出，不能承诺延迟或成本得到改善。未测量误判率分布、校准误差、每类召回变化，总体提升不等于每类都提升。未做噪声、信道、说话人、文本内容等更细粒度的失败条件分析，也未与 Mixup、域对抗等可运行基线在同条件下对比胜负，相关工作只停留在思路对照。

另一个边界是语言对单一：只测了英语与日语互测，没有第三语言或跨语料同语言对照，无法分离语言因素与数据集采集因素。权重饱和只在一个高点附近被描述，没有给出更大范围的扫描与方差，复现时应补做学习率与温度参数的敏感性。最后，推理只评估翻译到原型的单向投影，原型到样本方向的作用只体现在训练正则，没有单独的部署收益，不能把训练时的双向设计等同于推理时的双向收益。

复现先做什么，需要保留哪些信息条件？

复现的第一步是重建端点。按 SUPERB 流程用 HuBERT Large 抽取语音表示，分别保存早期与晚期检查点的向量，并记录检查点选择的依据、层数、池化方式与标准化统计的计算范围。论文只说用训练集联合统计标准化，没有给出具体层与早晚期的轮数，这两项必须自行固定并报告，否则别人的数字无法对齐。接着按训练集类均值计算每个域的原型，核对每类样本数与向量维度。

第二步是实现条件去噪器与共享分类器。去噪器是轻量条件多层感知机，条件为 4 个编号；分类器是多层感知机，输出 4 类对数几率。损失共六项，复现时先固定后四项权重为 1，只扫成对与循环，重点复现高权重组合。每个设置跑 5 个种子，报告变换前后的均值、标准误、平均提升、最大提升与配对检验，不要只报最优种子。百分点与相对百分比要分开写，表格需同时注明数据集、基线、阶段、指标与聚合对象。

第三步是核对方向性。必须分别跑英语到日语与日语到英语，不能只跑 1 个方向就声称跨语言有效。推理时只用样本到原型投影做评估，同时保留原始表示作为基线。若改动骨干微调、更换编码器层或引入目标语言数据，都属于改变信息条件，需另起对照。代码与权重方面，本次证据不支持已公开的说法，因此复现计划应按无公开代码处理，保留随机种子、环境版本与超参数日志以便他人重放。

何时值得尝试这种桥，记住什么？

综合所有证据，这项工作的技术判断可以压缩为一句话：当你手头有同一编码器的早期与晚期表示，且晚期在域内很强但换域就掉、早期更稳但不够分时，值得尝试用原型中介的扩散桥把欠拟合侧向类中心推一把。最可能见效的位置是混合表示对的欠拟合侧分类器，而不是过拟合侧，更不是两个同质表示之间。权重上可以从无约束起步，逐步增大成对与循环，观察欠拟合侧的提升是否单调，预期在较强约束处趋于饱和。

需要记住的代价有三项。一是复杂度代价，多了一个去噪器与多项损失，调参与诊断成本上升。二是适用边界，过拟合侧刚性结构对随机平滑不敏感，同质桥余量有限，换语言对或换骨干后结论需重验。三是证据边界，几何改善目前是与性能一致的解释，尚未被各向异性与曲率的直接测量证实，延迟与成本也未测量，不宜承诺这些量同步变好。

对刚入门的研究生，建议把复述重点放在可执行动作：如何定义原型、如何编号条件、如何组织双向翻译、如何用成对、循环、分类与 KL 4 类监督固定语义，以及如何用同种子配对检验报告跨语言增益。若能把这条从输入到表示到组件到目标再到输出的链路讲清楚，并能指出哪组数字显著、哪组不显著，就已经抓住了论文的真实贡献，而不是停留在扩散这一比喻上。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总