语音情感识别

论文要解决文本相同但语气不同时图像该如何变化的问题，用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net，在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。

针对整句独热标注模糊和变长聚合稀释问题，该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入，再用图注意力做序列到一聚合，并在后训练和微调用自蒸馏与监督对比增强鲁棒性，在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率，在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差，但 …

针对语音情感识别中时序建模重而跨库易失效的问题，SETEAB 以深度可分离下采样压缩、SE-Res2Block 通道校准、TEAB 双向门控建模与加权融合组织轻量多尺度流程，在五库平均 UA 达 47.69% 与跨库平均 WA 达 37.53% 的同时把计算控制在 0.06-0.12GFLOPs 量级，代价是跨库方差仍较大且部分基线细节依赖原文表头口径。

针对说话人差异导致情感识别难泛化到未见说话人的问题，SISER 用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗训练，在 IEMOCAP 上测试集达到 60.63% 非加权准确率，代价是两阶段交替训练与强判别器带来的训练复杂度。

针对多模态对话情绪识别中全局图传播混合非目标说话人特征并可能看到未来的问题，论文提出先用因果 Top-K 注意力把跨说话人线索写成摘要、再只在单说话人异构子图上传播的 SF-HGN，在 IEMOCAP 上报告 68.76% 加权准确率与 68.73% 加权 F1、在 MELD 上报告 66.40% 与 65.65%，代价是 Angry 等类别明显下降且隐私仅 …

论文以能否保留副语言信号为问题，用八个开源克隆模型在复述与固定文本下做下游分类对照，最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移，代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。

该研究让 101 名英语单语听者与冻结的英语单语 Whisper-medium.en 和 HuBERT-large-ll60k 在相同法语、日语、希腊语、泰语情绪语音上做六选一判断，发现三者都显著高于 21.4% 的机会水平，但人类偏向中性与负情绪而模型偏向快乐与惊讶，且 HuBERT 整体高出人类 6.8 个百分点。

针对 ASR 与语音情感识别目标冲突的问题，论文用冻结 WavLM-Large 加逐层可学习系数合并同域 ASR 与 SER 任务向量，在 MSP-Podcast 上报告双向量 UAR 为 38.94% 与 Macro-F1 为 35.20%，代价是仍需先分别微调得到任务向量且依赖域内转写。

论文把序数情绪识别改写为双语音比较任务，用语义描述加 GeMAPS 声学证据生成比较推理轨迹，再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B，在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线，而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。

DECRA 针对流式匿名会泄漏情感且离线情感转换无法逐帧调控的问题，用 TVTSyn 骨干加情感解耦与因果 SER 预测的连续效价唤醒轨迹做合成条件，在 ESD 中性化与转换上唤醒一致性达到 0.81 与 0.74 而流式延迟为 76.1 ms，代价是效价控制弱且主观音质低于离线基线。

针对跨语言语音情感识别中编码器过拟合语料特异线索的问题，该文用类原型锚定的条件扩散学习样本-原型双向变换，在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点，代价是需联合训练去噪器与分类器并调节成对与循环约束权重。

针对对话中同一说话人情绪渐变难分的问题，论文提出情绪惯性感知的监督对比学习模块 EII-SCL，用动态惯性窗挑选难负样本并联合交叉熵训练，在 IEMOCAP 和 MELD 上提升可复现骨干，最强加权 F1 达 74.01%，代价是引入注意力窗与对比温度等额外超参数。

针对冻结语音自监督特征经一阶池化丢失通道协同的问题，论文提出在可学习低维子空间估计协方差并经对数欧氏映射到切空间的二阶相关层，在 ESD 与 RAVDESS 上以可运行基线对比验证提升，同时以子空间维度与去掉映射的消融揭示稳定性代价。

针对零样本跨语言语音情绪识别中语言失配与无目标标注问题，论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索，在九组零样本任务上平均 UAR 达 82.26%，代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。

该研究用 FinnAffect 自发芬兰语语料和 127 种文本加音频特征组合做效价与唤醒度回归，证明双模态组合把效价 CCC 推到 0.428 而唤醒度仍以音频为主达到 0.688，代价是可解释词典与句法特征单独解释力很弱。

该研究固定说话人与文本、只系统改变常态、气声、嘎裂声和句末嘎裂四种发音，用开放式生成与情绪识别检验语音基础模型，发现在 LFMAudio2 上非常态发音显著改变能动性与领导力评价并伴随性别不对称，而商业实时接口连性别这一生物特征检查都未通过。

针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题，MF-EDM 先用带多模态锚节点的句内图做融合，再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响，在四个多语言基准上取得最高加权 F1 与准确率，但完整模型在部分惯性子集上略低于单路径，说明跨说话人消息有时会稀释连续性信号。

针对多模态情绪识别标注贵、模态缺失和噪声多的问题，MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权，冻结编码器后用轻分类器迁移，CMU-MOSEI 七分类达 55.31% 且跨库接近全监督，但仍依赖固定特征抽取器和轻微分布相似性。

针对只有话语级标签却要输出帧级情绪起止的问题，P-SED 用可学习情绪原型加正交约束建度量空间，再用包级非对称对比与帧级 Top-K 显著挖掘联合训练并在推理用全变分去噪保边界，在 ZED 上报告 EDER 为 47.00%，代价是固定比例挖掘对快速变化情绪仍显僵硬且帧标注测试集很小。

该研究在成人组与家庭组的多人对智能体访谈中检验局部与全局趋同，发现人与人局部趋同强而与智能体局部趋同缺失、全局趋同微弱且依赖队列，代价是高度结构化访谈与小样本限制了推广。