语音情感识别

论文在英日德三语 MELD-ST 上量化语音大模型情绪识别的语言依赖性别差距，并用经验风险加最坏语言内男女损失差距正则与自适应权重训练，在单模态提升约 5.5% 且多模态提升约 5.0% 的同时把总体性别差距分别缩小 0.1% 和 1.4%，代价是固定大权重会明显损伤识别性能。

针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题，论文用置信度分数筛选可靠子集再用强化学习在线修正描述符，在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益，代价是增加置信度估计模块与控制器的训练和交替更新开销。

论文用试镜与选角双角色游戏收集多语言情境化韵律语音，再用冻结表征加轻量分类器做情感识别与分阶段探测，显示库内情感可学但跨库更难，且年龄与情感在中间表征仍可恢复，代价是整体规模小、非专业表演变异大。

针对自然语音中多情感共存却被多数投票抹掉的问题，该工作把 MSP-Podcast V2.0 的众包投票转为确定性多热标签并控制长尾，再用 MFCC 与 log-mel 双分支 Mamba 融合建模，在 Test1 与 Test2 上微平均 F1 约 0.50 的同时把参数量控制在约 3M 量级，代价是尾部情感在固定阈值下依然难以检出。

该文针对客服语音中烦躁强度难以及时量化的问题，用银行客服表演录音加三维度 1 到 10 分众包标注与一致性筛选构造时序语料，最强证据是微调后 XLSR 模型在攻击性强度上平均绝对误差 1.333 而相关系数 0.710，代价是表演口音、非说话人无关划分与小样本内部验证限制了外推。

在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归，发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时，且优势度测试集绝对值极低限制了结论外推。

该研究在 29 种语言 33 个数据集上冻结 11 个自监督语音主干只训练分类头，发现跨语言迁移更多受语言结构类型制约而非预训练量或参数规模，最强平均 F1 来自 Whisper 而达罗毗荼语系系统性失效且增大参数不能解决。

该研究在 MSP-Podcast 2.0 九类任务上对比硬共识与主次投票分布监督，报告分布目标把 Test1/Test2 的 JSD/KLD 系统性压低而 Macro-F1 差异较小，代价是 Other 类 F1 大幅下降且高熵区硬判决依然困难。

针对语音、文本、视频情绪标签经常不一致的问题，MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断，在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1，代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题，论文提出只训练约 64k 参数的 Light-DMF 分离融合结构，用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断，并在 Intel Core i7-5600U 上以 1 分钟音频需 …

MER-Live 针对离线评测与实时交互脱节的问题，选择以韵律驱动的轻量语音分支为主、视频与文本做置信度加权迟融合，用 10 折 IEMOCAP 上音频 74.03% WA、融合超 83% 为证据，代价是实时 3 秒窗精度上限约 60% 且需 TensorRT 与浏览器条件配合。

论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题，用解耦的 GRU 时序融合对照证明上下文与门控的增益，并以扰动遮挡验证非平稳性，代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。

针对重型自监督模型难以部署到实时边缘端的问题，MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏，在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率，代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。

针对标注少且情感线索分散在能量与时序中的问题，该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧，并以四种损失联合优化，在四个数据集上报告了最高准确率，但代价是更多的超参数与训练分支。

该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性，最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著，代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。

针对级联丢失韵律而端到端难控情感与知识的问题，PRISM 把感知、管理、回应、发声拆成四智能体并用韵律转语言稳定推理，在 AvaMERG 上以自动、人工和大模型评测同时占优，代价是只微调回应器且依赖外部识别与合成模块。

针对语音情感标签模糊与训练早期不确定性高的问题，论文提出随训练进程把正确标准从前 k 命中线性收紧到 top-1 的渐进弱监督，用 WavLM-Base 在 IEMOCAP 上报告 78.08% 非加权准确率、在 ViSEC 上报告 85.70%，代价是需要设置初始 k、集中度与三阶段退火 schedule。

针对韩语短句中文字相同但情感不同的语用歧义问题，论文在冻结的 Whisper-large-v3-turbo 编码器之后拼接插值对齐的基频与能量并联合建模，用同一骨干上子集准确率从 12.46 到 26.39、语用歧义消解从 21.00 到 32.60 的提升证明表示层缺韵律是主因，代价是只验证了特定分类头与数据集且未报告延迟与开源可用性。

针对连续情绪识别中标注滞后于语音的问题，该文提出在特征上做因果滑动平均以引入群延迟来代替直接平移标签，并在 RECOLA 上显示其峰值与移位法相当但对时间参数更不敏感，代价是效价需要更长的累积窗且长窗下个别种子会失效。

该研究用 250 通法国 SAMU 真实急救电话和调度员标注的 5 级优先度比较类别情绪与维度情绪接入有序回归的效果，报告显示类别情绪无增益、维度情绪仅有说话人依赖的交互效应，而年龄与说话人角色等元数据预测力更强。