语音情感识别

论文在受控晚融合下比较梯度与损失两类平衡方法，报告其均未稳定超过简单拼接基线，并用合成诊断与全局权重上界说明训练拟合信号不能代替留出集判别价值判断，代价是逐样本最优仍有约 8 个百分点结构余量未被利用。

该研究用冻结线性探测在 26 个语料、49 层表示上做跨语料迁移，发现第 15 层跨语料 F1 最高为 0.392 而 45 层下降 24.6%，均值池化 wav2vec2 比 27 维声学特征高 41% 但后者保留 71% 性能且复杂度低 3.7×10 的 7 次方倍。

该文把证据、可用性与质量信号拆开，用训练后冻结并打乱质量对齐的诊断检验决策层依赖，在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率，而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔，代价是需要全观测子集与标签才能计算结构诊断。

针对孟加拉语语音情感识别，该工作用 80 维谱特征走 DNN、51 维多尺度韵律描述子走轻量 KAN，再经双向交叉注意力和情绪自适应门控融合，在说话人无关评测下以 1.1M 参数在 SUBESCO 取得 92.12%、在 BanglaSER 取得 82.79%，代价是跨库与会话语音泛化仍受语料差异限制。

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

该文把情感计算从单人状态推断转向多人声音互动场，用 WavLM 连续表征加双变量与四人条件 Granger 检验在 AMI 会议上验证亚秒级方向性耦合集中于重叠共现，而独白对照与循环位移校准显示短窗检验存在明显尺寸膨胀。

论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型，证明全管线攻击在四类任务上均有效，而单个组件的暴露或冻结决定后门存留，且多任务嵌入让中毒样本不再直接可分，代价是防御常用的二分聚类假设失效。

该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头，在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下，代价是固定 10 秒英文合成数据与有限场景下的验证边界。

针对联邦语音情感识别同时要保数据本地化和抗白盒对抗样本的问题，该文用训练时联邦对抗训练加推理时随机放缩填充的两阶段防御，在 DEMoS 上把 FGSM 和 PGD 下的可用性拉回约 90% 水平，而代价是 DeepFool 仍只能部分恢复且需额外对抗样本生成开销。

该研究把同一段音频固定、只改提示词中的口音国家语言描述来分离身份先验，用最佳与最差身份条件之间的 F1 差距和音频区间的显著性重分布来量化漂移，并用只调语言模型的轻量 LoRA 把敏感度降到接近随机置换水平，代价是需要额外微调且未覆盖组合身份。

该研究在统一多模态架构下比较标准自注意力与 RetNet、LightNet、GSA、FoX、KDA 在 MSP-Podcast 上的情感识别效果，报告显示标准自注意力在 Test1 均值 36.42% 和 Test2 均值 27.19% 上最稳，而高效变体在 400 秒序列上把延迟降到 5.96 ms 量级、显存降到 0.328 GB 量级，代价是识别分数下 …

针对噪声和混响导致语音情感特征退化的问题，该研究用音频逆滤波前端加频率注入视觉流的双条件 Transformer U-Net 做音视频融合，在 CREMA-D 等数据上报告了优于单模态与多模态基线的识别率，但强混响与未见噪声下的泛化仍受限。

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

论文把语音情感识别拆成说话人侧与标注者侧两路公平，先用对抗去偏构造单侧 FairCLAP，再用源域双侧参数差 ATT2Fair 向量推断目标域缺失侧，在 IEMOCAP 等三库上以约 2.15% 平均 F1 代价换来统计 parity 明显下降。

在 65 条自然脊柱门诊普通话话语上比较 emotion2vec+、SenseVoice 与 FunASR 三套开源语音情感识别，以研究者共识为参照，发现非加权准确率 55.4%-61.5% 掩盖了少数情绪接近零的召回与仅约 24% 的样本加权准确率，代价是标注噪声大与类别极不平衡下无法直接部署。

针对音频文本情绪证据被说话风格与词汇内容纠缠且两模态可能冲突的问题，BiCFlow-MER 用解耦后的冲突感知条件把样本输运到 64 维情绪端点再做前后向几何打分，在 IEMOCAP 与 MELD 及零样本 CASE 上报告最好值，代价是三阶段流程与多模块超参数。

针对单句语音情绪识别忽略对话连续性的问题，论文提出只用前文音频做均值池化增强的 ACERT 模块，在 IEMOCAP 上以 25 秒前文将无上下文基线从 68.38% 提高到 79.08%，代价是情绪快速翻转的多人对话如 MELD 几乎无增益。

论文以 Qwen2-Audio 为案例分离词汇输出、转录不足的波形依赖行为与打包实现测量，显示 6 比特翻译选中分配在冻结重放上 chrF 提升但情绪识别下降，而反例与对照说明文本分不能替代波形使用证据。

Vox-Infinity 沿轮数与每轮时长拉长语音历史并以最早证据到提问的跨度分组，在七个语音语言模型上报告随证据变远准确率下降的近因效应，以及文本历史保语义而音频历史保韵律的互补代价。

针对同一话语的频谱图、MFCC 与 HuBERT 既重叠又互补而直接融合会淹没弱线索的问题，TriCGF 先分解为公共与特有分量再用全局共识加门控融合，在 IEMOCAP 上取得 74.19% 加权准确率与 75.17% 非加权准确率、在 EmoDB 上取得 94.36% 与 94.28%，代价是三路编码与门控带来更多训练配置与调参负担。