论文解读
音频三路特征与视频时空建模为何需要注意力来对齐:多模态情绪识别的可复述路径
针对单模态易受噪声与信息缺失影响的问题,论文用 Wav2Vec2、MFCC 与统计声学特征经 BiLSTM 建模音频、用 ResNet50-BiLSTM 建模视频,并以多头交叉注意力做特征级融合,在 MELD 上微平均 93.7% 与 IEMOCAP 上 90.3% 准确率上验证效果,但未报告训练超参细节与统计显著性。
针对单模态易受噪声与信息缺失影响的问题,论文用 Wav2Vec2、MFCC 与统计声学特征经 BiLSTM 建模音频、用 ResNet50-BiLSTM 建模视频,并以多头交叉注意力做特征级融合,在 MELD 上微平均 93.7% 与 IEMOCAP 上 90.3% 准确率上验证效果,但未报告训练超参细节与统计显著性。
共分析 1 篇语音/AI 论文
音乐转录 | 6.3/10
共分析 49 篇语音/AI 论文
回声消除 | 8.5/10
共分析 21 篇语音/AI 论文
声源定位 | 8.8/10
共分析 26 篇语音/AI 论文
语音增强 | 9.0/10
语音增强 | 8.3/10
共分析 46 篇语音/AI 论文
音频分离 | 6.5/10
共分析 16 篇语音/AI 论文
音乐源分离 | 7.5/10
共分析 20 篇语音/AI 论文
语音增强 | 5.1/10
共分析 18 篇语音/AI 论文
语音增强 | 6.3/10
共分析 32 篇语音/AI 论文
RNN | 5.7/10