整句重复又帧内粘连:MelTrim 先按声音粗筛再按梯度细剪做语音分类剪枝
针对语音分类中整句之间与句子内部同时冗余的问题,MelTrim 先用声学特征聚类做整句粗筛,再用冻结判别模型梯度范数做帧级细剪,在极小子集上取得明显精度优势,但选择本身带来一次性开销且当前只验证单一声学模态。
针对语音分类中整句之间与句子内部同时冗余的问题,MelTrim 先用声学特征聚类做整句粗筛,再用冻结判别模型梯度范数做帧级细剪,在极小子集上取得明显精度优势,但选择本身带来一次性开销且当前只验证单一声学模态。
论文针对开放式情绪推理中多面幻觉难评估、粗粒度缓解顾此失彼的问题,提出六面 EHR 评估与免训练 HMER 框架,在 19 个模型上显示幻觉普遍存在,而 HMER 在多数据集上降低总体幻觉率并保持情绪预测准确率,代价是迭代评估带来额外 token 与延迟。
该研究把三人对话的群体情绪定义为每秒的唤醒与效价连续估计,用混合状态平行标记成员分歧,以冻结编码器加时序 Transformer 的因果滑动窗口建模,最强证据是音视频融合在一致性与误差上超过单模态,而高混合区间更大的误差揭示了单值表示的边界。
共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读
论文追问在人类语音上训练的情感理解能否直接用于合成语音,通过跨数据集、跨判别式与生成式模型、跨 TTS 与 S2S 合成的系统评测,显示人类与合成之间存在约 38 个百分点的识别差距,且主要代价来自语音 token 预测阶段的表示偏移与生成式模型的文本主导偏置。
论文把低资源多语言情绪识别重写为有标签非言语发声到无标签言语的无监督迁移,用 NOVA-ARC 在庞加莱球中做韵律离散化、强度校准和原型最优传输,最强证据是 APD 非言语到言语适配下多目标持续领先,而代价是依赖双曲码本与传输超参数的联合稳定。
针对文本、音频、视觉在噪声与缺失连续变化时情感分析退化的问题,论文用连续可靠度谱统一三种退化协议并提出以偶然不确定性驱动路由的 QA-MoE,在 CMU-MOSI 等基准上保持领先,代价是需要谱感知的数据增强与双分支不确定性建模。
论文把讽刺、情感、是否疑问作为离散目标,用文本模型与语音模型分类器的交叉熵估计互信息,在单句无长上下文条件下报告讽刺和情感的音频信息比文本高出一个量级以上、疑问句仅约 2.4 倍,并以音频增量近似韵律独有信息,代价是韵律无独立模型且结论受标注与模型上界约束。
针对短视频中文本主导而音视频易误判的问题,TEXT 用多模态大模型生成解释做语义锚点,再做解释对齐与轻量时间对齐并以文本路由稀疏专家融合,在四个数据集上取得最低平均绝对误差,但细粒度分类仍有两项未胜出且依赖外部大模型。
针对教师情感的表演性与教学情境依赖问题,该研究构造 14,938 条四模态 T-MED 数据集并提出以音频为中心的非对称注意力模型 AAM-TSA,在 T-MED 上报告加权准确率 86.84% 与加权 F1 值 86.37%,代价是依赖视频转文本描述与教学信息输入且未公开可验证代码数据链接。
共收录 1 篇 aistats-2026 会议论文的 Reader 深度解读
针对对话多模态情感识别中高阶跨模态交互不足与多目标梯度冲突问题,论文用模态特异低秩多项式融合做表示、用三目标帕累托梯度协调做优化,在 IEMOCAP 上报告 75.42% 准确率、在 MELD 上报告 68.47% 准确率,代价是每轮训练比单分支基线多约 0.66s 的小规模二次规划开销。
论文用词义中性、对齐、冲突和无词四种条件对照文本、音频和图文三种输入,测六个大音频语言模型,发现中性词下音频分仅三成左右、冲突时塌缩到少数类别、非言语接近猜测,说明模型主要依赖词义而非声学线索。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
该研究用音画同步选出说话人、用文本教师蒸馏音频与视觉图网络、再用分层注意力与组合损失做融合,在 MELD 达到 67.75% 加权 F1、在 IEMOCAP 达到 72.44% 加权 F1,代价是引入更多超参数与调参负担。
针对音频频谱 token 远多于文本导致多模态 MoE 路由崩塌的问题,CoPRIME 用对比学习加 ELBO 路由与熵正则做音频文本对齐,在 MOSEI 和 IEMOCAP 零样本与少样本情绪任务上超过稠密与 LIMoE 式基线,代价是引入对比加 ELBO 加四个辅助损失共六项损失与两个权重的调参负担。
针对音频与文本同质、视觉与二者异质的问题,MDF 只对音频做文本剥离得到声音分量,再用正交约束强化异质并用标签导出的贡献监督权重生成器,在 CMU-MOSI 上取得 MAE 0.692 等最好或次好结果,但视觉增益与权重估计仍受单模态预测误差限制。
针对文本主导压制音频与视觉的模态竞争问题,PaSE 用模态内原型校准与熵正则最优传输对齐语义,再用双阶段融合与 Shapley 梯度调制平衡优化,在 MOSI、MOSEI 和 IEMOCAP 上报告最优结果,但缺失代码可用性与显著性检验等复现细节。
针对多模态共有信息与私有信息纠缠且统一监督忽视模态差异的问题,PLUM-Net 采用多级语义对齐加原型单模态标签加双分支解耦加私有精炼的两阶段流程,在 CMU-MOSI 上报告 ACC-2 88.2%/90.3% 与 MAE 0.448,但严重类别不平衡与缺模态时性能可能明显下降。
针对多模态情感分析中忽视个性差异与浅层融合的问题,PSA-MF 用个性-情感对齐提取个性化文本情感再做多级融合,在 MOSI 和 MOSEI 上取得报告的最优结果,代价是依赖双 BERT 文本编码与多阶段融合结构。