语音情感识别

ASSET 针对语音大模型音频前缀过长的问题，用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token，以转录损失加保留比带惩罚为奖励训练切分，在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率，在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率，代价是依赖字符 …

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题，EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习，在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分，但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

针对多模态情绪识别中 softmax 被迫自信的问题，论文提出每个模态输出狄利克雷证据并用 Dempster-Shafer 规则融合，在四个数据集上同时提升精度与校准，而代价是需要调冲突权重与 KL 退火且依赖条件独立假设。

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题，用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示，在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率，代价是双分支与双曲运算带来的额外复杂度。

论文用约 100 小时英语 MSP-Podcast 训练的 WavLM Large 模型，再用 1 到 20 小时汉语普通话 BIIC-Podcast 做适应，与只用汉语普通话从头训练对比，发现唤醒度只需 2 小时即可追平 100 小时单语模型，而效价需要 20 小时，代价是小数据下直接训练不稳定且效价与优势度整体更难预测。

针对全双工语音智能体每轮要做的多个封闭式小决策，DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布，一次前向批量回答 80 个决策约 0.1 秒，内容理解接近读文本，而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%，代价是情感数据会拉低部分内容问答。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题，用语义和副语言两条专家通路加三阶段训练做情感语音建模，在九个数据集平均准确率 72.10% 上最高，但合成可控测试显示中文组级别稳定性仍明显弱于英文。

该文要从听者视频加说话人音频文本推断听者六类情绪，用视觉对齐的说话人筛选加无标注听者自举训练视觉专家，再只对低置信样本用说话内容作诱因做二选一推理，在 MER-Cross 上报告 76.25% 加权平均 F1，代价是多阶段筛选与受限的大语言模型调用。

论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链，用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估，在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率，但结论只在给定数据分布和评测流程下成立。

针对同一融合通路难以适应不同输入证据组合的问题，InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐，在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果，但结论只在固定预提取特征与官方划分条件下成立。

论文研究训练集中噪声类型与类别标签系统绑定的多类情绪识别问题，对比每次叠加其余所有类噪声的全量交叉增强与语音增强预处理，发现只有前者在可控信噪比下消除噪声捷径，而增强会引入新的可判别伪影，但全量叠加要付出有效信噪比下降的代价。

论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题，提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全，在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度，但结论依赖特定编码器、缺失模拟方式与理论能耗估计。

论文用同一批音频配不同指令求平均激活之差得到任务向量，推理时加回残差流，在少量标注下改善转录、情感与描述并降低换提示词的波动，但非拉丁文字与无提示续写仍需额外约束。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感，在三个语料上用零样本与微调对照和固定预测器的单概念删除，显示转录主导与声学依赖随语料而变，而删除声学概念会改变个体预测即使总分几乎不动。

该研究用被试内四情绪判断任务比较真人陌生语音与 AI 克隆陌生或熟悉语音，报告真人语音在高兴、悲伤、生气上准确率更高且反应更快，而熟悉的 AI 语音只对高兴提高准确率却对恐惧延长反应时，心率变异性未显示出区分度。

该文在 IEMOCAP 对话上把音量音调语速转写成文字描述与对话历史一起输入大模型，对比零样本少样本与 LoRA 微调，最强 LoRA 模型效价 CCC 达 0.7822 但 arousal 与 dominance 仍低且历史 VAD 回灌会累积误差。

针对预测层分支分配隐式的问题，BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征，在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线，代价是增加约 0.1M 量级的门控参数与训练期对比正则。