语音情感识别

针对联合训练中强模态压制弱模态梯度的问题，论文用止梯度特征上的线性探针估计各模态表征质量并只放大弱编码器梯度，在高度不平衡的 CREMA-D 上与节流方法组合取得 71.45% 准确率，代价是约 1.6% 额外耗时和对工况条件的依赖。

论文用同一批音频同时检验表达、感知和利用三个环节，发现 8 个语音原生模型在中性措辞下几乎不报告轻度不耐烦语气，但两个开源模型的编码器仍能解码该语气，而对文字中不耐烦的稳定作答才是真正的稳健。

论文把文本和语音映射到同一情感空间并用混合模型算出不一致概率，在三种语料上证明有音频输入时不一致会稳定增加音频大模型的误判风险，而同样的特征却能帮助有监督分类器。

共分析 21 篇语音/AI 论文

该文针对训练与人机交互测试之间的混响加性噪声失配，在 Wav2vec 2.0 卷积层与 Transformer 层之间加入 40 维自编码器潜空间与单状态高斯混合模型估计的仿射补偿，在 MSP-Podcast 模拟训练与 PR2 机器人实录测试下用少量数据取得平均一致性相关系数提升，但全量数据时优势消失且须重训后端才能生效。

Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题，提出在波形上每次随机串联两种变换的固定策略，在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差，在 ASR 上基本持平，而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。

共分析 47 篇语音/AI 论文

TAC2 先用弱教师在时间轴上拼出带说话人的结构化描述，再用小样本专家引出韵律属性并蒸馏为统一模型，让冻结文本模型接力推理、让扩散模型按时间重建，在口语感知与可控合成上得到可验证的提升。

AudioFM 要同时保留录音整体场景和时频细节，用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器，在 AudioSet 微调、冻结探测和跨数据集迁移上占优，但结论只在 16 kHz 单通道和所用划分下成立，且局部监督带来预测器与大批量训练代价。

论文用同一模型同一训练流程对比随机划分与说话人无关划分，21 组配对显示准确率下降 6.9 到 63.1 个百分点，说明已发表高准确率中说话人记忆占主导，而冻结自监督表示保留相对更多。

针对大 Transformer 做语音情感太重的问题，EmoNet 用四块深度可分离卷积加双向 LSTM 与多头注意力池化，在 TESS 加 RAVDESS 加 SAVEE 合并集上达到 96.75% 测试准确率，仅用 4.11M 参数，但结论只在表演式录音与固定划分下成立。

该文用韵律、音色、发音和演唱技巧四类可测量特征做歌唱情绪分类，在 RAVDESS 上歌唱优化集达到 UAR79.6% 并降低跨歌手波动，代价是技巧特征依赖 CNN 估计且结论只在有限歌手、表演式情绪和少类别条件下成立。

共分析 80 篇语音/AI 论文

论文研究只用文本预训练的主干如何识别语音和非语音属性，通过比较音频与文本在前馈神经元上的重合再用转向与关闭做因果验证，在三个模型与四类任务上发现标签特异的对齐但强度因模型而异。

该文把冻结的 wav2vec 2.0 编码器用情绪与 ASR 两个任务向量按层加权调整，只训练每层两个系数和一个线性头，在 ADReSS 与 ADReSSo 上提升了二分类效果，并在 PROCESS 三分类上与 LoRA 结合取得最好宏观 F1，代价是三分类本身仍困难且波动大。

论文用同一批意大利语表演语音比较表演标签、听众投票多数与完整投票分布三种依据，发现复原表演条件更容易但问题不同，而分布监督不改变硬判决胜负却让概率更贴近听众分歧。

本文用 3594 个图文声冲突样本测出六个音频大模型平均以 0.78 的比例跟从文字，并在最偏向文字的模型上证明声音信息完好保留在语言模型输入端，而阻断中间 token 转述文字主张才能在自由生成中恢复听觉判断。

共分析 57 篇语音/AI 论文

论文研究语音语调与文本语义矛盾时的语音情感识别，提出用对抗合成数据诊断语义偏向并用解耦结构保留声音证据，在对抗与常规场景下以声音准确率为主要证据，同时保留了超参数与适用条件的限制。

共分析 69 篇语音/AI 论文