模态重要性不是常数:用情绪查询门控刻画对话时间上的动态权重
论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题,用解耦的 GRU 时序融合对照证明上下文与门控的增益,并以扰动遮挡验证非平稳性,代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。
论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题,用解耦的 GRU 时序融合对照证明上下文与门控的增益,并以扰动遮挡验证非平稳性,代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。
该研究用颈表加速度计与肩挂噪声剂量计的数天同步监测,把环境等效声级均值与波动映射到音强、基频、倒谱峰突出度和一二次谐波差,报告了随噪声上升音强基频与倒谱峰突出度上升、一二次谐波差下降且非线性模型最优,但噪声只能解释部分方差且组间差异集中在音质斜率上。
针对多人重叠语音不知跨说话人词序的问题,该文用洗牌积与偏序有限状态自动机构造全部合法交错序列并以 CTC 式前向算法边缘化训练,实现单遍对齐与说话人归属转写,主要代价是图规模随重叠长度膨胀而必须用时间领约束剪枝。
论文把鲁棒性当作随分布漂移持续演化的能力,用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程,对比经验回放、表征正则与正交梯度三种持续学习策略,最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘,代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。
该研究用剧本对话比较人与 AI 交谈者在中性和负面语境下的粤语发音,发现对 AI 时目标词更短且特定声调 F0 轨迹发生局部偏移,而负面情绪仅边缘性扩大元音空间。
论文要解决强制对齐在多语言、多方言和自发语音上边界不准与流程难复用的问题,选择以隐马尔可夫高斯混合为声学骨架叠加更大规模数据清洗、国际音标词典、发音概率与适配重映射来改进,最强证据是英日韩四个基准上平均边界误差均低于 15 毫秒并在多数比较中领先,而代价是适配与音系规则的收益只在特定条件下出现。
针对自动抑郁检测中微调成本高且易过拟合的问题,Moot-Court 用冻结大模型做文本化声学融合与控辩对抗图推理加可进化经验库,在 DAIC-WOZ 上报告 F1 为 0.8856 且召回达 0.9394,但全文存在 0.8750 与 0.8856 的数字冲突与小样本泛化边界。
该研究用持续音三维磁共振做端点形状、用中矢面实时磁共振轮廓约束大形变微分同胚映射生成连续三维声道,再用有限元求解亥姆霍兹共振验证其共振峰轨迹,代价是系统性偏高与第三共振峰在释放段仍有约 257 赫兹残差。
论文在 BVCC 上揭示男听众系统性打分更高且差距随质量变化,证明平均标签训练的 SSL-MOS 预测更贴近男性标准,并用抽象二值组嵌入的双分支模型同时提升总体与分性别预测精度。
针对开放词汇关键词检测中易混词难区分且流式对齐与训练推理不一致的问题,MPA-KWS 用 W-CTC 强制对齐统一处理支持音频与查询音频并做音素级多模态对比学习,在 LibriPhrase-Hard 上文本加音频注册达到 AUC 97.30% 与 EER 8.21%,代价是需要预训练声学编码器与多任务权重调参且当前无公开代码可用。
针对音视频局部短时伪造易被全局池化稀释的问题,MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注,用视频级主损失加窗口级辅助损失训练,在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC,在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%,代价是依赖 …
针对重型自监督模型难以部署到实时边缘端的问题,MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏,在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率,代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测,用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈,闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。
MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务,在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率,并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益,但多次生成带来明显计算代价。
针对智能眼镜佩戴者语音易被旁人声污染的问题,该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T,在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%,代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。
针对标注少且情感线索分散在能量与时序中的问题,该文用信噪比控制的混合增强扩大能量分布、用帧级注意力挑选关键帧,并以四种损失联合优化,在四个数据集上报告了最高准确率,但代价是更多的超参数与训练分支。
针对 ALS 构音障碍分级与 ALSFRS-R 进展预测,该工作把每人多段 2 秒语音的冻结 SSL 嵌入建成单张 k 近邻图并做图分类,最强证据是官方验证集上 HuBERT+GIN 的宏 F1 为任务 1 的 0.73 与任务 2 的 0.69,代价是固定补齐引入重复伪影与固定 kNN 可能连入通道相似而非临床相似的边。
针对音频推理中大模型幻觉与工具误差并存的问题,该工作用双语音大模型独立观察加 25 个分级声学工具交叉验证做音频问答,在 MMAR 上以推理质量 69.8 分居首,代价是单样本 8 到 10 分钟的流水线延迟。