DGC-Net:用跨模态证据选局部线索、再以全局为主做补偿的多模态情感分析
针对文本、声音和画面线索互相冲突且局部线索可靠性随样本变化的问题,DGC-Net 用其他模态的全局上下文指导本模态专家选择、再以稳定的全局语义为主融合可靠的局部补偿,在 CMU-MOSI 和 CMU-MOSEI 等五个基准上验证,但增益并不覆盖全部细粒度指标且部分设计随任务而变化。
针对文本、声音和画面线索互相冲突且局部线索可靠性随样本变化的问题,DGC-Net 用其他模态的全局上下文指导本模态专家选择、再以稳定的全局语义为主融合可靠的局部补偿,在 CMU-MOSI 和 CMU-MOSEI 等五个基准上验证,但增益并不覆盖全部细粒度指标且部分设计随任务而变化。
针对小提琴起音柔和导致先切音符再分类不可靠的问题,VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测,在跨数据集上提升了拨弦与跳弓等瞬态技法的检测,但换弓点检测下降且泛黄音仍困难。
论文针对端侧设备装不下深层语音识别模型的问题,用表示相似性分组把深编码器折叠成少数共享块循环执行,再用蒸馏和用户条件适配恢复精度,代价是循环次数决定的计算量仍需保留且极小块数下仍有残余误差。
针对双人关系识别中证据层次与互动类型被混在一起的问题,HiRe-DRR 把低层与高层线索分开构造同质与异质互动,再用稀疏路由选择与层级条件监督做分类,在 NoXi、UDIVA 和 SeamInt 三个切分下取得更高的 UAR 与 mAP,但结论只在短片段切分与给定关系划分下成立。
HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。
针对因子化 Transducer 用文本微调非空预测器会提升新领域但损害源领域的问题,论文提出把适配后预测器当作残差修正并用每前缀门控决定采纳多少,在保留新领域增益的同时源领域词错误率基本不变。
针对设备与年份变化导致呼吸音分布漂移且历史数据不能回放的问题,APRIL 冻结 BEATs 主干并为每个域保留独立的 LoRA 专家,再用多层原型取出两个候选并结合路由后验与分类置信做选择,在 ICBHI 与 SPRSound 正反序上取得最高的最终会话平均 Score 且平均遗忘低于 1.0 个百分点,代价是专家库随域数增长且每次推理需评估两个专家。
论文研究 FakeAVCeleb 与 LAV-DF 两来源已知来源且数量不均衡时的音视频伪造检测,用 MSCT 之前分出共享流和来源私有流再做门控残差融合,主证据是两种配比下宏平均 AUC 和最差来源 AUC 的提升,代价是推理依赖来源标识且私有专家随来源数增加。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
针对一句内中英交替难认准、稀有词和人名易错的问题,该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程,在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%,代价是需要约 2200 小时多数据训练和预先给定热词表。
COAX 在预训练选专家时按数据类别加软偏置,让低资源类别被引向更大的指定专家子集,在多语言与多模态混合上改善了低资源验证损失,而推理时可去掉偏置保持标准 MoE 流程,代价是小规模下可观的训练吞吐开销。
针对播放器染色、空间传播与手机录音链路耦合导致的音乐退化,该系统用尺度感知编码加直接复数谱映射的双轴 Top-1 稀疏专家模型复原,并以 202 种条件下 1572.12 小时对齐仿真数据提供监督,最终以 2.951M 参数取得盲测 LSD 1.273、FAD 2.540、ViSQOL 3.495 的第三名成绩。
AuraLuxMuse 用音乐与灯光的对比对齐检索专家灯光序列并按偏好适配,证据是演唱会与综艺场景专家评分占优而戏剧场景不显著,代价是依赖固定语料库且单次推理约 7.65 秒。
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。
论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链,用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估,在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率,但结论只在给定数据分布和评测流程下成立。
针对同一融合通路难以适应不同输入证据组合的问题,InstMoE 用五个单模态与跨模态专家加实例路由和对比语义对齐,在 CMU-MOSEI 与 CH-SIMS v2 上以 3.49M 至 3.53M 参数取得有竞争力的情感预测结果,但结论只在固定预提取特征与官方划分条件下成立。
SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。
针对同时训练多种音频理解技能时互相干扰的问题,SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合,在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点,代价是增加不到 4% 的参数和两阶段训练。
论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题,提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全,在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度,但结论依赖特定编码器、缺失模拟方式与理论能耗估计。
针对图文音视频混合检索中通用语义与模态特性难分离的问题,Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡,3B 整体 Hit@1 达 49.4%,代价是专家路径推理时不能合并带来延迟增加。