多模态推荐里加模态反而变差:MMWave 如何提取与整合特征
论文针对融合模型从双模态到三模态时性能下降的模态抑制问题,提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave,并在四个数据集上以全排序检索验证效果与开销。
论文针对融合模型从双模态到三模态时性能下降的模态抑制问题,提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave,并在四个数据集上以全排序检索验证效果与开销。
针对音乐生成多人协调舞蹈时固定人数与身份混淆问题,ChainDance 把联合生成改写为沿舞者的条件链,用冻结单人扩散主干加两个轻量编码器与推理时噪声优化,在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74,代价是全局优化把推理从 0:06 拉长到 0:15。
针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。
Evi-VN 针对多种图神经网络共有的难分节点,用路由器筛选后再以两类虚拟节点注入校准后的外部证据,在 MGTAB 等六个任务上提升配对基线,但增益依赖路由与证据质量且部分数据集存在可分性偏强等限定。
PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器,在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示,代价是长链泛化和弱效果上的不均衡。
针对被动听语音脑电转波形只优化声学的问题,SENSE 用电极几何图编码加只在一致试次上对齐冻结语义空间的调节,在 N400 数据上以检索等表示层证据支持语义对应,但波形可懂度仍有限且自然语音只验证到表示层。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对 10 dB 信噪比医院环境噪声下心音 S1、S2 与杂音被掩蔽的问题,CLEAR 依次用 Whisper 编码器取长程语义嵌入、掩码图注意力网络做乘性去噪、潜在生成对抗网络在嵌入空间修复连续性,最强证据是单个最优样本从 PESQ 1.0304、SI-SDR -29.3715 dB 恢复到 PESQ 4.6433、SI-SDR 64.3566 dB,代价 …
针对不同母语背景系统性替代模式不同的问题,该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支,在 L2-ARCTIC 上报告检测 F1 为 59.52%,代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。
针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。
针对音视频局部短时伪造易被全局池化稀释的问题,MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注,用视频级主损失加窗口级辅助损失训练,在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC,在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%,代价是依赖 …
针对 ALS 构音障碍分级与 ALSFRS-R 进展预测,该工作把每人多段 2 秒语音的冻结 SSL 嵌入建成单张 k 近邻图并做图分类,最强证据是官方验证集上 HuBERT+GIN 的宏 F1 为任务 1 的 0.73 与任务 2 的 0.69,代价是固定补齐引入重复伪影与固定 kNN 可能连入通道相似而非临床相似的边。
针对整句独热标注模糊和变长聚合稀释问题,该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入,再用图注意力做序列到一聚合,并在后训练和微调用自蒸馏与监督对比增强鲁棒性,在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率,在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差,但 …
针对多模态对话情绪识别中全局图传播混合非目标说话人特征并可能看到未来的问题,论文提出先用因果 Top-K 注意力把跨说话人线索写成摘要、再只在单说话人异构子图上传播的 SF-HGN,在 IEMOCAP 上报告 68.76% 加权准确率与 68.73% 加权 F1、在 MELD 上报告 66.40% 与 65.65%,代价是 Angry 等类别明显下降且隐私仅 …
针对自发话语中语义、句法和叙事逻辑的非线性退化问题,该研究用语义图、依存图和基于健康常模 PMI 的共现图三路图注意力建模并以样本级门控融合,在 ADReSSo 上报告测试集准确率 90.00%,代价是依赖 ASR 转写与 BERT 词嵌入且未引入声学韵律。
针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题,MF-EDM 先用带多模态锚节点的句内图做融合,再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响,在四个多语言基准上取得最高加权 F1 与准确率,但完整模型在部分惯性子集上略低于单路径,说明跨说话人消息有时会稀释连续性信号。
针对儿童自发语音中病理性口吃与发育性不流畅声学重叠的问题,论文用词节点与帧节点的异构图建模词汇意图与声学实现的层级交互,在 47 名儿童的 UCLASS 与 FluencyBank-CWS 合并语料上以说话人独立 5 折验证取得 82.4% 加权准确率和典型不流畅 F1 0.386,代价是核心口吃类 F1 仅 0.280 且依赖增强与过采样平衡。
针对跨被试想象语音脑电解码中通道拓扑被打散与被试特异谱空特征混入任务表示的问题,该文用预训练时序编码加电极对齐池化、滑动窗多视角动态连接先验注入图偏置注意力与梯度反转对抗去被试化,在两个 15 被试五词任务上以严格留一被试交叉验证达到 31.20% 与 30.36% 左右的平均准确率,代价是短窗连接估计仍 noisy 且绝对精度仍只约三成。
针对直接压平小波散射系数会丢失父子路径关系的问题,WST-Graph 用固定的小波散射变换重建稀疏调制-载波网格再接入图后端,在 ASVspoof2019 LA 上以约 120k 可训练参数达到 2.92% 等错误率,并在 DFADD 等跨域集上显示出局部优势,但并非所有跨域集都一致占优。
针对 Yemba 等低资源语言声学表示难学的问题,该工作用异构图把声学节点和语言节点放在同一张图里做消息传递,并在 Google Commands 缩减集和 Yemba 孤立词数据上用 SVM 和聚类指标验证跨模态表示优于 MFCC 基线和单模态 GCN,但推理依赖预训练声学模型且未做到句子级。