Tackling the Modality Inhibitance Effect with Wavelet-based Modality Integration in Multi-modal Recommendation

标签：#音频检索 | #多模态学习 | #图神经网络 | #对比学习
评分：6.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.3/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

Rongqing Kenneth Ong：机构信息未在 arXiv HTML 中可靠披露
Andy W. H. Khong：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

多模态推荐要根据用户与物品的历史交互和物品的视觉、文本、音频特征估计用户对未见物品的交互概率，难点是新增模态常带来与自身噪声混杂的冗余跨模态信号，使三模态融合效果反而不如双模态。MMWave 先对每种原始模态做多层 Haar 小波分解，只保留并加权低频近似系数再做逆变换重构，以滤除高频噪声并投影到共享空间，同时用物品身份嵌入做门控注入行为信息。随后模型在物品间构建模态相似图并做谱分解交叉增强得到融合图，分别用轻量图卷积传播物品高阶语义信号，用用户物品二部图传播协同信号。最后的自适应模态调节器用融合注意力加权单模态特征、用单模态注意力加权融合特征，再经协同门控相加得到最终表示，并用贝叶斯个性化排序损失加 InfoNCE 对比损失联合优化。与已有融合方法直接拼接或注意力求和不同，该设计把去冗余放在融合之前并用互加权平衡贡献。在 TikTok 全排序评测中 MMWave 的 Recall@10 为 0.0827，高于非融合最强基线 BM3 的 0.0722。该结论限于 Baby、Sports、Clothing 与 TikTok 四个五核过滤数据集的全排序 Recall 与 NDCG，原文报告了内存与每轮训练推理耗时，增量开销中等。

🔗 开源与复现资源

代码相关资源：https://github.com/kennethorq/MMWave — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

已有路线为什么多用融合，哪里不够

已有工作大致分两条线。一条是直接融合，VBPR 把视觉特征降维后与物品标识拼接或相加，MMGCN 为每个模态建用户物品视图再拼接，LATTICE 先为每个模态建物品相似图再用注意力定权重融合，FREEDOM 发现训练中学习图结构冗余于是提前冻结图，LGMRec 用超图补全局兴趣。另一条是非融合或自监督，例如 BM3 用自监督减少负采样错误监督的影响。论文指出这些融合做法是粗粒度地把模态信号一起推进表示学习，跨模态冗余会渗入物品表示。

尤其从双模态加到 3 模态时，已有融合模型在 TikTok 上反而下降，而非融合的 BM3 用全模态时最好。也就是说问题不只是哪个模态强、哪个弱，而是加模态引入了重复排序信号和各自的模态特有污染，简单注意力或拼接不足以处理。后续方法需要先提纯再整合，而不是把原始特征直接投影到共享空间再去噪，因为压缩过程本身会把信息与噪声缠在一起。

模态抑制效应到底指什么现象

论文把要解决的现象命名为模态抑制效应，含义是当模型从双模态过渡到 3 模态时性能明显下降。作者用 TikTok 上的对照说明，MMGCN、FREEDOM、LGMRec 在不同双模态组合下各有最好成绩，但加入第 3 个模态组成全模态后反而低于某个双模态子集，而 BM3 在全模态下最好。作者进一步用 VBPR 为例推导，BPR 损失里的排序间隔把各模态贡献加在一起，共享梯度项对所有模态相同，强模态把总间隔撑大后弱模态分到的更新变小，这是模态不平衡。模态抑制效应则另定义跨模态冗余为一批训练三元组上两个模态排序贡献的相关系数绝对值，子集冗余为两两平均，加新模态后冗余增加且性能下降同时成立才算出现该效应。

模态抑制效应 × 模态不平衡： 模态不平衡指联合训练中收敛快或信号强的模态占据共享梯度更新，使弱模态欠优化；模态抑制效应指新模态带来与已有模态高度重复的排序信号，冗余增大但推荐性能反而下降，二者一个讲优化步长分配，一个讲新增信息是否互补，需要分开判断。

理解时不要把两词混用，不平衡讲优化是否均匀，抑制讲新增模态是否带来互补信息。论文强调即使数据集本身不平衡程度不大，融合模型仍可能受抑制影响，所以需要从特征提取和整合机制上同时动手。

MMWave 整体分哪三步走

MMWave 的流程可以沿着一个物品走一遍。原始视觉文本音频特征先各自进入小波模态混合器，分解、衰减、重构、映射到共享隐空间，再与物品标识做门控混合，得到 1 阶单模态表示和初步融合表示。接着进入结构感知多模态图学习，一路在物品相似图上传播语义关联，一路在用户物品交互图上传播协同信号，得到高阶用户与物品表示。最后进入自适应模态调节器，对单模态与融合两路做交叉加权，再用行为表示做偏好门控，得到多模态侧特征，与行为标识表示相加后点积打分。下面这张总览图把三部分的位置和数据流向画了出来，左边是输入，中间是两类图，右边是调节与损失。

读图说明：这张总览图左侧为 3 路模态输入与行为标识，中间为图学习，右侧为调节器，箭头表示从原始特征到高阶表示再到损失的方向，建议先看主链再看行为支路如何注入。

看图路径： 1. 从左侧文本视觉音频三路输入找到进入小波模态混合器的箭头；2. 看中间上方三个模态视图与下方融合视图如何汇入右侧调节器；3. 看下方用户物品行为视图如何同时送入混合器和最右侧调节器；4. 注意标有冻结参数的谱分解位置在训练前完成

论文图 1。原论文 Fig. 1:：“An overview of the proposed architecture highlighting its three core components: (i) wavelet modality filter, (ii) structure-aware multi-modal graph learning and (iii) adaptive…”。

从图中可见，小波模态混合器输出文本视觉音频与融合 4 路嵌入，结构感知部分上方是 3 个模态视图与融合视图，下方是用户物品行为视图，最右侧调节器同时接收模态高阶表示与行为表示，并输出对比损失与排序损失。冻结参数标注出现在谱分解附近，表示融合图在训练前构造，训练时不再更新该部分结构，这对理解后续开销很重要。

小波分解如何只留下主体信号

第一步要解决模态各自的污染。论文不用多层感知机直接学从噪声到干净的映射，而是用离散小波变换做显式多分辨率分解。直观例子是把一条特征向量看成信号，低通滤波加 2 倍下采样得到近似系数，高通滤波加下采样得到细节系数，递归做 L 层就得到由粗到细的子带集合。作者采用 Haar 小波，低通为正负二分之根号二的平均，高通为差分，计算快且局部化好。分解的数学形式是把第 L 层近似与各层细节放在一起表示。

\[\mathcal{W}^{(L)}_{m}(\mathbf{E}_{i,m})=\left\{\mathbf{A}_{m}^{(L)},\,\mathbf{D}_{m}^{(l)}\,\middle|\,l=1,\dots,L\right\}\]

得到子带后只对最能保留主体信息的最深层近似系数做逐元素可学习衰减，相当于放大关键成分。

\[\mathbf{\widetilde{A}}_{m}^{(L)}=f_{m}\left(\mathbf{A}_{m}^{(L)}\right)=\mathbf{W}_{1,m}\odot\mathbf{A}_{m}^{(L)},\]

然后不用全部细节系数去完整还原，而是只用衰减后的近似系数做改进的逆变换重构，这样高频噪声对应的子带被直接抑制。重构后再经线性映射到共享维度，并与物品标识做门控相乘，保留行为信息。重构与映射的形式如下。

\[\mathbf{\widetilde{E}}_{i,m}=\mathbf{\widetilde{A}}_{m}^{(0)}=\mathcal{W}^{-1}\left(\mathbf{\widetilde{A}}_{m}^{(L)}\right),\quad\mathbf{\widetilde{E}}_{i,m}\in\mathbb{R}^{n\times d},\]

小波模态混合器 × 近似系数 × 细节系数： 小波模态混合器先把原始模态特征分解为近似系数和细节系数，近似系数对应低频主体结构，细节系数对应高频变化与噪声，模型只对近似系数做可学习衰减再重构，细节系数被抑制，从而保留主体语义而丢掉冗余高频，之后再与行为标识混合。

下面这张以音频为例的细节图把 2 阶段画得很清楚，左侧是分解与抑制，右侧是行为混合，建议重点看细节分支上的抑制标记。

读图说明：该图以音频嵌入为例展示模态小波提取器与模态行为混合器，左侧虚线框内为两层分解与重构，右侧为物品标识注入，建议按从左到右的信号顺序阅读并注意被划掉的子带。

看图路径： 1. 从左到右看音频嵌入经过低通高通与二倍下采样的第一层分解；2. 注意细节系数分支标出的子带抑制与近似系数的第二层分解；3. 看可学习权重对第二层近似子带的作用与重构路径

论文图 2。原论文 Fig. 2:：“Proposed wavelet modality mixer module, comprising two key stages: (i) modal-wavelet extractor and (ii) modal-behavioral mixer.”。

图中第一层经低通和高通分别得到近似与细节，细节分支标出子带抑制，第二层继续对近似分解并对深层近似做权重相乘，细节同样被抑制，最后经图示的合成滤波与上采样重构，再与物品标识经非线性激活相乘得到混合表示。这解释了为什么后续传播的是提纯后信号而非原始特征。

物品图与用户物品图分别传播什么

提纯后需要编码高阶关联。物品侧先对每个模态用原始模态向量算余弦相似，对每个物品只保留相似最高的 K 个邻居，其余置零，再做对称归一化，得到稀疏的单模态图。相似与稀疏化的定义如下。

\[\mathbf{s}_{a,b}^{m}=\frac{\left(\mathbf{e}_{a}^{m}\right)^{\text{T}}\mathbf{e}_{b}^{m}}{\|\mathbf{e}_{a}^{m}\|\|\mathbf{e}_{b}^{m}\|}.\]

为了让融合图带有结构互补信息，论文对每个单模态图做谱分解得到特征向量与按降序排列的特征值，再用其他模态的特征值去加权本模态图并平均，最后对各模态结果再平均得到融合图。谱分解的写法如下。

\[\mathbf{V}_{m}\,\boldsymbol{\Lambda}_{m}\,\mathbf{V}_{m}^{\top}=\ddot{\mathbf{\mathcal{S}}}_{m}.\]

单模态与融合 1 阶表示分别在各自图上做轻量图卷积传播，用户侧则按交互邻居做对称归一化加权求和，把物品高阶表示聚给用户。论文报告在物品图上较浅传播已够，但在 Baby 上稍深一层更好，原因是文本结构信息更丰富。行为侧用用户物品二部图的归一化邻接矩阵递归传播标识嵌入，再对各层平均得到最终行为表示。两路图都是为了把语义近邻与协同近邻的高阶信号带进来，但传播对象不同，一路是物品之间的模态相似，一路是用户与物品之间的交互。

单模态图 × 结构感知融合图： 单模态图由原始模态特征的余弦相似加取前 K 稀疏化和归一化得到，反映该模态下的物品近邻；结构感知融合图先对各单模态图做谱分解，再用其他模态的特征值去加权本模态图并平均，目的是把跨模态的结构互补信息装进统一的传播结构，训练前预先算好。

需要记住单模态图与融合图都在训练前建好，训练时不额外更新图结构，这与 FREEDOM 冻结图的思路一致，目的是省开销。

交叉加权如何决定各模态出多少力

有了高阶单模态与融合表示，关键是整合比例。论文不用简单的注意力求和，而是先分别算单模态注意力权重与融合注意力权重，再交叉使用，用融合权重去乘每个单模态表示，用单模态权重的平均去乘融合表示，使两路互相校准，抑制某一路的主导偏置。之后再从行为标识的高阶表示经门控算出单模态与融合的协同偏好权重，与交叉加权后的表示逐元素相乘并平均，得到多模态侧特征。最终用户与物品表示是行为表示加侧特征，预测分数为两者点积。

自适应模态调节器 × 交叉加权 × 行为偏好门： 自适应模态调节器先分别算单模态注意力和融合注意力，交叉加权指用融合注意力去加权每个单模态表示、用单模态注意力去加权融合表示，使两路互相校准，再用从用户物品标识传播得到的行为表示做门控加权，目的是让融合比例跟随行为信号而非固定超参数。

这种设计的代价是引入了多组模态与融合的多层感知机参数，内存与训练时间会增加，但好处是可扩展，加模态时不需要线性增加手工融合超参数。论文在 TikTok 3 模态与亚马逊双模态上都用同一套机制，实验部分验证了全模态反而最好，与引言中已有融合模型加模态下降形成对照。

模型用什么损失训练，参数如何更新

训练目标由排序损失加对比损失加 L2 正则组成。排序用 BPR 损失，对每个三元组让用户对正物品的分数高于负物品，对数 sigmoid 的负值越小越好。对比用 InfoNCE，分别在用户侧和物品侧让行为表示与多模态侧表示的点积在同一样本上更大、与其他样本上更小，温度系数控制分布锐度。两项按权重相加，论文在超参数分析中发现对比权重取很小例如 0.01 较合适，取 0 会明显下降，取 1 则最差，说明对比是辅助而非主目标。优化用 Adam，嵌入维度 64，Xavier 初始化，批量 2048，最多 1000 轮，以验证集 Recall@20 连续 20 轮无提升做早停。

图结构与谱分解在训练前完成，训练时更新的是滤波衰减权重、映射矩阵、门控与注意力参数以及标识嵌入。原文没有给出每层梯度路径的逐项推导，也没有报告不同随机种子的方差以外的细节，复现时应按 MMRec 框架的统一实现为准。

BPR 损失 × InfoNCE 对比损失： BPR 损失负责排序目标，让用户对已交互物品的打分高于未交互物品；InfoNCE 对比损失负责对齐目标，让同一用户或同一物品的行为表示与多模态侧表示更接近、与其他用户或物品更远离，二者加权相加共同优化。

理解时把两类监督分开，排序监督来自交互三元组，对比监督来自行为与模态两视图的对齐，二者都经过同一套表示，但作用不同。

数据划分与评价条件是什么

实验用亚马逊评论的 Baby、Sports、Clothing 3 个类目和 TikTok，共 4 个数据集。前三者为视觉加文本双模态，TikTok 为视觉文本音频 3 模态。预处理用 5 核过滤，即保留至少有五次交互的用户与物品。交互按 80% 训练、10% 验证、10% 测试划分，用全排序协议评价，即对每个用户给所有未交互物品打分再取前 K。指标为 Recall@K 与 NDCG@K，K 取 5、10、20，越大越好。

基线包括一般推荐的 BPR、LightGCN 和多模态的 VBPR、LGCN-M、MMGCN、GRCN、SLMRec、BM3、FREEDOM、LGMRec、MIG-GT，统一在 MMRec 框架下复现，嵌入维度与早停标准一致。作者说明 CMDL 与 R2MR 因实现不全未纳入公平比较，MENTOR 只在 Baby 上复现成功，Sports 与 Clothing 受显存限制未做。下面的数据集表给出用户数、物品数、交互数与密度，密度越小表示越稀疏，这影响图传播层数的选择。

以下表格说明数据规模与稀疏程度的比较问题，公平条件是同一 5 核过滤后的统计，密度越低检索越难，阅读时注意 TikTok 虽小但有 3 模态。

Dataset	#User	#Item	#Interaction	Density
Baby	19,445	7,050	160,792	0.117%
Sports	35,598	18,357	296,337	0.045%
Clothing	39,387	23,033	278,677	0.031%
Tiktok	9,308	6,710	68,722	0.110%

从表中可见 4 个数据集的用户与物品规模不在一个量级，Baby 最小而稠密，Clothing 最大而稀疏，Sports 居中，TikTok 用户与物品最少但交互密度相对较高。这种差异意味着同一组图层数与近邻数不能直接照搬，最优配置需要在验证集上重调。只看规模表不能得出方法优劣，还需结合主结果与消融一起读。

主结果在什么条件下成立

主结果回答在相同划分、全排序、相同嵌入维度与早停标准下，MMWave 是否 consistently 超过所列基线。论文报告在 3 个亚马逊双模态集与 TikTok 3 模态集上平均提升 6.48%，三次随机种子重复下配对 t 检验显著。值得注意的对照是，在双模态的亚马逊上 FREEDOM 与 LGMRec 等融合模型强于非融合 BM3，但在 3 模态 TikTok 上 BM3 反超 FREEDOM 与 LGMRec，而 MMWave 在两种条件下都保持第一，说明提纯加交叉整合缓解了加模态下降。下面的动机表先展示 TikTok 上不同模态子集的基线行为，阅读时注意行是模型与模态组合，列是 4 个指标，数值越大越好。

以下表格说明加模态是否带来下降的比较问题，公平条件是同一 TikTok 划分与全排序，指标方向均为越大越好，重点看融合模型从双模态到全模态的变化。

Non-fusion based	Modality	R@5	R@10	N@5	N@10
BM3 [19]	Visual & Text	0.0397	0.0693	0.0259	0.0354
BM3 [19]	Visual & Audio	0.0420	0.0673	0.0269	0.0349
(WWW’23)	Text & Audio	0.0417	0.0709	0.0262	0.0355
(WWW’23)	Full	0.0437	0.0722	0.0287	0.0379
Fusion based	Modality	R@5	R@10	N@5	N@10
MMGCN [11]	Visual & Text	0.0299	0.0578	0.0199	0.0288
MMGCN [11]	Visual & Audio	0.0364	0.0427	0.0219	0.0241
(MM’19)	Text & Audio	0.0154	0.0486	0.0094	0.0202
(MM’19)	Full	0.0309	0.0542	0.0152	0.0223
FREEDOM [14]	Visual & Text	0.0394	0.0614	0.0252	0.0321
FREEDOM [14]	Visual & Audio	0.0397	0.0607	0.0256	0.0322
(MM’23)	Text & Audio	0.0424	0.0581	0.0294	0.0344
(MM’23)	Full	0.0394	0.0571	0.0262	0.0319
LGMRec [15]	Visual & Text	0.0322	0.0588	0.0198	0.0282
LGMRec [15]	Visual & Audio	0.0295	0.0512	0.0193	0.0262
(AAAI’24)	Text & Audio	0.0312	0.0568	0.0208	0.0290
(AAAI’24)	Full	0.0305	0.0502	0.0204	0.0267

从该表可见非融合 BM3 在全模态下 4 个指标最高，而 MMGCN、FREEDOM、LGMRec 在全模态下多低于其各自最好的双模态组合，这正是论文定义的抑制现象的经验证据。但该表只覆盖 TikTok 与少数融合模型，不能推广到所有数据集。下面的主性能表给出 4 个数据集上与全部基线的对照，列数多是因为一次列出两种一般推荐与 10 种多模态方法，阅读时先锁定 MMWave 最后一列再横向比较。

以下表格说明在统一框架下谁的检索质量更高的比较问题，公平条件是相同维度、优化器与早停，指标为不同 K 下的召回与排序质量，越大越好。

Datasets	Metrics	General Recommender	General Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender	Multi-modal Recommender
Datasets	Metrics	BPR	LightGCN	VBPR	LGCN-M	MMGCN	GRCN	SLMRec	BM3	FREEDOM	LGMRec	MIG-GT	MMWave
Baby	R@5	0.0235	0.0285	0.0266	0.0261	0.0261	0.0333	0.0341	0.0337	0.0377	0.0410	0.0404	0.0435
Baby	R@10	0.0382	0.0453	0.0425	0.0428	0.0424	0.0534	0.0545	0.0548	0.0626	0.0653	0.0650	0.0690
Baby	R@20	0.0595	0.0728	0.0663	0.0717	0.0668	0.0831	0.0837	0.0876	0.0986	0.1010	0.1005	0.1040
Baby	N@5	0.0160	0.0191	0.0171	0.0170	0.0170	0.0223	0.0229	0.0227	0.0246	0.0273	0.0271	0.0290
Baby	N@10	0.0207	0.0246	0.0223	0.0225	0.0223	0.0288	0.0296	0.0297	0.0327	0.0353	0.0352	0.0373
Baby	N@20	0.0263	0.0317	0.0284	0.0300	0.0286	0.0365	0.0371	0.0381	0.0420	0.0444	0.0443	0.0463
Sports	R@5	0.0265	0.0350	0.0358	0.0338	0.0233	0.0382	0.0434	0.0395	0.0457	0.0462	0.0466	0.0499
Sports	R@10	0.0417	0.0542	0.0561	0.0522	0.0386	0.0607	0.0676	0.0613	0.0724	0.0719	0.0738	0.0760
Sports	R@20	0.0633	0.0837	0.0857	0.0791	0.0627	0.0922	0.1017	0.0940	0.1089	0.1107	0.1120	0.1148
Sports	N@5	0.0183	0.0237	0.0241	0.0223	0.0154	0.0251	0.0294	0.0268	0.0303	0.0304	0.0313	0.0333
Sports	N@10	0.0232	0.0300	0.0307	0.0284	0.0204	0.0325	0.0374	0.0339	0.0390	0.0388	0.0402	0.0419
Sports	N@20	0.0288	0.0376	0.0384	0.0353	0.0266	0.0406	0.0462	0.0424	0.0484	0.0488	0.0501	0.0519
Clothing	R@5	0.0127	0.0219	0.0191	0.0221	0.0137	0.0277	0.0291	0.0262	0.0396	0.0366	0.0410	0.0436
Clothing	R@10	0.0200	0.0338	0.0281	0.0357	0.0224	0.0428	0.0461	0.0418	0.0635	0.0556	0.0629	0.0673
Clothing	R@20	0.0295	0.0517	0.0410	0.0534	0.0362	0.0663	0.0696	0.0636	0.0938	0.0843	0.0936	0.0993
Clothing	N@5	0.0087	0.0146	0.0128	0.0145	0.0090	0.0178	0.0193	0.0174	0.0262	0.0243	0.0272	0.0288
Clothing	N@10	0.0111	0.0185	0.0157	0.0189	0.0118	0.0227	0.0249	0.0225	0.0340	0.0305	0.0343	0.0365
Clothing	N@20	0.0135	0.0230	0.0190	0.0233	0.0153	0.0287	0.0308	0.0281	0.0417	0.0377	0.0421	0.0446
Tiktok	R@5	0.0184	0.0325	0.0151	0.0345	0.0309	0.0243	0.0394	0.0437	0.0394	0.0305	0.0374	0.0502
Tiktok	R@10	0.0322	0.0529	0.0269	0.0558	0.0542	0.0374	0.0643	0.0722	0.0571	0.0502	0.0624	0.0827
Tiktok	R@20	0.0509	0.0785	0.0483	0.0886	0.0896	0.0693	0.1041	0.1067	0.0991	0.0768	0.1005	0.1188
Tiktok	N@5	0.0114	0.0200	0.0094	0.0230	0.0152	0.0147	0.0241	0.0287	0.0262	0.0204	0.0224	0.0304
Tiktok	N@10	0.0162	0.0266	0.0132	0.0298	0.0223	0.0188	0.0321	0.0379	0.0319	0.0267	0.0303	0.0408
Tiktok	N@20	0.0207	0.0331	0.0186	0.0380	0.0312	0.0268	0.0420	0.0466	0.0424	0.0335	0.0400	0.0499

从主表可见 MMWave 在 Baby、Sports、Clothing、TikTok 的多数 K 下领先，例如 TikTok 上优势更明显，而在亚马逊上领先幅度相对温和。结论成立依赖全排序而非采样评价、依赖文本视觉特征来自相同预训练提取，以及依赖验证集选出的层数与权重，换采样评价或换特征提取可能改变排序。未胜出项也要看到，单看某双模态子集时个别基线曾接近 MMWave 的单模态变体，说明文本或视觉单独已很强，多模态增益并非在所有类目上都很大。

拿掉哪个组件影响最大，单模态表现如何

消融回答每个组件是否必要。论文设 4 个变体，完整 MMWave、去掉小波模态混合器、去掉结构感知图学习、去掉自适应调节器并直接平均。结果是任一缺失都下降，其中去掉结构感知图学习下降最大，说明物品相似与融合结构最关键。在 TikTok 上单独去掉提纯或单独去掉调节器平均下降约 7.6%，说明 3 模态下提纯与整合同等重要。下面先看模态消融表，它比较只用文本、只用视觉、只用音频、只用初步融合与全量输入的性能，条件是同一模型其他部分不变。

以下表格说明每个模态是否都带来增益的比较问题，公平条件是同一 MMWave 结构只切换输入，指标越大越好，重点看全量是否高于任一子集。

Datasets	Modality	R@10	R@20	N@10	N@20
Baby	Text	0.0636	0.0991	0.0346	0.0436
Baby	Visual	0.0552	0.0872	0.0298	0.0381
Baby	Fusion	0.0578	0.0910	0.0314	0.0399
Baby	All	0.0690	0.1040	0.0373	0.0463
Sports	Text	0.0619	0.0937	0.0339	0.0421
Sports	Visual	0.0712	0.1072	0.0382	0.0474
Sports	Fusion	0.0698	0.1057	0.0383	0.0476
Sports	All	0.0760	0.1148	0.0419	0.0519
Clothing	Text	0.0627	0.0935	0.0339	0.0417
Clothing	Visual	0.0462	0.0698	0.0249	0.0308
Clothing	Fusion	0.0549	0.0806	0.0302	0.0367
Clothing	All	0.0673	0.0993	0.0365	0.0446
Tiktok	Text	0.0781	0.1142	0.0378	0.0469
Tiktok	Visual	0.0739	0.1169	0.0379	0.0487
Tiktok	Audio	0.0706	0.1129	0.0375	0.0482
Tiktok	Fusion	0.0676	0.1074	0.0362	0.0463
Tiktok	All	0.0827	0.1188	0.0408	0.0499

从该表可见全量在 4 个数据集上最高，去掉任一模态都下降，电商类目多是文本单独较强，TikTok 则是视觉单独较强，音频单独也不弱但初步融合单独反而偏低，说明未经调节的简单融合不如提纯后的交叉整合。限制是该表只报告 R@10、R@20 与对应 NDCG，未报告显著性与方差，且融合行指的是 1 阶加权和而非最终调节输出，不能与主表直接比大小。

读图说明：这两组柱状图分别展示 Recall@10 与 Recall@20 下 4 个变体在 4 个数据集上的高低，颜色区分完整模型与 3 种缺失，纵轴为指标值，建议先找每组最高的柱再看缺失结构图学习的蓝色柱。

看图路径： 1. 比较左图 Recall@10 下完整模型与三个去掉组件变体的高低；2. 比较右图 Recall@20 下结构感知图学习缺失时的下降幅度；3. 观察四个数据集上趋势是否一致

论文图 3。原论文 Fig. 3:：“Ablation studies on the proposed MMWave.”。

图中可见蓝色柱在多数数据集上明显最矮，尤其 Clothing 下降剧烈，而去掉提纯的橙色与去掉调节的粉色在 TikTok 上都明显低于完整模型，支持提纯与整合缺一不可的判断。但该图只画出召回未画出排序指标，且未给出误差棒，解读时应结合主表的 NDCG 一起看。

读图说明：这组图比较小波提纯与多层感知机去噪在相同数据集上的检索指标与参数量，左侧纵轴为指标，右侧纵轴为参数量，建议先比同数据集两色柱再看折线是否更高。

看图路径： 1. 比较深浅两色柱表示的小波方案与多层感知机去噪方案；2. 看右侧纵轴参数量折线是否随性能升高而同步升高；3. 观察三个数据集上谁用更少参数取得更高检索指标

论文图 5。原论文 Fig. 5:：“Comparison of MMWave with MLP-based Denoising”。

图中可见小波方案在 Baby、Sports、TikTok 上都略高于多层感知机去噪，而参数量折线在 Sports 上后者明显更高，说明效果并非来自更大的容量。论文还比较 Haar 与 Db4、Sym4、Coif1、Bior4.4、Dmey 等基函数，在 Baby 与 Sports 上差异不大，在 TikTok 上 Bior4.4 略好，可能与 3 模态异质性有关，但总体对基函数不敏感。超参数上分解层数 L 以 2 到 3 为宜，TikTok 上 L 为 4 明显下降，行为图层数 p 在 Sports 与 TikTok 上深些更好而 Baby 上 p 到 4 出现过平滑，物品图层数 q 多以 1 足够而 Baby 上 2 更好，近邻数视觉取大、文本取中小较好，文本邻居过大反而引入噪声。

还有哪些没测到与不能夸大的地方

首先抑制的直接证据主要来自 TikTok 的 3 模态对照与加噪声实验，其他 3 个集只有双模态，不能证明双模态下也存在同样程度的抑制。其次 t-SNE 与核密度图显示提纯后分布更均匀，但那是 750 个物品样本的 2 维投影定性观察，不能当作去噪的定量证明。加噪实验用随机替换其他物品的原始模态特征模拟污染，比例为 0%、5%、10%，这与真实缺失、错配或压缩失真不同，结果只支持在该模拟下全模态仍最好。

效率表显示 MMWave 内存与单轮训练时间高于 FREEDOM 与 LGMRec，原因是调节器中多组多层感知机，论文称总体可接受但未给出预处理中谱分解的时间与大规模图下的扩展曲线。基线中部分模型因实现或显存未能完整比较，主结果的平均提升是对所列可运行基线而言。没有测量误判率、在线延迟与人工评价，不能承诺这些会同步改善。不同指标的差值不要混放，百分点与相对百分比也要区分，阅读提升幅度时应回到原表按同一指标同一 K 比较。

复现第一步做什么，需要什么条件

复现应从统一框架与数据划分做起。代码方面作者仓库当前可用，地址为论文给出的 GitHub 链接，属于作者资源可用而非第三方转载，复现时先按 MMRec 的配置跑通 BPR 与 LightGCN，再接入多模态基线，保证嵌入 64、Adam、批量 2048、早停 20 轮、验证标准为 Recall@20 一致。数据方面按 5 核过滤与 8 比 1 比 1 划分重建 4 个集，特征沿用原文的预训练提取，不要自行更换视觉或文本编码器，否则相似图与小波输入分布都会变。

模型方面先实现小波分支，固定 Haar、调 L 在 1 到 4 之间，再实现训练前建图，包括余弦相似、取前 K、归一化与谱加权融合，最后实现交叉加权与行为门控，对比权重从 0.01 起调。关键超参数要保留，分解层数、行为图层数、物品图层数、近邻数与对比权重都会改变结论。还需补的验证包括在另一三模态集上重复加模态对照、报告多次种子的均值方差、给出谱分解与建图时间、以及在采样评价与缺失模态下的表现，只有这些补齐才能判断部署价值。

什么时候值得尝试，一句话总结

当推荐场景至少有两个以上异质模态，且发现加模态后融合模型反而下降、单模态或非融合反而更好时，值得尝试先提纯再整合的思路。第一步是复现 TikTok 上的模态子集对照，确认抑制是否存在，再逐步打开小波提纯、结构感知传播与交叉调节，观察全模态是否回升。需要补的验证是更多 3 模态数据、真实噪声而非随机替换、以及训练与推理开销的完整记录。

总的来说，论文的证据支持在所测 4 个数据集、全排序与统一训练条件下，MMWave 通过抑制高频细节、保留低频主体、预建结构感知融合图、交叉加权整合，能够在双模态与 3 模态下都取得最好的检索指标，但结论不自动推广到其他特征、其他评价协议或在线效果，部署前仍需按自身数据重调层数、近邻数与对比权重。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递

原文与引用

📄 多模态推荐里加模态反而变差：MMWave 如何提取与整合特征#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

推荐任务的输入是什么，要输出什么#

已有路线为什么多用融合，哪里不够#

模态抑制效应到底指什么现象#

MMWave 整体分哪三步走#

小波分解如何只留下主体信号#

物品图与用户物品图分别传播什么#

交叉加权如何决定各模态出多少力#

模型用什么损失训练，参数如何更新#

数据划分与评价条件是什么#

主结果在什么条件下成立#

拿掉哪个组件影响最大，单模态表现如何#

还有哪些没测到与不能夸大的地方#

复现第一步做什么，需要什么条件#

什么时候值得尝试，一句话总结#

⚖️ 评分明细#

📄 多模态推荐里加模态反而变差：MMWave 如何提取与整合特征