近年来，推荐系统（recommender system, RS）已广泛应用于电商、短视频、社交媒体等场景^[1-2]，通过挖掘用户行为数据实现个性化推送. 随着内容载体从文本拓展至图像、音频、视频等多模态形式^[3-4]，传统依赖单一模态的方法在建模用户兴趣与物品特征时面临局限. 多模态推荐（multimodal recommender system, MRS）因此兴起，旨在融合不同模态的信息以提升推荐性能.

多模态推荐的早期探索，如VBPR^[5]，率先利用卷积神经网络提取视觉特征，并将其融入经典的协同过滤框架，证明了模态信息对推荐的价值. 随着图卷积网络（graph convolutional network, GCN）的发展，用户-物品交互被自然建模为二分图，显著增强了推荐系统的建模能力. 以LightGCN^[6]为代表的模型在用户-物品二分图上有效捕捉高阶协同信号，其成功启发了研究者将其应用于多模态场景，并在此基础上提出了MMGCN^[7]、DualGNN^[8]、LATTICE^[9]等方法. 尽管这些基于图模型的方法在融合协同信号与模态信息上表现出巨大潜力，但其有效性仍受限于2个关键挑战.

1）多模态数据中固有的多层级噪声干扰问题. 模态信息在增强物品表示能力的同时，也引入了与推荐任务不相关的信号级与语义级噪声. 例如，图像中的模糊边缘、文本中的冗余词句属于信号级噪声，而各类与用户偏好无关的背景细节则构成语义级噪声. 现有方法在融合过程中往往对这2类噪声等价处理，从而影响了模型对关键信息的捕捉. 虽然部分工作尝试通过注意力机制^[9]或知识蒸馏^[10]间接提升信息相关性，或如DA-MRS^[11]从内容和反馈双侧进行去噪对齐，但它们大多缺乏对噪声来源与类别的细分，难以实现针对性的噪声抑制.

2）现有方法在用户偏好的动态性建模方面存在局限. 用户的兴趣并非静态不变，而是随情境不断演化. 在多模态场景下，这种动态性不仅体现在对不同物品的兴趣变化，更突出地表现为对不同信息模态的依赖变化. 例如，同一用户在浏览服装时可能更关注视觉模态，而在选购电子产品时则更依赖文本描述. 尽管已有工作如DiffMM^[12]引入了模态感知机制、PGL^[13]利用图的局部结构信息来增强个性化，但多数方法仍倾向于为用户学习一个静态的全局偏好表示，未能精准刻画用户模态偏好随上下文动态转移的特性，导致推荐的个性化程度不足.

为了解决以上问题，本研究提出面向去噪与用户偏好建模的多模态推荐模型（multi-modal recommendation model for denoising and user preference modeling, DPRec）. 首先，模型提出多模态双重去噪模块，分别处理信号级和语义级噪声. 在频域自适应滤除信号噪声的同时，借助ID引导的门控机制去除语义噪声，从而有效降低多模态特征中的噪声干扰. 其次，构建物品-物品图与用户-物品图，捕捉模态内外的高阶关系，增强特征表达能力. 在此基础上，用户动态偏好建模模块结合用户长期兴趣与当前上下文，动态推断不同模态的偏好权重，实现多模态信息的加权融合. 最后，引入对比学习机制对齐协同行为与偏好特征，统一语义空间，进一步提升推荐效果.

在多模态推荐中，有效处理模态内容固有的噪声对模型性能至关重要. 现有方法大致可分为隐式抑制与显式过滤2类. 隐式方法通过间接手段降低噪声影响，例如，基于注意力机制的方法LATTICE^[9]通过为不同特征分配自适应权重来弱化无关信息；知识蒸馏方法如SGFD^[10]则借助教师模型的稳定表示，引导学生模型在训练过程中减少噪声干扰. 这些方法虽有一定效果，但并未直接从数据层面移除噪声. 因此，近期的研究焦点转向了设计显式的净化模块. 其中的代表性工作，如MGCN^[14]提出的行为引导净化器和DA-MRS^[11]基于跨视图一致性的去噪策略，均通过主动识别并过滤冗余信息来提升表示的纯净度，证实了显式去噪的有效性.

然而，现有去噪技术普遍将模态噪声视为一个同质化的整体，忽略了噪声的多层次特性. 鉴于此，本研究提出双重去噪模块，旨在对不同层级的噪声进行针对性抑制，以实现更精细化的特征去噪.

精准地建模用户偏好是推荐系统的核心. 传统方法如矩阵分解学习一个静态的向量来表示用户的长期、平均兴趣. 随着深度学习的发展，研究者开始关注用户兴趣的动态性. 一些工作利用循环神经网络（recurrent neural network, RNN）或Transformer捕捉用户行为序列中的时序依赖，以预测用户的下一个行为.

在多模态和图模型背景下，用户偏好建模有了新的发展. DiffMM^[12]基于扩散模型对用户-物品交互图进行重建，并结合模态感知机制以提升上下文理解能力. PGL^[13]强调利用图的局部结构信息来提升个性化建模. MILK^[15]则提出模态不变性学习框架，以在不同模态间保持用户偏好表示的一致性. 这些方法极大地丰富了用户表示的信息. 然而，在多模态场景下，用户偏好的动态性不仅体现在兴趣随物品变化而转移，还体现在对不同模态的依赖会随情境而改变. 目前对此专门建模的研究仍然有限. 本研究设计了用户动态偏好建模机制，结合用户长期兴趣与当前上下文，动态推断其对不同模态的偏好权重.

对比学习（contrastive learning, CL）通过构建正负样本对以学习更具辨别力的特征，已成为缓解推荐系统数据稀疏性问题的有效范式. 在通用的图推荐场景中，其核心在于如何构造不同的数据视图. 一类方法是基于图结构增强，如SGL^[16]通过随机丢弃节点或边来产生不同视图. 另一类方法则追求简化，如SimGCL^[17]直接在特征空间中添加噪声来构造对比对，避免了复杂的图操作.

在多模态推荐中，对比学习的主要任务从视图增强转向跨模态对齐. 例如，SLMRec^[18]通过特征遮蔽之类的自监督任务提升模型鲁棒性；BM3^[19]聚焦于模态内与模态间的双重对齐；MENTOR^[20]设计多层次自监督任务以实现更精细的特征协同. 本研究则从用户-模态交互关系出发，直接对比用户与模态特征，以在语义空间中建立紧密的一致性，从而实现更高效的跨模态融合.

提出面向去噪与用户偏好建模的多模态推荐模型DPRec，整体架构如图1所示. DPRec主要包括以下几个模块：1）多模态双重去噪模块，利用频域自适应滤波器去除信号级噪声，并结合ID引导的门控机制剔除语义级冗余信息；2）多模态图学习模块，通过构建物品-物品同质图与用户-物品异质图，捕捉模态间的高阶语义关联；3）用户动态偏好建模模块，融合用户长期兴趣与当前上下文信息，推理多模态偏好并进行加权融合；4）对比学习模块，对齐用户行为与偏好特征，统一语义空间.

用户集合表示为$ U=\{{u}_{1},{u}_{2},\cdots ,{u}_{|U|}\} $，物品集合表示为$ I=\{{i}_{1},{i}_{2},\cdots ,{i}_{|I|}\} $. 用户的ID特征和物品的ID特征共同表示为$ {\boldsymbol{E}}_{\text{id}}=[{\boldsymbol{E}}_{\text{u},\text{id}}\| {\boldsymbol{E}}_{\text{i,id}}] \in {{R}}^{d\times (|U|+|I|)} $，其中$ d $为特征维度. 用户的模态特征为$ {\boldsymbol{E}}_{\text{u,}m}\in {{R}}^{d\times |U|} $，物品的模态特征为$ {\boldsymbol{E}}_{\text{i,}m}\in {{R}}^{{{d}_{m}}\times |I|} $. 这里，$ m\in M $表示模态，$ M=\{v,t\} $为视觉模态和文本模态的集合，$ {d}_{m} $为模态特征的维度. 用户-物品交互数据由矩阵$ \boldsymbol{R}\in {\{0,1\}}^{|U|\times |I|} $表示，其中$ {R}_{u,i}=1 $表明用户$ u $点击了物品$ i $，否则$ {R}_{u,i}=0 $. 交互矩阵$ \boldsymbol{R} $可被表示为用户-物品二分图$ G=(V,E) $，其中节点集合$ V=U\cup I $，边集合$ E=\{(u,i)\mid u\in U,i\in I,{R}_{u,i}=1\} $. 多模态推荐旨在准确预测用户偏好，并据此对每个用户的物品进行排序.

多模态特征在丰富物品表示的同时，也引入了2类性质不同的噪声. 第1类是信号级噪声，它源于数据采集与表示过程，与具体任务无关，例如图像的传感器噪声或文本的拼写错误. 第2类是语义级噪声，它特定于推荐任务，指模态特征中与特定用户偏好不相关的部分. 例如，对于仅关注商品材质的用户，其图像中关于颜色和款式的特征即构成语义噪声，可能干扰模型对核心偏好的准确学习. 因此，本研究提出多模态双重去噪模块，分别在频域与语义层面抑制噪声干扰.

为了滤除模态特征中的信号级干扰，借鉴了信号处理中的频域分析方法. 将每个物品的模态特征向量视为一个一维信号，并对其应用快速傅里叶变换（fast Fourier transform, FFT），以在频域中进行噪声抑制. 首先，整个物品模态特征矩阵$ {\boldsymbol{E}}_{\text{i,}m} $经由一个线性层进行初步变换，以统一到共享的特征维度：

(1)$ \boldsymbol{E}_{\mathrm{i}, m}^{\prime}=\boldsymbol{W}_1 \boldsymbol{E}_{\mathrm{i}, m}+\boldsymbol{b}_1 . $

式中：$ {\boldsymbol{W}}_{1}\in {{R}}^{d\times {{d}_{m}}} $，$ {\boldsymbol{b}}_{1}\in {{R}}^{d} $，均为可学习的权重参数. 随后，将${\boldsymbol{ E}}'_{\text{i,}m} $矩阵中的的每一列视为一个长度为$ d $的信号，通过对矩阵特征维度应用FFT，将其变换至频域，得到其频谱表示矩阵$ {\boldsymbol{F}}_{\text{i,}m} $：

(2)$ \boldsymbol{F}_{\mathrm{i}, m}=\operatorname{FFT}\left(\boldsymbol{E}_{\mathrm{i}, m}^{\prime}, \text { axis }=0\right) \in \mathbf{C}^{k \times|I|} . $

式中：$ \text{axis}=0 $指明FFT沿特征维度进行，输出的频谱矩阵的每一列都是一个复数向量，其长度$ k=d/2+1 $. 在频域中，一个可学习的、模态特定的复数滤波器$ {\boldsymbol{W}}_{\text{filter,}m}\in {{C}}^{k} $与频谱矩阵进行逐元素相乘. 该操作能自适应地衰减由噪声主导的频率分量，以实现滤波：

(3)$ \tilde{\boldsymbol{F}}_{\mathrm{i}, m}=\boldsymbol{W}_{\text {filter}, m} \odot \boldsymbol{F}_{\mathrm{i}, m} . $

最后，通过逆快速傅里叶变换（inverse fast Fourier transform, IFFT）将滤波后的频谱矩阵$ {{{\boldsymbol{F}}}}_{\text{i,}m} $重构回原始特征空间，获得信号级去噪后的特征矩阵$ {\boldsymbol{E}}^{\prime\prime}_{\text{i,}m} $：

(4)$ \boldsymbol{E}_{\mathrm{i}, m}^{\prime \prime}=\operatorname{IFFT}\left(\tilde{\boldsymbol{F}}_{\mathrm{i}, m}, \operatorname{axis}=0\right) . $

在信号级去噪的基础上，结合ID对齐策略构建了语义去噪机制，以进一步滤除特定于推荐任务的语义噪声. 该机制的核心思想是利用物品的ID特征作为语义引导信号，来对齐并提纯不同模态的信息. 具体地，该机制通过门控网络，依据经信号去噪的模态特征$ {\boldsymbol{E}}^{\prime\prime}_{\text{i,}m} $计算出语义相关性门控，并将其作用于原始ID特征，以实现对模态特征的自适应去噪与对齐，最终得到新表示$ {\boldsymbol{E}}^{\prime\prime\prime}_{\text{i,}m} $. 对于视觉和文本模态，该过程可表述如下：

(5)$ \boldsymbol{E}_{\mathrm{i}, \mathrm{v}}^{\prime \prime \prime} =\boldsymbol{E}_{\mathrm{i}, \mathrm{id}} \odot \sigma\left(\boldsymbol{W}_{\mathrm{v}} \boldsymbol{E}_{\mathrm{i}, \mathrm{v}}^{\prime \prime}+\boldsymbol{b}_{\mathrm{v}}\right), $

(6)$ \boldsymbol{E}_{\mathrm{i}, \mathrm{t}}^{\prime \prime \prime} =\boldsymbol{E}_{\mathrm{i}, \mathrm{id}} \odot \sigma\left(\boldsymbol{W}_{\mathrm{t}} \boldsymbol{E}_{\mathrm{i}, \mathrm{t}}^{\prime \prime}+\boldsymbol{b}_{\mathrm{t}}\right) . $

式中：$ {\boldsymbol{E}}_{\text{i,id}}\in {{R}}^{d\times |I|} $为物品的ID特征，$ \sigma $为Sigmoid函数，$ {\boldsymbol{W}}_{\text{v}},{\boldsymbol{W}}_{\text{t}}\in {{R}}^{d\times d} $、$ {\boldsymbol{b}}_{\text{v}},{\boldsymbol{b}}_{\text{t}}\in {{R}}^{d} $均为模态特定的可学习参数. 该门控网络通过逐元素乘法实现对特征的自适应过滤，以保证输出与输入维度一致.

受GCN在捕捉高阶特征能力上的启发^[6-7]，本研究设计了一个多模态图学习模块. 该模块包括物品-物品图与用户-物品图2部分：前者从模态内建模物品间的语义相关性，捕捉视觉或文本特征的语义结构；后者从交互视角建模用户与物品的协同信号，反映用户偏好与物品特征的互动关系. 两者结合，使模型同时利用语义与协同信息，获得更具表达力的特征表示.

为了显式地建模物品间的模态内语义关系，针对每一种模态$ m $构建相应的物品-物品图. 首先，图的邻接关系由物品特征的相似性确定. 任意2个物品$ i $和$ j $在模态$ m $下的连接权重通过其特征向量$ \boldsymbol{e}_{i}^{m} $和$ \boldsymbol{e}_{j}^{m} $的余弦相似度计算得出：

(7)$ \boldsymbol{S}_{i,j}^{m}=\dfrac{{({\boldsymbol{e}_{i}^{m}})}^{{\mathrm{T}}}\boldsymbol{e}_{j}^{m}}{\parallel \boldsymbol{e}_{i}^{m}\parallel\;\; \parallel \boldsymbol{e}_{j}^{m}\parallel }. $

为了保留最显著的关联并构建稀疏图，对每个物品仅保留其$ \text{Top}{\text{-}}k $个最相似的邻居，生成稀疏邻接矩阵$ {{\hat{\boldsymbol{S}}}}^{m} $：

(8)$ \hat{\boldsymbol{S}}_{i, j}^m=\left\{\begin{array}{ll}\boldsymbol{S}_{i, j}^m, & \boldsymbol{S}_{i, j}^m \in \mathrm{Top}{\text{-}}k\left(\left\{\boldsymbol{S}_{i, p}^m \mid p \in {I}\right\}\right) ;\\0, & \text { 其他. }\end{array} \right. $

随后，为了稳定信息传播过程，采用对称归一化处理$ {{\hat{\boldsymbol{S}}}}^{m} $，得到最终的邻接矩阵$ {{\overline{\boldsymbol{S}}}}^{m} $：

(9)$ \overline{\boldsymbol{S}}^m=\left(\boldsymbol{D}^m\right)^{-\tfrac{1}{2}} \hat{\boldsymbol{S}}^m\left(\boldsymbol{D}^m\right)^{-\tfrac{1}{2}} . $

式中：$ {\boldsymbol{D}}^{m} $为$ {{\hat{\boldsymbol{S}}}}^{m} $的对角度矩阵. 图结构构建完成后，通过图卷积操作聚合邻居信息，以更新物品的模态特征. 该过程旨在将图的结构信息融入物品特征中，其形式化定义如下：

(10)$ \overline{\boldsymbol{E}}_{\mathrm{i}, m}=\overline{\boldsymbol{S}}^m \boldsymbol{E}_{\mathrm{i}, m}^{\prime \prime \prime}. $

进一步地，基于用户-物品交互矩阵$ \boldsymbol{R} $与更新后的物品特征，生成用户侧的特征$ {{\overline{\boldsymbol{E}}}}_{\text{u,}m} $：

(11)$ \overline{\boldsymbol{E}}_{\mathrm{u}, m}=\boldsymbol{R} \overline{\boldsymbol{E}}_{\mathrm{i}, m} . $

最终，将用户侧特征$ {{\overline{\boldsymbol{E}}}}_{\text{u},m} $与物品侧特征$ {{\overline{\boldsymbol{E}}}}_{\text{i,}m} $进行拼接，得到该模态下的最终交互特征$ {{\overline{\boldsymbol{E}}}}_{m}={{\overline{\boldsymbol{E}}}}_{\text{u,}m}||{{\overline{\boldsymbol{E}}}}_{\text{i,}m} $.

为了进一步捕获用户与物品之间的高阶协同关系，并使其具备模态感知能力，构建了用户-物品异质图集合$ {G}=\{{G}_{c}\mid c\in \{\text{id},v,t\}\} $. 该集合中的所有图共享由交互矩阵$ \boldsymbol{R} $决定的统一拓扑结构，但每个图$ {G}_{c} $的节点分别由其对应来源（ID、视觉或文本）的初始特征进行初始化.

受LightGCN^[6]简化图卷积思想的启发，在每个图$ {G}_{c} $上执行轻量化的信息传播. 在第$ l $层传播中，特征更新规则定义如下：

(12)$ \boldsymbol{E}_{\text{u,}c}^{(l)}=\sum \limits_{i\in {{N}}_{u}}\frac{1}{\sqrt{|{{N}}_{u}|}\sqrt{|{{N}}_{i}|}}\boldsymbol{E}_{\text{i,}c}^{(l-1)}, $

(13)$ \boldsymbol{E}_{\text{i,}c}^{(l)}=\sum \limits_{u\in {{N}}_{i}}\frac{1}{\sqrt{|{{N}}_{i}|}\sqrt{|{{N}}_{u}|}}\boldsymbol{E}_{\text{u,}c}^{(l-1)}. $

式中：$ {{N}}_{u} $和$ {{N}}_{i} $分别表示用户$ u $和物品$ i $的一阶邻居集合. 初始节点特征$ \boldsymbol{E}_{c}^{(0)} $由初始用户特征与物品特征拼接构成. 对于多模态通道$ c\in \{v,t\} $，物品侧采用物品-物品图输出的增强特征$ {{\overline{\boldsymbol{E}}}}_{\text{i,}c} $，用户侧则使用初始化的随机特征.

经过$ L $层的信息传播后，聚合所有层的特征并取其平均值，作为最终的节点特征：

(14)$ {{\tilde{\boldsymbol{E}}}}_{\text{u,}c}=\frac{1}{L+1}\sum \limits_{l=0}^{L}{{\boldsymbol{E}}}_{\text{u,}c}^{(l)},  $

(15)$ {{\tilde{\boldsymbol{E}}}}_{\text{i,}c}=\frac{1}{L+1}\sum \limits_{l=0}^{L}\boldsymbol{E}_{\text{i,}c}^{(l)}. $

最终得到的特征$ {{{\boldsymbol{E}}}}_{\text{u,}c} $和$ {{{\boldsymbol{E}}}}_{\text{i,}c} $融合了图中的高阶邻域信息，并将作为输入传递给后续模块.

精准的用户建模是实现个性化推荐的核心. 传统方法通常为用户学习一个静态的特征向量，用以概括其长期兴趣. 然而在多模态场景下，用户的偏好并非恒定：例如，用户在浏览服装时可能更依赖视觉信息，在研究电子产品时则更关注文本描述. 这种偏好随上下文动态变化的特性，是静态用户表示难以捕捉的. 为了刻画此种动态性，并在CMDL^[21]启发下，设计了一种用户动态偏好建模机制. 如图2所示，该机制引导多模态信息的融合，以建模用户兴趣的动态性.

为了构建能够反映用户偏好变化的上下文，模型首先须对用户与物品的联合模态表示进行聚合. 其设计思想是，一个交互上下文的不同模态内容应围绕一个统一的语义核心. 因此，模块通过共享注意力机制对包含用户与物品联合表示的$ {{\overline{\boldsymbol{E}}}}_{m} $进行处理，以提取统一的语义核心，作为后续推断的基础. 该机制首先通过全连接层与Softmax函数计算各模态表示$ {{\overline{\boldsymbol{E}}}}_{m} $的注意力权重$ {\alpha }_{m} $：

(16)$ \alpha_m=\operatorname{softmax}\left(\boldsymbol{q}^{{\mathrm{T}}} \tanh \left(\boldsymbol{W}_2 \overline{\boldsymbol{E}}_m+\boldsymbol{b}_2\right)\right) . $

式中：查询向量$ \boldsymbol{q}\in {{R}}^{d} $及参数$ {\boldsymbol{W}}_{2}\in {{R}}^{d\times d} $、$ {\boldsymbol{b}}_{2}\in {{R}}^{d} $在所有模态间共享，从而实现从全局视角对模态重要性的评估. 随后，通过加权求和得到上下文的模态共享语义$ {\boldsymbol{E}}_{\text{core}} $：

(17)$ \boldsymbol{E}_{\text {core }}=\sum_{m \in {M}} \alpha_m \overline{\boldsymbol{E}}_m \text {. } $

在获得统一的上下文语义$ {\boldsymbol{E}}_{\text{core}} $后，模块的关键步骤是结合用户的长期兴趣表达，推断其在当前上下文中的动态模态偏好. 具体来说，模块将代表用户长期兴趣的协同行为特征$ {{{\boldsymbol{E}}}}_{\text{id}} $与反映当前上下文的特征$ {\boldsymbol{E}}_{\text{core}} $进行拼接，构成一个用户-物品交互向量$ {\boldsymbol{C}}_{{\mathrm{u,i}}} $：

(18)$ {\boldsymbol{C}}_{\text{u,i}}={{{\boldsymbol{E}}}}_{\text{id}}||{\boldsymbol{E}}_{\text{core}}. $

该向量随后被输入一个前馈网络，以生成动态偏好门控$ {\boldsymbol{P}}_{m} $：

(19)$ {\boldsymbol{P}}_{m}=\sigma ({\boldsymbol{W}}_{3}{\boldsymbol{C}}_{{\mathrm{u}},{\mathrm{i}}}+{\boldsymbol{b}}_{3}). $

式中：$ {\boldsymbol{W}}_{3}\in {{R}}^{d\times 2d} $、$ {\boldsymbol{b}}_{3}\in {{R}}^{d} $为可训练参数. 该门控向量$ {\boldsymbol{P}}_{m} $量化了用户在当前情境下对不同信息模态的偏好程度. 最后，模型利用此动态偏好，对多模态信息执行加权融合. 其策略如下：

(20)$ {\boldsymbol{E}}_{\text{mul}}={\boldsymbol{E}}_{\text{core}}+\frac{1}{|{M}|}\sum \limits_{m\in {M}}\left({{\overline{\boldsymbol{E}}}}_{m}-{\boldsymbol{E}}_{\text{core}}\right)\odot {\boldsymbol{P}}_{m}. $

该策略以共享语义$ {\boldsymbol{E}}_{\text{core}} $为基准，利用推断出的用户偏好$ {\boldsymbol{P}}_{m} $，对各模态与共享语义之间的残差信息进行动态加权. 如此，最终的融合表示$ {\boldsymbol{E}}_{\text{mul}} $不仅包含了内容的客观核心，也融入了用户视角下的主观偏好.

前述模块已分别捕获协同行为和用户偏好模态特征，但两者在来源与结构上的差异，易导致语义空间不一致，影响特征能力. 为此，设计基于对比学习的辅助任务，从表示层和语义层实现特征对齐，促进交互行为特征与偏好特征协同.

对于用户或物品特征，协同行为特征$ {{{\boldsymbol{E}}}}_{\text{id}} $和偏好特征$ {\boldsymbol{E}}_{\text{mul}} $分别刻画历史交互和内容偏好，但在语义空间中可能存在偏移. 为了促使两者一致，引入infoNCE^[22]对比损失：

(21)$ L_{\text{align}}^{(\text{u})}=\sum \limits_{u\in {U}}-\log \frac{\mathbf{\exp }\;(\widetilde{\boldsymbol{e}}_{u,\text{id}}^{{\rm{T}} }{\boldsymbol{e}}_{u,{{\mathrm{mul}}}}/\tau )}{\sum \limits_{{u}^{\prime}\in {U}}\mathbf{\exp }\;(\widetilde{\boldsymbol{e}}_{u,\text{id}}^{{\rm{T}} }{\boldsymbol{e}}_{{{{u}}^{\prime}},\text{mul}}/\tau )}. $

式中：$ \tau $为温度系数，用于控制相似度分布的平滑度：较小$ \tau $使分布更尖锐，模型更关注难负样本；较大$ \tau $使分布平滑，提升整体稳定性. 此外，物品侧采用相同策略，整体对齐损失为$ {L}_{\text{align}}=L_{\text{align}}^{(\text{u})}+L_{\text{align}}^{(\text{i})} $.

以往方法仅在实体级进行特征对齐，难以充分捕获用户潜在偏好. 为此，本研究在偏好分布层面引入对齐机制，以增强推荐的语义一致性与预测能力. 具体地，定义聚合反馈特征$ {{\tilde{\boldsymbol{E}}}}_{\text{i,f}}={{\tilde{\boldsymbol{E}}}}_{\text{i,v}}+{{\tilde{\boldsymbol{E}}}}_{\text{i,t}} $. 随后，将其与用户偏好特征进行对比，以计算用户在全体物品上的偏好分布：

(22)$ {\boldsymbol{P}}_{\text{mul}}=\text{softmax}\;(\boldsymbol{e}_{\text{u,mul}}^{{\rm{T}} }{\widetilde{\boldsymbol{e}}}_{\text{i,f}}), $

(23)$ {\boldsymbol{P}}_{\text{id}}=\text{softmax}\;(\boldsymbol{e}_{\text{u,mul}}^{{\rm{T}} }{\widetilde{\boldsymbol{e}}}_{\text{i,id}}). $

为了衡量2种分布的一致性，采用双向KL散度定义偏好对齐损失，通过对称约束使两者在整体分布上保持严格一致：

(24)$ {L}_{\text{prefer}}=\text{KL}({\boldsymbol{P}}_{\text{mul}}\| {\boldsymbol{P}}_{\text{id}})+\text{KL}({\boldsymbol{P}}_{\text{id}}\| {\boldsymbol{P}}_{\text{mul}}). $

基于用户和物品的ID特征与模态偏好特征，两者的最终表示分别定义为

(25)$ {\boldsymbol{e}}_{\text{u}}={{{\boldsymbol{e}}}}_{\text{u,id}}+{\boldsymbol{e}}_{\text{u,mul}}, $

(26)$ {\boldsymbol{e}}_{\text{i}}={{{\boldsymbol{e}}}}_{\text{i,id}}+{\boldsymbol{e}}_{{\mathrm{i}},\text{mul}}. $

用户$ u $对物品$ i $的偏好得分通过两者的内积进行计算$ {\hat{y}}_{\text{ui}}=\boldsymbol{e}_{\text{u}}^{\text{T}}{\boldsymbol{e}}_{\text{i}} $.

为了优化推荐效果，引入贝叶斯个性化排序^[23]（Bayesian personalized ranking, BPR）作为主要优化目标. BPR假设用户在交互过的物品上应表现出更高的偏好预测分数，在未交互过的物品上表现出更低的预测分数. 其损失函数形式为

(27)$ {L}_{\text{bpr}}=-\sum \limits_{(u,i,j)\in D}\ln \;\sigma ({\hat{y}}_{ui}-{\hat{y}}_{uj}). $

式中：$ D=\{(u,i,j)\mid {R}_{ui}=1, {R}_{uj}=0\} $表示训练样本中的三元组集合. 最终，模型的总损失由BPR损失、对齐损失和偏好保持损失共同构成：

(28)$ L={L}_{\text{bpr}}+{\lambda }_{1}{L}_{\text{align}}+{\lambda }_{2}{L}_{\text{prefer}}+\lambda |\varTheta |_{2}^{2}. $

式中：$ {\lambda }_{1} $和$ {\lambda }_{2} $为权重超参数，用于平衡其损失对总目标的影响；$ \varTheta $为模型可学习参数集合；$ \lambda $为正则化系数，用于控制参数规模.

DPRec的时间复杂度可以分为4个部分. 首先，在模态去噪阶段，须将原始模态特征从维度$ {d}_{m} $投影到统一维度$ d $，复杂度为$ O(\sum \limits_{m\in M}|I|{d}_{m}d) $. 随后在统一空间中进行FFT/IFFT与门控操作，复杂度分别为$ O(|I|d\log d) $)与$ O\left(\left| I\right| d\right) $. 其次，在图学习阶段，物品-物品图的邻居关系在训练前已离线构建完成，因此无需在训练过程中重复计算相似度. 训练时仅须基于该图进行消息传播，并与用户-物品交互图的传播一起考虑，其复杂度为$ O\left(\left| I\right| kd+\left| E\right| d\right) $，其中$ k $表示物品-物品图中的近邻数量. 在用户偏好建模阶段，本模型采用轻量卷积传播，其复杂度与交互边数线性相关，约为$ O\left(\left| E\right| d\right) $. 最后，在对比学习阶段，主要开销来自向量内积与Softmax归一化，复杂度为$ O\left(\left(\left| U\right|+|I|\right)d\right) $. 综上，DPRec的总体时间复杂度可近似为：

$ O\left(\sum_{m \in M}|I| d_m d+|I| d \log\; d+|I| k d+|E| d\right). $

本研究在4个多模态数据集上进行实验，包括亚马逊公共数据集^[24]中的Baby、Sports、Clothing这3个独立子集，以及短视频平台数据集MicroLens^[25]，以验证模型在不同模态场景下的泛化性能. 为了保证数据质量，筛选后每位用户至少保留5条有效交互记录. 多模态特征采用公开预提取版本^[26]，其中文本特征为384维，视觉特征为4096维. 数据集按 8∶1∶1比例划分为训练集、验证集和测试集，各数据集统计信息如表1所示. 其中， spa为数据稀疏程度.

采用$ \text{Recall}@K $和$ \text{NDCG}@K $这2个标准指标对推荐性能进行评估，用于衡量生成的$ \text{Top} $-K推荐列表的准确性和排序效果. $ \text{Recall}@K $表示推荐列表中命中的正样本占用户实际正样本总数的比例，定义如下：

(29)$ \text{Recall}@K=\frac{|\text{RI}\cap \text{Rec}@K|}{|\text{RI}|}. $

式中：$ \text{RI} $表示测试集中目标用户实际交互过的商品集合，$ \text{Rec}@K $表示模型为该用户生成的$ \text{Top} $-K推荐列表. $ \text{NDCG}@K $用于评价推荐结果的排序效果，衡量相关商品在推荐列表中的排名位置，定义如下：

(30)$ \text{NDCG}@K=\frac{\sum \limits_{i=1}^{K}\dfrac{{{\mathrm{rel}}}_{i}}{{\log }_{2}\;(i+1)}}{\text{IDCG}@K}. $

式中：${{\mathrm{ rel}}}_{i} $为推荐列表中第$ i $个商品的相关性得分，$ \text{IDCG}@K $表示在理想情况下所有相关商品按最优顺序排列的$ \text{DCG} $值. 在实验中，$ K $的取值设置为10和20.

在MMRec框架^[26]上实现所提模型及各对比方法，保证在统一配置下进行公平对比. 用户与物品ID特征维度初始化为64. 模型参数采用Xavier初始化，优化器选择Adam. 批大小设置为2048. 对比学习损失权重$ {\lambda }_{1} $与$ {\lambda }_{2} $通过网格搜索从$ \{0.000\;1, 0.001,\;0.01,\;0.1\} $中选取. 用户-物品图的卷积层数$ L $取值于$ \{1,2,3,4\} $，物品-物品图的卷积层数固定为1层，其$ \text{Top}{\text{-}}k $参数取值于$ \{10,20,30,40\} $. 模型训练最多迭代1000个epoch，若验证集上$ \text{Recall}@20 $在连续20个epoch内无提升，则提前终止训练. 所有实验在配备NVIDIA RTX 4090D GPU的服务器上运行.

为了验证所提方法的有效性，选取以下推荐模型作为对比.

1)协同过滤模型. (a) BPR^[23]：基于矩阵分解的方法，提出BPR成对学习损失对用户偏好进行排序优化. (b) LightGCN^[6]：一种简化的图卷积网络，它去除了特征变换与非线性激活，仅通过邻域聚合来学习协同信号.

2) 多模态推荐模型. (a) VBPR^[4]：在BPR的损失框架中引入由卷积神经网络提取的物品视觉特征，以建模用户的视觉偏好. (b) MMGCN^[7]：通过在不同模态的子图上分别执行图卷积，然后融合各模态学习到的表示来进行推荐. (c) BM3^[19]：引入自监督学习，通过构建模态间的对比视图来增强用户和物品的多模态表示. (d) MGCN^[14]：去噪原始模态特征，并自适应地捕获用户交互关系以进行建模. (e) DiffMM^[12]：将去噪扩散模型引入多模态推荐，借助模拟用户偏好从噪声中逐步恢复的过程，提升表示学习能力. (f) LGMRec^[27]：通过混合图卷积网络，同时聚合节点的局部邻域信息和全局图结构信息来学习用户和物品表示. (g) DA-MRS^[11]: 提出多模态推荐去噪与对齐框架，通过消除多模态内容与用户反馈噪声并实现精细对齐来提升推荐效果. (h) TMLP^[28]：一种基于多层感知机的模型，它将用户、物品及多模态特征拼接后输入网络以学习非线性交互.

如表2所示为各方法在4个数据集上的性能对比. 其中，${R}@K $、${N}@K $分别表示$\text{Recall}@K $和$\text{NDCG}@K $，黑体表示最优性能. DPRec在4个多模态数据集上均取得了显著的性能提升. 以NDCG@20为例，相较最强基线模型，DPRec在Baby、Sports、Clothing和MicroLens数据集上分别相对提升了4.23%、3.11%、4.52%和5.02%. 这一性能提升主要得益于模型中4个模块的有效配合：双重去噪机制在信号级和语义级有效滤除噪声，图结构建模挖掘了模态内外的高阶关系，动态偏好建模捕捉用户兴趣的变化，对比学习对齐进一步强化了用户动态偏好的表达一致性，从而提升多模态特征融合的效果.

从表中可以观察到，多模态推荐模型整体优于传统的协同过滤方法. 例如，多模态模型VBPR的效果优于其对应基线模型BPR. 然而，不同多模态模型在各数据集上的表现存在一定差异，且部分方法在处理不同程度的数据稀疏时表现不够稳定. 例如，DiffMM在Baby和Sports数据集上的表现优于MGCN，但在Clothing数据集上则表现不佳.

与早期的MMGCN相比，近年来注重特征去噪的模型（如MGCN、DA-MRS以及本研究提出的DPRec）整体表现更为优异. 尤其是在Clothing和MicroLens这类视觉特征丰富但噪声较高的数据集上，这类方法的优势更加突出. 这表明，在多模态信息愈加复杂的场景下，特征去噪已成为提升推荐性能的关键.

从整体结果来看，基于图结构的推荐模型普遍优于矩阵分解类方法，说明用户-物品交互图中的高阶信息传播在提升推荐性能方面具有明显优势. 例如，LightGCN通过简化的图卷积操作在三组数据集上都优于BPR，说明图神经网络在整合模态信息方面具有较强能力.

为了验证DPRec中各模块及模态信息的有效性，设计了2组消融实验，分别评估各功能模块和多模态信息对整体性能的贡献.

单独移除DPRec中的5个核心模块，构建5个变体模型，用以分析各模块对推荐效果的影响. 1) DPRec_fft：移除频域信号去噪，仅保留语义去噪. 2）DPRec_de：移除双重去噪模块，仅利用原始模态特征进行推荐. 3）DPRec_ii：移除物品-物品同质图，仅基于用户-物品交互信息进行推荐. 4）DPRec_up：移除用户动态偏好建模，不再生成融合用户偏好的特征表示. 5）DPRec_cl：移除对比学习模块，缺少协同行为和偏好特征的对比损失.

如图3所示为DPRec和5个变体的模块消融实验结果. 可以观察到，去噪模块的移除均会带来性能下降. 其中，DPRec_fft的退化表明频域信号去噪对特征纯净度有贡献. 相比之下，DPRec_de的下降幅度更大，说明双重去噪的联合设计整体效果更佳. DPRec_ii的缺失同样造成推荐效果减弱，表明物品-物品同质图在挖掘模态内高阶关系、丰富用户和物品表示方面具有重要价值. 与此同时，DPRec_up的性能下降反映了动态偏好建模在捕捉用户兴趣变化方面发挥着关键作用. 最后，DPRec_cl各指标的下降幅度最小，表明虽然对比学习不是唯一核心，但在对齐协同行为与偏好特征方面依然发挥了积极作用.

为了进一步分析不同模态信息的作用，还设计了2种模态消融变体. 1）DPRec_t：移除文本模态，仅保留视觉信息进行推荐. 2）DPRec_v：移除视觉模态，仅保留文本信息进行推荐.

如图4所示为DPRec和2个变体的模态消融实验结果. 可观察到，DPRec_t和DPRec_v的表现均不及完整DPRec，说明在推荐过程中，同时引入文本与视觉2种模态信息，能够更充分地补充用户兴趣表达，从而带来更好的推荐效果. 其中，DPRec_v的性能略优于DPRec_t，表明文本信息相较视觉信息在当前数据集上对推荐结果的影响更大. 这进一步表明了多模态信息之间能够相互补充，而DPRec在多模态特征融合上展现出一定的有效性，能够更好地提升模型推荐表现.

如表3所示展示了DPRec与主流推荐模型（BPR、LightGCN、BM3、DiffMM）在4个数据集上的显存占用与训练效率对比结果. 可以看出，DPRec的显存开销虽较BPR和LightGCN略有增加，但显著低于DiffMM，体现出更优的资源利用效率. 在训练时间方面，DPRec同样表现出明显优势，尤其在Baby与Sports数据集上，每轮训练耗时仅为DiffMM的约60%；即使在交互关系更复杂的MicroLens数据集上，DPRec依然保持了较高的运行效率. 综上，DPRec在保持推荐效果的同时，仍能兼顾合理的计算与存储效率.

为了探索用户-物品图的层数对模型性能的影响，在Baby、Sports、Clothing这3个数据集上将层数$ L $从1增加到4进行实验.

如表4所示为用户-物品图层数对模型性能的影响. 结果表明，随着$ L $的增加，DPRec的推荐性能先提升后趋于平稳，当$ L=2 $时达到最佳. 较小的层数可能导致信息聚合不足，无法有效捕捉多阶邻居特征，从而限制表示能力；而过多的层数则可能引入噪声信息，甚至导致表示过平滑，削弱模型判别能力. 因此，选择合适的层数对于有效表示用户与物品之间的多阶关系具有重要意义.

为了探究物品-物品图中邻居选择范围对模型性能的影响，本研究在Baby、Sports、Clothing这3个数据集上将Top-k参数从10增加到40进行实验.

如表5所示为物品-物品图 Top-k参数对模型性能的影响. 结果表明，随着k的增大，DPRec的推荐性能逐渐下降，当k=10时达到最佳. 较小的k能够构建一个高精度的稀疏图，确保信息仅在最相关的物品节点间传播. 反之，随着k增大，图中不可避免地引入低质量的噪声边，这不仅稀释了核心邻居的信号强度，还加剧了过平滑风险，使得物品表示逐渐趋同，最终损害推荐性能. 因此，合理选择Top-k参数对于提升物品-物品关系建模的有效性具有重要意义.

在Baby 和Clothing数据集上对损失权重$ {\lambda }_{1} $、$ {\lambda }_{2} $进行敏感性实验. 将其取值设为$ \{0.000\;1, 0.001, 0.01, 0.1\} $，并在验证集上评估不同组合的性能，结果以热力图展示.

如图5所示为Baby和Clothing数据集上不同对比学习权重的性能对比. 实验结果表明，当$ {\lambda }_{1} $和$ {\lambda }_{2} $均较小时，辅助对比损失的引导作用不足，导致性能明显下降；随着权重增大，性能呈现先升后降的趋势，例如在Baby数据集上，当$ {\lambda }_{1}={\lambda }_{2}=0.001 $时，Recall@20和NDCG@20分别达到0.1061和0.0468的峰值，而在权重进一步增大时性能开始回落. Clothing数据集呈现类似趋势，其中NDCG@20在$ {\lambda }_{1}={\lambda }_{2}=0.000\;1 $时达到0.0454的最高值. 整体来看，中等权重区域表现最佳，且$ {\lambda }_{1} $的变化对性能波动影响更为显著，这表明在主损失与辅助损失之间保持合理平衡对于性能提升至关重要.

为了进一步分析DPRec在性能提升中的作用，对LightGCN和DPRec学到的用户与物品表示进行对比可视化，数据中随机选取了2000个用户与2000个物品. 首先，采用t分布随机域嵌入（t-distributed stochastic neighbor embedding, t-SNE）将高维特征映射至二维空间，并对结果进行归一化，使其分布于单位圆内，其中二维表示记为$ ({f}_{1},{f}_{2}) $. 随后，将每个样本映射至极坐标系，记其角度为$ \theta $，并利用高斯核密度估计计算角度分布的概率密度函数$ p(\theta ) $，以刻画特征在不同方向上的分布情况.

如图6、7所示分别为LightGCN、DPRec学到的用户与物品表示. 结果表明，LightGCN学到的用户与物品表示在单位圆上呈现局部高度聚集，即部分区域特征密度较高，而其他区域较为稀疏. 这种分布特征可能导致模型对特定兴趣或特征存在偏好，限制了其泛化能力. 相较之下，DPRec学到的表示在单位圆上的分布更加均匀，特征密度变化平滑. 更均匀的表示分布有助于模型全面捕获用户兴趣和物品特征，从而提升推荐的准确性与多样性.

提出面向去噪与用户偏好建模的多模态推荐模型，旨在解决模态噪声干扰和用户偏好建模2个关键问题. 具体而言，设计了双重去噪模块，通过在频域进行自适应滤波和利用ID引导的门控机制，分别处理信号级与语义级噪声，以提升模态特征的纯净度. 通过构建物品同质图与用户-物品异质图，捕捉项目之间及用户与项目间的高阶关系. 基于图结构，动态偏好建模模块结合用户的长期兴趣与当前上下文，推断出用户的动态模态偏好，并据此对多模态信息进行加权融合. 最后，采用对比学习方法对齐协同行为与用户偏好，统一其语义表示空间，提升推荐效果.

未来的工作将聚焦推荐系统中的冷启动问题，进一步探索本模型在模态去噪和用户偏好建模方面的泛化能力，使其在新物品缺乏交互或用户行为稀疏的情况下，仍能提取有效特征并准确推测用户兴趣，以提升冷启动阶段的推荐性能.