随着Web2.0和云计算等技术的成熟，出现了以慕课（massive open online course，MOOC）平台为代表的为全球用户提供知识教育服务的网络学习社区. 与单纯的视频公开课相比，慕课这种教学模式既具有正规课程的效能，能保证教学质量，又具有资源免费、课程丰富、以及自由度大等优势，能在很大程度上满足不同群体对知识的需求. 这种理念和实践得到国内外越来越多大学的认同，他们在慕课平台上免费开放自己的课程，方便人们进行在线学习，形成网络学习社区，以此实现知识传播的目的. 当大量学习资源和学习活动同时呈现于网络上时，学习者难免会对过载的信息资源感到困惑，较难快速找到适合自己的学习资源. 因此，如何让知识得到更有效的传播，将合适的知识传播给有需要的人，避免知识的重复生产，促进知识的广泛应用，成为目前在线学习推荐领域重要的研究问题.

在个性化推荐系统方面，国内外学者提出了各种不同的推荐算法与实现方式. 常用的推荐算法主要包括：基于内容的推荐算法^[1-5]、协同过滤算法^[6-15]和混合推荐算法^[16].

近年来，深度学习在图像处理、自然语言理解和语音识别等领域取得了突破性进展^[17]，为推荐系统的研究带来了新的机遇. Singh等^[7]提出协同矩阵分解（collective matrix factorization，CMF）模型，在模型中构建用户辅助信息矩阵、项目辅助信息矩阵、用户评分矩阵，通过对各矩阵进行分解，使得用户隐向量矩阵和项目隐向量矩阵出现在多个矩阵中，而又保持2种隐向量的一致性. Salakhutdinov等^[10]构建用户潜在特征矩阵和项目潜在特征矩阵，分别表征用户特征和项目既有特征，然后将2个矩阵相乘来预测用户对项目的评分，提出概率矩阵分解模型. Ma等^[11]在概率矩阵分解（probabilistic matrix factorization，PMF）模型的基础上融合社交关系，考虑用户的社交关系对模型的影响，从而得到在用户社交关系影响下用户对项目的预测评分，提出Social Regularization算法. He等^[15]提出神经矩阵分解（neural matrix factorization，NeuMF）模型，利用矩阵分解模型来建立线性建模能力，利用多层感知机模型来建立非线性建模能力，之后将2个模型结合起来，以用户、项目ID的one-hot表示作为模型的二元输入，以用户对项目的反馈（喜欢或不喜欢）作为输出来训练模型，最终得到了较好的推荐效果. Elkahky等^[18]将深度结构化语义模型（deep structured semantic models，DSSM）进行扩展，提出多视角深度神经网络模型，通过用户和项目2种信息实体的语义匹配向用户推荐项目. Zheng等^[19]利用2个并行的神经网络模型学习用户和项目的隐特征，提出深度协作神经网络模型. Xu等^[20]分别利用用户和项目的所有标签定义用户和项目的输入特征，用于学习用户和项目的隐表示，提出基于DSSM模型的标签感知的个性化推荐方法. Chen等^[21]在DSSM模型基础上增加了1个位置通道，研究位置感知的个性化新闻推荐问题. Okura等^[22]基于深度学习方法研究新闻推荐问题，采用降噪自编码器从新闻中提取文章的隐表示，采用循环神经网络（recurrent neural network，RNN）从用户的历史行为中学习用户的隐表示，基于新闻和用户的隐表示采用点乘的方式为用户产生新闻推荐列表. Bansal等^[23]利用门控循环单元（gated recurrent units，GRUs）学习文本内容的向量表示，基于隐因子模型采用多任务学习框架构建联合优化函数，提出基于RNN模型的文本推荐方法. 将深度学习引入推荐方法，能够融入多源异构数据进行推荐，从而缓解传统推荐系统面临的数据稀疏和冷启动问题，提升推荐能力.

在线课程资源存在如下特点：1）循环性，课程资源实时在线供用户学习，不会像其他项目一样过段时间后就不再流行；2）更新较缓慢，课程资源不像电影、商品等更新速度快，从而新课程加入对推荐的影响较小；3）在线课程学习平台上的用户一般具有较为详细的个人信息和学习目的，选择课程的目标性明确，用户的历史数据能较好地表现用户的偏好. 随着在线学习的学习者和学习资源的不断增长，在线学习也存在数据稀疏现象，影响协同过滤等推荐算法的效果.

针对上述问题，结合在线课程资源的特点，将深度学习引入课程推荐，即分析在线学习过程中学习者和在线学习资源的知识特性，在已有深度学习模型的基础上，提出结合辅助信息（项目和用户信息）进行课程推荐的神经网络模型，综合考虑学习者之间的信息、以及课程之间的信息等因素，以提升模型表示用户和课程的准确性，从而提升模型的推荐效果.

NeuMF模型由广义矩阵分解（generalized matrix factorization，GMF）模型和多层感知机（multi-layer perceptron，MLP）模型2部分组合而成. 在GMF模型中，应用线性内核模拟特征之间的交互；在MLP模型中，应用非线性内核学习交互函数. 因此，NeuMF模型同时具有线性和非线性建模的能力，该模型在课程推荐中的具体应用结构如图1所示. 图中，模型的左侧为GMF部分，右侧为MLP部分. 模型自下向上，首先是输入层，该层的输入内容为用户和项目ID的one-hot编码，将这些编码传给嵌入（embedding）层，表示相应的用户和项目. 连接2部分子模型的输出，在输出层通过Sigmoid激活函数获取预测值 $\hat y$， $\hat y \in \left\{ {0,1} \right\}$表示用户对项目的偏好（1表示喜欢，0表示不喜欢）. 各层权值通过反向传播来训练.

模型具体表达式为

(1) ${\hat y_{\rm u,i}} = {f_{{\rm{out}}}}\left({W_{{\rm{out}}}}\left[ {{X^{{\rm{GMF}}}},{X^{{\rm{MLP}}}}} \right]\right),$

(2) ${X^{{\rm{GMF}}}} = { p}_{\rm u}^{{\rm{GMF}}} \cdot { q}_{\rm i}^{{\rm{GMF}}},$

(3) ${X^{{\rm{MLP}}}} = {f_L}\left({W_L}\left(\cdots{f_1}\left({W_1}\left[ {{ p}_{\rm u}^{{\rm{MLP}}},{ q}_{\rm i}^{{\rm{MLP}}}} \right] + {b_1}\right)\cdots\right) + {b_L}\right).$

式中： ${X^{{\rm{GMF}}}} $、 ${X^{{\rm{MLP}}}} $分别为GMF、MLP模型部分的潜在特征向量， ${\hat y_{\rm u,i}}$为预测值， $f_{\rm out} $、 $W_{\rm out} $分别为输出层的激活函数权值， ${{p}}_{\rm u}^{{\rm{GMF}}}$为 $X_{}^{{\rm{GMF}}}$中用户潜在特征向量， ${{q}}_{\rm i}^{{\rm{GMF}}}$为 $X_{}^{{\rm{GMF}}}$中项目潜在特征向量， ${ p}_{\rm u}^{{\rm{MLP}}}$为 ${X^{{\rm{MLP}}}}$中用户潜在特征向量， ${ q}_{\rm i}^{{\rm{MLP}}}$为 ${X^{{\rm{MLP}}}}$中项目潜在特征向量， $\left[ {} \right]$表示内部元素连接， $f_L $、 $W_L $分别为第 $L $层的激活函数权值， $b_1 $、 $b_L $分别为第1、 $L $层的偏置.

NeuMF模型的具体训练过程如下：1）输入层：提取训练集中用户和课程的ID信息，采用one-hot进行编码. 2）嵌入层：以输入层作为输入，模型中使用了独立的嵌入层，模型左侧为GMF模型，右侧为MLP模型，每层都选用线性整流函数（rectified linear unit，Relu）作为激活函数，输出1×n维矩阵. 3）输出层：将GMF和MLP模型的输出进行首尾相连，通过Sigmoid激活函数将结果映射到[0，1.0]，获得预测结果 $\hat y$.

将NeuMF模型应用于分析慕课网的数据，和传统的基于用户的k最近邻算法（user k-nearest neighbor，UserKNN）算法，以及MFALS（matrix factorization-alternating least squares）算法进行比较，在实验中采用留一法（leave one out）方法，以命中率（hit ratio，HR）作为性能评估的指标. 结果发现UserKNN算法由于不涉及潜在特征向量长度n，其命中率为0.075；MFALS涉及到用户矩阵和项目矩阵的构建，其命中率随n的增加而变化，最后稳定在约0.110；NeuMF模型的命中率高于UserKNN算法和MFALS算法，其命中率大于0.500. 究其原因，UserKNN算法用目标用户和k个邻居的相类似的历史行为数据来预测用户未来可能喜欢的课程资源，而MFALS算法根据项目历史评分的高低给用户推荐课程资源，这2个算法均无法较好地满足在线课程资源推荐的实际需求，因此本研究考虑改进NeuMF模型，将推荐问题转化为分类问题. 提出效率更高的基于辅助信息（项目和用户信息）的神经网络模型（neural network model based on assistant information（item and user information），IUNeu）. 通过分析用户的历史学习记录来构建模型，并实现以用户和课程为最小单元的分类功能，正类表示用户喜欢，负类表示用户不喜欢，在模型中改进上述UserKNN和MFALS算法在课程推荐上存在的问题，从而提高推荐效果.

在IUNeu模型中，Input层的输入信息分为2部分：1）用户相关信息，如用户ID、用户的性别、职业等，其中除用户ID之外的信息称为用户辅助信息；2）课程相关信息，如课程ID、课程的标签，课程类别等，其中除课程ID之外的信息称为课程辅助信息. 输入信息的形式为[用户ID，男，前端工程师，…]，[课程ID，前端技术，JS基础设计，…]. 具体模型结构如图2所示. 可以看出，用户-课程辅助信息（以下统称辅助信息）参与整个模型的各个阶段. 在训练时，辅助信息与用户ID和课程ID一起作为输入；在GMF（MLP）组成模型中，融合用户ID、课程ID以及用户-课程辅助信息，参与线性建模（非线性建模）；在Sigmoid激活函数输出时，也融合了辅助信息.

IUNeu模型结构改进式（1）中的 $X_{}^{{\rm{GMF}}}$、 ${X^{{\rm{MLP}}}}$，表达式分别为

(4) $\begin{split} {X^{{\rm{GMF}}}} =&{ p}_{\rm u}^{{\rm{GMF}}} \cdot{ q}_{\rm i}^{{\rm{GMF}}}= \\ & ({ u}_0^{{\rm{GMF}}} \oplus { u}_1^{{\rm{GMF}}} \oplus \cdots \oplus { u}_m^{{\rm{GMF}}}) \cdot \\ & ({ c}_0^{{\rm{GMF}}} \oplus { c}_1^{{\rm{GMF}}} \oplus \cdots \oplus { c}_m^{{\rm{GMF}}}), \end{split} $

(5) $\begin{split} {X^{{\rm{MLP}}}} =& {f_L}({W_L}(\cdots{f_1}({W_1}\left[ {{ p}_{\rm u}^{{\rm{MLP}}},{ q}_{\rm i}^{{\rm{MLP}}}} \right] + {b_1})\cdots) + {b_L}) =\\ & {f_L}({W_L}(\cdots{f_1}({W_1}\left[ {{ u}_0^{{\rm{MLP}}} \oplus { u}_1^{{\rm{MLP}}} \oplus \cdots \oplus { u}_m^{{\rm{MLP}}},} \right. \\ & \left.{ c}_0^{{\rm{MLP}}} \oplus { c}_1^{{\rm{MLP}}} \oplus \cdots \oplus{ c}_m^{{\rm{MLP}}} \right] + {b_1})\cdots) + {b_L}). \end{split} $

式中： ${ u}_x^{{\rm{GMF}}}$（ ${ u}_x^{{\rm{MLP}}}$）为用户词向量，x=0表示用户ID，x≠0表示用户辅助信息，如性别、职业等； ${{c}}_x^{{\rm{GMF}}}$（ ${{c}}_x^{{\rm{MLP}}}$）为课程词向量，x=0表示课程ID，x≠0表示课程辅助信息，如数据挖掘、web前端等； $ \oplus $表示将原来固定的1×1×n张量扩展成1×m×n张量，即利用用户（课程）向量和用户辅助信息（课程辅助信息）向量扩展原来的1×n维矩阵，其中n为潜在特征向量长度，m为输入信息长度. 因此，GMF线性内核建模和MLP非线性内核建模的输出不仅受到用户、课程本身ID的影响，还由用户、课程本身内容属性决定.

本模型的具体训练过程如下：1）输入层：提取训练集中用户和课程的相关信息，包括用户性别、用户职业、课程大类、课程小类等，并采用one-hot进行编码. 2）嵌入层：以输入层作为输入，输出1×m×n维矩阵，通过扁平化操作，在原来长度为n的NeuMF模型的基础上，加入辅助信息，将长度扩展到 $mn$，其中 $(m - 1)n$为辅助信息向量的长度. 3）输出层：GMF子模型将扁平化后的2种结果点乘作为线性输出结果，MLP子模型将扁平化后的结果首尾相连，构成新的向量并作为神经网络的输入（其激活函数采用Relu激活函数）. 然后将GMF和MLP模型的输出进行首尾相连，通过Sigmoid激活函数映射到[0，1.0]，作为预测结果.

爬取慕课网（ http://mooc.guokr.com/）的2014年11月到2017年5月的数据作为实验对象，包括127 866位用户、703门课程. 为了便于模型训练和测试，首先对原始数据集进行统一化处理，从127 866位用户中筛选出学习课程数大于20门的用户；在这些用户中随机抽取6 000位用户和全部的703门课程作为实验数据集；对用户和课程信息分别进行处理和特征提取，共获得75个用户属性类别和49个课程类别. 在选取的数据集中，将用户学习过的课程作为用户的积极样本（即正样本），标记为1；将用户没学习过的课程作为用户的消极样本（即负样本），标记为0. 考虑到如果将所有课程作为候选推荐课程会增加不必要的时间复杂度，因此选取100位用户未曾学过的课程放在测试集中，作为预测的干扰项.

为了评价课程推荐指标，将用户所学的课程分为训练集和测试集2部分，考虑到用户学习课程具有先后性，采用留一法的评估方法，即对于每个用户，将其学习的最后一门课程作为模型的预测结果，将除最后一门课程以外的其他课程作为模型的训练集t，即通过前w–1门的课程学习记录来预测用户选择学习第w门课程的概率.

选用2个指标评价模型性能：HR和归一化折损累积增益（normalize discount cumulative gain，NDCG），表达式分别为

(6) ${\rm HR}_N = {{|p \in t\& p \in {R_N}|}}/{{|t|}},$

(7) ${\rm NDCG}_p = {{{\rm DCG}_p}}/{{{\rm IDCG}_p}}.\qquad\!\!\!$

式中：p为测试集中用户的课程； $|p \in t\& p \in {R_N}|$为同时属于测试集和推荐集 $R_N $中的用户课程的数量； $\left| t \right|$为测试集中用户课程数量； ${\rm DCG}_p= $ ${\rm{rel}}_1 + \displaystyle\sum\limits_{i = 2}^p {\dfrac{{{\rm{re}}{{\rm{l}}_i}}}{{{{\log }_2}\;(i+1)}}} $，rel为课程相关度； ${\rm IDCG}_p = \displaystyle\sum\limits_{i = 2}^{\left| {{\rm{REL}}} \right|} $ ${\dfrac{{2^{{\rm{re}}{{\rm{l}}_i}}-1}}{{{{\log }_2}\;(i+1)}}} $，|REL|为课程相关度的个数；NDCG₁₀为p=10时的NDCG，表示给用户推荐top 10门课程的效果评估，该值越大，说明排序质量越好.

研究潜在特征向量长度n、推荐课程数k、消极样本数量x以及迭代次数i对模型的影响，并对NeuMF和IUNeu的结果进行比较. 在实验中m=3，学习率为0.001，批处理大小为512.

1）潜在向量长度对模型性能的影响. n表示IUNeu模型在学习过程中得到的特征情况，为了研究其对模型性能的影响，将IUNeu模型和NueMF模型中的n分别设置为4、8、12、16，实验结果如图3所示. 可以看出，在相同的潜在向量长度下，IUNeu模型的性能优于NeuMF模型. 在同一个模型中，模型性能和n之间不存在正比关系，当n从4变成8时，IUNeu和NeuMF模型的性能均有所提升，但当n增加到一定值时，如n=12，模型性能反而下降，这主要是由于n过大会导致过拟合现象，从而使得模型性能降低.

2）推荐课程数对模型性能的影响. 实验中选择前k项课程推荐给用户，将k设置为[1，10]，其他参数不变，实验结果如图4所示. 可以看出，随着k的增加，2个模型性能都增加，其中IUNeu模型增长速度更快. 在相同的k下，IUNeu模型性能较好，由此可见用户和课程的辅助信息有助于模型对用户和项目的建模.

3）不同消极样本数量对模型性能的影响. 模型训练集不仅包含积极样本实例（用户学习过的课程），也包含消极样本实例（用户没有学习过的课程），消极样本实例在模型中作为干扰项. 为了研究x对模型性能的影响，将x设为[1，8]，实验结果如图5所示. 可以看出，x对NeuMF模型的影响更大，表现在随着x变化，NeuMF模型性能曲线变化更剧烈，说明IUNeu模型的抗干扰能力比NeuMF模型强. 在相同的消极样本数量下，IUNeu模型性能优于NeuMF模型.

4）不同迭代次数i对模型性能的影响. 为了研究迭代次数的变化对模型性能的影响，设置不同的迭代次数，当性能变化趋于平缓后迭代结束，实验结果如图6所示. 可以看出，IUNeu模型和NeuMF模型经过10次迭代后均可以达到较高的性能，且IUNeu模型的收敛更快，由此可见引入用户和课程的辅助信息有助于模型的收敛.

为了得到更好的NDCG，在推荐课程数对模型影响的实验基础上，通过给每一门top课程添加更多的特征信息，如课程评分、课程观看人数等，研究课程推荐的质量. 这些特征信息通过加权的形式进行添加，具体描述如下：通过IUNeu模型给用户 $u$推荐k门课程 $\left( {{c}_{1}},{{c}_{2}},\cdots ,{{c}_{k-1}},{{c}_{k}} \right)$，k门课程的初始权重设为 $(k,k-1,\cdots ,2,1)$. 设这些课程的观看人数为 $\left( {{p}_{1}},{{p}_{2}},\cdots ,{{p}_{k-1}},{{p}_{k}} \right)$，课程在平台上的评分为 $\left( {{s}_{1}},{{s}_{2}},\cdots ,{{s}_{k-1}},{{s}_{k}} \right)$，观看人数和课程评分的最大值分别为 ${{p}_{\rm m}}$、 ${{s}_{\rm m}}$，则课程 $\left( {{c}_{1}},{{c}_{2}},\cdots ,{{c}_{n-1}},{{c}_{n}} \right)$中的任意一门课程 ${{c}_{i}}$的权重的表达式为

(8) $f(i) =\left[{{k + k\left({\partial _1}\frac{{{p_i}}}{{{p_{\rm{m}}}}} + {\partial _2}\frac{{{s_i}}}{{{s_{\rm{m}}}}}\right)}}\right]\bigg/({2k}).$

式中： ${\partial _1} = {\partial _2} = {\rm{0}}{\rm{.5}}$.

为了观察添加课程其他相关特征信息对推荐结果的NDCG的影响，通过3.2节所设置的实验因素对添加课程相关特征和未添加课程相关特征情况下的NDCG进行实验对比，实验结果如图7所示. 可以看出，在引入课程特征后，模型性能随潜在特征向量长度、推荐课程数、迭代次数等因素的变化情况与3.2节所述类似. 在同等条件下，引入课程特征后，课程推荐的NDCG得到提升，从而使得推荐结果排序质量更好. 这说明课程特征，如课程评分、课程观看人数等对于提升模型性能可以起到正向作用.

从推荐效果和质量出发，对现有NeuMF模型进行改进，提出更加高效的基于辅助信息（项目和用户信息）的神经网络模型，IUNeu模型.

考虑用户和课程中内容对模型的影响，利用户的个人属性以及课程信息，构建融合用户和课程信息的神经网络模型. 在原有模型特征（用户和课程编码）基础上，进一步融合用户个人信息和课程类别等特征，使得模型对用户和课程特征的表征更精确. 利用慕课网的真实数据进行实验分析，验证所提出的推荐方法的可行性和有效性.

所提出的模型在新用户和新课程的处理上灵活度不高，今后的研究工作将考虑如何在模型中引入相似度计算，以解决新用户和新课程的推荐问题.