随着社会经济的发展和人民生活水平的提高，智能手机越来越普及，换机周期不断缩短. 根据中国电信浙江地区用户数据统计可知，截至2018年12月31日，用户平均换机周期约为21个月，平均换机次数为3.1次. 移动终端及配套产品的销售已成为电信运营商的战略核心，准确预测用户换机有利于运营商提升移动终端销量，扩大市场规模.

近年来，基于数据挖掘的电信用户画像建模及相关应用引起了工业界和学术界的广泛关注^[1-3]. 现有的电信用户画像建模方法主要使用基于特征工程的传统机器学习模型. 现有工作根据是否使用用户动态属性，如行为数据，可以分为以下2类.

1）只利用用户静态属性建模用户画像. Zhao等^[4]将用户自然属性（如年龄、入网时长、家庭成员数量等）和当前使用的移动终端属性（如终端品牌、价格、发售时间等）等静态属性输入，使用深度信念网络（deep belief networks，DBN）进行终端换机预测. 该类方法忽略了用户的行为信息，无法建模动态的用户画像.

2）引入用户动态属性，计算动态用户行为数据的统计特征，展现用户的行为规律和模式. Hadden等^[5-7]的研究表明，利用用户通话、流量、App使用等行为数据的统计特征能够构建更具表征力的用户画像，提升下游任务的性能. Yang等^[8]统计用户在每天不同时间段各类App使用时长的分布，使用风险回归模型预测用户多久后更换手机. Huang等^[9]在构建用户画像时引入用户通话、消费行为数据，考虑用户近7日、60日日平均通话时长和日平均消费金额，使用朴素贝叶斯（naive Bayes）算法预测用户流失. Vaefiadis等^[10-11]统计用户每天不同时间段的通话次数和通话时长，用于预测用户流失和推荐电信产品.

为了充分利用用户行为数据，Idris等^[12-13]引入更细粒度的用户通话行为数据统计特征。构建的相关标签包括通话总时长及次数、漫游通话次数、未接来电次数、接通后10 s内挂断次数、三方通话次数等，从而建模用户的通话模式.

上述电信用户画像建模方法或是忽略了用户行为信息，或是只引入了行为数据统计特征，无法显示建模用户行为序列的变化趋势，在一定程度上造成了信息损失. 针对以上问题，本文提出基于深度神经网络的多因素融合终端换机预测模型（multi-factor aware mobile terminal replacement prediction model，MRPM）. 该模型使用LSTM网络提取用户通话、流量使用行为序列特征，构建有效的序列表示。使用全连接网络融合用户自然属性、行为序列特征和历史换机信息，充分利用影响用户换机的多种因素，进行用户换机预测.

令当前日期为 $ t $， $ y\in \left\{0,1\right\} $为用户换机标签， $ y=1 $表示用户在未来 $ {T}' $天内换机， $ y=0 $表示用户在未来 $ {T}' $天内没有换机. 定义终端换机预测的任务如下. 建立终端换机预测模型 $f(\cdot )$，利用用户 $ u $的自然属性 $ {{v}}_{u} $、历史换机信息 $ {{r}}_{u} $和过去 $ T $天的通话、流量，使用数据 $ {{X}}_{u} $，对换机标签进行预测：

$ \begin{array}{l} \left\{ {{{{v}}_u};{{{r}}_u};{{{X}}_u}} \right\}\mathop \to \limits^{f\left( \cdot \right)} y, \;\;{{{X}}_u} = \left\{ {{{x}}_u^{\left( {t - T + 1} \right)}, \cdots ,{{x}}_u^{\left( t \right)}} \right\}{\text{。}} \end{array} $

式中： $ {{x}}_{u}^{\left(t\right)} $为用户 $ u $在日期为 $ t $时的通话、流量使用数据. $ T $设置为180， $ {T}' $设置为30.

基于中国电信浙江地区的用户数据，分析用户换机行为与部分特征之间的关系.

2019年1月换机与不换机用户的年龄分布如图1（a）所示. 换机用户的平均年龄比不换机的用户小3.8岁，45岁以下换机用户比例高于不换机用户，45岁以上不换机用户比例高于换机用户. 这表明年龄是影响用户换机的重要因素.

App类型偏好表示用户使用时长最久的一类App. 换机与不换机用户的App类别偏好如图1（b）所示. 图中，p为App类型偏好比例。App类型偏好有较大差异，换机用户游戏类App偏好比例（24.99%）显著高于不换机用户（10.20%），不换机用户阅读、社交类App偏好（分别为24.27%和26.74%）比例显著高于换机用户（分别为12.83%和17.55%）.

统计2019−01−07（周一）—2019−01−13（周日）的用户每日通话次数和流量使用，任意2个用户之间上述行为序列余弦相似度的累积概率分布如图1（c）所示. 可以看出，超过60%的用户对通话次数序列的余弦相似度小于0.44，超过60%的用户对流量使用序列的余弦相似度小于0.25. 这表明用户之间通话、流量使用行为模式具有显著差异，因此引入用户行为数据有利于更有效地建模用户画像，开展用户换机预测.

模型的框架如图2所示. 对用户自然属性进行预处理，得到用户自然属性编码。对终端属性进行预处理，得到终端属性编码，根据用户历史换机记录中用户使用的终端对应的终端属性编码及其他相关特征，构建用户历史换机信息编码。将预处理后的用户通话、流量使用序列输入LSTM网络，得到通话、流量使用行为序列特征表示。将用户自然属性编码、行为序列特征表示和历史换机信息编码拼接，送入全连接网络进行特征融合，预测用户是否换机.

终端换机预测模型使用的数据包括用户自然属性、用户通话、流量行为数据和用户历史换机记录. 在数据预处理阶段，对用户自然属性进行预处理，得到用户自然属性编码. 对于用户换机记录，对终端属性进行预处理，得到终端属性编码；根据用户历史换机记录中用户历史上使用的终端对应的终端属性编码及其他相关特征，构建用户历史换机信息编码；对于用户通话、流量行为数据，选取180 d的通话、流量使用数据，构建通话、流量使用行为序列，进行归一化和粗化，作为行为序列特征提取模块的输入.

模型使用的用户自然属性说明如表1所示. 表中，对于离散属性（如性别、客户星级），直接进行独热编码；对于除年龄外的连续属性（如入网时长、同客户下C网个数），通过等频分箱划分为5个区间再进行独热编码；对于年龄属性，考虑到不同年龄段用户换机的偏好不同，将年龄划分为8个区间^[14]（16岁以下、16~21岁、22~27岁、28~33岁、34~39岁、40~45岁、46~51岁和51岁以上）。进行独热编码，将所有属性的编码拼接后，得到用户自然属性编码 $ {{v}}_{u} $.

对用户历史换机记录编码时，需要考虑用户每一条换机记录对应的终端信息，因此对终端属性进行编码. 其中终端属性说明如表1所示. 对于离散属性（如品牌、网别），直接进行独热编码；对于连续属性（如价格、屏幕尺寸），通过等频分箱划分为5个区间再进行独热编码。将所有属性的编码拼接后，得到终端 $ s $的终端属性编码 $ {{l}}_{s} $. 由于终端品牌数众多，直接进行独热编码会造成维数灾难^[15]，基于浙江电信2018−12−31的终端使用数据统计终端品牌的使用分布. 将终端品牌分为10个类别进行编码，包括使用比例前9位的品牌和其他品牌. 终端品牌使用分布如图3所示。一个用户通常拥有多条换机记录，将这些换机记录对应的终端分为用户历史使用终端 $ \{{s}_{1},\cdots ,{s}_{k-1}\} $和当前使用终端 $ {s}_{k} $. 将用户历史使用终端对应的多条终端属性编码 $ \{{{l}}_{{s}_{1}},\cdots ,{{l}}_{{s}_{k-1}}\} $进行最大池化处理^[16]，得到历史使用终端编码 $ {{l}}_{\rm{his}} $，表示用户历史上对终端的偏好；将用户当前使用终端对应的终端属性编码 $ {{l}}_{{s}_{k}} $作为当前使用终端编码 $ {{l}}_{\rm{now}} $，表示用户当前对终端的偏好. 由于用户当前对终端的偏好更具信息量，对历史使用终端和当前使用终端单独编码.

除此之外，用户的换机周期模式是影响换机的重要因素，计算用户历史平均换机时间间隔 $ {p}_{\rm{his}} $和当前终端使用时长 $ {p}_{\rm{now}} $；归一化后与历史使用终端编码 $ {{l}}_{\rm{his}} $和当前使用终端编码 $ {{l}}_{\rm{now}} $拼接，得到用户历史换机信息编码 $ {{r}}_{u} $.

用户行为数据包括通话数据和流量使用数据，以天为单位，分别记录用户通话、流量使用行为的相关指标. 其中，通话行为数据包括呼出次数、呼出时长、呼入次数、呼入时长，流量使用行为数据包括流量使用次数、流量使用时长、上行流量、下行流量. 选取过去180 d的通话、流量使用数据，构成通话、流量使用行为序列. 对每个序列进行最大最小归一化处理，使得处理后的数据归一化到[0，1.0]，公式如下：

(1) $ x' = \frac{{x - {x_{{\rm{min}}}}}}{{{x_{{\rm{max}}}} - {x_{{\rm{min}}}}}}. $

式中： $ x $为原始数值， $ {x}_{\max} $为该数值所在序列的最大值， $ {x}_{\min} $为该数值所在序列的最小值.

在模型训练时，步长过多的序列会显著增加模型计算的复杂度^[17]. 根据经验，将时间跨度为180 d的行为序列每5天计算平均值，将原始步长为180的序列粗化至步长为36.

如图2所示，行为序列特征提取模块从高维的用户通话、流量使用行为数据中提取低维的行为序列特征表示，用于有效地建模电信用户画像，开展用户换机预测.

循环神经网络（recurrent neural network，RNN）是专门处理序列数据的深度神经网络. 变体长短期记忆（long short-term memory，LSTM）神经网络可以发现，序列数据中的长期依赖能够有效解决模型训练时的梯度消失问题^[18]. 如图4所示，使用多层LSTM网络提取用户行为序列特征，通话、流量使用行为序列特征提取模块采用相同的网络结构. 在LSTM网络中，将上一时刻的状态输入到下一LSTM单元中，保留了数据的序列信息，利用多层LSTM网络提升了模型的拟合能力. 在LSTM网络最后一层，使用Sigmoid函数将最后一个单元的输出进行归一化，作为行为序列特征表示. 为了平衡模型的拟合能力和复杂度，使用3层LSTM网络.

如图2所示，特征融合模块使用全连接网络，对构建和提取的特征表示（用户自然属性编码、行为序列特征表示和历史换机信息编码）进行融合，预测用户未来30 d内是否换机.

具体做法如下。将用户自然属性编码、行为序列特征表示和历史换机信息编码拼接成一个向量，输入到全连接网络中。其中全连接网络共3层，包含2层隐藏层（激活函数为LeakyReLU）和1层输出层（神经元数为1，激活函数为Sigmoid），输出结果为[0，1.0]，表示用户未来30 d内换机的概率. 隐藏层使用LeakyReLU激活函数代替常用的ReLU，是为了避免后者在训练过程中使神经元坏死的情况.

随机采样20万入网时间早于2017年12月31日且活跃天数超过入网时长40%的中国电信浙江地区用户，用于构建实验数据集. 将用户在2019年1月1日—2019年1月30日是否换机作为标签，其中换机用户约占全体用户的3.9%. 对于每个用户，选取自然属性、历史换机记录和2018年7月4日—2018年12月31日（时间跨度为180 d）的通话、流量使用数据构建数据集. 其中样本总数为20万，正、负样本比例约为1∶25.

模型通过以TensorFlow为后端的高层神经网络API（Keras）来实现. 网络的训练采用Nvidia RTX2080Ti显卡，显存为11 GB，硬件平台的处理器采用Intel（R）Xeon（R）Gold 5118 CPU，内存为128 GB.

用户自然属性编码 $ {{v}} $的向量维度为40，用户历史换机信息编码 $ {{r}} $的向量维度为36，行为序列深度特征的向量维度为d，d对模型性能的影响通过实验学习（见3.4节）. 训练时，使用随机梯度下降算法调整模型参数，目标函数为交叉熵损失函数. 表2给出基于深度神经网络的多因素融合终端换机模型超参数设置.

实验采用十折交叉验证来验证模型性能. 具体做法如下：将数据集随机打乱后分为十等份，轮流将其中9份作为训练数据，1份作为测试数据，开展实验.

考虑到数据集中样本类别的不平衡，使用精确率P、召回率R、F₁和P-R曲线，评估不同方法的性能. 精确率为预测换机正确的样本数除以预测为换机的样本数，召回率为预测换机正确的样本数除以真实标签为换机的样本数。F₁的计算方法如下：

(2) $ {F}_{1}=\frac{2PR}{P+R}. $

LSTM输出维度d表示模型中传递用户通话、流量使用行为序列特征信息量的大小. 若d的取值过大，模型容易过拟合且增大了计算开销；若d的取值过小，则模型无法充分表示行为序列特征. 为了研究d对模型性能的影响，将d依次从8逐步增长到64，增量为8. 模型的F₁变化趋势如图5所示.

从实验结果可以看出，当d=32时，F₁取得最大值0.159，模型性能最好. 在后续实验中，d设置为32.

为了研究不同因素对终端换机预测模型性能的影响程度，设计了MRPM的3种变体：MPRM-U、MPRM-S和MPRM-H. 这3种变体分别忽略了用户自然属性、行为序列特征和历史换机信息的影响.

这3种变体的性能如表3所示，同时考虑3种因素可以提高模型性能. 当召回率设置为0.135时，同时考虑3种因素分别比忽略用户自然属性、行为序列信息和历史换机信息提升了16.3%、22.3%和86.4%；根据不同因素的重要程度从高到低排序：历史换机信息>行为序列信息>用户自然属性. 实验结论如下. 1）历史换机信息对预测用户换机最重要，这主要由于大多数用户换机是有计划、有规律的，今后的换机行为往往与历史换机模式吻合. 2）利用用户行为序列信息能够显著提高换机预测的精确度，这表明用户换机往往会受到其对手机使用的倚赖程度影响. 3）除此之外，用户自然属性能够在一定程度上反映用户的消费习惯和社会角色，预测用户换机时需要考虑这些信息.

将提出的MRPM与传统的终端换机预测模型进行对比. 用于对比的基线模型如下.

1）基于逻辑回归的多因素感知预测模型（LR）：类似Huang等^[9]提出的基于逻辑回归的多因素用户流失预测模型. 由于基于逻辑回归算法的多因素感知预测模型不能直接处理用户行为序列，将用户自然属性编码、历史换机信息编码和通话、流量使用数据的统计特征输入逻辑回归模型，预测用户是否换机. 其中通话、流量数据统计特征的构建参照了熊冰妍等^[19]提出的用户行为数据统计特征构建方法，构建的通话、流量使用数据统计特征如表4所示.

2）基于支持向量机的多因素感知预测模型（SVM）：类似Huang等^[9]提出的基于支持向量机的多因素感知用户流失预测模型. 利用结论1）中所描述的特征输入支持向量机模型，预测用户是否换机.

3）基于极端梯度提升的多因素感知预测模型（XGBoost）：类似Huang等^[9]提出的基于支持极端梯度提升的多因素感知用户流失预测模型. 利用结论1）中所描述的特征输入极端梯度提升模型，预测用户是否换机.

将MRPM与上述基线模型进行对比，不同模型的P-R曲线如图6所示. 当所有模型的召回率设置为0.135时，不同模型的精确率和F₁如表5所示. 从实验结果可以看出，MRPM的P-R曲线几乎完全包围LR、SVM和XGBoost的P-R曲线，表明MRPM优于所有基线模型。在实际应用中，当所有模型的召回率均被设置为0.135时，MRPM的精确率分别比LR、SVM和XGBoost提升了88.2%、58.7%和34.3%. 这是由于MRPM利用了用户通话、流量使用序列信息，其他模型只引入了用户通话、流量使用数据统计特征，无法显示建模用户行为序列的变化趋势，在一定程度上造成信息损失.

本文提出基于深度神经网络的多因素感知终端换机预测模型. 该模型考虑影响用户换机的多种因素，设计基于LSTM的用户行为序列特征提取模块，利用用户通话、流量使用序列信息，避免了传统方法构建用户行为数据统计特征时造成信息损失.

本文提出的终端换机预测模型有进一步的拓展空间. 对于今后的工作，将重点探索以下3个方向：1）引入更多影响用户换机的特征，如用户自然属性中引入收入信息、家庭信息等；2）设计更具有表征能力的模型，如引入注意力机制使得模型能够自动选择更重要的特征；3）模型通用化，进一步改进模型，使其能够应用于电信用户画像建模的多种应用场景.