视频聚合平台^[1]能够实现将不同来源的海量视频资源整合在一个平台中，为用户提供高清视频在线播放、下载、互动等功能. 随着5G网络和视频播放技术的快速发展，网络用户可以在爱奇艺、腾讯视频、优酷视频等网络音视频聚合平台观看电影、电视剧、综艺、动漫节目. 平台方通过VIP账号、广告流量、引流至第三方平台等方式进行商业收费，用于支付视频版权费用、维持应用平台正常运营，进而推动影视行业的良性发展.

视频聚合平台根据播放模式的不同，可分为普通链接和深度链接2种形式^[2]. 普通链接聚合平台在用户点击视频链接后，从视频存储服务器调取资源，或者跳转至原链接平台播放，不涉及版权侵犯问题. 深度链接视频聚合平台（简称“盗链聚合平台”）通过技术手段，绕过官方平台的会员机制和贴片广告，获取各平台超前点播内容或收费内容，并自动对视频进行二次加工，如消除水印、植入广告、二次剪辑等，给用户提供“免费”的服务，如今被广泛用于电脑、智能手机、机顶盒、智能电视等设备.

以非法破解手段获取视频源的盗链聚合平台，由于无需负担正规渠道的视频版权费，无需租赁大规模视频存储服务器，以极低的运营成本和极高的行业利润特点，吸引了一批网络犯罪群体的关注. 根据不完全统计，正版视频聚合平台的每年视频采购费用超过180亿元，因深度链接（盗链）造成的点击损失超过2443亿次，广告收益损失超过18亿元^[3]. 此类非法平台通常以网页链接或APP形式，借助搜索引擎、百度网盘、淘宝、闲鱼等各种渠道传播扩散，以播放院线电影、VIP节目、色情、伦理、政治类违禁影视为营销点，吸引一大批付费意愿低、猎奇心理强的网民群体. 在获得用户流量的基础上，平台通过承接赌博、色情、游戏等无法在正规渠道投放的灰色广告业务，以网页弹窗、视频加工、链接跳转等方式强行插入广告，吸引用户点击，以获得高额的广告佣金. 此类平台在无官方授权情况下，提供盗版影视作品的播放下载服务，严重侵害影视作品制作方、出品人的合法权益；为盈利而承接未经审核的灰色营销广告，诱发网络诈骗风险，造成用户经济损失；为吸引用户而提供的违禁类视频，存在危害国家安全的风险，已成为行业监管部门的重点打击对象. 然而，部分平台为对抗监管，选择将网站和应用的服务器部署在境外云平台，导致执法部门无法从源头上进行有效处置.

当前，针对视频聚合平台的研究主要聚焦于政府立法与执法的合规性、风险性，对于如何发现盗链聚合平台，预测并预警高风险用户群体，有选择性地开展技术处置，尚且缺乏专业且系统的探索，而这对提升行业监管能力具有十分重要的意义.

为了解决此类问题，本研究提出基于集成时序预测模型的视频聚合平台监测预警方法. 首先，根据通信行业提供的IP地址数据，匿名化处理后构建固定窗口时序数据，选择合适的基模型并通过Stacking集成模型学习基模型特征，预测用户未来是否会出现访问盗链聚合平台的行为，并给出预警提示. 本研究的贡献点在于以下3个方面. 1）鉴于当前行业管理部门缺乏对视频盗链聚合平台的监测手段，提出面向视频聚合平台监测领域的时序预测方案，可准确预警风险用户及风险行为；2）鉴于单一预测模型在预测结果方面存在欠拟合或过拟合的不足，构建基于用户访问行为的长短时空依赖关系集成学习模型；3）鉴于当前行业中缺乏真实数据验证的问题，利用盗链聚合平台的DNS流量数据进行模型训练，验证集成学习模型的有效性.

近年来，随着媒体技术和互联网技术的发展，盗链聚合平台在用户数和平台数上均呈上升趋势，亟须采用技术手段了解用户访问情况，在对高风险用户进行预警的同时，实现对此类平台的有效监管.

为了推动视频聚合平台的合规管理，促进影视行业的持续发展，目前在法律规范层面主要包括3种观点. 徐珉川^[4]提议明确传播适用规则，为视频聚合平台在行为上是否存在侵权情况提供判定依据；何昊天^[5]认为可通过默认许可理论，推动作品合法有效传播；刘友华等^[6]提倡推动许可制度，将知识产权的排他权转化为报酬请求权，在法律层面为视频聚合平台的行为规范提供有效途径.

时间序列预测技术广泛应用于股票、天气、用户行为等领域，主要有3类技术^[7]：第1类是历史平均法、指数平滑法、差分自回归移动平均法等参数模型；第2类是决策树、支持向量机、隐马尔可夫模型等传统机器学习模型；第3类是人工神经网络、卷积神经网络、残差神经网络、图神经网络、卷积长短记忆模型等深度学习模型.

在现有的网络行为预测研究场景中，危婷等^[8]基于科技云网的用户访问行为数据，对比多元逻辑回归算法和XGBoost模型，预测用户购买意愿. 姚丽等^[9]构建学生上网行为，将其划分为13种类型，采用端到端的双层自注意力网络，实现学习成绩预测. 周胜利等^[10]挖掘显性、隐形网络诈骗行为的内在关联性序列特征，结合随机森林算法，提高被害性识别准确率. 杨晨^[11]挖掘网站内容信息进行自动化分类，结合DNS流量数据分析用户访问情况，并识别出违法网站链接. 魏佳代^[12]通过域名分类库和域名分类器进行访问域名标签化处理，基于校园DNS数据进行用户K-means聚类分析，多维展现用户网络行为特征.

综上所述，当前研究工作^[13-15]主要聚焦于盗链聚合平台的立法执法、侵权认定等法律方面，缺乏对用户平台访问与预警这种技术应用层面的探索. 本研究提出针对使用盗链聚合平台访问非法视频源行为的监测方法，利用集成时序模型建立预警机制，通过实时监测、特征提取、在线预警等步骤，在用户层和平台层对监测数据进行智能化处理，预警潜在的高风险用户群体及异常行为. 本研究探索了视频聚合平台的预警响应实现方案，为监管部门提供切实可行的技术方案，有助于推动完善法律法规和行业标准规范，促进执法取证手段建设.

长短期时序网络(long- and short-term time-series networks, LSTNet)^[16]是专门用于融合线性预测和非线性预测的深度学习网络. 该网络由卷积层、循环层、循环跳过层、时间注意层、自回归层等组成，如图1所示. 在卷积层，使用一维卷积神经网络1D-CNN捕捉短期局部信息；在循环层，利用长短期记忆网络LSTM或门控循环单元GRU捕捉长期宏观信息；在循环跳过层，引入超参数时间窗口周期，通过跳跃连接来处理时间序列的周期性特征；在时间注意层，利用自适应权重学习机制，加权输入序列中差异部分，评估长期时间序列信息和短期时间序列信息重要性；在自回归层，增加自回归模型AR，为预测结果添加线性成分. 此外，该网络可采用均方误差、平均绝对误差函数作为损失函数，通过反向传播算法优化模型.

循环神经网络（recurrent neural network，RNN）^[17]利用循环网络构造环路，以数据循环的方式一边记忆历史数据，一边更新输入数据，打破传统神经网络中输入输出序列彼此独立的特性，能够捕捉序列中的时序信息，如图2所示. 通过参数共享，同时接收当前时间的输入样本和上一个时间的隐藏状态输出向量，调用RNN单元进行训练处理，形成一个带有最新记忆信息的状态向量.

多层感知机（multilayer perceptron，MLP）^[18]属于前馈神经网络的一种，在结构上由输入层、隐藏层和输出层组成，如图3所示. 输入层用于接收序列数据，隐藏层用于学习序列数据特征表示，输出层用于产生最终预测结果. 在学习过程中采用反向传播算法计算梯度，将误差从输出层反向传播回输入层进行参数更新. MLP结构简单，在工程上易于理解和实现，具有一定的可扩展性和通用性，常用于时序数据预测及分类任务.

集成学习是指能够通过合成多个基学习器，构建有较强性能机器学习器的方法，能产生更稳定、更准确的预测结果. 集成学习在分类问题集成、回归问题集成、特征选取及特征工程上性能表现较为突出. 集成模型预测器是基于集成学习思想，结合多个基学习器的学习及预测结果的预测方法，一方面综合多个基学习器的学习能力，另一方面解决单一模型的欠拟合或过拟合问题.

常见的集成模型包括自举汇聚法（Bagging）、提升法（Boosting）和堆叠法（Stacking）. Bagging从原始数据集中生成多个子数据集，在每个子数据集上对基模型开展并行训练，每个基模型对数据进行独立预测，最后通过平均值或者投票来整合结果. Bagging在训练过程中引入随机性，降低过拟合风险，简单易实现，但是受限于基模型，对整体性能的提升有限. Boosting以串行的方式训练基模型，每个模型基于前一个模型的学习结果进行纠正. Boosting聚焦于前一个模型预测错误的样本，可以减小预测偏差，提升整体性能，但是过于关注训练数据容易导致过拟合，对超参数也较为敏感. Stacking训练多个基模型，以基模型的预测结果作为新的特征，输入到一个元模型中进行训练，元模型对各基模型特征进行学习以产生最终的预测结果. Stacking采用一级和二级模型的方式来整合预测，能够学习到更复杂的数据模式，但是也带来调参过程较困难，训练时间较长的问题.

由于盗链聚合平台的网络访问行为呈现出周期性的复杂特征，采用Stacking集成学习框架进行建模分析，具体分为5个步骤：1）将数据集构建为适用于时间序列数据的TSDataset类型，划分为训练集、验证集和测试集；2）选择多个具有互补性的基模型，分别使用训练数据进行训练，得到各自的预测结果，为每个模型定义合适的参数；3）选择集成模型构建策略，将基模型的预测结果作为输入生成元特征，组装并拟合元模型；4）用固定预测窗口在数据集上进行重复预测迭代，对评测模型预测的准确率进行评估；5）使用验证集评估模型的性能，调整合适的模型参数或者不同的基模型组合.

本研究所采用的视频聚合平台访问数据存在较强的时间序列周期性，工作日及非工作日访问行为有较大差别，部分特征以周为时间周期分布. 考虑到数据序列类型以及模型复杂度、收敛速度，选用LSTNet模型、RNN模型和MLP模型作为基模型，选用Stacking集成模型作为元模型进行特征学习，构建具有长短期记忆能力、能够学习动态时序特征及非线性特征的集成模型，对视频聚合平台访问流量数据行为进行预测，流程如图4所示.

LSTNet模型在LSTM模型基础上结合了卷积神经网络和自注意力机制，能够捕捉周期性变化以及时序数据中的非线性特性，但是性能受制于时序数据的周期性特征和可用历史数据的长度. MLP通过隐藏层学习高度非线性的特征映射进行时序数据预测，结构简单，收敛速度较快，但是无法对时序信息进行有效学习. RNN模型能够对序列数据中的上下文和依赖关系进行建模，解决了MLP忽略序列特性的问题，但难以处理长时序依赖，容易出现梯度消失或爆炸问题. 通过结合3种基模型的各自优势，实现互补效果.

采用通信行业匿名化处理后的DNS流量数据，在特定IP地址段范围下，从2023年7月1日—2024年2月29日，共计243 d，以IP地址为主键，以小时为时间单位，记录各个IP地址对65个视频源域名和18个视频聚合平台的访问数据. 为了方便分析，对于缺乏某时间段访问行为的数据进行零填充操作，单个用户的视频源域名访问数据量为379080条（243 d×24 h×65个视频源），单个用户的视频聚合平台访问数据量为104976条（243 d×24 h×18个视频源）. 视频源域名包括waptv.sogou.com、tc.forward.douban.com、win.gdt.qq.com、ali-m-l.cztv.com.m.alikunlun.com、live.shaoxing.com.cn等，为搜狗、豆瓣、腾讯、深圳卫视等主体相关子域名，视频源域名访问日志结构如表1所示. 盗链聚合平台包括某焰视频、某虎影视、某博影院等未经官方授权的非法平台，视频聚合平台访问日志结构如表2所示. 相关数据存储于数据中心Hadoop集群中，采用Spark框架进行数据查询与关联分析.

用户通过视频聚合平台访问视频源共存在4种情况，如图5所示，分别为用户通过监测范围内的聚合平台访问监测范围内的视频源；用户通过监测范围内的聚合平台访问未纳入监测范围的视频源；用户通过未纳入监测范围的聚合平台访问监测范围内的视频源；用户通过未纳入监测范围的聚合平台访问未纳入监测范围的视频源. 此外，本研究尚不讨论单个出口IP地址可能对应内部多名个人用户的情况.

在获取日志数据源的基础上，从视频源侧和渠道侧以天为维度构建目标特征，主要通过关联、查询、聚合等操作对原始行为数据进行处理，涉及频次、链接数、白天（8点—20点）情况、夜晚（0点—8点，20点—24点）情况等22个维度，如表3所示. 其中，“存在通过聚合平台访问视频源行为”是本研究最终需要预测的目标，表示用户在指定时间段内同时存在访问视频聚合平台和向视频源域名发起请求的行为.

为了探究行为侧和渠道侧视频源目标数据情况，分析视频源侧特征及渠道侧特征与预测结果的相关性，分别从重点特征变化趋势、特征关联性、特征分布等角度进行初步研究，具体情况如下.

在重点特征变化趋势方面，选取访问视频源次数、访问视频源总域名数、访问聚合平台个数3个特征作为重点特征，选取用户是否存在通过聚合平台访问视频源行为作为预测目标，某IP地址的时序变化趋势如图6所示. 图中，i表示天数. 该IP地址访问视频源次数特征随着时间呈上升趋势，单日数量已超过万次；访问视频源总域名数在工作日与非工作日的行为数据差异较为明显，存在较强的周期性特征；访问聚合平台个数特征无明显时间性特征.

在特征关联性方面，视频源侧目标特征与渠道侧目标特征关联性差别较大，视频源测目标特征内部关联性整体较高，渠道侧目标特征内部关联性整体较低，特征热力图如图7所示. 图中，R为特征相关性. 在内部特征上，访问视频源次数、白天访问视频源次数和夜晚访问视频源次数具有强相关性，特征重叠度较高；在与预测目标相关性上，存在访问视频源行为、白天存在访问视频源行为、夜晚存在访问视频源行为与预测目标当日存在通过聚合平台访问视频源行为相关性较高.

在特征分布方面，选取以访问视频源次数、访问视频源总链接数为代表的2组特征数据进行箱型图展示，如图8所示. 访问视频源次数、访问视频源总链接数在数据分布上，以均值为中心呈集中分布趋势，说明该IP地址在部分视频源侧特征上访问行为稳定，离散度较低，不易受极端值影响，鲁棒性较强.

实验环境选用百度飞浆深度学习框架PaddlePaddle，模型库使用基于Python语言的PaddleTS可扩展深度时序模型库，通过时序建模，对归一化的验证集数据进行预测，推演新序列的数据分布，实验环境及模型参数见表4、5.

使用均方误差（MSE）、平均绝对误差（MAE）、自定义平衡准确率（balanced accuracy, BAC）3个评价指标对模型的鲁棒性进行验证.

MAE是指预测值与真实值的绝对误差的平均值，MSE是指预测值与真实值的绝对平方误差的平均值. MAE、MSE越低，说明预测效果越精准.表达式分别如下：

式中：$ {n_{\mathrm{s}}} $表示样本个数，$ y_i $表示第i个日期的真实值，$ {\tilde y}_i $表示第i个日期的预测值，$y$表示所有样本的真实值，$ \tilde y $表示所有样本的预测值.

由于预测值$ \tilde y_i $是一个连续变量，为了方便实现智能化预警判断，设定离散变量预警行为$q_i $作为行为判别标准：

式中：$ q_i=1$表示要对使用聚合平台访问违规视频源的用户进行高风险预警，$ q_i=0$表示对使用聚合平台访问违规视频源的用户进行低风险提示.

为了进一步衡量分类模型的性能，使用BAC来规避类别不平衡数据的偏差问题：

式中：$ I\left(q_i=y_i\right) $为指示函数，当$ q_i=y_i $时，说明第i个日期的预警行为与真实值一致，返回结果为1，否则返回为0；BAC越接近1.0，说明分类模型的准确率越高.

LSTNet模型、RNN模型、MLP模型在时序预测领域应用较广，能够对数据的内在规律和特征进行学习，提高对非线性数据预测的准确性. 如表6所示为3种模型在视频平台时序数据上的预测结果对比. 可以看出，LSTNet模型在时序数据的预测指标上表现最优.

根据特征分析结果可知，视频平台监测数据存在工作日、非工作日及白天、夜间访问行为的类间差异，同时又存在一定的类中共性，属于“短期波动+长期趋势”的复杂时序数据，而LSTNet模型擅长对短期局部依赖模式和长期趋势模式进行学习，在预测结果上具有显著性优势.

虽然LSTNet模型对于复杂时序数据的预测在各项指标上均具有显著优势，但是其预测准确性高度依赖于周期性特征及历史数据的丰富度，对数据的质量要求较高. 当数据中存在噪声、缺失值或异常值时，预测模型的精度容易受到影响. MLP模型结构简单，收敛速度较快但无法对时序特征进行提取. RNN关注时序数据的时间依赖性及序列间的长期依赖关系，本研究考虑使用LSTNet模型为基模型，结合MLP、RNN模型，构建集成模型，通过提升模型的泛化能力，提高用户潜在违规访问行为预测准确性.

为了选择合适的基模型组合，在模型参数、框架版本及实验环境原则均保持一致的情况下，对比RNN+LSTNet集成模型、MLP+LSTNet集成模型、LSTNet+RNN+MLP集成模型等建模方法的预测结果. 从时序数据中截取前60%作为训练集，20%为验证集，20%为测试集，均由连续数据构成，对用户是否存在通过聚合平台访问视频源的行为进行预测. 实验结果如表7所示，可以看出，选择LSTNet、RNN、MLP这3个基模型进行集成训练可以获得较好的预测结果.

对比Bagging和Stacking这2种集成方式在预测用户访问盗链聚合平台行为上的差异. Bagging集成模型在对基模型进行并行训练后，采用平均值集成预测方式，即计算多个模型预测结果的算术平均值来获得预测平均值. Stacking集成模型则是训练3个基模型作为弱分类器，将预测结果作为训练元模型的输入，寻找最佳弱分类器组合方式，提升模型的准确性及泛化能力. 如表8所示为集成方式的实验结果. 可以看出，Stacking集成模型预测器在BAC指标上与Bagging集成模型预测器一致，在MSE、MAE指标上表现出较为优异的性能，能够更好地对模型特征进行学习，对目标访问行为进行拟合，提升预测评价指标.

在元模型选择上，使用岭回归和梯度提升回归2种元模型对RNN、MLP及LSTNet模型训练结果进行二次学习. 岭回归能够处理变量间的相关关系，通过引入正则化减少过拟合以提高模型稳定性. 梯度提升模型通过对基模型进行迭代训练来最小化损失函数，从而找到最优的模型参数，能够处理高维非线性数据. 如表9所示为元模型实验结果. 结果表明，梯度提升回归模型在MAE、BAC指标上优于岭回归模型，即梯度提升回归模型能够为元模型取得较小的误差和较高的准确率，在基学习器的迭代学习中能够获取到更充分的时序特征.

回测分析是使用训练得到的模型对历史数据进行回测，用以评价模型预测效果. 如图9所示为集成模型回测方式. 在验证集上以固定步长进行从后向前迭代预测，左斜线橘色部分为3次固定时间窗口迭代预测，右斜线绿色部分为实际数据，可以比对每个时间窗口的回测结果. 在每次迭代过程中，预测窗口向前移动固定步长，通过重复预测验证模型性能. 如表10所示为回测试验结果. 可以看出，较LSTNet模型、LSTNet+RNN集成模型、LSTNet+MLP集成模型而言，LSTNet+RNN+MLP集成模型能够更好地对预测数据进行拟合.

模型可解释性分为事前可解释性和事后可解释性. 通过辅助模型使用者理解模型的预测结果，可以预防可能存在的偏见问题. 事前可解释性是基于模型的网络结构进行解释说明，事后可解释性是基于特征贡献度进行解释说明. 本研究将特征和预测目标视为“贡献者”，对于每个预测样本，每个贡献者均产生一个分配数值，用于反映每个预测样本中的特征影响力，并表征特征在预测结果中的正负性.

假设第i个时间样本$x_i$共有n个特征，第j个特征为$ x_{ij} $，模型基线（所有样本的目标变量均值）为$y_{{\mathrm{base}}} $，模型对该样本的预测值$y_i $表达式为

式中：$ f\left(x_{ij}\right) $为$x_{i j}$的特征影响力值，$ f\left(x_{i1}\right)$表示第i个时间样本中第1个特征对最终预测值$ y_i$的贡献值. 当$ f\left(x_{i1}\right) > 0$时，说明该特征可以提升预测值，有正向作用，呈正相关；反之，说明该特征降低预测值，有反作用，呈负相关.

从局部特征可解释性和全局特征可解释性角度对预测结果进行分析. 局部特征可解释性关注模型对某个具体样本的特定预测结果分析. 如图10所示为第10步预测结果的特征贡献值分布图，预测目标为是否存在通过视频聚合平台访问目标视频源的行为. 选取第10步的预测结果进行特征贡献度分析，通过计算模型输出的特征影响力值来量化模型实际预测结果的贡献度，其中特征影响力为正向的显示为红色，特征影响力为负向的显示为无色填充. 可以看出，白天访问视频源次数和当日是否存在通过聚合平台访问非法视频源行为这2个特征为正向且贡献度最高. 全局特征可解释性关注模型在所有样本上的整体预测结果分析. 首先计算每个时间窗口中的特征影响力，接着将每个时间窗口内的特征影响力进行绝对值平均，进而得到特征全局重要性分布. 如图11所示为全局特征重要性S的分布图，预测目标为当日是否存在通过聚合平台访问视频源的行为. 可以看出，渠道侧特征白天存在访问聚合平台行为、白天访问聚合平台总个数，视频源侧特征访问视频源次数等特征对模型结果影响较大，在时序数据预测中特征影响力较大.

在工程应用中，将训练完成的模型部署于运营商、网络管理中心、数据机房侧，捕获流量信息进行预警分析，具体可包括：一是在现有已训练模型基础上，结合目标的历史数据对模型进行适配性离线训练；二是模型上线后对数据进行实时监控，可选取5、7、30 d等动态时间窗口，并设定报警阈值，及时发现问题进行预警；三是综合算力成本、存储成本、准确性对模型进行动态调整，并定期将监测结果反馈给管理部门进行处置.

基于通信行业某IP地址的网络行为日志数据，构建针对盗链聚合平台中视频源和渠道的22个常见访问行为特征. 对比LSTNet、RNN和MLP模型不同集成方式下的时序预测结果发现，集成模型相比于传统单模型预测方法在性能上有显著提升. 相比使用LSTNet进行单模型预测，采用LSTNet模型、RNN模型、MLP模型为基模型、梯度提升模型为元模型的Stacking集成模型建模方法，其MSE指标由1.5529降低至0.5805，降低了0.9724；MAE指标由0.9695降低至0.4252，降低了0.5443；BAC由0.45提升至0.65，提升了0.20. 通过回测实验及可解释性实验，验证本集成模型的有效性和可行性，能有效协助监管部门预测视频聚合平台访问情况，实现对高风险用户行为的预警.

视频聚合研究工作是一个随着互联网行业发展而出现的新型研究场景，未来有较为广阔的探索空间，具体可以从以下几个方面继续开展研究. 1）增加数据的丰富度，收集来自运营商、正版视频平台异常流量、第三方监测机构等多方数据，结合访问日志、平台流量数据、DNS日志等进行多维度数据分析；2）开展持续监测工作，获取时间跨度更广的视频聚合平台流量数据，构建联合模型对数据特征进行学习，以分析长时间依赖关系下的行为趋势；3）建立泛化性能更优良的即插即用的训练模型框架，通过迁移学习方式移植到类似应用场景，如挖矿行为监控、大模型非法调用行为监控，增强模型的可扩展性.