1　人群突发事件检测算法

1.1　Lucas-Kanade光流算法

光流是基于像素点定义的，是一种图像运动的表达方式。当观察者与被观察物体发生相对运动时，物体的像素点在成像平面上运动，好像是一种光的“流”^{［16,17,18］}。实际上光流^［19,20］是运动物体在二维图像平面上的投影，光流的集合称为光流场^［21,22］。

LK光流算法^［23］有以下3个假设条件^［24］：

（1）亮度恒定：在视频相邻帧之间，运动目标的亮度保持不变；

（2）时间连续：时间发生变化很小时，帧间对应的运动目标像素点的运动也足够小；

（3）空间一致性：相邻的像素点具有相似的运动。

通过光流法的3个假设可以得到光流值与灰度值的关系矩阵：

I(x,y)是图像上像素点(x,y)处的灰度值，i是视频帧数。Vx与Vy即为像素点在x与y方向上的光流。由式（1），可求出每一像素点对应的光流值。

LK光流法用于提取和跟踪特征点，是本文检测算法的基础。

1.2　信息熵的概念

香农将统计物理中熵的概念引进了信息论，是现代信息论的创始人^［25］。 在信息论中，熵用来衡量系统的无序程度。一个系统信息熵H的大小与该系统的状态概率p有关，概率p越小，系统所包含的信息熵H越大^［26］。信息熵还可用来度量变量间的相关度，对大型数据集的相关性分析非常重要^［27］。如果一个系统由状态集{a1,a2,⋯,an}组成，而每一个状态所对应的概率分别为p1,p2,⋯,pn，∑i=1npi=1，那么系统的信息熵H定义为

信息熵具有以下基本性质^［28］：

（1）最大信息熵：Hn=H(p1,p2,⋯,pn)≤logn，当且仅当pi=1n,i=1,2,⋯,n时取等号。

（2）最小信息熵：Hn=H(p1,p2,⋯,pn)≥0，Hn=0当且仅当pi=1,p1=p2=⋯=pi-1=pi+1=⋯=pn=0。

（3）对称性：H(p1,p2,⋯,pn)=H(p2,p1,⋯,pn)，即样本重新排序后，熵保持不变。

从以上信息熵的性质可以看出，若用信息熵来描述一个系统的运动状态，当系统中运动状态趋向一致时，会出现最小的熵值，此时系统是有序的；反之，当系统中各个运动状态都不同时，会出现最大的熵值，此时各个方向的运动状态出现的概率相等。

信息熵代表了混乱度，是算法的关键。将信息熵应用于突发事件检测，可方便判断人群处于混乱还是有序状态。

1.3　人群突发事件检测步骤

突发事件发生时，人群的运动强度会发生很大的变化，特征点的加速度相对较大；如果人群处于混乱状态，那么，计算得到的所有特征点的信息熵会很大。为此，提出检测突发事件、判断人群混乱状态的算法步骤：

（1）光流法提取并追踪视频中图像的特征点；

（2）根据每帧图像中特征点的位置变化，计算其运动加速度，通过设定加速度阈值分析特征点的运动强度，检测是否有突发事件发生；

（3）将速度矢量方向划分为8个区域，计算特征点的速度矢量在每个区域中的分布概率pi；

（4）根据式（2）由分布概率pi计算信息熵，通过信息熵的大小，判断事件中人群状态是有序还是无序。结合运动强度与混乱度检测并判断突发事件的紧急程度。

各步骤具体描述如下：

步骤1 调用goodFeaturesToTrack函数获得图像中的特征点，通过光流算法得到特征点(x,y)在视频的第t帧对应的位置信息(Vx,Vy)。

步骤2 通过位置信息计算速度，公式为

前一帧和后一帧的速度差即为加速度。

假设其中共有n个特征点，特征点对应的光流加速度分别为a1,a2,…,an，对光流加速度进行高斯滤波处理，抑制异常的光流加速度，得到高斯滤波后的第m个光流加速度：

其中，am¯为高斯滤波后的第m个光流加速度，am为第m个光流加速度，1≤m≤n，μ=∑i=1nain为光流加速度的均值；计算视频在第t帧中所有特征点的加速度之和，记为At，当At大于加速度阈值时，说明视频中运动强度很大，有突发事件发生。

加速度阈值的设置方法：检测一个突发事件未发生的场景，获取一段时间内的视频，并输出视频图像中特征点的加速度数据，加速度阈值设定为加速度数据中最大值的2倍左右，加速度阈值与场景、光照、人群密度等有关。在此基础上可通过信息熵的大小判断人群状态是有序还是混乱，从而判断是否易发生安全性事故。

步骤3 如图1所示，将速度矢量方向划分为8个区域，统计各速度矢量在每个区域的分布数量，各区域速度矢量的数量除以速度矢量的总数得到速度矢量在方向上的分布概率p_i。本文用分布的统计结果近似代替概率。

图1 信息熵计算分区示意图

Fig.1 Partition diagram for information entropy calculation

步骤4 根据式（2）的定义计算信息熵Hn。计算时以10为底取对数，Hn的单位为det（迪特），根据实验测试设置信息熵的阈值为0.5 det，当信息熵超过阈值时，人群处于混乱状态，否则，人群处于有序状态。根据信息熵的性质，最大熵为lg 8=0.903 det，最小熵为0。测试验证得到，阈值设置为0.5 det就可很好地区分混乱和有序状态。值得注意的是，本文是对运动矢量统计计算得到信息熵，而非计算静态像素分布熵，反映的是视频中人群的运动情况。

2　实验结果与分析

分析了研究者自己拍摄的人群突发事件视频、UMN（University of Minnesota）数据集^［29］视频和PETS 2009^［30］数据集视频。

2.1　自拍摄人群突发事件视频

突发事件发生前人群的行为有自由行走、定向行走、人群静止等，一共有6段视频，分辨率为640×480，帧率为30 fps。

按照1.3节中的检测步骤，计算视频中的加速度和信息熵，图2（a）显示了人群突发事件视频的截图，图2（b）显示的是加速度随帧数变化的检测结果，根据1.3节中的阈值设置方法，加速度阈值设置为100，加速度的单位是像素/帧²。可以看出，在视频的0~184帧中，加速度在阈值内，未发生人群突发事件。184~218帧，加速度超过阈值，检测到有突发事件发生。图2（c）显示的是加速度超过阈值时信息熵的大小，可以看出，在加速度大于100时，对应时间范围内信息熵均大于阈值0.5 det，说明视频中的人群处于混乱状态。将算法检测的结果与视频的真实情况进行对比，两者情况相符。当视频中加速度超过阈值时，判断人群是否处于混乱状态，结合运动强度与混乱度判断突发事件的紧急程度，并判断是否易发安全性事故。

图2 自拍摄视频测试结果

Fig.2 Test results of our video

本文没有将加速度小于阈值的信息熵输出，是因为未发生突发事件检测人群的状态无太大意义。例如，人群随意走动时，混乱度也很大，但不会发生安全事故。而且，减少不必要的计算可以提高算法效率。

突发事件发生后人群处于有序状态的视频检测结果如图3所示。

图3 自拍摄视频测试结果

Fig.3 Test results of our video

2.2　PETS 2009数据集

PETS 2009数据集的S3部分是人群事件识别的内容，包括4种不同的户外背景，分辨率为768×576。

图4显示了PETS 2009数据集的测试结果，从图4（b）中可以看出，算法有效地检测出了人群突发事件，结合图4（a）和（c）发现，第1段和第2段视频人群处于有序状态，第2段和第4段视频人群处于混乱状态。检测结果表明，算法能有效检测出突发事件，并判断人群处于混乱还是有序状态。

图4 PETS2009数据集测试结果

Fig.4 Test results of PETS 2009 Dataset

2.3　UMN数据集

UMN数据集中人群异常行为检测的部分包括公园草地、广场、室内走道3种背景的11个视频片段，分辨率为320×240。

图5显示了UMN数据集的测试结果，从图5（b）中可以看出，算法有效检测出了人群突发事件，结合图5（a）和（c）可以发现，第1段和第2段视频人群处于混乱状态，第3段视频人群处于有序状态，检测结果与实际情况相符。

图5 UMN数据集测试结果

Fig.5 Test results of UMN dataset

2.4　实验结果分析

2.4.1 对比图3,4,5中不同背景视频的检测结果发现，在排球场、公园草地、广场、室内走道等背景中，算法能有效检测突发事件，判断人群状态。实验采用多种场景，这些场景的光照、对比度、色彩等各不相同，说明算法适用范围广。

2.4.2 实验结果对比显示，算法根据信息熵的大小判断人群的状态，有效区分人群处于混乱还是有序的状态，可为突发事件的紧急程度判断提供参考，从而有针对性地采取措施。

2.4.3 图3属于局部事件，即发生突发事件的人群只占整个画面的一部分；图5属于全局事件，发生突发事件的人群几乎占据了整个画面。从局部事件和全局事件的测试结果看，无论视频中人群的像素点占画面的小部分还是大部分，对算法均无影响，均能有效检测出突发事件，判断人群处于混乱还是有序状态。

2.4.4 目前视频监控中常用的分辨率为QCIF（176×144）、CIF（352×288）、HALF

D1（704×288）、D1（704×576）等 ^［31,32］，测试数据集中分辨率为320×240,640×480， 768×576，本方法仍能准确检测人群突发事件。

2.5　同类人群突发事件检测算法比较

国际上通常使用受试者工作特征曲线 （receiver operating characteristic， ROC）反映人群突发事件检测算法的准确性和鲁棒性，本文算法的ROC曲线如图6所示。

图6 UMN测试集的ROC曲线

Fig.6 ROC of UMN dataset

定义ROC曲线与x轴和直线x=1围成的封闭区域面积为AUC（area under the curve），AUC值越大，检测算法的准确性和鲁棒性越好^［33］。

在众多人群异常事件检测算法的文献中，将UMN数据集^［29］作为测试集，本文基于UMN数据集对不同算法的性能做对比。性能比较好的为KALTSA等^［7］结合histograms of oriented swarms （HOS）和 histograms of oriented gradients （HOG）进行检测的工作，以及MARSDEN等^［6］通过人群聚集和冲突的特征（holistic features）检测突发事件的工作，表1为本文算法与这2种算法基于相同的UMN场景的结果。

从表1看，以上3种算法都具有较高的性能，本文算法较文献［6］算法的准确性和鲁棒性更高，较文献［7］算法性能稍逊，但费时较文献［7］少很多，在158×238分辨率下，文献［7］算法的时间是0.91 s/帧，本算法在320×240分辨率下的时间为0.03 s/帧，并且本文算法能在准确率较高的基础上区分突发事件中人群的混乱或有序状态，对事件的紧急程度做出判断。

综上所述，结合光流法与信息熵的人群突发事件检测与判断算法可有效检测突发事件，判断人群处于混乱还是有序的状态，有助于更好地获得视频中的信息。实验结果表明，该算法适用于多种不同背景的环境，适用范围广；多次实验结果与实际相符合，准确率高。

3　结 论

提出了一种结合光流法与信息熵的人群突发事件检测与判断算法。该算法将信息熵的概念与智能视频监控相结合，表征了视频中人群的混乱度。通过LK光流算法从视频中提取运动物体的特征点，得到其位置信息，由位置信息计算速度和加速度，分析运动强度，检测突发事件；根据各速度矢量的概率分布计算信息熵，由此来判断视频中的人群是混乱还是有序。与同类研究相比，因本研究将加速度与信息熵相结合来检测突发事件、判断人群状态，能更好地反映突发事件发生时人群运动状态的变化，对人群状态是混乱还是有序做了细分，有利于判断突发事件的紧急程度，从而合理配置救援资源。本算法在测试视频中AUC值平均达到0.963，当视频分辨率为320×240、640×480、768×576时均有较高的准确性和鲁棒性。

参考文献(References)

• 1

  艾瑞咨询. 中国人工智能城市展望研究报告 2017年[R

  // 艾瑞咨询系列研究报告. 2018. http://www.iresearch.com.cn/Detail/report?id=3121&isfree=0.

  IResearch Inc. 2017 China's artificial intelligence cities report[R

  // IResearch Series Report.2018. http://www.iresearch.com.cn/Detail/report?id=3121&isfree=0.

• 2

  BABAGUCHI N, CAVALLARO A, CHELLAPPA R, et al. Guest editorial: Special issue on intelligent video surveillance for public security and personal privacy[J]. IEEE Transactions on Information Forensics and Security, 2013, 8(10): 1559-1561.DOI: 10.1109/TIFS.2013.2279945

• 3

  CUI W H, CHEN Y Y, SUN C F, et al.Design and implementation of embedded video monitoring system based on Tiny210[C]// 11th World Congress on Intelligent Control and Automation （WCICA). Shenyang: IEEE,2014: 4651-4656.

• 4

  侯志强，戴铂，胡丹，等.基于感知深度神经网络的视觉跟踪[J]. 电子与信息学报, 2016, 38(7): 1616-1623.DOI: 10.11999/JEIT151449

  HOU Z Q, DAI B, HU D, et al. Robust visual tracking via perceptive deep neural network[J]. Journal of Electronics and Information Technology, 2016, 38(7): 1616-1623. DOI: 10.11999/JEIT151449

• 5

  李萌，陈恳，郭春梅，等.融合显著性信息和社会力模型的人群异常检测[J].光电工程，2016，43(12): 193-199.DOI: 10.3969/j.issn.1003-501X.2016.12.029

  LI M，CHEN K，GUO C M，et al.Abnormal crowd event detection by fusing saliency information and social force model [J]. Opto-Electronic Engineering，2016，43(12)：193-199. DOI: 10.3969/j.issn.1003-501X.2016. 12.029

• 6

  MARSDEN M, MCGUINNESS K, LITTLE S, et al.Holistic features for real-time crowd behaviour anomaly detection[C]//IEEE International Conference on Image Processing. Phoenix: IEEE, 2016: 918-922.DOI: 10.1109/ICIP.2016.7532491

• 7

  KALTSA V, BRIASSOULI A, KOMPATSIARIS I, et al.Swarm intelligence for detecting interesting events in crowded environments[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2153-2166. DOI: 10.1109/TIP.2015.2409559

• 8

  MEHRAN R, OYAMA A, SHAH M.Abnormal crowd behavior detection using social force model[C]//IEEE Conference on Computer Vision and Pattern Recognition,2009: 935-942.DOI: 10.1109/CVPR.2009.5206641

• 9

  ZHANG Y H, QIN L, JI R R, et al. Social attribute-aware force model: Exploiting richness of interaction for abnormal crowd detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(7): 1231-1245.DOI: 10.1109/TCSVT. 2014.2355711

• 10

  GU X X, CUI J R, ZHU Q.Abnormal crowd behavior detection by using the particle entropy[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(14): 3428-3433.DOI: 10.1016/j.ijleo.2014.01.041

• 11

  REN W Y, LI G H, CHEN J, et al. Abnormal crowd behavior detection using behavior entropy model[C]// International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR). Xian: IEEE, 2012: 212-221. DOI: 10.1109/ICWAPR.2012.6294781

• 12

  ZHAO Y, YUAN M Q, SU G F, et al. Crowd security detection based on entropy model[C]// Proceedings of the ISCRAM 2015 Conference. Kristiansand, 2015.

• 13

  张朋跃, 张良.结合光流法与信息熵的人群状态分析[J]. 信号处理, 2015, 31(9):1101-1105.DOI: 10.3969/j.issn.1003-0530.2015.09.010

  ZHANG P Y , ZHANG L.Crowd status analysis using optical flow and information entropy[J]. Journal of Signal Processing, 2015, 31(9):1101-1105.DOI: 10.3969/j.issn.1003-0530.2015.09.010

• 14

  WANG Z, OUYANG N, HAN C J.Unusual event detection without tracking[C]//2009 International Conference on Computational Intelligence and Software Engineering. Wuhan: IEEE,2009: 1-3.DOI: 10.1109/CISE.2009.5364381

• 15

  WU X. Design of person flow counting and monitoring system based on feature point extraction of optical flow[C]//IEEE Fifth International Conference on Intelligent Systems Design and Engineering Applications (ISDEA). Hunan: IEEE, 2014: 376-380.DOI: 10.1109/ISDEA.2014.92

• 16

  NGUYEN D, HUGHES C, HORGAN J.Optical flow-based moving-static separation in driving assistance systems[C]//IEEE 18th International Conference on Intelligent Transportation Systems (ITSC). Las Palmas: IEEE,2015: 1644-1651.DOI: 10.1109/ITSC.2015.267

• 17

  PLYER A, BESNERAIS G L,CHAMPAGNAT F.Massively parallel Lucas Kanade optical flow for real-time video processing applications[J]. Journal of Real-Time Image Processing, 2014, 11(4): 1-18.DOI: 10.1007/s11554-014-0423-0

• 18

  HILDRETH E C.The computation of the velocity field[J]. Proceedings of the Royal Society of London B: Biological Sciences, 1984, 221(1223): 189-220.

• 19

  BRUHN A, WEICKERT J, SCHNÖRR C.Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods[J]. International Journal of Computer Vision, 2005, 61(3): 211-231.

• 20

  NAGEL H H.On a constraint equation for the estimation of displacement rates in image sequences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(1): 13-30.DOI：10.1109/34.23110

• 21

  MOCHIZUKI Y, KAMEDA Y, IMIYA A, et al.Variational method for super-resolution optical flow[J]. Signal Processing, 2011, 91(7): 1535-1567.

• 22

  SÁNCHEZ A, RUIZ J V, MORENO A B, et al.Differential optical flow applied to automatic facial expression recognition[J]. Neurocomputing, 2011, 74(8): 1272-1282. DOI：10.1016/j.neucom.2010.07.017

• 23

  LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision [C]//7th Intelnational Joint Conference on Artificial Intelligence (IJCAI). San Francisco: Morgan Kaufmann Publishers Inc, 1981(2): 674-679.

• 24

  BRADSKI G, KAEHLER A. Learning OpenCV: Computer Vision with the OpenCV Library[M]. O'Reilly Media, Inc, 2008: 322-336.

• 25

  MCELIECE R J.The Theory of Information and Coding[M]. Cambridge： Cambridge University Press, 1977.

• 26

  朱耀铠.信息系统安全熵值分析方法研究[D].长沙：国防科学技术大学, 2008.

  ZHU Y K.The Research of Entropy Analysis Method for Information System Security[D].Changsha: National University of Defense Technology,2008.

• 27

  张亚红, 李玉鑑, 张婷.检测多元相关关系的最大信息熵方法[J]. 电子与信息学报, 2015, 37(1): 123-129.DOI：10.11999/JEIT140053

  ZHANG Y H, LI Y J, ZHANG T.Detecting multivariable correlation with maximal information entropy[J]. Journal of Electronics and Information Technology, 2015, 37(1): 123-129.DOI：10.11999/JEIT140053

• 28

  张连明, 陈志刚.基于信息熵的 IP 网端到端行为分析与建模[J]. 计算机工程与应用, 2004, 40(18): 15-18. DOI: 10.3321/j.issn:1002-8331.2004.18.006

  ZHANG L M, CHEN Z G.Analysis and modeling of End-to-End behavior based on information entropy in IP network[J]. Computer Engineering and Applications, 2004, 40(18): 15-18.DOI: 10.3321/j.issn:1002-8331.2004.18.006

• 29

  CUI X, LIU Q, GAO M, et al. Abnormal detection using interaction energy potentials[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado Springs: IEEE, 2011: 3161-3167. DOI: 10.1109/CVPR.2011.5995558

• 30

  FERRYMAN J, SHAHROKNI A. Pets2009: Dataset and challenge[C]//2009 Twelfth IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. Snowbird: IEEE, 2009: 1-6. DOI: 10.1109/PETS-WINTER.2009.5399556

• 31

  高鹏辉, 赵武峰, 沈继忠. 结合背景差分与光流法的人群状态突变检测[J]. 浙江大学学报 (工学版), 2018, 52(4): 649-656. DOI:10.3785/j.issn.1008-973X.2018.04.006

  GAO P H, ZHAO W F, SHEN J Z. Detection of crowd state mutation based on background difference algorithm and optical flow algorithm [J]. Journal of Zhejiang University(Engineering Edition), 2018, 52(4): 649-656. DOI:10.3785/j.issn.1008-973X.2018.04.006

• 32

  杨世淼.基于Web Server 和 Android 平台的智能幼儿园管理系统[D]. 杭州：浙江大学, 2016.

  YANG S M.Intelligent Management System for Kindergarten Based on the Web Server and Android[D]. Hangzhou: Zhejiang University, 2016.

• 33

  FAWCETT T.An introduction to ROC analysis[J]. Pattern Recognition Letters, 2006, 27(8): 861-874.DOI：10.1016/j.patrec.2005.10.010