微表情是人脸表情的特例, 可以分为可识别微表情和不可识别微表情, 具有发生变化的区域较小、不易捕捉等特点.从时间来看, 微表情是一种非常快速的表情, 持续的时间只有0.04~0.20 s.从属性来看, 微表情与自我防御机制有关, 表达了被压抑的情绪.Ekman教授独立发现了微表情[1], 提出的面部运动编码系统(face action coding system, FACS)用于分析人脸表情及微表情.国外对微表情捕捉、识别的研究方法有很多, 如稀疏编码法[2]、3D梯度描述、空间局部纹理描述、光学应变特征[3]等方法, 具有一定效果.近几年国外学者仅对欺骗、轻蔑等消极的微表情进行研究, 未涉及其他种类的微表情的识别研究.日本筑波大学的Polikovsky等[4]提出3D梯度描述的方法, 该方法通过比较建立X、Y、T三个方向的梯度直方图, 可发现X、Y方向变化不大, 而T方向变化较大, 表明帧与帧之间对梯度的影响较大, 故可利用3D梯度在T方向上的变化确定微表情发生的时刻.国内对微表情的研究起步较晚, 吴奇等[5]于2010年开始研究心理学与微表情等相关内容.国内相关研究有一定进展, 如张量判别识别算法、基于主成分分析(principal component analysis, PCA)的时空特征法[6]、基于局部二进制模式(local binary pattern, LBP)的正交平面和邻近算法[7]等.梁静等[8]提出利用计算机视觉和模式识别中的张量分析与稀疏表示来作为微表情的自动识别的研究方法, 但未作实验分析.
文献[9]的研究表明, 传统的光流法可以反映连续图像每个像素点的运动情况, 通过迭代运算可实现光流计算, 但较为复杂.H-S光流法引入光流约束方程, 更有利于各像素点的光流估计; 同时, H-S光流法具有较好的收敛性和稳定性.传统的光流法虽然能够较好地反映运动特征, 但缺点是对噪声较为敏感, 容易受噪声影响.本文选择H-S光流法作为提取运动特征的方法.同时, 采用光照条件不变、相机与背景固定以及噪声较小的图像序列作为研究对象.
本文依据可识别的微表情数据库进行实验分析及研究.采用能较好地反映运动特征的光流法提取运动特征；结合光学应变算法和相邻两帧间的光流分布, 推导并提出加速度算法, 并与仅利用光学应变中张量算法[10-12]作比较；利用全局阈值算法对连续图像序列的每一帧的加速度模值和进行判断, 判断发生微表情的时刻, 实现微表情的捕捉.为了确定产生微表情的局部区域, 对人脸图像进行局部区域划分, 利用加速度算法, 可进一步确定微表情发生的区域.利用Oulu大学的SMIC微表情数据库[13-14]作为实验样本进行实验分析.
1 基于H-S光流法的运动特征提取光流是图像序列中的图像亮度/灰度的运动, 即空间物体表面上点的运动速度在视觉传感器成像平面上的表达.光流计算方法可分为3类：匹配、频域及梯度的方法.本文利用梯度的方法作为光流计算方法, 从而提取连续图像中运动目标的运动特征.
光流法[15]的前提假设：
1) 相邻两帧之间的亮度(灰度)恒定；
2) 在连续的视频图像中, 相邻两帧的时间连续, 且图像中物体运动的改变量较微小；
3) 在同一较小子区域内, 像素点的运动相同.
在固定背景下, 光照条件无较为明显变化、无较大噪声扰动的某一灰度图像序列可以表示为I(x, y, t), 其中t为图像序列中的某一帧.设向量m=(u, v)T, u、v分别为图像序列I(x, y, t)经过光流估计后得到的在x、y方向上的速度估计.在假设1)~3) 的基础上, 亮度恒定：
| $ I\left( {x,y,t} \right) = I\left( {x + {\rm{d}}x,y + {\rm{d}}y,t + {\rm{d}}t} \right). $ | (1) |
利用泰勒展开式可得
| $ \begin{array}{l} I\left( {x + {\rm{d}}x,y + {\rm{d}}y,t + {\rm{d}}t} \right) = \\ \;\;\;\;I\left( {x,y,t} \right) + \frac{{\partial I}}{{\partial x}}{\rm{d}}x + \frac{{\partial I}}{{\partial y}}{\rm{d}}y + \frac{{\partial I}}{{\partial t}}{\rm{d}}t + \\ \;\;\;\;o\left( {{\rm{d}}{x^2}} \right) + o\left( {{\rm{d}}{y^2}} \right) + o\left( {{\rm{d}}{t^2}} \right). \end{array} $ | (2) |
联立式(1) 和(2) 可得
| $ \frac{{\partial I}}{{\partial x}}{\rm{d}}x + \frac{{\partial I}}{{\partial y}}{\rm{d}}y + \frac{{\partial I}}{{\partial t}}{\rm{d}}t + o\left( {{\rm{d}}{x^2}} \right) + o\left( {{\rm{d}}{y^2}} \right) + o\left( {{\rm{d}}{t^2}} \right) = 0. $ | (3) |
其中, 泰勒展开式二阶以上部分的影响通常可忽略不计, 即o(dx2)+o(dy2)+o(dt2)这部分可忽略, 则由式(3) 整理可得
| $ \left[ {\begin{array}{*{20}{c}} {\frac{{\partial I}}{{\partial x}}}&{\frac{{\partial I}}{{\partial y}}} \end{array}} \right] \cdot {\left[ {\begin{array}{*{20}{c}} {\frac{{\partial x}}{{\partial t}}}&{\frac{{\partial y}}{{\partial t}}} \end{array}} \right]^{\rm{T}}} = - \frac{{\partial I}}{{\partial t}}, $ | (4) |
或
| $ \left[ {\begin{array}{*{20}{c}} {{I_x}}&{{I_y}} \end{array}} \right] \cdot \overrightarrow m = - {I_t}. $ | (5) |
式中：
| $ {I_x} = \frac{{\partial I}}{{\partial x}},{I_y} = \frac{{\partial I}}{{\partial y}},{I_t} = \frac{{\partial I}}{{\partial t}},u = \frac{{{\rm{d}}x}}{{{\rm{d}}t}},v = \frac{{{\rm{d}}y}}{{{\rm{d}}t}}, $ |
Ix、Iy、It分别为I在x、y、t三个方向上的偏导数, 可以通过四邻近的像素点的灰度值近似计算得到.
H-S光流法[16]是对传统光流法的改进算法.该算法将二维速度场与灰度相结合, 引入了光流约束方程, 解决了光流计算复杂的问题, 如下式所示：
| $ \left. \begin{array}{l} {u^{k + 1}} = {u^k} - {I_x}\frac{{{I_x}{u^k} + {I_y}{v^k} + {I_t}}}{{{\lambda ^2} + I_x^2 + I_y^2}},\\ {v^{k + 1}} = {v^k} - {I_y}\frac{{{I_x}{u^k} + {I_y}{v^k} + {I_t}}}{{{\lambda ^2} + I_x^2 + I_y^2}}. \end{array} \right\} $ | (6) |
式中：(u0, v0)=(0, 0), k为迭代次数，λ为权重系数, 本文选取k=20、λ=25作为实验参数.
H-S光流法的光流约束方程可对x、y方向上的速度u、v进行估计, 在足够短的时间及足够小的感性区域内, 可将相邻两帧图像的运动近似为直线运动.该算法具有较好的收敛性和稳定性, 可以通过多次迭代, 求得图像在x、y方向上速度的估计值.利用H-S光流法获得连续图像序列中的运动目标的运动特征, 为后续利用光流估计值进行加速度模值计算奠定基础.
2 基于光流模值的加速度运动特征分析在面部运动过程人脸会产生一定的形变, 产生人脸表情.产生该形变所使用的力F会对应一个加速度α.假设在一个较小的发生形变的区域范围内对应的质量相同, 则F∝α.加速度的提出更能反映人脸表情变化的快慢程度, 更有利于微表情捕捉.加速度的大小可以对微表情发生变化的程度进行衡量, 确定微表情在哪一个时刻发生变化的程度最大, 从而确定微表情发生的时刻.
2.1 加速度模值计算利用光流法可得到各像素点的运动情况, 但由于像素点众多, 不易分析, 可以通过计算模值的方法来计算人脸表情改变的幅值, 从而确定微表情发生的时刻, 实现对微表情的捕捉.通过H-S光流法提取运动目标特征, 可得到t~(t+1) 帧图像中每个像素点在x、y方向上的速度u, v的分布情况.假设第t帧图像序列表示为I(x, y, t), 则对于共有t帧的图像序列, 得到t-1帧的光流图像, 即第2帧到第t帧的速度图像分布为V(x, y, t).第t帧图像I(x, y, t)所对应的光流图像的像素个数为N.
利用H-S光流法求得的速度估计m=(u, v)T计算张量估计, 其中光学正应变方程定义为
| $ \varepsilon = \mathop {\lim }\limits_{\Delta L \to 0} \frac{{\Delta L}}{L}. $ |
设在一帧图像中某一像素点p=(x, y)的二阶应变方程：
| $ \varepsilon = \left[ {\begin{array}{*{20}{c}} {{\varepsilon _{11}}}&{{\varepsilon _{12}}}\\ {{\varepsilon _{21}}}&{{\varepsilon _{22}}} \end{array}} \right]. $ | (7) |
式中：
| $ {\varepsilon _{ij}} = \frac{1}{2}\left( {\frac{{\partial {m_i}}}{{{p_j}}} + \frac{{\partial {m_j}}}{{{p_i}}}} \right),i,j = 1,2. $ |
由于u、v分别为x、y方向的速度, 可得
| $ \frac{{\partial u}}{{\partial y}} = 0,\frac{{\partial v}}{{\partial x}} = 0. $ |
利用中心差分法对∂u/∂x、∂v/∂y进行近似计算, 得到像素点p的张量估计算式如下：
| $ \left. \begin{array}{l} \frac{{\partial u}}{{\partial x}} = \frac{{u\left( {x + \Delta x} \right) - u\left( {x - \Delta x} \right)}}{{2\Delta x}},\\ \frac{{\partial v}}{{\partial y}} = \frac{{v\left( {y + \Delta y} \right) - v\left( {y - \Delta y} \right)}}{{2\Delta y}}. \end{array} \right\} $ | (8) |
式中：Δx, Δy=1.
第t帧的张量的模值的和|ε|的算式如下：
| $ \begin{array}{l} \left| \varepsilon \right| = \sum\limits_{x,y = 0}^N {\sqrt {\varepsilon _{11}^2 + \varepsilon _{12}^2 + \varepsilon _{21}^2 + \varepsilon _{22}^2} } = \\ \;\;\;\;\;\;\;\sum\limits_{x,y = 0}^N {\sqrt {{{\left( {\frac{{\partial u}}{{\partial x}}} \right)}^2} + {{\left( {\frac{{\partial v}}{{\partial y}}} \right)}^2}} } ,0 \le x \times y \le N. \end{array} $ | (9) |
通过H-S光流法(式(6))得到的速度估计和光学应变张量(式(7))得到的张量估计对加速度向量进行估计.根据所述张量在x、y方向的表达式, 提出像素点p的加速度近似估计的算式如下：
| $ \left. \begin{array}{l} \frac{{{\rm{d}}u}}{{{\rm{d}}t}} = \frac{{{\rm{d}}u}}{{{\rm{d}}x}} \cdot \frac{{{\rm{d}}x}}{{{\rm{d}}t}} = \frac{{\partial u}}{{\partial x}} \cdot u = \\ \;\;\;\;\;\;\;u\left( x \right) \cdot \frac{{u\left( {x + \Delta x} \right) - u\left( {x - \Delta x} \right)}}{{2\Delta x}},\\ \frac{{{\rm{d}}v}}{{{\rm{d}}t}} = \frac{{{\rm{d}}v}}{{{\rm{d}}y}} \cdot \frac{{{\rm{d}}y}}{{{\rm{d}}t}} = \frac{{\partial v}}{{\partial y}} \cdot v = \\ \;\;\;\;\;\;\;v\left( y \right) \cdot \frac{{v\left( {y + \Delta y} \right) - v\left( {y - \Delta y} \right)}}{{2\Delta y}}. \end{array} \right\} $ | (10) |
加速度的模值的和|α|的算式如下：
| $ \begin{array}{*{20}{c}} {\left| \alpha \right| = \sum\limits_{x,y = 0}^N {{{\left[ {{{\left( {\frac{{\partial u}}{{\partial x}} \cdot u} \right)}^2} + {{\left( {\frac{{\partial v}}{{\partial y}} \cdot v} \right)}^2}} \right]}^{1/2}}} ,}\\ {0 \le x \times y \le N.} \end{array} $ | (11) |
利用全局阈值算法作为分类方法, 并通过实验确定参数的取值范围.选取的实验数据背景固定、摄像头固定、噪声较小的图像序列样本.将某一图像序列输入, 可得加速度估计, 利用全局阈值算法对加速度模值和计算结果进行分类, 通过比较分类结果, 确定微表情发生的关键帧.
假设Pk>Stk>Mk, 则当满足式(12)~(14) 时, 可选出符合条件的微表情发生的关键帧:
| $ \left. \begin{array}{l} {P^k} - {M^k} > 2\left( {{\mu ^k} - {M^k}} \right),\\ S_t^k > \beta \left( {{P^k} - {M^k}} \right) + {M^k},\\ S_t^k > {\mu ^k}. \end{array} \right\} $ | (12) |
式中：Stk为第k段连续图像序列的每一帧的加速度模值和；Pk为第k段连续图像序列的最大值；Mk为第k段连续图像序列的最小值；μk为第k段连续图像序列的均值, 阈值参数β∈0, 1.
在式(12) 中, 假设最小值Mk为0, 当pk>2μk时, 证明该峰值Pk发生时, 加速度模值和产生了较大的改变, 远大于2倍均值μk, 即均值μk更接近0, 可判断该组图像序列在峰值附近产生微表情；如果峰值Pk＜2μk, 即均值μk更接近峰值Pk, 则该峰值Pk的产生可能由于一定噪声扰动引起的, 故无法判定该组图像序列产生微表情.式(12) 可变形为
| $ R = \frac{{{\mu ^k} - {M^k}}}{{{P^k} - {M^k}}} < \frac{1}{2}. $ |
当R < 0.5时, 使全局阈值参数成立.式(12) 能够较好地排除由于一定噪声扰动等原因引起的误判, 更有助于选出准确的微表情发生的关键帧.R是判断该组图像是否产生微表情的关键参数.
当Stk满足式(12)~(14) 时, 可以判定该组图像序列在第t时刻发生了微表情.β的取值仅决定了关键帧数的多少, β值取值越大, 即越靠近1, 筛选出的关键帧数越少, 越有可能选出最大加速度模值和的关键帧, 即确定微表情发生的时刻；同时, 要结合R值才能判断该组图像序列是否发生微表情.实验部分将进一步确定、分析阈值β的取值范围.
3 实验与结果分析 3.1 实验流程及数据库的选取实验流程图如图 1所示.首先输入图像序列中连续的2帧图像, 对其标记及预处理；通过H-S光流法得到特征提取, 对得到的光流特征进行加速度估计, 得到加速度模值和；通过式(12)~(14) 进行微表情关键帧的判断, 若结果为是, 进行区域分割并输出结果, 进行下一个循环, 若结果为否, 直接进行下一个循环, 最终输出结果为微表情具体发生在某一帧.
|
图 1 基于光流模值估计的微表情关键帧捕捉流程 Fig. 1 Flow diagram for micro-expression key frame using magnitude estimation of optical flow |
采用Oulu大学的SMIC微表情数据库作为实验样本, 如图 2所示.本文选择16个人物, 88段微表情连续的图像序列作为实验数据.通过剪裁得到人脸图像序列.由于在利用H-S光流法对图像序列中的表情进行特征提取时, 需要满足恒定的亮度等约束条件，结合实验分析、验证, 本文所选取的实验数据不宜采用灰度均衡化作为预处理的手段, 故图像仅作剪裁处理等预处理.
|
图 2 来自SMIC库的实验样本 Fig. 2 Experimental sample from dataset SMIC |
对连续的图像序列进行H-S光流处理, 获得运动目标特征提取图像.光流密集的地方光流模值的改变较大, 而空白的地方为该区域面部形变较少, 如图 3所示.其中，图 3(a)、(b)中的横纵坐标为分别对应图像x、y方向的坐标.因此加速度在嘴部区域较为密集.利用光流法提取的运动特征为微表情的捕捉定位奠定了基础.利用所求的速度矩阵, 可得到连续图像序列中相邻两帧的加速度分布图像.通过图像可观察到, 加速度可以抑制一定的扰动引起的噪声, 着重凸显发生微表情的区域.
|
图 3 基于H-S光流法的运动特征提取 Fig. 3 Motion feature extraction based on H-S optical flow |
本文将图像序列划分为4个局部区域, 分别对其进行预处理、剪裁以及特征提取, 从而确定微表情发生的区域, 如图 4所示.这4个区域分别为P1-眼眉, P2-左脸, P3-右脸, P4-嘴部.通过实验可以得到, P1眼眉区域、P4嘴部区域对微表情的变化有更大的贡献, 因此对进一步研究及结果分析有更大的实际意义；P2左脸区域、P3右脸区域对微表情的变化贡献较小, 后不作考虑, 从而可简化计算量.
|
图 4 人脸区域划分及各部分加速度模值分布 Fig. 4 Face region segmentation and acceleration magnitude distribution of each part |
选取20组实验数据确定β的取值范围.通过实验, 可确定并比较张量模值与加速度模值关于参数β的选取范围.由于全局阈值算法需要满足式(12), 当β=0时, 关键帧数不可能选取100%的总帧数.对于张量算法, 当β=0时, 选出微表情发生的帧数所占总帧数的加权百分比为39.2%, 算数百分比为39.8%；当β=1时, 选出微表情的关键帧数占总帧数的加权百分比和算数百分比都为0.又由于微表情发生持续时间为0.04~0.20 s；对于25帧/s的连续图像序列, 微表情可持续帧数为1~5帧, 所以选取的关键帧数所占百分比需要小于20%, 且大于4%, 可以确定张量模值的阈值取值范围为0.6~0.9.同理, 对于加速度算法, 当β=0时, 关键帧的加权百分比为34.9%, 算数百分比为42.3%；当β=1时, 关键帧的加权百分比和算数百分比都为0, 则加速度模值的阈值取值范围同样为0.6~0.9, 如图 5所示，其中q为加权或算数百分比.
|
图 5 关键帧数对阈值的影响 Fig. 5 Impact of key frames on threshold |
如2.2节所述β的取值仅决定关键帧数的多少, 当β=0.9时, 可以选取出加速度模值和改变量最大的时刻, 及微表情发生的时刻, 故本文选择β=0.9.
3.2.4 结果分析本文在Matlab平台下进行实验仿真分析, 通过H-S光流法结合张量算法推导出的加速度算法, 利用全局阈值算法进行分类.其中β=0.9, 如图 6所示, 输入的图像序列分别在光流法提取特征后, 得到光流模值(速度)和、张量模值和、和加速度模值和3种模值和的图形, 但由于量纲不同, 不能相互比较, 故对其进行归一化操作, 得到的图像如图 7所示.模值归一化后, 峰值Pk和最小值Mk分别为1和0, 则Stk>β且R=μk.通过比较均值可知, R(速度)=0.596 8, R(张量)=0.599 8, R(加速度)=0.290 3 < 0.5, 只有加速度算法得到的归一化后的图形可以判断出该组图像在第4帧与第5帧之间发生了微表情.
|
图 6 不同帧数下光流模值、张量模值和加速度模值的分布 Fig. 6 Distribution of optical flow magnitude, tensor magnitude and acceleration magnitude under different frames |
|
图 7 光流模值、张量模值和加速度模值的归一化 Fig. 7 Parameters normalization from optical flow、tensor and acceleration magnitude |
本文选取SMIC微表情数据库中的NIR库和HS库实验数据.NIR库中的连续图像序列为25帧/s, HS库中图像序列为100帧/s.通过实验, 比较速度算法、张量算法及加速度算法的捕捉能力, 结果如表 1所示.其中, Rmean、Rmax、Rmin为R值的均值、最大值和最小值, Sa、Sl、Sr分别为正确数、漏检数和正识率.在SMIC-NIR库中, 共64个实验样本；通过H-S光流法得到速度估计算法的正确数为43个, 漏检数为21个, 正识率为67.2%；光学应变张量算法的正确数为44个, 漏检数为20个, 正识率68.8%, 本文算法的正确数为51个, 漏检率为13个, 正识率为79.7%；比较正识率可知, 本文算法大于张量算法, 张量算法大于速度算法, 本文算法的正识率最优；比较Rmean, 且由小到大排序依次为：Rmean(本文)、Rmean(速度)、Rmean(张量), 本文提出的Rmean(速度)最小, 而张量与速度的Rmean相近.在SMIC-HS高清库中, 共有24个实验样本, 速度算法的正确数为16个, 漏检数为8个, 正识率为66.7%；张量算法的正确数为16个, 漏检数为8个, 正识率为66.7%；本文算法的正确数为20个, 漏检数为4个, 正识率为83.3%；比较正识率, 由大到小排序依次为：本文算法大于速度算法, 张量算法与速度算法识别率相同；Rmean由小到大排序依次为：Rmean(本文)、Rmean(速度)或Rmean(张量).本文的加速度算法的加权平均正识率达到80.7%, 而速度算法和张量算法的加权平均正识率分别为67.1%与68.2%.经实验分析, 可知本文算法具有较高的正确识别率, 比光流法速度估计算法与光学应变张量算法分别高出13.6%与12.5%.实验表明, 本文中的加速度算法可以更好地确定微表情发生的时刻, 对微表情有较强的捕捉能力.在已知图像序列中存在微表情时, 具有一定的抗噪声干扰能力, 反应微表情变化快慢的程度, 有利于微表情捕捉.
|
表 1 SMIC数据库的微表情捕捉实验结果(β=0.9) Table 1 Experiment results of micro-expression spotting by using dataset SMIC (β=0.9) |
本文结合光学应变法和光流估计实现了加速度模值的计算, 对于发生变化较为明显的眼部区域和嘴部区域进行了分析, 能够很好地从实验曲线中判断出发生变化较为明显的区域, 可简化一定的计算量.实验表明, 本文所提算法的加权平均正确识别率为80.7%, 对微表情捕捉具有良好的效率.
本文所提出的方法能很好地反应微表情的变化程度, 对微表情定位有良好的效果, 同时在一定程度上有效抑制了噪声的干扰.但该方法还存在一定的不足, 在对于已知非微表情连续的图像序列进行判断时, 仍会受到图像较大的扰动噪声的影响, 发生一定的误判.这也是微表情捕捉技术未来发展所需要改进的方向.
| [1] | EKMAN P, FRIESEN W V. Nonverbal leakage and clues to deception[J]. Psychiatry-interpersonal and Biological Processes, 1969, 32(1): 88–106. DOI:10.1080/00332747.1969.11023575 |
| [2] | SONG Y, MORENCY L P, DAVIS R. Learning a sparse codebook of facial and body microexpressions for emotion recognition [C] // Proceedings of ICMI 2013. New York: ACM, 2013: 237-244. |
| [3] | LIONG S T, SEE J, PHAN C W, et al. Subtle Expression recognition using optical strain weighted features [C] // Computer Vision-ACCV 2014 Workshops. Singapore: Springer, 2014: 644-657. |
| [4] | POLISOVSKY S, KAMEDA Y, OHTA Y. Facial micro-expressions recognition using high speed camera and 3D-gradients descriptor [C] // Proceedings of 3rd International Conference on ICDP 2009. London: IEEE, 2009: 1-6. |
| [5] |
吴奇, 申寻兵, 傅小兰. 微表情研究及其应用[J].
心理科学进展, 2010, 18(9): 1359–1368.
WU Qi, SHEN Xun-bing, FU Xiao-lan. Micro-expression and its applications[J]. Advances in Psychological Science, 2010, 18(9): 1359–1368. |
| [6] | WANG S, YAN W J, ZHAO G, et al. Micro-expression recognition using robust principal component analysis and local spatiotemporal directional features [C] // Computer Vision-ECCV 2014 Workshops. Switzerland: Springer, 2014: 325-338. |
| [7] | GUO Y, TIAN Y, GAO X, et al. Micro-expression recognition based on local binary patterns from three orthogonal planes and nearest neighbor method [C] // 2014 International Joint Conference on Neural Networks (IJCNN). Beijing: IEEE, 2014: 3473-3479. |
| [8] |
梁静, 颜文靖, 吴奇, 等. 微表情研究的进展与展望[J].
中国科学基金, 2013, 27(2): 75–78.
LIANG Jing, YAN Wen-jing, WU Qi, et al. Recent advances and future trends in microexpresion research[J]. Science Foundation in China, 2013, 27(2): 75–78. |
| [9] | FAN X J, TJAHJADI T. A spatial-temporal framework based on histogram of gradients and optical flow for facial expression recognition in video sequences[J]. Pattern Recognition, 2015, 48(11): 3407–3416. DOI:10.1016/j.patcog.2015.04.025 |
| [10] | SHREVE M, BRIZZI J, FEFILATYEV S, et al. Automatic expression spotting in videos[J]. Image and Vision Computing, 2014, 32(8): 476–486. DOI:10.1016/j.imavis.2014.04.010 |
| [11] | SHREVE M, GODAVARTHY S, MANOHAR V, et al. Towards macro-and micro-expression spotting in video using strain patterns [C] // Workshop on WACV 2009. Snowbird: IEEE, 2009: 1-6. |
| [12] | SHREVE M, GODAVARTHY S, GOLDGOF D, et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain [C] // IEEE International Conference and Workshops on FG 2011. Santa Barbara: IEEE, 2011: 51-56. |
| [13] | LI X, PFISTER T, HUANG X, et al. A spontaneous micro-expression database: inducement, collection and baseline [C] // 2013 10th IEEE International Conference and Workshops on FG 2013. Shanghai: IEEE, 2013: 1-6. |
| [14] | PFISTER T, LI X, ZHAO G, et al. Recognising spontaneous facial micro-expressions [C] // IEEE International Conference on ICCV 2011. Barcelona: IEEE, 2011: 1449-1456. |
| [15] | BARRON J L, FLEET D J, BEAUCHEMIN S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 43–77. DOI:10.1007/BF01420984 |
| [16] | CHEN J S, YANG C, DENG Y, et al. Exploring facial asymmetry using optical flow[J]. IEEE Signal Processing Letters, 2014, 21(7): 792–795. DOI:10.1109/LSP.2014.2316918 |
| [17] | HORN B K, SCHUNCK B G. Determining optical flow[J]. Artificial Intelligence, 1981, 17(1-3): 185–203. DOI:10.1016/0004-3702(81)90024-2 |
| [18] | KOMORKIEWICZ M, KRYJAK T, GORGON M. Efficient hardware implementation of the horn-schunck algorithm for high-resolution real-time dense optical flow sensor[J]. Sensors, 2014, 14(2): 2860–2891. DOI:10.3390/s140202860 |