前景分割在智能视频监控中发挥着重要的作用^[1]. 传统的前景分割方法通常依赖建立背景统计模型. 例如Stauffer等^[2]提出的混合高斯模型（Gaussian mixture model，GMM）或Elgammal等^[3]提出的无参数的核密度估计模型（kernel density estimation，KDE）. 这种大样本训练框架带来的主要问题是模型在特征空间中往往覆盖较大的范围，一旦目标物的特征值处于该区间范围，将被判定为背景而无法被正确检出.

Jodoin等^[4-6]考虑到中心像素与相邻像素的空间上下文关系，构建了基于局部邻域特征的背景模型. 这类模型局限于挖掘局部的空间关系，在纹理稀缺背景下表现欠佳. Liang等^[7]利用空间像素间特征值变化的关联信息，构建了共现像素对模型（co-occurrence probablity-based pixel pairs，CP3）. 该技术借助空间像素间的相对变化来分割运动目标，使背景模型能够在一定程度上自动地适应背景的波动，进而使分割更为精确. Martins等^[8]提出的背景差分方法在保证分割精确性的同时，也将方法的计算时间复杂度纳入考量，注重了分割的实时性.

Braham等^[9-10]提出基于卷积神经网络的前景分割方法，它们只能处理具体场景，对于其他场景则需要再训练. 近3年来对于前景分割的研究主要集中于对传统统计背景建模方法的改进以及利用深度学习的方法直接进行前景分割^[11-13]. Lim等^[14-15]使用3组CNN编码器对同一输入图像的3种不同尺度进行特征编码，并使用TCNN（transposed convolutional neural network）对多尺度特征进行解码，得到像素级前景分割掩模. Qiu等^[16]使用基于convLSTM的网络来捕捉连续帧之间的空间和时间维度特征. 此外，基于卷积神经网络的前景分割方法存在的普遍问题在于，其性能表现严重依赖于训练数据的标注规模和质量. 众所周知，分割任务的训练样本需逐帧人工标注，标注代价高，难以实现新场景的快速标注和训练，严重限制了此类方法在视频监控任务中的大规模应用.

为了解决上述问题，本文提出一种更加鲁棒的自更新像素共现模型（self-updating co-occurrence pixel-block model，SU-CPB），用于动态背景下跨场景的前景分割. 以Zhou等^[17-20]提出的像素-支持块共现模型（co-occurrence pixel-block model，CPB）作为本文的基础，其前期相关工作包括CP3与Zhao等^[21]提出的灰度排列对模型（grayscale arranging pairs，GAP）. 与CP3模型类似，CPB训练过程依赖像素间线性相关性的计算，给背景模型的在线更新造成困难. 在近期的研究中，Liang等^[22]提出时空注意力模型（spatio-temporal attention model，STAM）并将其应用于跨场景的前景分割. 在本文中，引入了STAM作为分割指导，完成了SU-CPB模型的构建. 该方法在一些困难场景下显著优于CPB模型，并在跨场景对比实验中优于其他参与对比的方法.

本文提出的SU-CPB框架如图1所示. CPB包括2个阶段：训练阶段与检测阶段. CPB的工作模式如图2所示. 该方法通过比较中心像素p与它的共现支持块 ${Q^{\rm{B}}}$以判断p是否为前景点.

定义 ${\left\{ {Q_m^{\rm{B}}} \right\}_{m = 1,2,\cdots,M}} = \left\{ {Q_1^{\rm{B}},Q_2^{\rm{B}},\cdots,Q_M^{\rm{B}}} \right\}$为中心像素p的一组支持块. 使用Pearson积矩相关系数 $ \gamma (p,{Q}_{m}^{\rm{B}}) $ 筛选中心像素p的支持块 $\left\{ {Q_m^{\rm{B}}} \right\}$，即以 $ \gamma (p,{Q}_{m}^{\rm{B}}) $为关键字降序排列 $ {Q_m^{\rm{B}}} $，取前M个. 其中，

(1) $ \gamma (p,{Q}_{m}^{\rm{B}})=\frac{{C}_{p,{\overline{Q}}_{m}^{\rm{B}}}}{{\sigma }_{p}\cdot {\sigma }_{{\overline{Q}}_{m}^{\rm{B}}}}. $

式中： ${C_{p,\overline Q _m^{\rm{B}}}}$为中心像素p与它的第m个支持块 $Q_m^{\rm{B}}$在训练集中的像素强度协方差， ${\sigma _p}$与 ${\sigma _{\overline Q _m^{\rm{B}}}}$分别为p与 $Q_m^{\rm{B}}$强度值的标准差.

对每个中心像素p，对应有多个支持块 ${Q^{\rm{B}}}$，它们在时间的推移中关系稳定，即它们的像素强度之差服从单高斯分布：

(2) $\left( {{I_p} - {{\overline I }_{Q_m^{\rm{B}}}}} \right) \sim N\left( {{b_m},\sigma _m^2} \right). $

式中： ${I_p}$为p的像素强度， ${\overline I _{Q_m^{\rm{B}}}}$为支持块 $Q_m^{\rm{B}}$的平均像素强度， ${b_m}$与 $\sigma _m^2$分别为高斯分布的均值与方差参数. 在CPB模型中，每对(p， $Q_m^{\rm{B}}$)都有各自的高斯分布，当训练集大小为T时，

(3) ${b_m} = \frac{1}{T}\sum\limits_{t = 1}^T {\left( {{I_p} - {{\overline I }_{Q_m^{\rm{B}}}}} \right)} {\text{，}} $

(4) $\sigma _m^2 = \frac{1}{T}\sum\limits_{t = 1}^T {{{\left[ {\left( {{I_p} - {{\overline I }_{Q_m^{\rm{B}}}}} \right) - {b_m}} \right]}^2}} . $

对（p， $Q_m^{\rm{B}}$）的状态作如下定义：

(5) $ {\omega _m} = \left\{ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {1,}\\ {0,} \end{array}}&{\begin{array}{*{20}{r}} {\left| {\left( {{I_p} - {{\overline I }_{Q_m^{\rm{B}}}}} \right) - {b_m}} \right| \geqslant \eta {\sigma _m};}\\ \text{其他.} \end{array}} \end{array}} \right. $

式中：η为高斯模型阈值常数。当 ${\omega _m} = 1$ 时，p与 ${Q^{\rm{B}}}$ 处于不稳定状态；当 ${\omega _m} = 0$ 时，p与 ${Q^{\rm{B}}}$ 处于稳定状态.

由式（5）可知，对每个支持块 $Q_m^{\rm{B}}$与p的差分过程等同于1个二分类器，考虑到每个支持块与中心像素线性相关性的差异，引入它们与中心像素的相关系数 ${\gamma _m}$作为权重进行相关性决策，当满足以下条件时，CPB将中心像素p分类为前景点：

(6) $ \sum\limits_{m = 1}^M {{\gamma _m}} {\omega _m} > \lambda \sum\limits_{m = 1}^M {{\gamma _m}} \text{.} $

式中：λ为相关性决策阈值， ${\gamma _m}$为中心像素p与支持块 $Q_m^{\rm{B}}$的相关系数.

注意力机制启发于人类的感知过程，人脑的注意力机制在特定时刻总是集中在场景局部而忽略其他部分，该注意力机制可以等效于一个资源分配模型. 目前，已有将注意力机制用于深度神经网络的初步尝试，深度玻尔兹曼机（DBM）^[23]在训练阶段通过重构过程包含了自上而下的注意力机制；注意力机制也被广泛应用于循环神经网络（RNN）和长短期记忆网络（LSTM）中，以处理顺序决策任务^[23-24]. 顶层信息被顺序采集并决定如何应用于接下来的特征学习，时序过程^[25-26]将以顺序决策建模图像分类问题. 这一架构允许使用RNN和LSTM进行端到端的优化，能够以目标驱动的方式获得不同类型的注意力. Li等^[27]提出的金字塔注意力语义分割模型包含特征金字塔与全局注意力.

一般而言，卷积神经网络特征层的高层特征具有较大的感受野，包含全局上下文，擅长场景分类，但对单个像素的分类能力较弱. 低层特征携带了大量的细粒度信息，可以帮助高层特征在上采样过程中重建对象细节. 传统的卷积神经网络将信息从下采样层传播到所有对应的上采样层，因为它将编码器与解码器特征拼接在一起却没有进行任何选择，无法确定所选择的特征对前景分割是否必要. STAM通过在解码阶段引入注意力模块，融合了解码器与编码器的特征，高层特征提供全局信息用以指导注意力模块选择适当的低层特征，这些低层特征有助于对输入图像进行二值预测.

STAM模型结合时空信息，并利用注意力模块将编码器与解码器的特征融合. 如图3所示，图像编码器与光流编码器是2个结构相同的编码器，共有8个卷积层，分别以静态图像和相邻图像的光流强度场^[28]作为输入，加号表示像素级加法. 解码器为8层，卷积步长为2，每层进行上采样处理，应用7个注意力模块进行融合，注意力模块卷积步长为1. 真实场景中的物理运动可以用运动场描述，在平面图像上物体的运动往往是通过图像序列中不同图像灰度分布的不同来体现的. 光流场是像素点在图像平面运动产生的瞬时速度场，很适合描述帧间的时域上下文关系. 该模型将光流强度场与静态图像并行输入网络，以此引入帧间上下文信息，比基于单帧图像分割的方法^[9-10]更合理.

STAM在CDNet2014数据集上取随机5%数据与其真值进行训练，使用光流与静态图片并引入注意力机制，使其对变化较敏感. 当STAM用来处理未经训练的场景时，只能得到粗略的分割结果，表明其泛化能力有待提高. 在本文的工作中，STAM模型用来生成前景分割掩模，解决CPB模型的在线更新问题. 最终分割结果由具备在线更新能力的SU-CPB模型完成.

CPB模型存在的问题如下：中心像素p与支持块 ${\left\{ {Q_m^{\rm{B}}} \right\}_{m = 1,2,\cdots,M}}$具有统计意义上的强相关性，一旦前景运动物体覆盖支持块，将造成支持块与中心像素差分关系的不确定性，式（5）构建的像素状态判断准则暂时失效，导致出现分割错误. 避开前景区域选择支持块，保证支持块分布于背景区域，模型的性能将得到有效提升. CPB模型的在线更新问题实际上是利用动态筛选机制完成支持块的有效替换，以避免前景覆盖支持块带来的分割错误.

如图4所示是支持块的动态选择模型流程图. 处于前景区域的支持块将被支持块序列中的候选支持块替换. 在训练阶段，所有支持块按相关系数递减得到支持块序列. 候选支持块将在有需要时被启用并暂时地代替失效支持块.

STAM能够在未训练场景下做出粗略的分割预测. 由于判断支持块是否失效无须像素级的分割精度，使用STAM的粗略分割结果可以作为支持块是否被前景覆盖的判断依据.

如图5所示为一组模型选择效果演示. 图5（b）中三角形表示中心像素点，正方形表示支持块. 由图5可知，中心像素在不同时间点拥有不同的支持块，当船只驶过时，支持块的选择会动态地避开该前景区域.

尽管CPB支持块的动态选择参考了STAM的分割结果，但二者的最终分割结果有一定的差异性. 上述模型与STAM由于分别使用了截然不同的前景分割方法——基于像素空间关系的背景统计建模技术与参考了光流的注意力模型，它们的结果本身具有一定的互补性.

虽然在支持块的选择上尽可能避开了前景区域，却无法避免2种状况：1）STAM的分割结果与真值有一定的差距，不能保证所有支持块都能完全避开前景区域；2）随着时间的推移，原本在训练阶段得到的像素-支持块模型会由于前景或背景噪声出现“退化”现象，从而导致结构失效. 本文提出2种方式，解决中心像素与支持块可能存在的结构失效的问题.

如图6所示为失效支持块的替换过程. CPB与STAM对像素点存在分歧有2种情况：1）CPB认为是前景点，STAM将其归类为背景；2）CPB认为是背景点，STAM将其归类为前景.

CPB模型在检测阶段考虑到每个支持块与中心像素线性相关性的差异，以相关系数作为权重值，当结果与STAM存在差异时，高的相关系数所对应的支持块很可能已经处于结构失效状态. 为了避免这种情况发生，在模型输出存在差异性时，剔除高相关系数的支持块，并用候选支持块代替. 不稳定状态不意味着失效状态，当中心像素p为前景时，它与支持块处在不稳定状态而被检出，这时不稳定状态是有效状态，稳定状态是失效状态；当p为背景时，它与支持块处于稳定状态，一旦它们处于不稳定状态，像素p会成为“虚警”，此时不稳定状态为失效状态. 式（5）计算了每个像素-支持块对的稳定性.

根据以上结论构建差异分割结果的解决方式. 当STAM和CPB在该中心像素点p存在差异分割结果时，考虑到CPB的分割结果存在错误的可能性，为了消除可能已经处于结构失效状态的支持块对中心像素点p存在的错误引导，使用候选支持块对其进行替换. 同时CPB的鲁棒性意味着该解决方式不会导致分割性能的下降. 相关对比实验结果印证了所提出的解决方式的合理性.

统计处于不稳定状态的支持块数量，即

(7) $K = \sum\limits_{m = 1}^M {{\omega _m}} . $

考虑到情况1）与情况2）的不同，分别计算2种情况下的平均相关系数：

(8) $ \overline \gamma = \left\{ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{l}} {\dfrac{1}{K}\displaystyle\sum\limits_{m = 1}^M {{\gamma _m} {\omega _m}} ,}\\ {\dfrac{1}{{M - K}}\displaystyle\sum\limits_{m = 1}^M {{\gamma _m} (1 - {\omega _m})} ,} \end{array}}&{\begin{array}{*{20}{l}} \text{情况1；}\\ \text{情况2. } \end{array}} \end{array}} \right.$

如果某个支持块 $Q_m^{\rm{B}}$与p的相关系数满足：

(9) ${\gamma _m} \geqslant \overline \gamma . $

那么 $Q_m^{\rm{B}}$需要被替换.

因为像素-支持块模型是依据其特征值在长时域内的变化相关性构建的，具有高相关系数的支持块应是与其中心像素同质的区域. 当像素p是前景而被CPB错误分类为背景，即处于情况2）时，计算该像素点与其周围存在的前景点的相似度 $ {r}_{\rm{F}} $，计算该像素点与其所有支持块的平均相似度 $ {r}_{\rm{B}} $. 若满足下列条件，则将其分类为前景，反之为背景.

(10) ${r_{\rm{F}}}{\rm{ = }}\frac{1}{{20}}\sum\limits_{n = 1}^{20} {\sqrt {{{({R_p} - {R_n})}^2} + {{({G_p} - {G_n})}^2} + {{({B_p} - {B_n})}^2}} } \text{，} $

(11) ${r_{\rm{B}}}{\rm{ = }}\frac{1}{{{M}}}\sum\limits_{{{m}} = 1}^M {\sqrt {{{({R_p} - {{\overline R }_m})}^2} + {{({G_p} - {{\overline G }_m})}^2} + {{({B_p} - {{\overline B }_m})}^2}} } \text{，} $

(12) ${r_{\rm{F}}} > \varepsilon {r_{\rm{B}}}. $

式中：ε为相似度决策阈值；使用像素点之间RGB值的欧式距离作为相似度的度量， $ {R}_{p} $、 $ {G}_{p} $、 $ {B}_{p} $分别为目标像素p的RGB值；取距离目标像素最近的20个前景像素点并根据式（10）计算 ${r}_{{\rm{F}}}$；M为目标像素p的支持块数量， $ {\stackrel{-}{R}}_{m} $、 $ {\stackrel{-}{G}}_{m} $、 $ {\stackrel{-}{B}}_{m} $分别为支持块m的RGB平均值，根据式（11）计算 $ {r}_{\rm{B}} $.

CDNet2014^[29]包含大量不同场景的数据集，可以用于前景分割的训练和测评. 本文在CDNet2014数据集上的实验环境如下：1）在数据集充足的前提下，选择前400张前景占比小的或者没有明显前景的图片作为训练集；2）对前景占比高的数据集，尽量从它的前20%中选择前景占比低的图片作为训练集. 本文的CPB实验数据在该实验环境下给出.

STAM模型是在CDNet2014数据集上随机选取5%的图片与其真值进行训练得到的. 为验证对比所有方法的跨场景泛化能力，采用Wallflower^[30]与LIMU^[31]2个数据集. SU-CPB方法在Wallflower采用数据集规定的200张作为训练集，LIMU选用前400张作为训练集，实验参数设置如表1所示.

实验使用CDNet2014里的11个数据集，对比12种方法，结果如表2所示. 表中，各数据集缩写对应的名称如下：bad weather（BDW），baseline（BSL），camera jitter（CJT），dynamic background（DBG），intermittent object motion（IOM），low frame rate（LFR），night videos（NVD），shadow（SHD），thermal（THM）and turbulence（TBL）. 可以看出，SU-CPB在7个数据集中与序号2~7的非监督方法相比排名第一，且大部分场景都实现了对CPB模型性能的较大提升. 与SU-CPB相比，序号10~12的监督学习方法的模型往往过拟合，因此针对特定训练场景的分割结果更好；序号8和9的监督学习方法在经过跨场景的标注训练后，具有一定的泛化能力.

当参照CPB方法作对比时，由于统一采用小训练集（相对CPB方法的要求而言），CPB此时的F-measure较低见表2，表现不够稳定. 相比之下，SU-CPB在小训练集的情况下，实现了性能的提高，在CDNet数据集上比CPB方法的F-measure平均提高了0.4. 由于大部分P-B对失效，CPB方法在复杂场景（天气云朵大范围变化或大运动目标进入等）中会出现大面积的false positive检测结果，SU-CPB对这种情况有明显的鲁棒性. 对比结果如图7所示. 图中，parking场景为大范围辐射背景下的云朵漂移，abandoned box场景和fall场景为大目标物运动.

如表3所示为特定场景下SU-CPB与STAM F-measure对比. 与STAM相比，SU-CPB在DBG下的fountain02场景、BSL下的PETS2006场景、CJT下的traffic场景、IOM下的abandoned box场景和parking场景的F-measure均有所提高.

为了评估SU-CPB在跨场景下的泛化能力，使用Wall Flower和LIMU数据集下的总共10个场景进行对比实验. 其中STAM、Cascade CNN和FgSegNet 3种监督方法均为同一实验设置，即在CDNet2014中随机选取5%的图片与其真值训练，并在Wallflower与LIMU共10个场景中进行跨场景的前景检测.

Wallflower数据集上的实验结果如表4、5所示，Fg Aperture为Foreground Aperture的缩写. 由表4可知，SU-CPB在Bootstrap、Foreground Aperture、Light Switch、Time of Day场景中比其他方法的F-measure高，在除Waving Trees外的场景中表现比CPB更优，且在平均上表现最优，平均比CPB提升12.15%，比STAM提升11.09%. Moved Object场景用来检验背景模型更新能力，由于其用来评估的真值中并没有前景目标，选择Specificity =TN/（TN+FP）作为评估参数. 从Moved Object实验结果可以看出，SU -CPB能够解决原本处于背景中的静止物体被移动后留下的“鬼影”问题.

对于LIMU数据集，在Camera Parameter、Intersection和Light Switch场景中进行方法对比，实验数据见表6，检测效果如图8所示. 在这3个场景中，SU-CPB的F-measure比其他方法高，平均比STAM高31.54%，比CPB高11.37%.

LIMU数据集3个场景中，SU-CPB在各阶段下的F-measure对比见表7. 表中，CPB为最初模型，CP $ {\rm{B}}_{{\rm{DT}}} $为引入动态选择方法后的初步结果，SU-CPB为引入2种差异分割结果解决方式后的最终结果. 实验表明，这2种差异分割结果解决方法的引入可以提升分割性能.

本文在CPB模型的基础上，利用STAM分割结果作为指导，完成了对CPB模型的像素-支持块共现模型的在线更新. 实验表明，SU-CPB在实验数据集上提升了CPB的性能，解决了CPB在处理复杂场景时出现的一些问题：大目标物体进入场景、大范围的天气云朵变化、静止物体移动后留下的“鬼影”等. SU-CPB方法在跨场景前景分割能力上显著优于 STAM 和 CPB 方法 ，并优于参与对比的其他方法. 未来将进一步探讨该方法中STAM模块的可替换性以及应用不同方法作为分割指导后的相应对比.