浙江大学学报(工学版), 2022, 56(6): 1135-1143, 1167 doi: 10.3785/j.issn.1008-973X.2022.06.010

智能机器人

融合运动信息和跟踪评价的高效卷积算子

张迅,, 李建胜,, 欧阳文, 陈润泽, 汲振, 郑凯

1. 战略支援部队信息工程大学 地理空间信息学院,河南 郑州 450001

2. 73159部队,福建 泉州 362110

Efficient convolution operators integrating motion information and tracking evaluation

ZHANG Xun,, LI Jian-sheng,, OUYANG Wen, CHEN Run-ze, JI Zhen, ZHENG Kai

1. Institute of Geographical Spatial Information, Information Engineering University, zhengzhou 450001, China

2. 73159 Troops, Quanzhou 362100, China

通讯作者: 李建胜,男,教授. orcid.org/0000-0002-7761-8103. E-mail: ljs2021@vip.henu.edu.cn

收稿日期: 2021-07-14  

Received: 2021-07-14  

作者简介 About authors

张迅(1997—),男,硕士生,从事图像处理与模式识别研究.orcid.org/0000-0002-5436-5879.E-mail:1219233886@qq.com , E-mail:1219233886@qq.com

摘要

针对基于方向梯度直方图与颜色命名的高效卷积算子(ECO-HC)算法缺少跟踪质量评价和滤波模板更新监督机制的问题,提出融合运动信息和跟踪评价的高效卷积算子. 将卡尔曼滤波器加入ECO-HC跟踪定位框架对目标执行联合跟踪,设计高置信度判别指标评价ECO-HC对每帧图像的跟踪效果,使用原始跟踪结果和卡尔曼滤波预测值的加权融合值,修正不满足判别指标的跟踪结果. 在滤波模板隔帧更新策略的基础上,加入当前帧跟踪结果质量评价信息,当2个条件同时满足时执行模板更新. 依托公开数据集OTB-2015评估算法性能,结果显示改进算法整体跟踪精确度、成功率和跟踪速率均优于原算法,在运动模糊、低分辨率、离开视野场景中的精确度分别提高3.0%、3.5%和2.8%,成功率分别提高3.8%、2.1%和4.0%. 改进算法在保证实时性的同时,有效提升了复杂场景下的跟踪效果.

关键词: 视觉目标跟踪 ; 高效卷积算子(ECO) ; 跟踪评价 ; 高置信度指标 ; 卡尔曼滤波器

Abstract

An efficient convolution operator integrating motion information and tracking evaluation was proposed, to solve the problems that an efficient convolution operators algorithm named by histogram of oriented gridients and color (ECO-HC) lacks the quality evaluation of tracking result and the supervision mechanism of filter model updating. Firstly, the Kalman filter was added to the ECO-HC positioning framework to carry out joint tracking of objects. A high-confidence discriminant indicator was designed to evaluate the tracking result of ECO-HC for each frame of video. If the current frame tracking results did not meet the confidence requirement, the weighted fusion value of the algorithm tracking results and the predicted value of Kalman filter would be used as the final target tracking results. Then, based on the filter template update strategy of the original algorithm, the quality evaluation information of the current frame tracking results was added.The filter template update was performed when the two conditions were true. Finally, the performance of the improved algorithm was evaluated on a open data set OTB-2015. The results showed that the overall tracking precision, success rate and tracking rate of the algorithm with proposed operator were superior to the original algorithm. The precision in the scene with motion blur, low resolution and out of view was increased by 3.0%, 3.5% and 2.8% respectively, and the success rate was increased by 3.8%, 2.1% and 4.0% respectively. The proposed algorithm not only ensured the real-time performance, but also improved the tracking performance in complex scenes.

Keywords: visual object tracking ; efficient convolution operator(ECO) ; tracking evaluation ; high-confidence discrimination indicator ; Kalman filter

PDF (2544KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张迅, 李建胜, 欧阳文, 陈润泽, 汲振, 郑凯. 融合运动信息和跟踪评价的高效卷积算子. 浙江大学学报(工学版)[J], 2022, 56(6): 1135-1143, 1167 doi:10.3785/j.issn.1008-973X.2022.06.010

ZHANG Xun, LI Jian-sheng, OUYANG Wen, CHEN Run-ze, JI Zhen, ZHENG Kai. Efficient convolution operators integrating motion information and tracking evaluation. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(6): 1135-1143, 1167 doi:10.3785/j.issn.1008-973X.2022.06.010

视觉目标跟踪是计算机视觉的重要基础,也是智能监控 [ 1] 、视觉行为分析 [ 2] 和视觉导航 [ 3] 的关键技术. 它着眼于解决一般物体的跟踪问题,依托初始帧给定的目标位置与尺度信息初始化跟踪算法模型,在后续帧里对目标进行持续准确地定位.

判别类目标跟踪方法 [ 4] 关注异类数据之间的差异性,将目标从背景中分离出来实现跟踪,使跟踪准确率显著提高. 相关滤波类算法 [ 5] 具有速度优势,是判别类方法的重要分支,被广泛地应用于工业实践. Bolme等 [ 6] 提出最小输出平方和误差滤波将相关滤波思想引入目标跟踪领域,此后改进算法相继出现,跟踪效果也不断提升. 基于核函数的循环结构(exploiting the circulant structure of tracking-by-detection with kernels, CSK) [ 7] 针对最小平方和误差滤波中样本冗余的问题,引入循环移位与核方法. 核相关滤波(kernel correlation filter, KCF) [ 8] 在理论上完善了CSK中岭回归的数学技巧推导,同时增加了多通道特征. 判别式尺度空间跟踪器(discriminative scale space tracker, DSST) [ 9] 与基于特征融合的尺度自适应核相关滤波 [ 10] 从2个不同的角度解决了跟踪尺度自适应问题. 空间正则化滤波(spatially regularized discriminative correlation filter, SRDCF) [ 11] 使用空间正则化减轻了傅里叶变换带来的边界效应影响,自适应去污空间正则化滤波(SRDCFdecon) [ 12] 在此基础上改进了样本和学习率的问题. 提升改进算法的跟踪精度往往以牺牲速度为代价,连续卷积算子视觉跟踪(continuous convolution operators for visual tracking, C-COT) [ 13] 将深度特征融入相关滤波框架,在连续空间域学习滤波器,实现多分辨率特征图的融合和精确的子网格定位,跟踪精度达到新高峰,但CPU下的运行速度不超过1 帧/s,不能满足实时需求.

Danelljan等 [ 14] 分析制约相关滤波类算法速度的主要因素,提出高效卷积算子 (efficient convolution operator, ECO). 该算法使用因式卷积实现特征降维,高斯混合模型减少样本数量,间隔帧更新减少更新频率,从特征复杂度、训练集大小和模板更新策略上大幅减少计算量,提高了C-COT算法的时间和空间效率. Danelljan等 [ 14] 提供了高效卷积算子的2种实现形式:1)基于卷积特征的ECO算法,2)基于人工特征方向梯度直方图 (histogram of oriente gridients, HOG) [ 15] 与颜色命名 (color names, CN) [ 16] 的ECO-HC算法. 形式2)的精度虽然略低于形式1)的,但在CPU下具有实时运算速度. 这2种实现形式均缺少跟踪质量判断和滤波模板更新监督机制,使目标跟踪连续定位和模板更新存在很大风险. 一方面,当跟踪质量较差时,继续使用原有定位结果会导致下一帧目标搜索范围偏移,影响后续帧的跟踪效果;另一方面,当出现遮挡、目标离开视野范围时,按照间隔特定帧更新模型会持续引入背景噪声,导致跟踪漂移与失败.

针对上述问题,本研究以具有实时运算特性的ECO-HC算法作为基线算法进行如下改进. 1)跟踪质量判别. 引入特征融合响应图震荡程度指标 $ {E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}} $ [ 17] ,结合最大峰值响应 $ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}} $,设计高置信度判别指标评价算法每帧的跟踪结果. 2)目标定位加权融合. 将卡尔曼滤波器 [ 18] 加入ECO-HC定位框架,对评价未达到置信度阈值的跟踪结果进行加权修正. 3)新的滤波模板稀疏更新策略. 当前帧同时满足间隔特定帧与置信度要求时,执行模板更新.

1. 高效卷积算子

高效卷积算子在C-COT算法的基础上,通过因式卷积操作实现特征降维,使用高斯混合模型整合样本提高样本代表性和多样性,采取间隔帧的稀疏更新策略改善过拟合和模型漂移问题.

1.1. 因式卷积操作

C-COT算法基于样本集合 $ {X} $训练卷积滤波器. 对训练样本 ${x}_{i} \in {X}$,提取 D个通道的特征分别为 ${x}_{i}^{1}, {x}_{i}^{2},\cdots,{x}_{i}^{{D}}$,每个特征通道 ${x}_{i}^{d}(d=1,2,\cdots,{D})$拥有独立的分辨率 $ {N}_{d} $,对应的特征函数记为 $ {x}_{i}^{d}\left[n\right] $. 利用插值模型 $ {J}_{d} $将不同分辨率的离散特征图映射到连续空间域 $t\in [0,T)$,插值运算式为

$ {J}_{d}\left\{{x}^{d}\right\}\left(t\right)=\sum\limits _{n=0}^{{N}_{d}-1}{x}^{d}\left[n\right]{b}_{d}\left(t-\frac{T}{{N}_{d}}n\right). $

式中: $ {b}_{d} $为周期 $ T $的插值内核; $ {J}_{d}\left\{{x}^{d}\right\} $为周期函数,该函数的周期为 $ T \gt 0 $,表示插值后的连续特征图.

C-COT为每个通道单独训练了周期为 $ T $的滤波器,构成滤波器组 $ {f}^{\mathrm{D}} $={ ${f}^{1},{f}^{2},\cdots,{f}^{D}$};滤波器与对应的连续特征图进行卷积运算,求和后获得多通道融合特征响应 $ {F}_{f}\left\{x\right\} $.

$ {F}_{{f}^{\mathrm{D}}}\left\{x\right\}=\sum\limits _{d=1}^{D}{f}^{d}\mathrm{*}{J}_{d}\left\{{x}^{d}\right\}. $

滤波器组中有许多滤波器对定位几乎没有贡献,却占用着大量的计算资源 [ 14] . ECO算法不再为每个特征通道单独训练滤波器,而是将特征通道对应的滤波器表示为一组贡献度较大的滤波器组 ${f}^{\mathrm{C}}=\{{f}^{1},{f}^{2},\cdots,{f}^{C}\} (C \lt D)$的线性组合. 新的响应函数在表现为原有响应函数乘以 ${D}\times {C}$维的投影矩阵 ${{\boldsymbol{P}}}=\left({p}_{d,c}\right)$,矩阵每行代表1组线性系数,最终实现特征降维.

$ {F}_{{f}^{\mathrm{C}}}\left\{x\right\}={\boldsymbol{P}}{f}^{\mathrm{C}}\mathrm{*}J\left\{x\right\}=\sum\limits _{c,d}{{p}_{d,c}f}^{c}\mathrm{*}{J}_{d}\left\{{x}^{d}\right\}={f}^{\mathrm{C}}\mathrm{*}{{{\boldsymbol{P}}}}^{\mathrm{T}}J\left\{x\right\}. $

式中: $ J\left\{x\right\} $为整个融合插值特征图; ${F}_{{f}^{\mathrm{C}}}\left\{x\right\}$为新的响应函数,文献[ 14]称之为因式卷积操作.

$ E\left(f^{\mathrm{C}}, \boldsymbol{P}\right)=\| \widehat{\boldsymbol{J}\{\boldsymbol{x}}\}^{\mathbf{T}} \boldsymbol{P} \widehat{\boldsymbol{f}}^{\;\mathrm{C}}-\widehat{\boldsymbol{y}} \|_{l^{2}}^{2} +\sum_{c=1}^{c}\left\|\widehat{\boldsymbol{\omega}} * \hat{\boldsymbol{f}}^{c}\right\|_{l^{2}}^{2}+\lambda\|\boldsymbol{P}\|_{F}^{2}. $

式(4)是滤波器学习最小化目标函数的频域表示,用正则项 $\lambda\|\boldsymbol{P}\|_{F}^{2}$约束 ${{\boldsymbol{P}}}$. 在滤波器更新阶段,通过高斯−牛顿(Gauss-Newton)和共轭梯度(conjugate gradient)法求解式(4)获得更新的滤波器组和 ${{\boldsymbol{P}}}$,实施过程中的 ${{\boldsymbol{P}}}$在确定第1帧之后学习得到,后续帧的跟踪中将保持不变. 使用ECO-HC算法,高效卷积操作后HOG特征由31维降至10维,CN特征由11维降至3维,即总体计算维度从42维降至13维,计算量大幅减少使得运算速度提高 [ 14] .

1.2. 样本空间模型

在视频跟踪任务中,当前帧的跟踪结果往往被当成新的训练样本纳入训练集,无限制保留新样本会增加计算复杂度,舍弃最早纳入的样本又会导致经过连续数帧后训练集中的样本高度相似. 高效卷积操作使用高斯混合模型(GMM)生成 $ M $个组件合并的相似样本,每次新进入1个样本,就会初始化1个组件 $ m $,并计算其权重 $ {\pi }_{m} $. 当组件数超过设定值 $ M $,丢弃权重低于设定阈值 $ {\pi }_{0} $的组件,如果所有组件权重均高于阈值,则将最接近的分量 $ k $$ l $合并为1个组件 $ n $. 在实际操作中, $ M $的值设置为C-COT样本集的1/8,即50,这样在增加样本集的代表性和多样性的同时,还进一步减少了计算负担.

1.3. 稀疏更新策略

为了适应在复杂环境中不断变化的目标特征和背景信息,引入合理的滤波模板更新机制. 最常见的是C-COT采用的逐帧更新和ECO采用的间隔特定帧稀疏更新,后者相较于前者计算量大幅下降,鲁棒性也得到提升. 需要注意的是,较大的取样间隔可能会导致模型更新跟不上特征变化而出现跟踪漂移,在实际操作中取样间隔为6帧.

2. 改进的ECO-HC算法

传统的ECO-HC算法缺少跟踪结果质量判别和滤波模板更新监督机制,当出现强烈的光照变化、低分辨率场景、遮挡等挑战时,跟踪误差会持续累积,导致跟踪的漂移和失败. 本研究通过分析搜索区域的特征融合响应图的峰值和震荡程度,评价ECO-HC跟踪结果的置信程度,当评价结果判定不满足高置信度要求时,不执行滤波模板更新,并利用卡尔曼滤波预测值加权修正定位结果. 改进算法的跟踪框架如 图1所示.

图 1

图 1   改进ECO-HC算法跟踪框架

Fig.1   Tracking framework of improved ECO-HC algorithm


2.1. 高置信度判别指标

为了保持算法的速度优势,设计的判别指标应当具有较小的计算复杂度. 以Girl2序列为例分析ECO-HC的跟踪结果和融合特征响应图,如 图2所示为Girl2序列关键帧的跟踪结果,跟踪框中心取最大峰值响应位置;如 图3所示为对应的融合特征响应图,响应值、水平和垂直方向像素变化分别用 $R、 H、V$表示. 可以看出,在干扰较小且跟踪准确的情况下(第2帧),响应图出现单一明显的峰值;当出现相似目标情况时(第57帧),响应图出现多个次峰;在目标被部分遮挡时(第108帧),响应图呈现多峰态势,且最大峰值响应出现在遮挡物上,导致跟踪框发生漂移.

图 2

图 2   Girl2序列的ECO-HC算法跟踪结果

Fig.2   Tracking results of ECO-HC algorithm with Girl2 sequence


图 3

图 3   Girl2序列的ECO-HC算法融合特征响应图

Fig.3   Response maps of ECO-HC algorithm with Girl2 sequence


只使用当前帧目标样本 $ x $的最大峰值响应 $ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(x\right) $作为跟踪质量评判依据是不合理的. 本研究引入目标样本 $ x $的平均峰值相关能量 $ {E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}\left(x\right) $来描述响应图整体震荡程度,指标计算方法为

$ {E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}\left(x\right)=\frac{{\left|{F}_{\mathrm{m}\mathrm{a}\mathrm{x}}\left(x\right)-{F}_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(x\right)\right|}^{2}}{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}\left({\sum \left({F}_{u,v}\left(x\right)-{F}_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(x\right)\right)}^{2}\right)}. $

式中: $ {F}_{\mathrm{m}\mathrm{i}\mathrm{n}}\left(x\right) $$ {F}_{u,v}\left(x\right) $分别为ECO-HC算法融合特征响应图最小峰值响应值和像素点 $ \left(u,v\right) $所对应的响应值,mean表示求均值运算. 实验发现出现如遮挡的剧烈干扰情况时响应图整体震荡剧烈, $ {E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}} $相较于历史均值明显减小. 因此从局部峰值、整体震荡角度综合考虑联合 $ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}} $与APCE指标设计更新策略,

$ \left.\begin{array}{c} F_{\max }\left(x_{k}\right) \gt \beta_{1} \dfrac{1}{k-1} \displaystyle\sum\limits_{i}^{k-1} F_{\max }\left(x_{k}\right), \\ E_{\mathrm{APCE}}\left(x_{k}\right) \gt \beta_{2} \dfrac{1}{k-1} \displaystyle\sum\limits_{i}^{k-1} E_{\mathrm{APCE}}\left(x_{k}\right) . \end{array}\right\} $

式中: $ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}}\left({x}_{k}\right)\mathrm{、}{E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}}\left({x}_{k}\right) $分别为第 $ k $帧响应图的最大峰值和平均峰值相关能量; $ {\;\beta }_{1} $$ \;{\beta }_{2} $均为比例系数, $ \;{\beta }_{1} $$ \;{\beta }_{2}\in \left[0, 1.0\right] $. 当式(6)成立时,进行滤波模板更新. 该策略引入历史帧信息,认为当 $ {E}_{\mathrm{A}\mathrm{P}\mathrm{C}\mathrm{E}} $$ {F}_{\mathrm{m}\mathrm{a}\mathrm{x}} $同时以一定比例大于历史均值时,当前帧跟踪结果具有高置信度.

2.2. 目标定位加权融合

未满足高置信度要求的跟踪结果会导致算法在下一帧中的目标搜索范围偏移,进而对后续帧的跟踪效果产生影像,此时须设计策略修正较差的定位结果. 在视觉目标跟踪问题中,目标的状态信息往往是连续变化的,在环境出现剧烈光照变化、目标遮挡甚至丢失的情况下,卡尔曼滤波能够综合考虑位置、速度、加速度等运动信息,对动态系统的状态进行最优估计,合理预测与更新跟踪目标的状态. 将卡尔曼滤波引入ECO-HC原有的跟踪框架,能够有效提升算法在复杂环境下的跟踪性能.

观测方程与状态转移方程是卡尔曼滤波的基础,其公式为

$ {{{\boldsymbol{Z}}}}_{k}={{{\boldsymbol{H}}}}_{k}{\widehat{{{\boldsymbol{X}}}}}_{k}+{{{\boldsymbol{V}}}}_{\mathit{k}} , $

$ {\widehat{{{\boldsymbol{X}}}}}_{k}={{{\boldsymbol{\varPhi}} }}_{k,k-1}{\widehat{{{\boldsymbol{X}}}}}_{k-1}+{{{{\boldsymbol{\varGamma}} }}_{k-1}{{\boldsymbol{\xi}} }}_{k-1} . $

式中: ${\widehat{{{\boldsymbol{X}}}}}_{k}$${\widehat{{{\boldsymbol{X}}}}}_{k-1}$分别为第 $ k $帧和 $ k-1 $帧目标的状态向量, ${{{\boldsymbol{\varPhi}} }}_{k,k-1}$为第 $ k $帧到第 $ k-1 $帧的状态转移矩阵, ${\boldsymbol{H}}_{k}$为量测阵, ${\boldsymbol{Z}}_{k}$为观测向量, ${{\boldsymbol{\varGamma }}_{k-1}\boldsymbol{\xi }}_{k-1}$为系统噪声, ${\boldsymbol{V}}_{k}$为观测噪声.

卡尔曼滤波执行具体过程通常被分为2个阶段:预测和更新.预测阶段通过之前数帧的信息估计当前状态,更新阶段利用观测值优化预测值,获取更可信的估计值.

1)预测阶段的公式为

$ {\widehat{\boldsymbol{X}}}_{k/k-1}={\boldsymbol{\varPhi }}_{k,k-1}{\widehat{\boldsymbol{X}}}_{k-1} , $

${\boldsymbol{P}}_{k/k-1}={\boldsymbol{\varPhi }}_{k,k-1}{\boldsymbol{P}}_{\boldsymbol{k}-1}{\boldsymbol{\varPhi }}_{k,k-1}^{{{\rm{T}}}}+{\boldsymbol{\varGamma }}_{k-1}{\boldsymbol{Q}}_{k-1}{\boldsymbol{\varGamma }}_{k-1}^{\mathrm{T}} . $

2)更新阶段的公式为

$ {\boldsymbol{K}}_{k}={\boldsymbol{P}}_{k}{\boldsymbol{H}}_{k}^{\mathrm{T}}{\boldsymbol{R}}_{k}^{-1} , $

$ {\widehat{\boldsymbol{X}}}_{k}={\widehat{\boldsymbol{X}}}_{k/k-1}+{\boldsymbol{K}}_{k}\left({\boldsymbol{Z}}_{k}-{\boldsymbol{H}}_{k}\right){\widehat{\boldsymbol{X}}}_{k/k-1} , $

$ {\boldsymbol{P}}_{k}=\left(\boldsymbol{I}-{\boldsymbol{K}}_{k}{\boldsymbol{H}}_{k}\right){\boldsymbol{P}}_{k/k-1} . $

式中: ${\boldsymbol{K}}_{k}$为增益矩阵, ${\boldsymbol{P}}_{k}$$ k $时刻协方差矩阵, ${\boldsymbol{Q}}_{k-1}$${\boldsymbol{R}}_{k}$分别为系统噪声和观测噪声的协方差矩阵.

取卡尔曼滤波状态向量 ${\widehat{\boldsymbol{X}}}_{k}=$ [ u ( k), v ( k), V u ( k), V v ( k)] T,其中 uv为方向,向量各元素分别为第 k帧目标在相应方向的位置和速度. 一般来说,目标在2个视频帧间的运动不会发生较大形变和速度变化,可以简化为匀速运动. 以ECO-HC算法第 $ k $帧的跟踪结果 Z k = [ u( k), v( k)] 作为观测值,为了便于计算取相邻帧时间间隔 $ \mathrm{\Delta }t=1 $ ,初始化阶段状态向量为

$ {\widehat{\boldsymbol{X}}}_{2}=\left[ {\begin{array}{*{20}{c}} {u\left( k \right)}\\ {v\left( k \right)}\\ {{V_u}\left( k \right)}\\ {{V_v}\left( k \right)} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {u\left( 2 \right)}\\ {v\left( 2 \right)}\\ {({{u\left( 2 \right) - u\left( 1 \right)}})/{{\Delta t}}}\\ {({{v\left( 2 \right) - v\left( 1 \right)}})/{{\Delta t}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {u\left( 2 \right)}\\ {v\left( 2 \right)}\\ {u\left( 2 \right) - u\left( 1 \right)}\\ {v\left( 2 \right) - v\left( 1 \right)} \end{array}} \right] . $

根据运动学模型定义状态转移矩阵 $\boldsymbol{\varPhi }$和观测矩阵 $\boldsymbol{H}$分别为

$ \boldsymbol{\varPhi }=\left[\begin{array}{cccc}1& 0& \mathrm{\Delta }t& 0\\ 0& 1& 0& \mathrm{\Delta }t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right] , $

$ \boldsymbol{H}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right] . $

取系统噪声和观测噪声的协方差矩阵 Q R 分别为

$ \boldsymbol{Q}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right] , $

$ \boldsymbol{R}=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right] . $

采用ECO-HC算法和卡尔曼滤波器对目标进行联合跟踪,当ECO-HC第 $ k $帧跟踪结果 ${\boldsymbol{Z}}_{k}$不满足置信度要求时,使用卡尔曼滤波器目标中心预测结果 ${\boldsymbol{Z}}_{k,p}$对其进行修正:

$ {\boldsymbol{Z}}_{k,\mathrm{o}}=\dfrac{{\pi }_{1}}{{\pi }_{1}+{\pi }_{2}}{\boldsymbol{Z}}_{k}+\dfrac{{\pi }_{2}}{{\pi }_{1}+{\pi }_{2}}{\boldsymbol{Z}}_{k,p} . $

式中: $ {\pi }_{1} $$ {\pi }_{2} $均为设定的权重,在本研究中, $ {\pi }_{1} $=2、 $ {\pi }_{2} $=1; ${\boldsymbol{Z}}_{k,\mathrm{o}}$为修正后的定位结果.

2.3. 稀疏更新策略

当前帧跟踪质量未达到高置信要求,说明跟踪目标很可能被遮挡、离开视野的复杂挑战,甚至已经出现跟踪漂移,继续程式化的执行滤波模板更新存在很大风险. 在原算法滤波模板隔帧更新策略的基础上,融入跟踪质量高置信度指标,当2个条件同时满足时执行滤波模板更新,在降低背景干扰引入的情况下,能够进一步提升算法的速度.

3. 实验及结果分析

3.1. 实验环境

实验硬件环境为CPU Intel(R) Xeon(R),主频2.10 GHZ,内存64 GB 的计算机,软件开发平台为Matlab 2017b. 实验主要基于公开数据集OTB-2015 [ 19] 和VOT2016 [ 20] 设计实验评估算法的跟踪效果.

OTB-2015包含100个帧数不同的测试序列,对应光照变化、运动模糊和遮挡等11种难度较大的挑战场景. OTB-2015通过统计不同阈值下中心位置误差(location error)和重叠率(overlap),提出用精确度图(precision plots)和成功率图(success plots)展现算法跟踪效果. 中心位置误差 [ 19] 指算法跟踪所得目标中心位置与标定位置间平均欧式距离小于阈值 $ {{S}}_{\mathrm{D}\mathrm{P}} $的帧数占总帧数的百分比. 成功率 [ 19] 指算法跟踪所得目标框与标定目标框交并比大于某个阈值的帧数占总帧数的百分比.

VOT2016的60组测试序列,对应相机抖动、形状变化、光照变化等6种挑战场景,每帧含有多个挑战场景标签,主要评价指标有期望平均重叠率(expected average overlap, EAO) [ 20] 、失败率(failure rate)、准确率(accuracy)等. 共设计4组对照实验: 1)跟踪质量置信度指标阈值选定. 2)对比DSST、SRDCF、SRDCFdecon、ECO-HC等 4种相关滤波跟踪算法,使用OTB-2015全部100个序列的运行结果,定量分析算法在测试集上整体跟踪效果以及应对不同挑战时的跟踪效果. 3)在OTB-2015中选取4组包含遮挡、运动模糊和光照变化等复杂场景的序列,对本研究算法跟踪效果做定性分析. 4)在数据集VOT2016 [ 20] 上进一步验证算法的有效性.

3.2. 对照实验与结果分析

3.2.1. 置信度指标选定

跟踪质量判断和模板更新条件的严格程度取决于式(6)中 $ \;{\beta }_{1} $$\; {\beta }_{2} $的取值,取值越小说明约束条件越宽松. 设置7组不同取值的参数组合,在OTB-2015上进行实验. 表1所示为不同参数设置时,各对照组跟踪的精确度 $ P $和成功率 $ S $. 综合7组参数组合下改进算法的性能表现,实验中取 $\;{\beta }_{1}=0.6$$\;{\beta }_{2}=0.45$.

表 1   各对照组总体跟踪效果对比结果

Tab.1  Overall tracking results of control groups %

$ {\beta }_{1},{\beta }_{2} $ P S $ {\beta }_{1},{\beta }_{2} $ P S
(0,0.45) 83.3 77.1 (0.6,0.45) 83.9 77.5
(0.55,0.45) 83.3 77.0 (0.6,0.50) 83.4 76.6
(0.6,0) 83.8 76.8 (0.65,0.45) 84.0 77.0
(0.6,0.40) 83.5 76.5

新窗口打开| 下载CSV


3.2.2. 定量分析

在OTB-2015的100个序列上分别执行改进算法DSST、SRDCF、SRDCFdecon和ECO-HC,统计不同阈值下的精确度,以中心位置误差阈值 $ {T}_{\mathrm{l}} $为横坐标,精确度 $ P $为纵坐标绘制精度图,并使用 $ {T}_{\mathrm{l}}=20 $像素时的精确度对不同算法性能进行排序. 统计不同阈值下的成功率,以阈值 $ {T}_{{\rm{o}}} $为横坐标,成功率 $ S $为纵坐标绘制成功率图,并使用 $ {T}_{{\rm{o}}}=0.5 $时的成功率对不同算法性能进行排序. 所有算法在相同软硬件平台上运行,使用一次通过评估(one-pass evaluation, OPE) [ 19] 作为评测结果.

图4所示为算法整体跟踪效果图, 表2为算法整体跟踪效果和跟踪速率 R对比结果. 可以看出,本研究算法在与DSST,SRDCF,SRDCFdecon和ECO-HC等4种算法的对比试验中效果最优,平均跟踪精确度达到83.9%,成功率达到77.5%,速率为37.1 帧/s. 其中,相较于基线算法ECO-HC精确度提高0.6%,成功率提高1.4%,跟踪速率提高1.6%,表明本研究算法在提升跟踪效果的同时,也保证了实时性.

表 2   跟踪5种算法的总体跟踪效果和跟踪速率对比结果

Tab.2  Overall tracking results and tracking rate of 5 tracking algorithms

跟踪算法 P/% S/% R/(帧·s −1
本研究 83.9 77.5 37.1
ECO-HC 83.3 76.1 36.5
DSST 67.9 60.0 60.5
SRDCF 79.0 72.8 3.4
SRDCFdecon 82.5 76.6 1.8

新窗口打开| 下载CSV


图 4

图 4   OTB2015数据集上不同算法一次通过评估的总体精确度和成功率图

Fig.4   Precision and success plots of one-pass evaluation for different algorithms on OTB2015 dataset


为了进一步测试不同挑战场景下算法的跟踪性能,测试并记录上述5种算法在光照变化(illumination variation, IV)、非平面内旋转(out-of-plane rotation, OPR)、尺度变化(scale variation, SV)、遮挡(occlusion, OCC)、非刚性变换(deformation, DEF)、运动模糊(motion blur, MB)、快速运动(fast motion, FM)、平面内旋转(in-plane-rotation, IPR)、离开视野(out-of-view, OV)、背景杂乱(background clutters, BC)、低分辨率(low resolution, LR)等11种挑战场景序列下的跟踪效果.

表34所示分别为5种算法在11种挑战场景序列下的精确度和成功率对比结果. 可以看出,本研究算法在不同场景下的跟踪均表现优异. 在除背景杂乱之外的其他10种挑战场景下,本研究算法跟踪精确度和成功率均高于基线算法ECO-HC,其中运动模糊、低分辨率、离开视野场景下性能提升显著,精确度分别提高3.0%、3.5%和2.8%,成功率分别提高3.8%、2.1%和4.0%. 虽然在光照变化、尺度变化、运动模糊等几个场景下本研究算法的跟踪成功率略低于SRDCFdecon,但在低分辨率和离开视野情况下成功率提升10.2%和9.2%,且算法跟踪速率优势明显,约为SRDCFdecon的20倍.

表 3   不同挑战场景序列下5种跟踪算法的跟踪精确度对比结果

Tab.3  Tracking Precision results under different challenge sequences of 5 tracking algorithms %

跟踪算法 P
IV OPR SV OCC DEF MB FM IPR OV BC LR
本研究 80.0 81.6 81.0 80.1 81.0 80.6 81.4 77.0 80.2 81.5 83.7
ECO-HC 78.7 80.3 79.6 78.2 79.8 77.6 80.2 76.4 77.4 81.7 80.2
DSST 71.5 64.4 63.3 58.9 53.3 56.7 55.2 69.1 48.1 70.4 56.7
SRDCF 78.6 74.2 74.1 73.0 72.8 76.7 76.9 74.5 59.7 77.5 65.5
SRDCFdecon 83.3 79.7 80.3 76.5 75.0 81.4 77.5 77.6 64.1 85.0 64.4

新窗口打开| 下载CSV


表 4   不同挑战场景序列下5种跟踪算法的跟踪成功率对比结果

Tab.4  Tracking success results under different challenge sequences of 5 tracking algorithms %

跟踪算法 S
IV OPR SV OCC DEF MB FM IPR OV BC LR
本研究 76.5 73.5 73.0 75.0 73.6 78.6 77.0 68.1 73.3 77.5 72.1
ECO-HC 75.5 71.7 70.6 73.0 70.9 74.8 75.2 65.8 69.3 76.8 70.0
DSST 64.9 55.1 52.5 53.1 47.9 55.1 51.7 58.9 44.2 61.3 44.2
SRDCF 74.0 66.4 66.2 67.8 65.9 72.9 71.7 66.2 55.8 70.1 62.6
SRDCFdecon 78.9 72.0 73.3 72.5 67.3 79.9 73.2 69.8 64.1 78.6 61.9

新窗口打开| 下载CSV


综合OTB数据集总体和不同挑战场景序列下的跟踪精确度和成功率定量分析,可以认为本研究算法在小幅提升跟踪速率的情况下,有效地改善了基线算法ECO-HC应对不同跟踪挑战出现的跟踪漂移和失败问题.

3.2.3. 定性分析

在OTB-2015数据集中选取4个典型的复杂场景序列Ironman、Human6、Biker和Dragonbaby对算法性能进行定性分析. 这些复杂场景序列均对应6种以上的挑战,有些关键帧同时出现多种挑战. 以关键帧形式显示的5种算法在典型序列上的跟踪情况如 图5所示,该帧在对应序列中的序号标于对应画面的左上角.

图 5

图 5   典型复杂场景序列下不同跟踪算法的跟踪对比

Fig.5   Tracking comparison of different algorithms in typical complex sequences


图5(a)序列跟踪中,第45、103帧的目标连续出现平面外旋转、快速运动、光照变化和背景杂乱挑战场景,ECO-HC、SRDCFdecon跟踪质量大幅下降且跟踪漂移,DSST、SRDCF跟踪失败,只有本研究算法能够持续准确地捕捉到目标. 在 图5(b)序列跟踪中,当第359、379帧的目标分别出现严重地遮挡与离开视野挑战场景时,本研究算法均能够持续准确捕捉到目标;基线算法ECO-HC在目标严重遮挡的情况下跟踪漂移,SRDCF和SRDCFdecon在目标离开视野时跟踪失败. 在 图5(c)序列跟踪中,当第71、86帧目标同时出现离开视野、平面外旋转和运动模糊挑战场景时,ECO-HC发生跟踪漂移最终跟踪失败,本研究算法全程准确跟踪目标. 在 图5(d)序列跟踪中,当目标出现尺度变化、平面内旋转和平面外旋转等挑战场景时,本研究算法全程准确跟踪目标. 通过对典型序列的定性分析,可以看出本研究算法相较于基线算法ECO-HC,在复杂场景下有较好的跟踪效果,有效解决了复杂场景下跟踪漂移和跟踪失败的问题.

3.2.4. 进一步性能分析

在VOT2016全部60个序列上运行本研究算法与ECO-HC算法,二者跟踪的期望平均重叠率、失败率 R f、准确率Acc对比结果如 表5所示. 结果表明,本研究算法相比于ECO-HC在降低失败率的同时,整体EAO与准确率都得到提升,进一步表明本研究算法的有效性.

表 5   基于VOT2016数据集的算法总体跟踪效果

Tab.5  Overall tracking results of tracking algorithms based on VOT2016

指标 EAO R f Acc
本研究 0.2805 21.1684 0.3967
ECO-HC 0.2693 23.8174 0.3828

新窗口打开| 下载CSV


4. 结 论

(1)以ECO-HC算法为基础,设计高置信度判别指标进行跟踪评价. 在原算法跟踪定位框架中,引入卡尔曼滤波器融合历史帧的运动信息,对未达到高置信度的跟踪结果进行加权修正,在滤波模板隔帧更新策略的基础上,引入当前帧跟踪评价结果,当2个条件同时满足时,执行滤波模板更新.

(2)在公开数据集OTB-2015中的测试结果显示,在ECO-HC高速率高效能的基础上,改进算法进一步提高了跟踪整体精确度、成功率和平均速率,且在运动模糊、低分辨率的挑战场景跟踪效果提升显著.

(3)本研究提出的融合运动信息和跟踪评价的方法没有改变ECO-HC算法原有的定位流程,增加的计算量小且新的稀疏更新策略相较于逐帧更新减少了更新次数. 下一步计划尝试将该方法移植于其他目标跟踪方法,在保持较好跟踪速率的同时,提高目标跟踪算法在复杂场景下的跟踪效果.

参考文献

陈政. 智能监控系统中运动检测与目标跟踪模块的设计与实现[D]. 哈尔滨: 哈尔滨工业大学, 2020: 11-21.

[本文引用: 1]

CHEN Zheng. Design and implementation of motion detection and tracking module in intelligent surveilance system [D]. Harbin: Harbin Institute of Technology, 2020: 11-21.

[本文引用: 1]

黄石磊. 基于视觉计算的运动目标跟踪及异常行为分析[D]. 郑州: 郑州大学, 2014: 42-47.

[本文引用: 1]

HUANG Shi-lei. Moving target tracking and abnormal behavior analysis based on visual calculation [D]. Zhengzhou: Zhengzhou University, 2014: 42-47.

[本文引用: 1]

吴昊, 姜文斌, 陆增洁, 等

机器人视觉动态目标跟踪的最优方案研究

[J]. 信息与电脑, 2020, (1): 129- 130

[本文引用: 1]

WU Hao, JIANG Wen-bin, LU Zeng-jie, et al

Research on optimal scheme of robot vision dynamic target tracking

[J]. China Computer and Communication, 2020, (1): 129- 130

[本文引用: 1]

程相博, 李建胜, 胡鹏, 等

改进的GOTURN算法

[J]. 测绘科学技术学报, 2018, 35 (6): 605- 608

[本文引用: 1]

CHENG Xiang-bo, LI Jian-sheng, HU Peng, et al

An improved algorithm of the generic object tracking using regression networks

[J]. Journal of Geomatics Science and Technology, 2018, 35 (6): 605- 608

[本文引用: 1]

葛宝义, 左宪章, 胡永江

视觉目标跟踪方法研究综述

[J]. 中国图象图形学报, 2018, 23 (8): 1091- 1107

DOI:10.11834/jig.170604      [本文引用: 1]

GE Bao-yi, ZUO Xian-zhang, HU Yong-jiang

Review of visual object tracking technology

[J]. Journal of Image and Graphics, 2018, 23 (8): 1091- 1107

DOI:10.11834/jig.170604      [本文引用: 1]

BOLME D S, BEVERIDGE J R, DRAPER B A , et al. Visual object tracking using adaptive correlation filters [C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 2544-2550.

[本文引用: 1]

HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//Proceedings of European Conference on Computer Vision. Berlin: Springer Verlag, 2012: 702-715.

[本文引用: 1]

HENRIQUES J F, CASEIRO R, MARTINS P, et al

High-speed tracking with kernelized correlation filters

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37 (3): 583- 596

DOI:10.1109/TPAMI.2014.2345390      [本文引用: 1]

DANELLJAN M, HÄGER G, KHAN F S, et al

Discriminative scale space tracking

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39 (8): 1561- 1575

DOI:10.1109/TPAMI.2016.2609928      [本文引用: 1]

LI Y, ZHU J. A Scale adaptive kernel correlation filter tracker with feature integration [M]// AGAPITO L, BRONSTEIN M, ROTHER C, et al. Computer vision: ECCV 2014. [S.l.]: Springer, 2014: 254-265.

[本文引用: 1]

DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking [C]// 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 4310-4318.

[本文引用: 1]

DANELLJAN M, HÄGER, KHAN F S, et al. Adaptive decontamination of the training set: a unified formulation for discriminative visual tracking [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 1430-1438.

[本文引用: 1]

DANELLJAN M, HÄGER G, KHAN F S, et al. Beyond correlation filters: Learning continuous convolution operators for visual tracking [C]// European Conference on Computer Vision. Amsterdam: Springer, 2016: 472-488.

[本文引用: 1]

DANELLJAN M, BHAT G, KHAN F S, et al. ECO: efficient convolution operators for tracking [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6638-6646.

[本文引用: 5]

FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al

Object detection with discriminatively trained part-based models

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32 (9): 1627- 1645

DOI:10.1109/TPAMI.2009.167      [本文引用: 1]

DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 1090-1097.

[本文引用: 1]

WANG M, LIU Y, HUANG Z. Large margin object tracking with circulant feature maps [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 4800-4808.

[本文引用: 1]

周勇. 改进的卡尔曼滤波在目标跟踪中的应用[D]. 哈尔滨: 哈尔滨工程大学, 2016: 19-29.

[本文引用: 1]

ZHOU Yong. Application of the improved Kalman filter in target tracking [D]. Harbin: Harbin Institute of Technology, 2016: 19-29.

[本文引用: 1]

WU Y, LIM J, YANG M H

Object tracking benchmark

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37 (9): 1834- 1848

DOI:10.1109/TPAMI.2014.2388226      [本文引用: 4]

KRISTAN M, MATAS J, LEONARDIS A, et al

A novel performance evaluation methodology for single-target trackers

[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38 (11): 2137- 2155

DOI:10.1109/TPAMI.2016.2516982      [本文引用: 3]

/