浙江大学学报(工学版), 2022, 56(12): 2379-2391 doi: 10.3785/j.issn.1008-973X.2022.12.007

计算机技术

基于通道可靠性和异常抑制的目标跟踪算法

国强,, 吴天昊, 徐伟, KALIUZHNYMykola

1. 哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001

2. 先进船舶通信与信息技术工业和信息化部重点实验室,黑龙江 哈尔滨 150001

3. 哈尔科夫国立无线电电子大学,乌克兰 哈尔科夫 61166

Target tracking algorithm based on channel reliability and aberrance repression

GUO Qiang,, WU Tian-hao, XU Wei, KALIUZHNY Mykola

1. College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China

2. Key Laboratory of Advanced Marine Communication and Information Technology, Ministry of Industry and Information Technology, Harbin 150001, China

3. Kharkiv National University of Radio Electronics, Kharkiv 61166, Ukraine

收稿日期: 2021-09-25  

基金资助: 国家重点研发计划资助项目(2018YFE0206500);国家自然科学基金资助项目(62071140);国家国际科技合作专项资助项目(2015DFR10220)

Received: 2021-09-25  

Fund supported: 国家重点研发计划资助项目(2018YFE0206500);国家自然科学基金资助项目(62071140);国家国际科技合作专项资助项目(2015DFR10220)

作者简介 About authors

国强(1972—),男,教授,从事通信对抗研究.orcid.org/0000-0002-8366-7163.E-mail:guoqiang@hrbeu.edu.cn , E-mail:guoqiang@hrbeu.edu.cn

摘要

针对时空正则目标跟踪算法无法有效利用特征,为了缓解边界效应扩大搜索区域导致的滤波器倾向于从背景中学习的问题,提出基于通道可靠性和异常抑制的目标跟踪算法. 构造通道正则项,在训练阶段求解不同特征通道对应的权重,实现对不同特征通道的加权,降低通道冗余并提高定位精度.在目标函数中加入异常抑制正则项,约束当前帧的响应图,实现滤波器模型的平滑约束. 利用交替方向乘子法将求解目标问题转化为求滤波器、辅助因子以及通道权重的最优解. 将所提算法在OTB2015、TempleColor128以及UAV20L公开数据集测试并与其他跟踪算法进行对比. 实验结果表明,所提算法在快速运动、光照变化场景中的跟踪效果稳定,基本满足实时性要求.

关键词: 目标跟踪 ; 时空正则 ; 通道正则 ; 异常抑制 ; 交替方向乘子法

Abstract

A target tracking algorithm based on channel reliability and aberrance repression was proposed, aiming at the problem that the spatial-temporal regularized target tracking algorithm could not effectively use features and the filter was inclined to learn from the background since the algorithm expanded the search area in order to alleviate the boundary effect. The channel regularization term was constructed, and the corresponding weights of different feature channels were solved in the training stage to realize the weighting of different feature channels, which reduced channel redundancy and improved the positioning accuracy. The aberrance repression regularization term was added to the objective function to constrain the response map of the current frame and realize the smooth constraint of the filter model. The alternating direction multiplier method was used to transform the objective problem into the optimal solution of the filter, auxiliary factor and channel weight. The proposed method was tested on public datasets such as OTB2015, TempleColor128 and UAV20L, and compared with other tracking algorithms. Experimental results show that the tracking effect of the proposed algorithm is stable under fast motion as well as illumination variation, and it basically meets the real-time requirements.

Keywords: target tracking ; spatial-temporal regularization ; channel regularization ; aberrance repression ; alternating direction multiplier method

PDF (3036KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

国强, 吴天昊, 徐伟, KALIUZHNYMykola. 基于通道可靠性和异常抑制的目标跟踪算法. 浙江大学学报(工学版)[J], 2022, 56(12): 2379-2391 doi:10.3785/j.issn.1008-973X.2022.12.007

GUO Qiang, WU Tian-hao, XU Wei, KALIUZHNY Mykola. Target tracking algorithm based on channel reliability and aberrance repression. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(12): 2379-2391 doi:10.3785/j.issn.1008-973X.2022.12.007

目标跟踪是高层计算机视觉处理技术的重要基石,在智能视觉导航、智能视频监控、人机交互等军事及民用领域应用广泛[1]. 基于相关滤波的目标跟踪算法由于其精度高、鲁棒性好,受到相关学者关注. 相比于生成式目标跟踪算法,判别式目标跟踪算法充分考虑背景信息,提高了分类的准确性. Bolme等[2]提出最小输出误差平方和跟踪算法(minimum output sum of squared error, MOSSE),将通信领域的相关滤波引入目标跟踪,通过傅里叶变换将时域的复杂运算转换到频域进行加速求解,算法速度高达669 帧/s. Henriques等[3]提出核相关滤波目标跟踪算法(kernelized correlation filters, KCF),将核函数以及多通道的梯度方向直方图(histogram of oriented gradient, HOG)特征引入相关滤波跟踪器,不但增强了模型的判别能力,而且保持了较快的跟踪速度. Danelljan等[4]将颜色(color name, CN)特征引入相关滤波框架以更好应对跟踪过程中的光照变化. Wang等[5]提出理解和诊断视觉跟踪系统,通过实验发现特征提取在目标跟踪过程中发挥着重要的作用. 目标跟踪算法常用的手工特征包括HOG、CN. HOG特征通过计算图像局部区域的方向梯度表达目标,有效描述目标的轮廓和形状信息;CN特征包含图像的色彩信息,对目标形变、旋转具有很好的适应性. 汤张泳等[6]提出多空间分辨率自适应特征融合的目标跟踪算法,在时空正则相关滤波算法(spatial-temporal regularized correlation filters, STRCF)框架下使用更深的网络提取深度特征,进一步提升跟踪的鲁棒性和鉴别性. 由于汤张泳等[6]所提算法的平均速度约为4帧/s,不能满足实时性的要求. 熊昌镇等[7]提出的多高斯相关滤波器融合的目标跟踪算法,采用稀疏卷积特征表达目标,能够有效应对遮挡、形变挑战,但未区分高维特征的有效性.

训练样本不真实将导致边界效应的产生,使滤波器的判别能力降低. Galoogahi等[8]提出的背景感知相关滤波算法(background-aware correlation filters, BACF)引入裁剪矩阵,在扩大的搜索区域上裁剪样本,保证了样本质量,有效缓解了边界效应. Danelljan等[9]提出的空间正则相关滤波算法(spatially regularized discriminative correlation filters, SRDCF)采用扩大搜索区域的方式获得大量样本,通过固定的空间正则权重惩罚滤波器系数缓解边界效应. Li等[10]提出的STRCF在SRDCF的基础上引入时间约束,防止滤波器模型退化,进一步提升了跟踪器的性能. 相比传统的相关滤波算法,以上扩大搜索区域的方法引入更多的背景信息,使滤波器更容易从环境中学习,降低了跟踪结果的可信度. 在目标函数中引入异常抑制正则项,及时抑制跟踪过程中出现的异常,将提高目标跟踪的鲁棒性.

本研究选取HOG、CN特征表达目标的外观,通过在目标函数中加入通道正则项,抑制含冗余信息的特征通道,赋予具有判别力的特征通道更高的权重,进一步提高定位的精度. 在时空正则相关滤波算法框架的基础上,本研究提出基于通道可靠性和异常抑制的时空正则相关滤波算法. 使用3个公开数据集测试所提算法的有效性.

1. STRCF

STRCF在SRDCF基础上引入时间正则约束项,实现模型的被动更新. 通过空间正则权重惩罚边界处的滤波器系数,使得滤波器可以在更大的区域上学习和检测,提高滤波器的判别能力. STRCF的目标函数为

$ \begin{split} & \mathop {\arg \min } \limits_{\boldsymbol{f}} \;\Biggr(\dfrac{1}{2}\left\| { \displaystyle\sum\limits_{d = 1}^D {{\boldsymbol{x}}_t^d} *{{\boldsymbol{f}}^d} - {\boldsymbol{y}}} \right\|_2^2 + \dfrac{1}{2} \displaystyle\sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{f}}^d}} \right\|_2^2} + \Biggr.\\[-2pt]& \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \Biggr.\dfrac{\mu }{2}\left\| {{\boldsymbol{f}} - {{\boldsymbol{f}}_{t - 1}}} \right\|_2^2\Biggr) . \end{split} $
(1)

式中: $ {\boldsymbol{x}}_t^d $$ {{\boldsymbol{f}}^d} $分别为输入图像块第 $ d $个通道的特征和滤波器模板, $ {\boldsymbol{y}} $为期望的理想高斯响应, $ D $为每帧图像的通道数量, $ {\boldsymbol{w}} $为碗状的空间正则权重, $ {{\boldsymbol{f}}_{t - 1}} $$ t - 1 $帧的滤波器模板, $ \mu $为惩罚系数.

STRCF使用当前帧的样本训练相关滤波器,避免学习最近不准确的样本,显著提升跟踪速度. 通过线性插值更新外观模型不能适应普遍存在的由于目标旋转、快速运动导致的外观变化,使得滤波器模板退化. STRCF引入时间一致性约束项,学习鲁棒的外观模型,以应对不同的跟踪场景.

2. 基于通道可靠性和异常抑制的时空正则相关滤波算法

2.1. 通道可靠性正则化

文献[11]~[13]的研究表明,不同特征通道对目标位置估计的贡献不同. 尹明锋等[11]采用通道可靠性系数衡量相关滤波器响应图的置信度,并将其应用于多通道响应图融合,实现目标的精确定位. Lu等[12]提出在目标跟踪过程中,一些特征通道对前景目标敏感,另一些通道对背景、噪声敏感,通过在目标函数中引入 $ {l_1} $范数学习每个特征通道的权重,能够有效抑制噪声和潜在的通道冗余. Xu等[13]提出空间特征选择和通道特征选择融合的相关滤波算法,通过将个体变量分配到具有一定视觉意义的特定群组,实现空间域和通道域的特征选择,突出具有增强判别力的特征. Ye等[14]利用通道可靠性正则项,在训练阶段联合滤波器模板优化通道权重,实现通道权重的自动分配.

本研究在目标函数中加入通道正则项,学习不同特征通道的权重,赋予判别力较强的特征通道更高的权重,进一步提高定位的精度. 如图1所示为某视频序列第2帧中不同特征通道对应的权重. 图中, $ d $为通道数量, $ {q}_t^d $为第 $ t $帧中第 $ d $个特征通道的权重. 可以看出,第16、34个特征通道的响应图置信度高,波动程度小,对应的权重值较高;第35、38个特征通道的响应图置信度低,波动程度剧烈,为最终的目标定位贡献值较小,对应的权重值较低. 通道正则项表达式为

图 1

图 1   不同特征通道的权重可视化

Fig.1   Weight visualization of different feature channels


$ {\varepsilon _1} = \dfrac{1}{2}\left\| { \displaystyle\sum\limits_{d = 1}^D {{{q}}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+\dfrac{\lambda }{{2}} {\left\| {{\boldsymbol{q}}_t} \right\|_2^2} . $
(2)

式中: $ {\boldsymbol{q}}_t $为第 $ t $帧的特征通道的权重, $ \lambda $为通道可靠性惩罚系数.

2.2. 异常抑制正则化

Wang等[15]提出高置信度的模型更新策略,引入新的判据指标平均峰值相关能量(average peak to correlation energy, APCE)来判断响应图的质量. 当APCE突然减小时,即目标发生遮挡或者丢失时,选择不更新模型,避免模型漂移. Huang等[16]提出具有畸变抑制的目标跟踪算法(aberrance repressed correlation filters, ARCF),引入畸变抑制项约束响应图突变,进一步提升了跟踪器的性能. Li等[17]提出的自适应时空正则目标跟踪算法,充分利用局部和全局响应图的变化实现自适应时空正则,无需复杂的参数调节,能够更好地应对跟踪过程中的挑战. 姜文涛等[18]提出空间异常适应性的目标跟踪算法,通过对比学习到的响应图模型与当前帧的响应图,生成对应的置信分数,影响模型的学习过程.

ARCF在BACF的基础上对检测阶段生成的响应图变化率施加限制,能够有效抑制响应图突然改变导致异常的产生,在不同无人机数据集测试时跟踪性能优异. 受此启发,在时空正则算法中引入异常抑制正则项,能够有效抑制检测过程中出现的异常,防止跟踪器发生漂移造成误差累积. 目标跟踪过程中相邻帧图像间具有很强的时间连续性,在不发生剧烈外观变化的前提下,相邻帧图像的响应差较小;当跟踪目标受到光照改变、遮挡、快速运动等干扰时,相邻帧图像的响应差变大. 如图2所示为视频序列异常分析示意图. 图中, $ {{\varDelta }} $为相邻两帧响应差值, $ t $为帧数. 由于跟踪目标会经历遮挡、快速形变挑战,此时基线算法中相邻帧图像的响应差值会突然增大,跟踪器不能准确跟踪目标;由于本研究算法引入了异常抑制正则项,在遇到这些挑战时,相邻帧图像的响应差值变化较为平缓. 跟踪器可以较为准确地跟踪目标. 异常抑制正则项表达式为

图 2

图 2   视频序列异常分析示意图

Fig.2   Schematic diagram of video sequence anomaly analysis


$ \left. \begin{gathered} {\varepsilon _2} = \frac{\rho }{2}\left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - {{{\boldsymbol{M}}}_t}} \right\|_2^2, \\[-3pt] {{{\boldsymbol{M}}}_{t - 1}} = \sum\limits_{d = 1}^D {{q}_{t - 1}^d({\boldsymbol{x}}_{t - 1}^d} *{\boldsymbol{f}}_{t - 1}^d), \\[-3pt] {{{\boldsymbol{M}}}_t} = \sum\limits_{d = 1}^D {{q}_t^d({\boldsymbol{x}}_t^d} *{\boldsymbol{f}}_{}^d). \\ \end{gathered} \right\} $
(3)

式中: ${{{\boldsymbol{M}}}_{t - 1}}$为第 $ t - 1 $帧的响应值; ${{{\boldsymbol{M}}}_t}$为第 $ t $帧的响应值; ${{q}}_{t - 1}^d $为第 $ {t - 1}$帧中第 $d $个特征通道的权重; $\left[ {\Delta {\tau _{u,v}}} \right]$为移位运算符, $ u $$ v $为相邻两帧响应图的峰值位置; $ \rho $为异常抑制惩罚系数. 为了消除运动的影响,通过移位运算符来重合响应图的峰值.

2.3. 基于通道可靠性和异常抑制的时空正则模型求解

综合通道可靠性正则和异常抑制正则构建的目标函数为

$ \begin{split} \varepsilon ({\boldsymbol{f}},{\boldsymbol{q}}) = &\frac{1}{2}\left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+ \frac{1}{2}\sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{f}}^d}} \right\|_2^2} +\\ &\frac{\mu }{2}\left\| {{\boldsymbol{f}} - {{\boldsymbol{f}}_{t - 1}}} \right\|_2^2 + \frac{\rho }{2}\left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - {{{\boldsymbol{M}}}_t}} \right\|_2^2+\frac{\lambda }{2} {\left\| {{\boldsymbol{q}}_t} \right\|_2^2} \,. \end{split} $
(4)

式中:第1、5项为基于通道可靠性正则的岭回归项,第2项为空间正则项,第3项为时间正则项,第4项为异常抑制正则项.

2.3.1. 目标函数的优化

式(4)是凸函数,可以利用交替方向乘子法(alternating direction method of multipliers, ADMM)[19]获得全局最优解. 引入辅助变量,令 $ {\boldsymbol{f}} $= $ {\boldsymbol{g}} $,式(4)对应的增广拉格朗日形式为

$ \begin{split} \mathcal{L}({\boldsymbol{f}},{\boldsymbol{g}},{\boldsymbol{q,\nu }}) = &\frac{1}{2}\left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+\\ &\frac{1}{2}\sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{g}}^d}} \right\|_2^2} +\frac{\mu }{2}\left\| {{\boldsymbol{f}} - {{\boldsymbol{f}}_{t - 1}}} \right\|_2^2+ \\ & \frac{\rho }{2}\left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - {{{\boldsymbol{M}}}_t}} \right\|_2^2+\frac{\lambda }{2} {\left\| {{\boldsymbol{q}}_t} \right\|_2^2+} \\ &\frac{\theta }{2}\sum\limits_{d = 1}^D {\left\| {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}} \right\|_2^2} +\sum\limits_{d = 1}^D {{{\left( {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}} \right)}^{\text{T}}}} {{\boldsymbol{\nu }}^d}. \; \end{split} $
(5)

式中: $ \theta $为步长参数, $ {\boldsymbol{\nu }} $为拉格朗日乘子. 通过引入 $ {{\boldsymbol{s}}^d} = {{\boldsymbol{\nu }}^d}/\theta $,将式(5)重新表述为

$ \begin{split} \mathcal{L}({\boldsymbol{f}},{\boldsymbol{g}},{\boldsymbol{q}},{\boldsymbol{s}}) =& \frac{1}{2}\left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+ \\ &\frac{1}{2}\sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{g}}^d}} \right\|_2^2} +\frac{\mu }{2}\left\| {{\boldsymbol{f}} - {{\boldsymbol{f}}_{t - 1}}} \right\|_2^2+ \\ &\frac{\rho }{2}\left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - {{{\boldsymbol{M}}}_t}} \right\|_2^2+\frac{\lambda }{2} {\left\| {{\boldsymbol{q}}_t} \right\|_2^2+} \\ &\frac{\theta }{2}\sum\limits_{d = 1}^D {\left\| {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}+{{\boldsymbol{s}}^d}} \right\|_2^2.} \end{split} $
(6)

迭代获得最优解分别为

$ \left. \begin{split} {{\boldsymbol{f}}^{(i+1)}} =& \mathop {\arg \min } \limits_{\boldsymbol{f}} \left(\left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+\right. \\ & \theta \sum\limits_{d = 1}^D {\left\| {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}+{{\boldsymbol{s}}^d}} \right\|_2^2+\mu \left\| {{\boldsymbol{f}} - {{\boldsymbol{f}}_{t - 1}}} \right\|_2^2+} \\ & \left.{\rho \left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - \sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right)} \right\|_2^2}\right) ,\\ {{\boldsymbol{g}}^{(i+1)}} =& \mathop {\arg \min }\limits_{\boldsymbol{g}}\left( \sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{g}}^d}} \right\|_2^2+} \right. \\ &\left.\theta \sum\limits_{d = 1}^D {\left\| {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}+{{\boldsymbol{s}}^d}} \right\|_2^2}\right) , \\ {{\boldsymbol{q}}^{(i+1)}} =& \mathop {\arg \min }\limits_{\boldsymbol{q}}\;\Biggr( \left\| {\sum\limits_{d = 1}^D {q_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right) - {\boldsymbol{y}}} \right\|_2^2+\Biggr. \\ & \rho \left\| {{{{\boldsymbol{M}}}_{t - 1}}\left[ {\Delta {\tau _{u,v}}} \right] - \sum\limits_{d = 1}^D {{q}_t^d} \left( {{\boldsymbol{x}}_t^d*{{\boldsymbol{f}}^d}} \right)} \right\|_2^2+ \\ &\Biggr.\lambda {\left\| {{\boldsymbol{q}}_t} \right\|_2^2} \Biggr), \\ {{\boldsymbol{s}}^{(i+1)}} =& {{\boldsymbol{s}}^{(i)}}+{{\boldsymbol{f}}^{(i+1)}} - {{\boldsymbol{g}}^{(i+1)}}. \\ \end{split} \right\} $
(7)

1)求解 $ {\boldsymbol{f}} $. 利用帕塞瓦尔定理将式(7)中的第1个分式转化到频域:

$ \begin{split} {{\boldsymbol{f}}^{(i+1)}} =& \mathop {\arg \min }\limits_{\hat {\boldsymbol{f}}}\left( \left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right) - \widehat {\boldsymbol{y}}} \right\|_2^2+\right.\\ &\theta \sum\limits_{d = 1}^D {\left\| {{{\widehat {\boldsymbol{f}}}^d} - {{\widehat {\boldsymbol{g}}}^d}+{{\widehat {\boldsymbol{s}}}^d}} \right\|_2^2} +\mu \left\| {\widehat {\boldsymbol{f}} - {{\widehat {\boldsymbol{f}}}_{t - 1}}} \right\|_2^2+ \\ &\left.\rho \left\| {\widehat {\boldsymbol{M}}{{_{t - 1}}} - \sum\limits_{d = 1}^D {{q}_t^d} \left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)} \right\|_2^2 \right). \end{split} $
(8)

式中:^为对应物理量的离散傅里叶变换符. 式(8)的计算复杂度很高,很难进行优化求解,因此对每个像素的所有通道进行处理以简化公式:

$ \begin{split} {\mathcal{V}_j}(\widehat {\boldsymbol{f}}) =& \mathop {{{\rm{argmin}}} }\limits_{{v_j}({\boldsymbol{\hat f}})} \left(\left\| {{\boldsymbol{q}}{\mathcal{V}_j}{{\left( {{{\widehat {\boldsymbol{x}}}_t}} \right)}^{{\rm{T}}}}{\mathcal{V}_j}(\widehat {\boldsymbol{f}}) - {{{\boldsymbol{\hat y}}}_j}} \right\|_2^2+ \right.\\ &\mu \left\| {{\mathcal{V}_j}(\widehat {\boldsymbol{f}}) - {\mathcal{V}_j}\left( {{{\widehat {\boldsymbol{f}}}_{t - 1}}} \right)} \right\|_2^2+ \\ &\rho \left\| {{\widehat{{\boldsymbol{M}}} {{_{t - 1}}}} - {\boldsymbol{q}}{\mathcal{V}_j}{{\left( {{{\widehat {\boldsymbol{x}}}_t}} \right)}^{{\rm{T}}}}{\mathcal{V}_j}({\boldsymbol{f}})} \right\|_2^2+ \\ &\left.\theta \left\| {{\mathcal{V}_j}(\widehat {\boldsymbol{f}}) - {\mathcal{V}_j}(\widehat {\boldsymbol{g}})+{\mathcal{V}_j}(\widehat {\boldsymbol{s}})} \right\|_2^2 \right). \end{split} $
(9)

对式(9)求导,得到 $ {\mathcal{V}_j}(\widehat {\boldsymbol{f}}) $的封闭解为

$ {\mathcal{V}_j}(\widehat {\boldsymbol{f}}) = {\left[ \begin{gathered} (1+\rho )[{{\boldsymbol{q}}^{{\rm{T}}}}{\mathcal{V}_j}\left( {{{\widehat {\boldsymbol{x}}}_t}} \right)] \\ {[{{\boldsymbol{q}}^{{\rm{T}}}}{\mathcal{V}_j}\left( {{{\widehat {\boldsymbol{x}}}_t}} \right)]^{{\rm{T}}}}+(\theta +\mu ){\boldsymbol{I}} \\ \end{gathered} \right]^{^{ - 1}}}{\boldsymbol{P}}, $
(10)

$ \begin{split} & {\boldsymbol{P}} = {{\boldsymbol{q}}^{\rm{T}}}{\mathcal{V}_{j}}\left( {{{\widehat {\boldsymbol{x}}}_{t}}} \right){\widehat {\boldsymbol{y}}_{j}}+\rho {{\boldsymbol{q}}^{\rm{T}}}{\mathcal{V}_{j}}\left( {{{\widehat {\boldsymbol{x}}}_{t}}} \right){{{\hat {{\boldsymbol{M}}}}}_{{t} - 1}}+ \\ &\qquad{\mu {\mathcal{V}_{j}}\left( {{{\widehat {\boldsymbol{f}}}_{{t} - 1}}} \right)+\theta {\mathcal{V}_{j}}(\widehat {\boldsymbol{g}}) - \theta {\mathcal{V}_{j}}({\hat {{\boldsymbol{s}}}}).} \end{split} $
(11)

式(10)中求逆运算量大,导致跟踪效率较差,无法满足实时性的要求. 通过谢尔曼-莫里森公式 ${\left( {{\boldsymbol{A}}+{\boldsymbol{u}}{{\boldsymbol{v}}^{\text{T}}}} \right)^{ - 1}} = {{\boldsymbol{A}}^{ - 1}} - {{{{\boldsymbol{A}}^{ - 1}}{\boldsymbol{u}}{{\boldsymbol{v}}^{\text{T}}}{{\boldsymbol{A}}^{ - 1}}}}/({{1+{{\boldsymbol{v}}^{\text{T}}}{{\boldsymbol{A}}^{ - 1}}{\boldsymbol{u}}}} )$求解,提高跟踪的效率. 简化后的式(10)表示为

$ {\mathcal{V}}_{j}(\widehat{{\boldsymbol{f}}})=\frac{{\boldsymbol{P}}}{\theta +\mu }\left({\boldsymbol{I}}-\frac{{{\boldsymbol{q}}}^{\text{T}}{\mathcal{V}}_{j}\left({\widehat{{\boldsymbol{x}}}}_{t}\right){\mathcal{V}}_{j}{\left({\widehat{{\boldsymbol{x}}}}_{t}\right)}^{\text{T}}{\boldsymbol{q}}}{\dfrac{\theta +\mu }{1+\rho }+{\mathcal{V}}_{j}{\left({\widehat{{\boldsymbol{x}}}}_{t}\right)}^{\text{T}}{{\boldsymbol{q}}}^{\text{T}}{\boldsymbol{q}}{\mathcal{V}}_{j}\left({\widehat{{\boldsymbol{x}}}}_{t}\right)}\right). $
(12)

2)求解 $ {\boldsymbol{g}} $. 假设给定 $ {\boldsymbol{f}} $$ {\boldsymbol{s}} $,目标函数为

$ \begin{split} {{\boldsymbol{g}}^{(i+1)}} = \mathop {\arg \min } \limits_{\boldsymbol{g}} \left(\sum\limits_{d = 1}^D {\left\| {{\boldsymbol{w}} \cdot {{\boldsymbol{g}}^d}} \right\|_2^2} +\theta \sum\limits_{d = 1}^D {\left\| {{{\boldsymbol{f}}^d} - {{\boldsymbol{g}}^d}+{{\boldsymbol{s}}^d}} \right\|_2^2} \right). \end{split} $
(13)

对式(13)求导,得到

$ {\boldsymbol{g}} = \frac{{\theta {\boldsymbol{f}}+\theta {\boldsymbol{s}}}}{{{{\boldsymbol{W}}^{{\rm{T}}}}{\boldsymbol{W}}+\theta {\boldsymbol{I}}}}. $
(14)

式中: ${{\boldsymbol{W}}}$为由 ${{\boldsymbol{w}}}$组成的对角矩阵.

3)求解 $ {\boldsymbol{q}} $. 假设给定 $ {\boldsymbol{\hat f}} $,利用帕塞瓦尔定理将待求目标函数转换到频域,表达式为

$ \begin{split} {{\boldsymbol{q}}^{(i+1)}} =& \mathop {\arg \min }\limits_{\boldsymbol{q}}\;\Biggr( \left\| {\sum\limits_{d = 1}^D {{q}_t^d} \left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right) - \widehat {\boldsymbol{y}}} \right\|_2^2+\\ & \rho \left\| {\widehat{\boldsymbol{M}} {{_{t - 1}}} - \sum\limits_{d = 1}^D {{q}_t^d} \left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)} \right\|_2^2+ \lambda {\left\| {{\boldsymbol{q}}_t} \right\|_2^2}\Biggr) . \end{split}$
(15)

对式(15)求导,得到

$ {q}_t^d = \frac{{{{\left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)}^{{\rm{T}}}}\widehat {\boldsymbol{y}}+\rho {{\left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)}^{{\rm{T}}}}{{\widehat {{\boldsymbol{M}}}_{t - 1}}}}}{{(1+\rho ){{\left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)}^{{\rm{T}}}}\left( {\widehat {\boldsymbol{x}}_t^d \cdot {{\widehat {\boldsymbol{f}}}^d}} \right)+\lambda }}. $
(16)

4)更新拉格朗日乘子为

$ {{\boldsymbol{s}}^{(i+1)}} = {{\boldsymbol{s}}^{(i)}}+\gamma \left( {{{\boldsymbol{f}}^{(i+1)}} - {{\boldsymbol{g}}^{(i+1)}}} \right). $
(17)

式中: $ i $$ i+1 $均为迭代索引;步长参数的更新式为 $ {\gamma ^{(i+1)}} = \min \left( {{\gamma ^{\max }},\sigma {\gamma ^{(i)}}} \right) $,其中 $ {\gamma ^{\max }} $为步长参数 $ \gamma $能取到的最大值, $ \sigma $为尺度因子. 迭代求解 $ {\boldsymbol{f}} $$ {\boldsymbol{g}} $$ {\boldsymbol{q}} $$ {\boldsymbol{s}} $,可以有效优化目标函数,并将求得的滤波器模板 $ {\boldsymbol{f}} $用于下一帧检测.

2.3.2. 目标定位

目标位置的求解式为

$ {R_t} = {{F}^{ - 1}}\sum\limits_{d = 1}^D {\left( {{q}_t^d \cdot \widehat {\boldsymbol{X}}_t^d \cdot \widehat {\boldsymbol{f}}_{t - 1}^d} \right)} . $
(18)

式中: ${F}^{-1}$为傅里叶逆变换, $ {\boldsymbol{\hat X}}_t^d $为当前帧提取的特征, $ {\boldsymbol{\hat f}}_{t - 1}^d $为上一帧训练得到的滤波器模板. 响应图的最大值即为跟踪目标的中心位置.

2.4. 算法步骤

本研究算法的总体流程如图3所示,主要分为训练阶段和检测阶段2个部分. 在训练阶段,以上一帧目标位置为中心提取目标的特征 $ {{\boldsymbol{\hat X}}_{t - 1}} $,与上一帧的滤波器模板 $ {{\boldsymbol{\hat f}}_{t - 1}} $以及上一帧的通道权重 ${{{\boldsymbol{q}}}_{t - 1}}$进行运算,得到相应的响应图 ${{\widehat {{{\boldsymbol{M}}}}_{t - 1}}}$. 以当前帧求得的目标位置为中心提取目标的特征 $ {{\boldsymbol{\hat X}}_t} $,与待求解的滤波器模板 $ {{\boldsymbol{\hat f}}_t} $以及当前帧的通道权重 ${{{\boldsymbol{q}}}_t}$进行运算,得到相应的响应图 ${{\widehat {{{\boldsymbol{M}}}}_t}}$. ${{\widehat {{{\boldsymbol{M}}}}_{t - 1}}}$${ {{\widehat {{\boldsymbol{M}}}_t}}}$相减构造异常抑制正则项,以待求解的通道权重 ${{{\boldsymbol{q}}}_t}$构造通道正则项,将异常抑制正则项和通道正则项加入目标函数,采用交替方向乘子法求解滤波器模板 $ {{\boldsymbol{\hat f}}_t} $和通道权重 ${{{\boldsymbol{q}}}_t}$. 在检测阶段,将下帧图像以当前帧的目标位置为中心提取目标的特征 $ {{\boldsymbol{\hat X}}_{t+1}} $,与求解的滤波器模板 $ {{\boldsymbol{\hat f}}_t} $、通道权重 ${{{\boldsymbol{q}}}_t}$进行运算得到对应的响应图 ${{\widehat {{{{\boldsymbol{M}}}}}_{t+1}}}$,通过 ${{\widehat {{{{\boldsymbol{M}}}}}_{t+1}}}$的最大值获得下帧的目标位置. 本研究算法见算法1.

图 3

图 3   基于通道可靠性和异常抑制的目标跟踪算法流程图

Fig.3   Flow chart of target tracking algorithm based on channel reliability and aberrance repression


算法1 基于通道可靠性和异常抑制的目标跟踪算法

输入: 视频序列 $ {V_t},t = 1,2, \cdots ,L $$ L $为序列的长度,初始化目标的位置和尺度 $ \left( {{m_1},{n_1},{w_1},{h_1}} \right) $.

输出: $ {V_t},t \geqslant 2 $中目标的位置和尺度 $ \left( {{m_t},{n_t}, {w_t},{h_t}} \right) $.

1. 初始化 $ \widehat {\boldsymbol{f}},{\boldsymbol{g}},{\boldsymbol{q}},{\boldsymbol{s}},\gamma ,\sigma ,{\gamma ^{\max }} $.

2. 最小化式(4)学习滤波器模板 $ \widehat {\boldsymbol{f}},t = 2,i = 1 $.

3. 利用初始化滤波器模板求解第2帧目标的位置 $ \left( {{m_2},{n_2}} \right). $

4. ${{\rm{while}}}\,\,t \leqslant L\,\,{{\rm{do}}}$

5. ${{\rm{while}}}\,\,i \leqslant 2\,\,{{\rm{do}}}$

6. $ \,\widehat {\boldsymbol{f}} \leftarrow $式(12)

7. $ {\boldsymbol{g}} \leftarrow $式(14)

8. $ {\boldsymbol{q}} \leftarrow $式(16)

9. $ {\boldsymbol{s}}\,\, \leftarrow $式(17)

10. $ i\,\, \leftarrow i+1 $

11. ${{\rm{end}}}\,{{\rm{while}}}$

12. ${{\rm{return}}}\,\,\widehat {\boldsymbol{f}},{\boldsymbol{q}}$

13. 以 $ \left( {{m_t},{n_t}} \right) $为中心,在当前帧提取目标的特征 $ {{\boldsymbol{\hat X}}_{t+1}} $.

14. 利用式(18)将 $ {{\boldsymbol{\hat X}}_{t+1}} $$ \widehat {\boldsymbol{f}} $以及 $ {\boldsymbol{q}} $进行运算获得目标位置.

15. 利用尺度估计,最终得到 $ \left( {{m_{t+1}},{n_{t+1}},{w_{t+1}},{h_{t+1}}} \right) $.

16. $ \,t = t+1 $

17. ${{\rm{end}}}\,{{\rm{while}}}\,$

18. ${{\rm{return}} }\left( {{m_t},{n_t},{w_t},{h_t}} \right)(t = 2, \cdot \cdot \cdot ,L).$

3. 实验及结果分析

3.1. 实验环境与参数设置

实验所用操作系统为Windows10,所有实验均在配备i7-10750H CPU(2.6 GHz)、16 GB RAM、NVIDIA GTX 1650图形处理器的电脑上进行,编程软件为Matlab 2016b.

初始的步长参数 $ {\gamma ^{(0)}}=10 $、最大值 $ {\gamma ^{\max }}=100 $、尺度因子 $ \sigma =1.2$. 时间正则惩罚参数 $ \;\mu $=15、异常抑制惩罚参数 $\; \rho $=0.068、通道可靠性惩罚参数 $ \lambda $=0.05. 在尺度估计阶段,采用多尺度搜索策略获取目标的最优尺度,尺度个数为5,尺度步长为1.01. 在算法优化过程中,采用ADMM分别求解滤波器模板以及特征通道的权重,多次实验后,将ADMM迭代的次数设置为2. 其余参数设置与STRCF[10]相同.

3.2. 数据集和评价指标

选取OTB2015[20]、TempleColor128[21]、UAV20L[22]3个公开数据集对跟踪算法的整体性能进行测试和评估. OTB2015数据集由100个完全注释的视频序列组成. 这些视频序列包含11种不同的挑战属性. TempleColor128数据集由128个彩色视频序列组成. UAV20L数据集由20个长时视频序列组成,这些视频序列从具有各种挑战的低空无人机上捕获.

采用距离精度(distance precision, DP)和重叠成功率曲线下面积(area under curve, AUC) 2种指标进行定量分析. DP为实验所得目标位置与实际目标位置间欧氏距离小于20 像素的帧数占总帧数的百分比. 重叠成功率即实验所得跟踪框与实际跟踪框重叠部分面积与二者总面积的比值大于指定阈值(一般取阈值为50%)的帧数占总帧数的百分比. 阈值取值不同易产生不同的实验结果,因此采用AUC进行算法评估,且曲线下面积越大,表示对应算法的跟踪效果越好.为了便于直观分析,文中DP和AUC均采用百分比形式.

3.3. 定量分析

将本研究算法与现有的优秀算法进行比较,对比算法的实验结果均为使用原作者公开代码在相同环境下测试所得. 对比算法如下.

1)基于深度特征的相关滤波算法:HCF[23]、HDT[24]、DeepSRDCF[25].

2)基于手工特征的相关滤波算法:KCF[3] 、BACF[8]、SRDCF[9]、STRCF[10]、ECO_HC[26]、SRDCFDecon[27]、LCT[28]、SITUP[29]、FAST[30].

3) 适合于无人机领域,基于手工特征的相关滤波算法:ARCF[16]、AutoTrack[17]、DRCF[31].

4)基于端到端学习的目标跟踪算法:SiamFC[32].

3.3.1. OTB2015数据集

图4所示为不同算法在OTB2015数据集上2个定量分析指标的对比结果. 图中, $ \delta $为定位误差门限, $ \chi $为覆盖率门限,方括号中的数字表示不同算法的DP和AUC得分. 本研究算法对应的DP、AUC得分分别为87.3%和66.1%. 和基线算法STRCF相比,DP、AUC得分分别提高0.8%和0.7%. 与DeepSRDCF、HCF和HDT相比,本研究算法的DP分别提高2.2%、3.1%、5.5%; AUC分别提高2.6%、 9.6%、10.9%.

图 4

图 4   不同算法在OTB2015数据集上的距离精度曲线和重叠成功率曲线下面积曲线

Fig.4   Curves of distance precision and area under curve of different algorithms on OTB2015 dataset


表1所示为不同算法在3个数据集上的平均跟踪速度 $ \nu $对比. 可以看出,相关滤波类的算法速度较快,精度较低. 深度类的算法速度较低,精度较高.本研究算法在OTB2015数据集上获得最高的DP、AUC得分,满足实时性要求,且对计算机硬件的要求较低. 缺点在于当目标长时间被其他物体遮挡、目标长宽比发生大幅改变时,本研究算法不能实现准确跟踪.

表 1   各算法在3个数据集上的平均跟踪速度对比

Tab.1  Comparison of average tracking speed of different algorithms on three datasets

算法 $v $
OTB2015 TempleColor128 UAV20L
帧/s
本研究 21.90 19.48 17.25
BACF 35.44 36.75 27.13
STRCF 24.28 21.31 19.17
SRDCF 7.60 8.42 6.04
SRDCFDecon 2.01 3.09 3.38
ARCF 17.80 16.49 16.08
AutoTrack 28.44 27.52 23.46
DRCF 25.25 29.61 27.12
ECO_HC 59.39 58.64 63.21
HCF 1.97 1.92 6.70
HDT 3.69 3.57 2.88
FAST 72.87 44.94 82.12
SITUP 27.79 19.52 10.61
LCT 22.79 25.26 29.54
KCF 234.19 240.64 235.62

新窗口打开| 下载CSV


3.3.2. TempleColor128数据集

为了进一步测试本研究算法在更具挑战性的数据集上的跟踪效果,选取TempleColor128数据集进行验证. 对比更多优秀的算法,主要包括KCF[3]、BACF[8]、SRDCF[9]、STRCF[10]、HCF[23]、HDT[24]、DeepSRDCF[25]、ECO_HC[26]、SRDCFDecon[27]、LCT[28]以及近年优秀的跟踪算法ARCF[16]、AutoTrack[17]、SITUP[29]、FAST[30]、DRCF[31]. 如图5所示,为不同算法在TempleColor128数据集上2个定量分析指标的对比结果. 可以看出,本研究算法在TempleColor128数据集获得最高的DP、AUC,分别为75.3%、55.6%. 相比于基线算法STRCF,DP和AUC分别提高了0.9%、0.8%.

图 5

图 5   不同算法在TempleColor128数据集上的距离精度曲线和重叠成功率曲线下面积曲线

Fig.5   Curves of distance precision and area under curve of different algorithms on TempleColor128 dataset


3.3.3. UAV20L数据集

为了验证本研究算法在无人机航拍数据集上的适用性,选取UAV20L数据集长时视频序列进行测试. 对比算法包括KCF[3]、BACF[8]、SRDCF[9]、STRCF[10]、HCF[23]、HDT[24]、ECO_HC[26]、SRDCFDecon[27]、LCT[28]、SITUP[29]、FAST[30]以及适用于无人机领域的优秀算法ARCF[16]、AutoTrack[17]、DRCF[31]. 如图6所示为不同算法在UAV20L数据集上2个定量分析指标的对比结果. 可以看出,本研究算法在UAV20L数据集上获得第2高的DP,为58.6%; 同时获得第1高的AUC,为44.1%. 相比于STRCF,本研究算法的DP、AUC分别提高1.1%和3.1%. DRCF在UAV20L数据集上获得较高的DP和AUC. 主要原因是DRCF利用显著性检测算法构建双重正则项,使边界效应得到有效缓解.

图 6

图 6   不同算法在UAV20L数据集上的距离精度曲线和重叠成功率曲线下面积曲线

Fig.6   Curves of distance precision and area under curve of different algorithms on UAV20L dataset


在实际的跟踪过程中,跟踪算法的实时性是重要的评价指标. 由表1可以看出,本研究算法在3个数据集上的跟踪速度分别为21.90、19.48、17.25帧/s,满足实时性的要求.

对OTB2015数据集的11个视频属性:光照变化(illumination variation, IV)、尺度变化(scale variation, SV)、遮挡(occlusion, OC)、形变(deformation, DEF)、运动模糊(motion blur, MB)、快速运动(fast motion, FM)、平面内旋转(in-plane rotation, IPR)、平面外旋转(out-of-plane rotation, OPR)、出视野(out-of-view, OV)、背景杂波(background clusters, BC)、低分辨率(low resolution, LR)进行定量分析. 如表23所示分别为OTB2015数据集上不同算法的DP和AUC. 表中加粗的数据表示当前属性下的最佳跟踪值. 可以看出,在跟踪精确率方面,除了平面内旋转、低分辨率场景外,本研究算法在剩余场景中的跟踪精确率最高. HCF在平面内旋转场景下的跟踪精确率最高,主要原因是该算法将不同层的深度特征进行由粗到细的融合,使得相关滤波器能够充分利用深度模型. HDT在HCF的基础上有效利用深度特征和集成学习方法,通过自适应权重算法,将所有的弱跟踪器集成为强跟踪器,因此在低分辨率场景中的跟踪精确率最高. 在跟踪成功率方面,除了低分辨率场景以外,本研究算法在剩余场景中的跟踪成功率最高. SiamFC作为端到端学习的跟踪算法,通过训练全卷积孪生网络,在更大的搜索图像中定位候选目标,因此在低分辨率场景中的跟踪性能优异. 本研究算法在跟踪精确率、跟踪成功率方面均高于基线算法STRCF. 本研究算法提出的通道可靠性正则项可以为判别力强的特征通道分配较高的权重,抑制具有冗余信息的特征通道,因此在光照变化、快速运动场景中的跟踪精确率和跟踪成功率均最高. 异常抑制正则项可以在训练过程中对相邻帧图像的响应差值进行平滑约束,及时抑制可能出现的异常,因此处理遮挡、形变以及平面内外旋转等场景中的跟踪效果较好. 尽管ECO_HC利用相同的手工特征进行外观表达并未进行通道权重的优化,但是该算法优化了模型、样本集和更新策略,因此该算法在低分辨率场景中性能优异.

表 2   在不同属性的OTB2015数据集上不同算法的距离精度

Tab.2  Distance Precision of different algorithms on OTB2015 dataset with different attributes

算法 DP
IV SV OC DEF MB FM IPR OPR OV BC LR
%
本研究 84.6 85.0 82.6 84.6 84.3 81.7 82.4 86.1 79.9 88.2 74.5
BACF 80.3 76.9 73.0 76.4 74.5 79.0 79.2 78.1 75.6 80.5 74.1
STRCF 83.7 84.0 81.0 84.1 82.6 80.2 81.1 85.0 76.6 87.2 73.7
DeepSRDCF 78.6 81.7 82.2 77.9 82.3 81.4 81.8 83.5 78.1 84.1 70.8
SRDCF 78.1 74.3 72.7 73.0 76.7 76.9 74.2 74.0 60.3 77.5 66.3
SRDCFDecon 83.3 80.3 76.5 75.0 81.4 77.5 77.6 79.7 64.1 85.0 64.4
ARCF 76.3 77.0 73.7 76.7 75.7 76.8 78.5 76.9 67.1 76.0 74.9
AutoTrack 78.3 74.2 73.5 73.5 73.5 74.6 77.7 76.6 69.6 75.5 77.3
DRCF 71.8 67.6 67.0 72.0 71.8 74.5 69.4 69.2 61.1 76.2 62.1
ECO_HC 77.5 79.2 77.7 79.3 77.0 79.9 76.2 80.1 76.4 80.7 84.7
HCF 83.0 79.8 77.6 79.0 80.4 81.5 86.4 81.6 67.7 84.3 83.1
HDT 80.9 77.4 74.4 80.2 78.3 77.9 79.9 78.7 61.6 78.9 84.9
SiamFC 74.1 73.8 72.6 69.3 70.5 74.3 74.2 75.6 66.9 69.0 84.7
FAST 76.7 70.8 70.8 70.0 61.3 64.2 73.0 77.0 61.3 77.3 71.9
SITUP 73.5 74.5 73.8 69.7 70.7 70.2 73.9 76.6 66.9 77.6 68.4
LCT 74.3 67.8 67.8 68.5 67.0 68.1 78.1 74.6 59.2 73.4 53.7
KCF 72.4 63.5 63.2 61.9 60.0 62.1 70.1 67.6 50.0 71.3 56.0

新窗口打开| 下载CSV


表 3   在不同属性的OTB2015数据集上不同算法的重叠成功率曲线下面积

Tab.3  Area under curve of different algorithms on OTB2015 dataset with different attributes

算法 AUC
IV SV OC DEF MB FM IPR OPR OV BC LR
%
本研究 66.6 63.6 62.8 61.8 66.4 63.5 60.7 63.7 60.2 66.3 54.6
BACF 62.2 57.2 56.5 57.1 57.5 59.9 58.2 57.8 54.8 60.5 53.2
STRCF 65.2 63.1 61.4 60.5 65.2 62.8 60.2 62.6 58.3 64.7 53.8
DeepSRDCF 62.4 60.7 60.3 56.7 64.2 62.8 58.9 60.7 55.3 62.7 47.5
SRDCF 60.7 55.9 55.4 54.1 59.4 59.7 54.1 54.7 46.1 58.2 49.5
SRDCFDecon 64.7 60.7 58.8 55.2 63.9 60.6 57.3 59.1 51.0 64.1 49.2
ARCF 60.0 56.1 56.0 58.3 60.5 59.1 56.2 55.9 50.0 58.8 51.2
AutoTrack 60.4 54.2 55.5 55.9 58.5 58.3 55.4 55.5 53.4 56.2 54.0
DRCF 56.8 51.7 52.7 54.0 59.4 59.0 52.4 52.8 49.0 57.1 45.2
ECO_HC 60.3 59.2 58.7 58.7 60.4 61.8 55.3 58.7 56.0 60.3 58.9
HCF 55.0 48.5 53.3 53.0 58.5 57.0 56.6 54.0 47.4 58.5 43.9
HDT 52.9 47.7 52.2 54.0 57.7 55.5 53.6 52.8 45.3 54.4 46.3
SiamFC 57.4 55.6 54.7 51.0 55.0 56.8 55.7 55.8 50.6 52.3 59.2
FAST 59.8 52.1 53.6 51.1 50.1 50.7 53.5 56.4 47.8 58.9 50.8
SITUP 55.4 53.1 55.6 50.4 57.4 54.2 54.0 55.8 52.0 57.2 43.4
LCT 51.7 42.8 47.6 48.1 51.6 50.7 52.9 50.5 44.6 52.8 29.9
KCF 48.2 39.5 44.5 43.8 45.9 45.9 46.9 45.3 39.3 49.8 30.7

新窗口打开| 下载CSV


3.4. 定性分析

图7所示为不同算法在OTB2015数据集中的5个挑战序列上的定性比较结果. Biker序列包含尺度变化、平面外旋转、运动模糊等7种挑战. 在第66帧中,目标有大幅度的旋转,SRDCFDecon已经跟丢目标. 在第83帧中,目标完成大幅度旋转,此时BACF、HCF跟丢目标,AutoTrack的跟踪框发生偏移. 目标逐渐淡出视野后,由于DeepSRDCF、HCF采用深度特征进行学习,可以很好地应对目标的大幅度旋转、出视野挑战. 本研究算法和STRCF采用模型的被动更新策略,ECO_HC采用等间隔更新策略,使得滤波器模板具有较强的学习能力,最终可以准确地跟踪目标.

图 7

图 7   不同算法在不同视频序列上的跟踪结果对比

Fig.7   Comparison of tracking results of different algorithms on video sequences


Bird1序列包含形变、快速运动、出视野3种挑战. 在第114帧中,目标发生剧烈形变,SRDCFDecon、ECO_HC跟踪失败. 在第158帧中,目标穿越云层,经历长时间的出视野以后,仅有部分算法可以跟踪到目标. 在第200帧中,目标穿越过云层,只有本研究算法可以准确跟踪目标,基线算法跟丢目标. 相比于基线算法,本研究算法采用异常检测,当目标长时间出视野导致的相邻帧响应差值增大时,跟踪器能够及时学习异常获得鲁棒的滤波器模板.

Box序列包含9种挑战属性. 从初始帧到第491帧,目标经历2次短暂遮挡,SiamFC跟踪失败. ECO_HC、HCF、BACF、AutoTrack、DeepSRDCF发生跟踪漂移. 之后目标经历多次平面内外旋转,导致ECO_HC、HCF、BACF、AutoTrack和DeepSRDCF完全跟丢目标. 实验结果表明,本研究算法在处理短暂遮挡、平面内外旋转场景中的跟踪效果较好.

Dragonbaby序列面临的最大挑战是目标的快速运动和平面内外旋转造成的目标非刚性形变. 在跟踪过程中,很多算法不能及时应对这些挑战,导致跟踪漂移甚至跟丢目标. 本研究算法和基线算法可以准确跟踪目标,相比于基线算法,本研究算法的跟踪框更为精准.

Soccer序列包含8种不同的挑战,目标会经历剧烈的光照改变. 本研究所提出的通道正则项可以获得可靠的通道权重,为颜色特征通道分配较高的权重,能够更好应对光照的改变. 在目标运动过程中受到相似背景干扰的影响,ECO_HC从第134~338帧始终将其他背景当成目标进行跟踪. 当目标经历多次平面内外旋转导致相邻帧的响应差突然改变时,本研究算法利用异常抑制正则项学习异常信息获得了可靠的滤波器模板.

3.5. 参数分析

表45所示分别为OTB2015数据集上通道可靠性惩罚系数 $ \lambda $、异常抑制惩罚系数ρ对跟踪器性能的影响. 时间正则惩罚系数 $\; \mu $采用STRCF中的参数设置,令 $\; \mu = 15 $ρ = 0, $ \lambda $∈[0.01, 0.09]. 由表4可以看出,不同 $ \lambda $对应的跟踪距离精度有一定差异. 由式(16)可知, $ \lambda $取值过大或者过小,均不利于通道权重的有效学习,从而降低跟踪定位的精度. 当 $ \lambda = 0. 05 $ 时,跟踪距离精度最高,为86.9%. 将 $ \lambda $的取值固定为0.05,研究当ρ ∈[0.010,0.090]时对跟踪精度的影响. 异常抑制惩罚系数能够约束响应图的变化率,有效抑制由遮挡、相似背景干扰造成的响应图突变,提高当前帧的响应图质量. 由式(12)可知,当目标发生快速的外观改变时,ρ过小会使相邻帧的滤波器模板始终保持一致,不利于滤波器模板学习外观变化; ρ过大不能有效抑制异常产生,因此ρ选取得当对跟踪性能的提升有显著影响. 由表5可以看出,当ρ = 0.068时跟踪距离精度最高,为87. 3%.

表 4   不同通道可靠性惩罚系数下的距离精度

Tab.4  Distance precision under different channel reliability penalty coefficient

$ \lambda $ DP/% $ \lambda $ DP/% $ \lambda $ DP/%
0.01 84.9 0.04 86.2 0.07 86.1
0.02 85.9 0.05 86.9 0.08 86.2
0.03 86.3 0.06 85.9 0.09 85.9

新窗口打开| 下载CSV


表 5   不同异常抑制惩罚系数下的距离精度

Tab.5  Distance precision under different aberrance repression penalty coefficient

ρ DP/% ρ DP/% ρ DP/%
0.010 86.5 0.060 86.4 0.069 86.6
0.020 86.3 0.065 86.7 0.070 87.0
0.030 85.7 0.066 86.6 0.080 87.1
0.040 86.2 0.067 86.6 0.090 86.5
0.050 87.1 0.068 87.3

新窗口打开| 下载CSV


3.6. 消融实验分析

拆分本研究算法并在OTB2015数据集上进行3组对比实验,实验结果如表6所示. 表中,Baseline代表基线算法STRCF,Baseline+CRR代表在基线算法的基础上加入通道可靠性正则项,Baseline+ARR代表在基线算法的基础上加入异常抑制正则项,Baseline+CRR+ARR代表本研究算法. 可以看出,相比于基线算法,加入通道正则项后,DP和AUC分别提升0.4%、0.3%;加入异常抑制正则项后,DP和AUC均提升0.5%. 总体而言,在基线算法中集成通道可靠性正则项和异常抑制正则项,本研究算法在OTB2015数据集测试中DP=87.3%、AUC=66.1%. 实验结果表明,本研究算法的各个组分对于跟踪性能的提升均有贡献,也说明本研究算法的有效性和优越性.

表 6   OTB100数据集上的消融实验结果

Tab.6  Results of ablation experiment on OTB100 dataset

算法 DP AUC
%
本研究 87.3 66.1
Baseline+ARR 87.0 65.9
Baseline+CRR 86.9 65.7
Baseline 86.5 65.4

新窗口打开| 下载CSV


4. 结 语

STRCF使用等权重进行特征学习,当遇到光照改变、相似背景干扰挑战时,容易跟踪失败降低跟踪定位精度,本研究提出基于通道可靠性的时空正则算法. 在目标函数中构建通道正则项学习可靠的通道权重,提高跟踪的精度和可靠性. 针对时空正则算法通过扩大搜索域缓解边界效应导致的更多背景噪声引入问题,提出异常抑制的时空正则算法. 通过在目标函数中构建异常抑制正则项,抑制检测过程中的异常,充分挖掘响应图中的关键信息,提高跟踪的鲁棒性. 本研究算法在3个公开数据集中的性能测试优异. 对本研究算法的有效性验证结果表明,本研究算法满足实时性要求. 当目标长时间被其他物体遮挡时,跟踪器仍然会跟踪失败,接下来的工作将研究重检测机制,弥补本研究算法的不足.

参考文献

黄月平, 李小锋, 杨小冈, 等

基于相关滤波的视觉目标跟踪算法新进展

[J]. 系统工程与电子技术, 2021, 43 (8): 2051- 2065

DOI:10.12305/j.issn.1001-506X.2021.08.05      [本文引用: 1]

HUANG Yue-ping, LI Xiao-feng, YANG Xiao-gang, et al

Advances in visual object tracking algorithm based on correlation filter

[J]. Systems Engineering and Electronics, 2021, 43 (8): 2051- 2065

DOI:10.12305/j.issn.1001-506X.2021.08.05      [本文引用: 1]

BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters [C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 2544-2550.

[本文引用: 1]

HENRIQUES J F, CASEIRO R, MARTINS P, et al

High-speed tracking with kernelized correlation filters

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37 (3): 583- 596

DOI:10.1109/TPAMI.2014.2345390      [本文引用: 4]

DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 1090-1097.

[本文引用: 1]

WANG N Y, SHI J P, YEUNG D Y, et al. Understanding and diagnosing visual tracking systems [C]// 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 3101-3109.

[本文引用: 1]

汤张泳, 吴小俊, 朱学峰

多空间分辨率自适应特征融合的相关滤波目标跟踪算法

[J]. 模式识别与人工智能, 2020, 33 (1): 66- 74

DOI:10.16451/j.cnki.issn1003-6059.202001008      [本文引用: 2]

TANG Zhang-yong, WU Xiao-jun, ZHU Xue-feng

Object tracking with multi-spatial resolutions and adaptive feature fusion based on correlation filters

[J]. Pattern Recognition and Artifical Intelligence, 2020, 33 (1): 66- 74

DOI:10.16451/j.cnki.issn1003-6059.202001008      [本文引用: 2]

熊昌镇, 王润玲, 邹建成

基于多高斯相关滤波的实时跟踪算法

[J]. 浙江大学学报:工学版, 2019, 53 (8): 1488- 1495

[本文引用: 1]

XIONG Chang-zhen, WANG Run-ling, ZOU Jian-cheng

Real-time tracking algorithm based on multiple Gaussian-distirbution correlation filters

[J]. Journal of Zhejiang University: Engineering Science, 2019, 53 (8): 1488- 1495

[本文引用: 1]

GALOOGAHI H K, FAGG A, LUCEY S. Learning backg- round-aware correlation filters for visual tracking [C]// 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 1144-1152.

[本文引用: 4]

DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking [C]// 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 4310-4318.

[本文引用: 4]

LI F, TIAN C, ZUO W M, et al. Learning spatial-temporal regularized correlation filters for visual tracking [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4904-4913.

[本文引用: 5]

尹明锋, 薄煜明, 朱建良, 等. 基于通道可靠性的多尺度背景感知相关滤波跟踪算法[J]. 光学学报. 2019, 39(5): 0515002.

[本文引用: 2]

YIN Ming-feng, BO Yu-ming, ZHU Jian-liang, et al. Multi-scale context-aware correlation filter tracking algorithm based on channel reliability [J]. Acta Optica Sinica, 2019, 39(5): 0515002.

[本文引用: 2]

LU X K, MA C, NI B B, et al

Adaptive region proposal with channel regularization for robust object tracking

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31 (4): 1268- 1282

DOI:10.1109/TCSVT.2019.2944654      [本文引用: 1]

XU T Y , FENG Z H, WU X J, et al. Joint group feature selection and discriminative filter learning for robust visual obj-ect tracking [C]// 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 7950-7960.

[本文引用: 2]

YE J J, FU C H, LIN F L, et al

Multi-regularized correlation filter for UAV tracking and self-localization

[J]. IEEE Transactions on Industrial Electronics, 2021, 6004- 6014

[本文引用: 1]

WANG M M, LIU Y, HUANG Z Y. Large margin object tracking with circulant feature maps [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 4800-4808.

[本文引用: 1]

HUANG Z Y, FU C H, LI Y M, et al. Learning aberrance repressed correlation filters for real-time UAV tracking [C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 2891-2900.

[本文引用: 4]

LI Y M, FU C H, DING F Q, et al. AutoTrack: towards high-performance visual tracking for UAV with automatic spatio-temporal regularization [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 11920-11929.

[本文引用: 4]

姜文涛, 刘晓璇, 涂潮, 等

空间异常适应性的目标跟踪

[J]. 模式识别与人工智能, 2021, 34 (5): 473- 484

DOI:10.16451/j.cnki.issn1003-6059.202105010      [本文引用: 1]

JIANG Wen-tao, LIU Xiao-xuan, TU Chao, et al

Spatially abnormal adaptive target tracking

[J]. Pattern Recognition and Artificial Intelligence, 2021, 34 (5): 473- 484

DOI:10.16451/j.cnki.issn1003-6059.202105010      [本文引用: 1]

BOYD S, PARIKH N, CHU E, et al

Distributed optimization and statistical learning via the alternating direction method of multipliers

[J]. Foundations and Trends in Machine Leaning, 2010, 3 (1): 1- 122

DOI:10.1561/2200000016      [本文引用: 1]

WU Y, LIM J, YANG M H

Object tracking benchmark

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37 (9): 1834- 1848

DOI:10.1109/TPAMI.2014.2388226      [本文引用: 1]

LIANG P P, BLASCH E, LING H B. Encoding color info- rmation for visual tracking: algorithms and benchmark [J]. IEEE Transactions on Image Processing, 2015, 24(12): 5630-5644.

[本文引用: 1]

MUELLER M, SMITH N, GHANEM B. A benchmark and simulator for UAV tracking [C]// 2016 European Conference on Computer Vision. Amsterdam: Springer, 2016: 445–461.

[本文引用: 1]

MA C, HUANG J B, YANG X, et al. Hierarchical convolutional features for visual tracking [C]// 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 3074-3082.

[本文引用: 3]

QI Y, ZHANG S, QIN L, et al. Hedged deep tracking [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 4303-4311.

[本文引用: 3]

DANELLJAN M, HÄGER G, KHAN F S, et al. Convolutional features for correlation filter based visual tracking [C]// 2015 IEEE International Conference on Computer Vision Workshop. Santiago: IEEE, 2015: 621-629.

[本文引用: 2]

DANELLJAN M, BHAT G, KHAN F S, et al. ECO: efficient convolution operators for tracking [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6931-6939.

[本文引用: 3]

DANELLJAN M, HÄGER G, KHAN F S, et al. Adaptive decontamination of the training set: a unified formulation for discriminative visual tracking [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas : IEEE, 2016: 1430-1438.

[本文引用: 3]

MA C, YANG X K, ZAHNG C Y, et al. Long-term correlation tracking [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 5388-5396.

[本文引用: 3]

MA H Y, ACTON S T, LIN Z L

SITUP: scale invariant tracking using average peak-to-correlation energy

[J]. IEEE Transactions on Image Processing, 2020, 29: 3546- 3557

DOI:10.1109/TIP.2019.2962694      [本文引用: 3]

MA H Y, LIN Z L, ACTON S T

FAST: fast and accurate scale estimation for tracking

[J]. IEEE Signal Processing Letters, 2020, 27: 161- 165

DOI:10.1109/LSP.2019.2963147      [本文引用: 3]

FU C H, XU J T, LIN F L, et al

Object saliency-aware dual regularized correlation filter for real-time aerial tracking

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58 (12): 8940- 8951

DOI:10.1109/TGRS.2020.2992301      [本文引用: 3]

BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional siamese networks for object tracking [C]// 2016 European Conference on Computer Vision. Amsterdam: Springer, 2016: 850-865.

[本文引用: 1]

/