融合运动信息和跟踪评价的高效卷积算子
Efficient convolution operators integrating motion information and tracking evaluation
通讯作者:
收稿日期: 2021-07-14
Received: 2021-07-14
作者简介 About authors
张迅(1997—),男,硕士生,从事图像处理与模式识别研究.orcid.org/0000-0002-5436-5879.E-mail:
针对基于方向梯度直方图与颜色命名的高效卷积算子(ECO-HC)算法缺少跟踪质量评价和滤波模板更新监督机制的问题,提出融合运动信息和跟踪评价的高效卷积算子. 将卡尔曼滤波器加入ECO-HC跟踪定位框架对目标执行联合跟踪,设计高置信度判别指标评价ECO-HC对每帧图像的跟踪效果,使用原始跟踪结果和卡尔曼滤波预测值的加权融合值,修正不满足判别指标的跟踪结果. 在滤波模板隔帧更新策略的基础上,加入当前帧跟踪结果质量评价信息,当2个条件同时满足时执行模板更新. 依托公开数据集OTB-2015评估算法性能,结果显示改进算法整体跟踪精确度、成功率和跟踪速率均优于原算法,在运动模糊、低分辨率、离开视野场景中的精确度分别提高3.0%、3.5%和2.8%,成功率分别提高3.8%、2.1%和4.0%. 改进算法在保证实时性的同时,有效提升了复杂场景下的跟踪效果.
关键词:
An efficient convolution operator integrating motion information and tracking evaluation was proposed, to solve the problems that an efficient convolution operators algorithm named by histogram of oriented gridients and color (ECO-HC) lacks the quality evaluation of tracking result and the supervision mechanism of filter model updating. Firstly, the Kalman filter was added to the ECO-HC positioning framework to carry out joint tracking of objects. A high-confidence discriminant indicator was designed to evaluate the tracking result of ECO-HC for each frame of video. If the current frame tracking results did not meet the confidence requirement, the weighted fusion value of the algorithm tracking results and the predicted value of Kalman filter would be used as the final target tracking results. Then, based on the filter template update strategy of the original algorithm, the quality evaluation information of the current frame tracking results was added.The filter template update was performed when the two conditions were true. Finally, the performance of the improved algorithm was evaluated on a open data set OTB-2015. The results showed that the overall tracking precision, success rate and tracking rate of the algorithm with proposed operator were superior to the original algorithm. The precision in the scene with motion blur, low resolution and out of view was increased by 3.0%, 3.5% and 2.8% respectively, and the success rate was increased by 3.8%, 2.1% and 4.0% respectively. The proposed algorithm not only ensured the real-time performance, but also improved the tracking performance in complex scenes.
Keywords:
本文引用格式
张迅, 李建胜, 欧阳文, 陈润泽, 汲振, 郑凯.
ZHANG Xun, LI Jian-sheng, OUYANG Wen, CHEN Run-ze, JI Zhen, ZHENG Kai.
判别类目标跟踪方法 [ 4] 关注异类数据之间的差异性,将目标从背景中分离出来实现跟踪,使跟踪准确率显著提高. 相关滤波类算法 [ 5] 具有速度优势,是判别类方法的重要分支,被广泛地应用于工业实践. Bolme等 [ 6] 提出最小输出平方和误差滤波将相关滤波思想引入目标跟踪领域,此后改进算法相继出现,跟踪效果也不断提升. 基于核函数的循环结构(exploiting the circulant structure of tracking-by-detection with kernels, CSK) [ 7] 针对最小平方和误差滤波中样本冗余的问题,引入循环移位与核方法. 核相关滤波(kernel correlation filter, KCF) [ 8] 在理论上完善了CSK中岭回归的数学技巧推导,同时增加了多通道特征. 判别式尺度空间跟踪器(discriminative scale space tracker, DSST) [ 9] 与基于特征融合的尺度自适应核相关滤波 [ 10] 从2个不同的角度解决了跟踪尺度自适应问题. 空间正则化滤波(spatially regularized discriminative correlation filter, SRDCF) [ 11] 使用空间正则化减轻了傅里叶变换带来的边界效应影响,自适应去污空间正则化滤波(SRDCFdecon) [ 12] 在此基础上改进了样本和学习率的问题. 提升改进算法的跟踪精度往往以牺牲速度为代价,连续卷积算子视觉跟踪(continuous convolution operators for visual tracking, C-COT) [ 13] 将深度特征融入相关滤波框架,在连续空间域学习滤波器,实现多分辨率特征图的融合和精确的子网格定位,跟踪精度达到新高峰,但CPU下的运行速度不超过1 帧/s,不能满足实时需求.
Danelljan等 [ 14] 分析制约相关滤波类算法速度的主要因素,提出高效卷积算子 (efficient convolution operator, ECO). 该算法使用因式卷积实现特征降维,高斯混合模型减少样本数量,间隔帧更新减少更新频率,从特征复杂度、训练集大小和模板更新策略上大幅减少计算量,提高了C-COT算法的时间和空间效率. Danelljan等 [ 14] 提供了高效卷积算子的2种实现形式:1)基于卷积特征的ECO算法,2)基于人工特征方向梯度直方图 (histogram of oriente gridients, HOG) [ 15] 与颜色命名 (color names, CN) [ 16] 的ECO-HC算法. 形式2)的精度虽然略低于形式1)的,但在CPU下具有实时运算速度. 这2种实现形式均缺少跟踪质量判断和滤波模板更新监督机制,使目标跟踪连续定位和模板更新存在很大风险. 一方面,当跟踪质量较差时,继续使用原有定位结果会导致下一帧目标搜索范围偏移,影响后续帧的跟踪效果;另一方面,当出现遮挡、目标离开视野范围时,按照间隔特定帧更新模型会持续引入背景噪声,导致跟踪漂移与失败.
针对上述问题,本研究以具有实时运算特性的ECO-HC算法作为基线算法进行如下改进. 1)跟踪质量判别. 引入特征融合响应图震荡程度指标
1. 高效卷积算子
高效卷积算子在C-COT算法的基础上,通过因式卷积操作实现特征降维,使用高斯混合模型整合样本提高样本代表性和多样性,采取间隔帧的稀疏更新策略改善过拟合和模型漂移问题.
1.1. 因式卷积操作
C-COT算法基于样本集合
式中:
C-COT为每个通道单独训练了周期为
滤波器组中有许多滤波器对定位几乎没有贡献,却占用着大量的计算资源 [ 14] . ECO算法不再为每个特征通道单独训练滤波器,而是将特征通道对应的滤波器表示为一组贡献度较大的滤波器组
式中:
式(4)是滤波器学习最小化目标函数的频域表示,用正则项
1.2. 样本空间模型
在视频跟踪任务中,当前帧的跟踪结果往往被当成新的训练样本纳入训练集,无限制保留新样本会增加计算复杂度,舍弃最早纳入的样本又会导致经过连续数帧后训练集中的样本高度相似. 高效卷积操作使用高斯混合模型(GMM)生成
1.3. 稀疏更新策略
为了适应在复杂环境中不断变化的目标特征和背景信息,引入合理的滤波模板更新机制. 最常见的是C-COT采用的逐帧更新和ECO采用的间隔特定帧稀疏更新,后者相较于前者计算量大幅下降,鲁棒性也得到提升. 需要注意的是,较大的取样间隔可能会导致模型更新跟不上特征变化而出现跟踪漂移,在实际操作中取样间隔为6帧.
2. 改进的ECO-HC算法
传统的ECO-HC算法缺少跟踪结果质量判别和滤波模板更新监督机制,当出现强烈的光照变化、低分辨率场景、遮挡等挑战时,跟踪误差会持续累积,导致跟踪的漂移和失败. 本研究通过分析搜索区域的特征融合响应图的峰值和震荡程度,评价ECO-HC跟踪结果的置信程度,当评价结果判定不满足高置信度要求时,不执行滤波模板更新,并利用卡尔曼滤波预测值加权修正定位结果. 改进算法的跟踪框架如 图1所示.
图 1
2.1. 高置信度判别指标
图 2
图 2 Girl2序列的ECO-HC算法跟踪结果
Fig.2 Tracking results of ECO-HC algorithm with Girl2 sequence
图 3
图 3 Girl2序列的ECO-HC算法融合特征响应图
Fig.3 Response maps of ECO-HC algorithm with Girl2 sequence
只使用当前帧目标样本
式中:
式中:
2.2. 目标定位加权融合
未满足高置信度要求的跟踪结果会导致算法在下一帧中的目标搜索范围偏移,进而对后续帧的跟踪效果产生影像,此时须设计策略修正较差的定位结果. 在视觉目标跟踪问题中,目标的状态信息往往是连续变化的,在环境出现剧烈光照变化、目标遮挡甚至丢失的情况下,卡尔曼滤波能够综合考虑位置、速度、加速度等运动信息,对动态系统的状态进行最优估计,合理预测与更新跟踪目标的状态. 将卡尔曼滤波引入ECO-HC原有的跟踪框架,能够有效提升算法在复杂环境下的跟踪性能.
观测方程与状态转移方程是卡尔曼滤波的基础,其公式为
式中:
卡尔曼滤波执行具体过程通常被分为2个阶段:预测和更新.预测阶段通过之前数帧的信息估计当前状态,更新阶段利用观测值优化预测值,获取更可信的估计值.
1)预测阶段的公式为
2)更新阶段的公式为
式中:
取卡尔曼滤波状态向量
根据运动学模型定义状态转移矩阵
取系统噪声和观测噪声的协方差矩阵 Q 、 R 分别为
采用ECO-HC算法和卡尔曼滤波器对目标进行联合跟踪,当ECO-HC第
式中:
2.3. 稀疏更新策略
当前帧跟踪质量未达到高置信要求,说明跟踪目标很可能被遮挡、离开视野的复杂挑战,甚至已经出现跟踪漂移,继续程式化的执行滤波模板更新存在很大风险. 在原算法滤波模板隔帧更新策略的基础上,融入跟踪质量高置信度指标,当2个条件同时满足时执行滤波模板更新,在降低背景干扰引入的情况下,能够进一步提升算法的速度.
3. 实验及结果分析
3.1. 实验环境
VOT2016的60组测试序列,对应相机抖动、形状变化、光照变化等6种挑战场景,每帧含有多个挑战场景标签,主要评价指标有期望平均重叠率(expected average overlap, EAO) [ 20] 、失败率(failure rate)、准确率(accuracy)等. 共设计4组对照实验: 1)跟踪质量置信度指标阈值选定. 2)对比DSST、SRDCF、SRDCFdecon、ECO-HC等 4种相关滤波跟踪算法,使用OTB-2015全部100个序列的运行结果,定量分析算法在测试集上整体跟踪效果以及应对不同挑战时的跟踪效果. 3)在OTB-2015中选取4组包含遮挡、运动模糊和光照变化等复杂场景的序列,对本研究算法跟踪效果做定性分析. 4)在数据集VOT2016 [ 20] 上进一步验证算法的有效性.
3.2. 对照实验与结果分析
3.2.1. 置信度指标选定
跟踪质量判断和模板更新条件的严格程度取决于式(6)中
表 1 各对照组总体跟踪效果对比结果
Tab.1
( | P | S | ( | P | S | |
(0,0.45) | 83.3 | 77.1 | (0.6,0.45) | 83.9 | 77.5 | |
(0.55,0.45) | 83.3 | 77.0 | (0.6,0.50) | 83.4 | 76.6 | |
(0.6,0) | 83.8 | 76.8 | (0.65,0.45) | 84.0 | 77.0 | |
(0.6,0.40) | 83.5 | 76.5 | − | − | − |
3.2.2. 定量分析
在OTB-2015的100个序列上分别执行改进算法DSST、SRDCF、SRDCFdecon和ECO-HC,统计不同阈值下的精确度,以中心位置误差阈值
表 2 跟踪5种算法的总体跟踪效果和跟踪速率对比结果
Tab.2
跟踪算法 | P/% | S/% | R/(帧·s −1) |
本研究 | 83.9 | 77.5 | 37.1 |
ECO-HC | 83.3 | 76.1 | 36.5 |
DSST | 67.9 | 60.0 | 60.5 |
SRDCF | 79.0 | 72.8 | 3.4 |
SRDCFdecon | 82.5 | 76.6 | 1.8 |
图 4
图 4 OTB2015数据集上不同算法一次通过评估的总体精确度和成功率图
Fig.4 Precision and success plots of one-pass evaluation for different algorithms on OTB2015 dataset
为了进一步测试不同挑战场景下算法的跟踪性能,测试并记录上述5种算法在光照变化(illumination variation, IV)、非平面内旋转(out-of-plane rotation, OPR)、尺度变化(scale variation, SV)、遮挡(occlusion, OCC)、非刚性变换(deformation, DEF)、运动模糊(motion blur, MB)、快速运动(fast motion, FM)、平面内旋转(in-plane-rotation, IPR)、离开视野(out-of-view, OV)、背景杂乱(background clutters, BC)、低分辨率(low resolution, LR)等11种挑战场景序列下的跟踪效果.
表 3 不同挑战场景序列下5种跟踪算法的跟踪精确度对比结果
Tab.3
跟踪算法 | P | ||||||||||
IV | OPR | SV | OCC | DEF | MB | FM | IPR | OV | BC | LR | |
本研究 | 80.0 | 81.6 | 81.0 | 80.1 | 81.0 | 80.6 | 81.4 | 77.0 | 80.2 | 81.5 | 83.7 |
ECO-HC | 78.7 | 80.3 | 79.6 | 78.2 | 79.8 | 77.6 | 80.2 | 76.4 | 77.4 | 81.7 | 80.2 |
DSST | 71.5 | 64.4 | 63.3 | 58.9 | 53.3 | 56.7 | 55.2 | 69.1 | 48.1 | 70.4 | 56.7 |
SRDCF | 78.6 | 74.2 | 74.1 | 73.0 | 72.8 | 76.7 | 76.9 | 74.5 | 59.7 | 77.5 | 65.5 |
SRDCFdecon | 83.3 | 79.7 | 80.3 | 76.5 | 75.0 | 81.4 | 77.5 | 77.6 | 64.1 | 85.0 | 64.4 |
表 4 不同挑战场景序列下5种跟踪算法的跟踪成功率对比结果
Tab.4
跟踪算法 | S | ||||||||||
IV | OPR | SV | OCC | DEF | MB | FM | IPR | OV | BC | LR | |
本研究 | 76.5 | 73.5 | 73.0 | 75.0 | 73.6 | 78.6 | 77.0 | 68.1 | 73.3 | 77.5 | 72.1 |
ECO-HC | 75.5 | 71.7 | 70.6 | 73.0 | 70.9 | 74.8 | 75.2 | 65.8 | 69.3 | 76.8 | 70.0 |
DSST | 64.9 | 55.1 | 52.5 | 53.1 | 47.9 | 55.1 | 51.7 | 58.9 | 44.2 | 61.3 | 44.2 |
SRDCF | 74.0 | 66.4 | 66.2 | 67.8 | 65.9 | 72.9 | 71.7 | 66.2 | 55.8 | 70.1 | 62.6 |
SRDCFdecon | 78.9 | 72.0 | 73.3 | 72.5 | 67.3 | 79.9 | 73.2 | 69.8 | 64.1 | 78.6 | 61.9 |
综合OTB数据集总体和不同挑战场景序列下的跟踪精确度和成功率定量分析,可以认为本研究算法在小幅提升跟踪速率的情况下,有效地改善了基线算法ECO-HC应对不同跟踪挑战出现的跟踪漂移和失败问题.
3.2.3. 定性分析
在OTB-2015数据集中选取4个典型的复杂场景序列Ironman、Human6、Biker和Dragonbaby对算法性能进行定性分析. 这些复杂场景序列均对应6种以上的挑战,有些关键帧同时出现多种挑战. 以关键帧形式显示的5种算法在典型序列上的跟踪情况如 图5所示,该帧在对应序列中的序号标于对应画面的左上角.
图 5
图 5 典型复杂场景序列下不同跟踪算法的跟踪对比
Fig.5 Tracking comparison of different algorithms in typical complex sequences
在 图5(a)序列跟踪中,第45、103帧的目标连续出现平面外旋转、快速运动、光照变化和背景杂乱挑战场景,ECO-HC、SRDCFdecon跟踪质量大幅下降且跟踪漂移,DSST、SRDCF跟踪失败,只有本研究算法能够持续准确地捕捉到目标. 在 图5(b)序列跟踪中,当第359、379帧的目标分别出现严重地遮挡与离开视野挑战场景时,本研究算法均能够持续准确捕捉到目标;基线算法ECO-HC在目标严重遮挡的情况下跟踪漂移,SRDCF和SRDCFdecon在目标离开视野时跟踪失败. 在 图5(c)序列跟踪中,当第71、86帧目标同时出现离开视野、平面外旋转和运动模糊挑战场景时,ECO-HC发生跟踪漂移最终跟踪失败,本研究算法全程准确跟踪目标. 在 图5(d)序列跟踪中,当目标出现尺度变化、平面内旋转和平面外旋转等挑战场景时,本研究算法全程准确跟踪目标. 通过对典型序列的定性分析,可以看出本研究算法相较于基线算法ECO-HC,在复杂场景下有较好的跟踪效果,有效解决了复杂场景下跟踪漂移和跟踪失败的问题.
3.2.4. 进一步性能分析
在VOT2016全部60个序列上运行本研究算法与ECO-HC算法,二者跟踪的期望平均重叠率、失败率 R f、准确率Acc对比结果如 表5所示. 结果表明,本研究算法相比于ECO-HC在降低失败率的同时,整体EAO与准确率都得到提升,进一步表明本研究算法的有效性.
表 5 基于VOT2016数据集的算法总体跟踪效果
Tab.5
指标 | EAO | R f | Acc |
本研究 | 0.2805 | 21.1684 | 0.3967 |
ECO-HC | 0.2693 | 23.8174 | 0.3828 |
4. 结 论
(1)以ECO-HC算法为基础,设计高置信度判别指标进行跟踪评价. 在原算法跟踪定位框架中,引入卡尔曼滤波器融合历史帧的运动信息,对未达到高置信度的跟踪结果进行加权修正,在滤波模板隔帧更新策略的基础上,引入当前帧跟踪评价结果,当2个条件同时满足时,执行滤波模板更新.
(2)在公开数据集OTB-2015中的测试结果显示,在ECO-HC高速率高效能的基础上,改进算法进一步提高了跟踪整体精确度、成功率和平均速率,且在运动模糊、低分辨率的挑战场景跟踪效果提升显著.
(3)本研究提出的融合运动信息和跟踪评价的方法没有改变ECO-HC算法原有的定位流程,增加的计算量小且新的稀疏更新策略相较于逐帧更新减少了更新次数. 下一步计划尝试将该方法移植于其他目标跟踪方法,在保持较好跟踪速率的同时,提高目标跟踪算法在复杂场景下的跟踪效果.
参考文献
机器人视觉动态目标跟踪的最优方案研究
[J].
Research on optimal scheme of robot vision dynamic target tracking
[J].
改进的GOTURN算法
[J].
An improved algorithm of the generic object tracking using regression networks
[J].
视觉目标跟踪方法研究综述
[J].DOI:10.11834/jig.170604 [本文引用: 1]
Review of visual object tracking technology
[J].DOI:10.11834/jig.170604 [本文引用: 1]
High-speed tracking with kernelized correlation filters
[J].DOI:10.1109/TPAMI.2014.2345390 [本文引用: 1]
Discriminative scale space tracking
[J].DOI:10.1109/TPAMI.2016.2609928 [本文引用: 1]
Object detection with discriminatively trained part-based models
[J].DOI:10.1109/TPAMI.2009.167 [本文引用: 1]
Object tracking benchmark
[J].DOI:10.1109/TPAMI.2014.2388226 [本文引用: 4]
A novel performance evaluation methodology for single-target trackers
[J].DOI:10.1109/TPAMI.2016.2516982 [本文引用: 3]
/
〈 |
|
〉 |
