Please wait a minute...
工程设计学报
工程设计学报  2023, Vol. 30 Issue (6): 687-696    DOI: 10.3785/j.issn.1006-754X.2023.03.178
机器人与机构设计     
基于视觉跟踪与自主导航的移动机器人目标跟随系统
张瑞(),蒋婉玥()
青岛大学 自动化学院未来研究院，山东 青岛 266071
Mobile robot target following system based on visual tracking and autonomous navigation
Rui ZHANG(),Wanyue JIANG()
Institute for Future, School of Automation, Qingdao University, Qingdao 266071, China
 全文: PDF(5808 KB)   HTML
摘要：

针对在移动机器人跟随目标的过程中目标消失的情景，提出了基于视觉跟踪与自主导航的机器人目标跟随系统。将机器人跟随问题分为目标在机器人视野内时的常规跟随和目标消失后的自主导航两种情况。对于常规跟随，通过卡尔曼滤波器预测目标运动状态，采用行人重识别网络提取外观特征，通过数据关联融合运动信息和外观特征后进行目标跟踪，再通过伺服控制进行跟随。对于自主导航，基于目标消失前与机器人的相对位置，采用自主导航算法，使机器人移动到目标消失位置附近进行搜索，来提高对目标的跟随成功率。将提出的算法在OTB100公开测试集和机器人应用场景下的跟随测试集中进行评估，并在移动机器人平台上进行实验，结果表明，机器人可以在不同照明条件、背景行人较多的环境中跟随目标，验证了所提算法的稳健性和有效性，同时可满足实时性要求。研究结果可为机器人在目标消失后再跟随问题的研究提供参考。
关键词： 移动机器人;  目标跟踪;  自主导航;  卡尔曼滤波    
Abstract:

In response to the issue of target disappearing when a mobile robot is following a target, a robot target following system based on visual tracking and autonomous navigation is proposed. The robot following problem was divided into two cases: regular following when the target was within the robot's field of view, and autonomous navigation after the target disappeared. For the former case, the target's motion state was predicted using a Kalman filter, appearance features were extracted using a pedestrian re-identification network, and target tracking was performed by fusing motion information and appearance features using data association fusion. Servo control was then applied for following the target. For the latter case, an autonomous navigation algorithm was adopted based on the relative position between the historical target and the robot. The robot moved to the history position of the target and searched the target, aiming to increase the success rate of the target following. Evaluations were conducted on the OTB100 benchmark dataset and a target following test dataset which was in robot application scenarios. Experiments were performed on a mobile robot platform. The results showed that the robot could follow the target in the environment with different lighting conditions and more background pedestrians, which verified the robustness and effectiveness of the proposed algorithm, and it could meet the real-time requirement. The research results can provide reference for research on the problem of robot refollowing after the target disappears.
Key words: mobile robot    target tracking    autonomous navigation    Kalman filtering
收稿日期: 2023-06-13 出版日期: 2024-01-02
CLC:  TP 242.6  
基金资助: 国家重点研发计划资助项目(2020YFB1313600)
通讯作者: 蒋婉玥     E-mail: 1241070889@qq.com;jwy@qdu.edu.cn
作者简介: 张 瑞（1998—），男，山东泰安人，硕士生，从事机器人技术研究，E-mail: 1241070889@qq.com，https://orcid.org/0009-0000-9092-6947
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　
张瑞
蒋婉玥

引用本文:

张瑞,蒋婉玥. 基于视觉跟踪与自主导航的移动机器人目标跟随系统[J]. 工程设计学报, 2023, 30(6): 687-696.

Rui ZHANG,Wanyue JIANG. Mobile robot target following system based on visual tracking and autonomous navigation[J]. Chinese Journal of Engineering Design, 2023, 30(6): 687-696.

链接本文:

https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2023.03.178    或    https://www.zjujournals.com/gcsjxb/CN/Y2023/V30/I6/687

图1  移动机器人结构
图2  移动机器人目标跟随系统框架
图3  目标跟踪流程
图4  外观特征提取网络的结构
图5  深度相机测得的目标距离和角度示意
图6  机器人坐标系与世界坐标系的转换
图7  机器人偏移后目标定位偏差
参数组序号

运动信息

权重λ

关联

阈值δ

外观特征库

更新阈值μ

10.0050.1750.15
20.0050.1650.12
表1  本文算法的参数取值
图8  不同算法在OTB100数据集中的跟踪性能
图9  本文算法对数据流中目标的跟踪效果
图10  不同算法在收集的数据流中的跟踪性能
图11  设定的目标行走路径
图12  机器人相机视角的跟随效果
图13  移动机器人跟随效果
图14  机器人寻找消失的目标
1 LIU X， ZHANG H T， FANG J X， et al. Intelligent shopping cart with quick payment based on dynamic target tracking［C］//International Conference on Cloud Computing & Intelligence Systems， Beijing， Aug. 17-19， 2016.
2 李光煌，罗辉，李万建，等.一种智能跟随高尔夫球杆车：201710808764.7［P］.2019-03-19.
LI G H， LUO H， LI W J， et al. An intelligent following golf club cart： 201710808764.7［P］. 2019-03-19.
3 姚瀚晨，彭建伟，戴厚德，等.基于改进弹簧模型的移动机器人柔顺跟随行人方法［J］.机器人，2021，43（6）：684-693. doi：10.13973/j.cnki.robot.200310
YAO H C， PENG J W， DAI H D， et al. A compliant human following method for mobile robot based on an improved spring model［J］. Robot， 2021， 43（6）： 684-693.
doi: 10.13973/j.cnki.robot.200310
4 徐胜，邢强，王浩.基于环形红外阵列的移动机器人自动跟随系统［J］.工程设计学报，2022，29（2）：247-253. doi：10.3785/j.issn.1006-754X.2022.00.020
XU S， XING Q， WANG H. Automatic following system of mobile robot based on annular infrared array［J］. Chinese Journal of Engineering Design， 2022， 29（2）： 247-253.
doi: 10.3785/j.issn.1006-754X.2022.00.020
5 FERRER G， ZULUETA A G， COTARELO F H， et al. Robot social-aware navigation framework to accompany people walking side-by-side［J］. Autonomous Robots， 2016， 41（4）： 775-793.
6 CHUNG W. The detection and following of human legs through inductive approaches for a mobile robot with a single laser range finder［J］. IEEE Transactions on Industrial Electronics， 2012， 59（8）： 3156-3166.
7 LING J， CHAI H， LI Y， et al. An outdoor human-tracking method based on 3D lidar for quadruped robots［C］//2019 IEEE 9th Annual International Conference on CYBER Technology in Automation， Control， and Intelligent Systems， Suzhou， Jul. 29-Aug. 2， 2019.
8 CHENG X， JIA Y， SU J， et al. Person-following for telepresence robots using web cameras［C］//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems， Macau， Nov. 3-8， 2019.
9 SUN T， NIE S， YEUNG D Y， et al. Gesture-based piloting of an aerial robot using monocular vision［C］//IEEE International Conference on Robotics & Automation， Singapore， May 29-Jun. 2， 2017.
10 KOIDE K， MIURA J. Identification of a specific person using color， height， and gait features for a person following robot［J］. Robotics and Autonomous Systems， 2016， 84： 76-87.
11 余铎，王耀南，毛建旭，等.基于视觉的移动机器人目标跟踪方法［J］.仪器仪表学报，2019，40（1）：227-235.
YU D， WANG Y N， MAO J X， et al. Vision-based object tracking method of mobile robot［J］. Chinese Journal of Scientific Instrument， 2019， 40（1）： 227-235.
12 万琴，李智，葛柱，等.基于改进YOLOX的移动机器人目标跟随方法［J/OL］.自动化学报，2023，49（7）：1558-1572.
WAN Q， LI Z， GE Z， et al. Target tracking method of mobile robot based on improved YOLOX［J/OL］. Acta Automatica Sinica， 2023， 49（7）： 1558-1572.
13 HENRIQUES J F， CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of tracking-by-detection with kernels［C］//Computer Vision–ECCV 2012： 12th European Conference on Computer Vision， Florence， Italy， Oct. 7-13， 2012.
14 HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（3）： 583-596.
15 DANELLJAN M， KHAN F S， HAGER G. Discriminative scale space tracking［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1561-1575.
16 BERTINETTO L， VALMADRE J， Henriques J F， et al. Fully-convolutional Siamese networks for object tracking［C］//Proceedings of the European Conference on Computer Vision. Amsterdam， The Netherlands： Springer， 2016： 850-865.
17 LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， Salt Lake City， Jun. 18-22， 2018.
18 LI B， WU W， WANG Q， et al. SiamRPN++： evolution of Siamese visual tracking with very deep networks［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition， Long Beach， Jun. 16-20， 2019.
19 Ultralytics. Yolov5［CP/OL］.（2022-11-22）［2023-06-01］. .
20 Computer Science Department at the University of Massachusetts. Welcome to the computer vision lab［DB/OL］.（2018-01-09）［2023-06-01］. .
21 VOIGTLAENDER P， LUITEN J， TORR P， et al. Siam R-CNN： visual tracking by re-detection［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition， Seattle， Jun. 14-19， 2020.
22 KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking-learning-detection［J］. IEEE Transactions on Software Engineering， 2011， 34（7）： 1409-1422.
23 DANELLJAN M， HÄGER G， KHAN F S， et al. Accurate scale estimation for robust visual tracking［C］//British Machine Vision Conference， Nottingham， Sept. 1-5， 2014.
24 DANELLJAN M， HAGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking［C］//2015 IEEE International Conference on Computer Vision， Santiago， Dec. 7-13， 2015.
[1] 汪建华,黄磊,石雨婷,张晓倩,祁良剑. 基于优化Hector-SLAM算法的机器人自主导航系统设计[J]. 工程设计学报, 2023, 30(6): 678-686.
[2] 徐胜,邢强,王浩. 基于环形红外阵列的移动机器人自动跟随系统[J]. 工程设计学报, 2022, 29(2): 247-253.
[3] 郑雨辰, 鞠锋, 王旦, 孙敬滨, 王亚明, 陈柏. 航空发动机叶片检测机器人的设计与控制研究[J]. 工程设计学报, 2021, 28(5): 625-632.
[4] 郑明军, 赵晨磊, 吴文江, 杨摄. 全地形移动机器人车身结构分析与优化[J]. 工程设计学报, 2021, 28(2): 195-202.
[5] 张洪, 邱晓天. 基于EtherCAT的ROS全向移动导航系统[J]. 工程设计学报, 2021, 28(2): 241-247.
[6] 王昕煜, 平雪良. 基于多传感器融合信息的移动机器人速度控制方法[J]. 工程设计学报, 2021, 28(1): 63-71.
[7] 赖森财, 任雯. 结构不对称条件下测速发电机的卡尔曼测速算法[J]. 工程设计学报, 2018, 25(6): 639-646.
[8] 黄梓亮, 方晨昊, 欧阳小平, 杨金江, 杨华勇. 基于多信息融合的下肢外骨骼机器人感知系统研究[J]. 工程设计学报, 2018, 25(2): 159-166.
[9] 阴贺生, 张秋菊, 宁萌. 全向移动机器人驱动轮同步转向机构设计[J]. 工程设计学报, 2018, 25(2): 230-236.
[10] 王慰军, 杨桂林, 张驰, 陈庆盈. 全向移动机器人驱动万向轮的设计与实现[J]. 工程设计学报, 2016, 23(6): 633-638.
[11] 张志杰, 牛占文, 何桢. 有色动态噪声下多变量自相关过程调整策略研究[J]. 工程设计学报, 2013, 20(6): 529-533.
[12] 华 亮, 冯 浩, 顾菊平, 张建生. 基于单超声波传感器的移动机器人沿墙导航策略[J]. 工程设计学报, 2008, 15(3): 206-212.
[13] 魏丕勇, 闫清东, 马越. 无人地面武器机动平台驱动系统设计与仿真研究[J]. 工程设计学报, 2005, 12(3): 152-158.
[14] 夏锋, 孙优贤. 自动导引车模型设计[J]. 工程设计学报, 2003, 10(2): 66-69.