对大视场环境信息的快速获取与理解,是微小型移动机器人视觉导航与避障的核心[1-5]。针对目标运动速度和状态的快速判断是机器视觉系统实现动目标快速避障和拦截的基础。复眼生物在运动过程中具有快速识别、避害等特性[6-8],这主要得益于复眼生物的多通道视觉系统[9]所具有的体积小、视场大、灵敏度高等特征[9-10]。对昆虫复眼多通道视觉系统的研究[11],可为提升微小型移动机器人视觉系统的快速识别及响应特性提供参考。
在大视场的机器视觉系统中,通过图像传感器阵列采集多通道的图像信息,再经过后续算法实现相关定位[12]时,系统不具有较高实时性[13];采用微透镜阵列结合单CCD(charge coupled device,电荷耦合器件)的模式时,系统成像质量较低[14]。本文采用灵敏度高、信息量小的光电三极管作为最基本的检测单元,检测目标光流特性,实现较高实时性的动目标运动检测。
昆虫复眼大视场对动目标快速识别、感知功能[15],研制了一套多通道动目标视觉测速系统,该系统能够模拟目标不同的运动状态,且可实现仿复眼多通道信号的同步采集以及对目标运动参数的快速判断。
1 多通道视觉测速系统的构成多通道视觉测速系统由目标运动控制模块和多通道数据同步采集分析模块组成,其结构如图 1所示。目标运动控制模块由运动控制器、直线导轨及步进电机等组成,用于实现目标不同形式的运动控制;多通道数据同步采集分析模块由光电传感器阵列、接线端子及数据采集卡组成,用于多通道数据采集及基于信号特征的目标测速。
![]() |
图 1 多通道视觉测速系统结构示意图 Fig.1 Structure diagram of multi-channel visual velocity measurement system |
多通道视觉测速系统程序端主要有目标运动控制和数据采集处理两个模块,其前面板如图 2所示。采用LabVIEW串口通讯方式实现动目标的运动控制;通过PCI接口技术实现研华PCI-1747U多通道数据采集卡的信号同步采集[16]。在数据分析时,采用初级运动检测模型及测速算法实现目标速度检测。
![]() |
图 2 多通道视觉测速系统程序前面板 Fig.2 Program front panel of multi-channel visual velocity measurement system |
采用研华PCI-1747U数据采集卡进行目标运动信号采集,通过LabVIEW调用DAQ助手[17]对采样方式、起始通道、总通道数、采样频率和采样数等参数进行配置,采用One Buffered AI采样方式和While循环结构以保证采集数据的完整性。多通道数据采集模块程序流程如图 3所示。
![]() |
图 3 多通道数据采集模块程序流程图 Fig.3 Program flow chart of multi-channel data acquisition module |
为保证每个传感器在相同光环境下的输出一致性,同时减少电路和传感器的影响,需要对传感器进行标定:将传感器线性排列,采集相同光照强度下的输出信号,经低通滤波得到第i号通道的信号Soriginali。取无光照时第i号通道的输出信号的均值作为该通道初始值Sinitiali。取1号通道作为该发光强度照射下的标准输出, 将该通道输出信号最大值Smax1与第i号通道输出信号最大值Smaxi的比值Ki作为各传感器的比例系数,得到结果Sfinali,可表述为:
$ \left\{ {\begin{array}{*{20}{c}} {{K_i} = {S_{\max 1}}/{S_{\max i}}\;\;\;\;\;\;\;\;\;\;\;\;\;} \\ {{S_{{\text{final}}}}_i = \left( {{S_{{\text{original}}i}}-{S_{\operatorname{int} {\text{ial}}i}}} \right) \times {K_i}} \end{array}} \right. $ | (1) |
多通道数据采集模块程序框图如图 4所示。
![]() |
图 4 多通道数据采集模块程序框图 Fig.4 Block diagram of multi-channel data acquisition module |
在LabVIEW环境中,采用VISA(virtual instrument software architecture)[18]实现上位机与雷赛SMC3380运动控制器之间的串口通讯。动目标运动控制模块程序流程如图 5。
![]() |
图 5 动目标运动控制模块程序流程图 Fig.5 Program flow chart of moving target motion control module |
串口通讯步骤为:
1) 通过VISA配置串口函数并设置通讯参数(如串口号、波特率、数据位、停止位和校验位等);调用子Ⅵ,将前面板需设置的运动参数(如电机执行模式、总行程、速度、加速和减速行程等)转换为十六进制控制指令。
2) 使用VISA写入函数将字符串指令写入串口对象,实现上位机对运动控制器的控制,通过步进电机实现目标在平面内的运动控制。
3) VISA读取函数将运动控制器中有关运动状态的信号反馈到上位机,当控制器收到并执行控制指令时返回的状态值为“B100”,当控制指令执行完成返回的状态值为“B000”,通过返回状态值的不同,实现数据保存的启停。动目标运动控制模块程序框图如图 6所示。
![]() |
图 6 动目标运动控制模块程序框图 Fig.6 Block diagram of moving target motion control module |
目标运动速度检测包括目标的运动方向与速度大小。根据Rechardt提出的初级运动检测器模型[19]检测动目标运动方向,EMD模型如图 7(a)所示,输出信号Y可表示为:
$ Y = {X_{1t}}{X_2}-{X_{2t}}{X_1} $ | (2) |
![]() |
图 7 EMD模型及检测器输入输出信号关系 Fig.7 EMD model and the relationship between input and output signal of detector |
式中:X1和X2为两相邻传感器Pa和Pb的输入信号; X1t和X2t为输入信号X1和X2延迟单元延迟时间t后的信号。
模型的输出信号Y存在2种输出形式,且与运动方向相关,如图 7(b)所示。在运动方向检测中,采用LabVIEW中的逐点波峰检测函数检验波峰或波谷,其中设定波峰阈值为TH,波谷阈值为-TH,输出结果为OUT1和OUT2。若OUT1输出为1,则表示检测到波峰(即目标沿规定正方向移动);若OUT2输出为1,则检测到波谷(即目标沿规定反方向移动);当OUT1和OUT2均为零时,表示没有检测到目标运动。多目标运动方向检测程序模型框图如图 8所示。
![]() |
图 8 动目标运动方向检测程序框图 Fig.8 Block diagram of moving target motion direction detection |
对于目标运动速度大小的检测[20],可表示为:
$ {v_{\text{s}}} = \frac{{\Delta \varphi }}{{\Delta t}} $ | (3) |
式中:Δφ为相邻传感器间隔距离;Δt=tx2-tx1,tx1和tx2为相邻传感器检测到波峰或波谷的时间,由逐点波峰检测函数获得。
根据EMD模型以及对应的速度计算公式,动目标运动速度检测程序框图如图 9所示。
![]() |
图 9 基于EMD模型的动目标运动速度检测程序框图 Fig.9 Block diagram of moving target motion velocity detection based on EMD model |
在动目标检测程序中,结合EMD模型,采用LabVIEW中的波峰检测函数实现动目标运动方向判断;采用LabVIEW波峰检测函数结合时间函数实现目标运动速度大小计算。
3 实验数据与分析 3.1 动目标的运动速度检测将10个光电传感器从左向右依次排列,间隔Δφ=6.6 mm,设置传感器编号为1,2,…,10,以其中相邻的1, 2号传感器信号作为EMD模型的输入信号X1和X2,设定TH的值为3。当目标从左向右运动时,1,2号传感器的输出信号和EMD模型的输出信号Y1如图 10(a)所示;当目标从右向左运动时,1,2号传感器的输出信号和EMD模型的输出信号Y2如图 10(b)所示。
![]() |
图 10 目标运动时1, 2号传感器和EMD模型的输出信号 Fig.10 The output signal of No. 1 and No. 2 sensor and EMD model in the target movement |
针对速度大小的检测,在程序中,设置数据采集卡采样频率为1 000 Hz,采样数为100,即相邻采集数据之间的时间间隔为10 ms。在运动平台中,设置控制器,实现动目标以速度v0匀速移动,采用多通道的传感器信号采集系统采集动目标信号,运行目标运动速度检测程序,获得动目标移动速度vs。经过多次实验,结果如图 11。
![]() |
图 11 基于阵列传感器的动目标测速结果 Fig.11 Moving target speed results based on sensor |
实验结果表明,结合EMD模型,在LabVIEW程序中,采用波峰检测函数,可实现动目标运动方向的判断与速度大小的检测, 其中目标运动速度的检测可实现绝对误差小于±2 mm/s,相对误差小于±3%,具有较高的检测精度。
3.2 动目标的运动状态检测对于目标的运动分析,在检测目标运动速度的同时,还需检测目标的运动状态。在测试平台上,采用线阵传感器对目标进行匀速、匀加速直线运动状态检测,采集信号经预处理后如图 12(a)和12(b)所示。
![]() |
图 12 不同运动状态下阵列传感器的输出信号与时间间隔 Fig.12 Output signals and time intervals of array sensor in different motion states |
经多次实验,获得多组匀速运动与匀加速运动的信号。运行波峰检测程序,获得相邻传感器波峰间的时间间隔Δti(Δti=ti+1-ti,i=1, 2, …, 9);检测结果如图 12(c)和12(d)所示。Δti的时间曲线符合动目标匀速、匀加速的运动特性。由于相邻传感器的视轴间距相等,当两相邻传感器的Δti相等时,目标呈匀速运动状态;当Δti呈线性递增(或递减)时,目标处于匀变速运动状态。根据图 12中Δti时间曲线分析可知,Δti的时间曲线符合动目标匀速、匀加速的运动特性。
实验证明该平台可实现目标匀速、匀加速运动控制,同时可实现多通道信号同步采集,以及实现视觉传感器阵列对目标运动状态的检测。
4 结论通过软硬件设计,多通道视觉测速系统能够实现动目标二维运动控制以及基于LabVIEW的多通道信号同步采集、分析与处理。基于复眼生物的动目标快速检测功能,通过EMD与波峰检测测速程序的集成,实现了对目标运动速度及运动状态的检测。在速度检测方面,实现了最大速度为80 mm/s的动目标检测(绝对误差小于±2 mm/s,相对误差小于±3%);能够实现最大加速度为20 mm/s2的匀加速运动状态的运动判断。实验证明,系统检测精度高,运行稳定,能够达到动目标运动信息的快速检测。
对于目标的三维空间运动控制而言,在运动控制中采用多轴控制器;在传感器检测方面,基于EMD模型设计适于动目标球面检测的算法,实现目标的空间运动模拟与传感器对空间动目标的运动检测。
[1] |
吴俊君, 管贻生, 张宏, 等.
仿人机器人视觉导航中的实时性运动模糊探测器设计[J]. 自动化学报, 2014, 40(2): 267–276.
WU Jun-Jun, GUAN Yi-Sheng, ZHANG Hong, et al. A real-time method for motion blur detection in visual navigation with a humanoid robot[J]. Acta Automatica Sinica, 2014, 40(2): 267–276. |
[2] |
刘溯奇, 郝卫东, 林添成, 等.
基于嵌入式的视觉巡线机器人系统设计[J]. 工程设计学报, 2008, 15(2): 94–96.
LIU Su-qi, HAO Wei-dong, LIN Tian-cheng, et al. Design of visual robot system to detect lines based on embedded technology[J]. Chinese Journal of Engineering Design, 2008, 15(2): 94–96. |
[3] | NITSCHE M, MEJAIL M. Hybrid vision-based navigation for mobile robots in mixed indoor/outdoor environments[J]. Pattern Recognition Letters, 2015, 53(C): 118–128. |
[4] | SEBI S A, SUNNY D. Obstacle avoidance in mobile robotic sensors and establishing connection[J]. Procedia Technology, 2016, 25: 364–371. DOI:10.1016/j.protcy.2016.08.119 |
[5] | FREW E W, SENGUPTA R. Obstacle avoidance with sensor uncertainty for small unmanned aircraft (Ⅰ)[J]. IEEE Conference on Decision and Control, 2004, 1: 614–619. |
[6] | ROMANO D, BENELLI G, STEFANINI C. Escape and surveillance asymmetries in locusts exposed to a Guinea fowl-mimicking robot predator[J]. Scientific Reports, 2017, 7(1): 12825. DOI:10.1038/s41598-017-12941-z |
[7] | ALDRICH J R, ZHANG Q H. Chemical ecology of neuroptera[J]. Annual Review of Entomology, 2016, 61(1): 197–218. DOI:10.1146/annurev-ento-010715-023507 |
[8] | SHIMODA M, HONDA K I. Insect reactions to light and its applications to pest management[J]. Applied Entomology & Zoology, 2013, 48(4): 413–421. |
[9] | LOWNE B T. The compound vision and morphology of the eye in insects[J]. Nature, 1885, 31: 433. |
[10] |
雷卫宁, 郭云芝, 高挺挺, 等.
基于仿生复眼的大视场探测系统结构研究[J]. 光学与光电技术, 2016, 14(3): 62–66.
LEI Wei-ning, GUO Yun-zhi, GAO Ting-ting, et al. Study on the structure of large field view detection system based on bionic compound eye[J]. Optics & Optoelectronic Technology, 2016, 14(3): 62–66. |
[11] | HORRIDGE G A. The compound eye of insects[J]. Scientific American, 1977, 237(1): 108–120. DOI:10.1038/scientificamerican0777-108 |
[12] |
刘尚武, 蔡延光, 戚远航, 等.
大场景视频协同监控系统的研究与实现[J]. 工业控制计算机, 2017, 30(2): 60–62.
LIU Shang-wu, CAI Yan-guang, QI Yuan-hang, et al. Cooperative video monitoring system of large scene[J]. Industrial Control Computer, 2017, 30(2): 60–62. |
[13] |
梁高升. 基于多摄像头的全景图像拼接系统[D]. 济南: 济南大学信息科学与工程学院, 2016: 49-50.
LIANG Gao-sheng. Panoramic image mosaic system based on multi camera[D]. Jinan: Jinan University, School of Information Science and Engineering, 2016: 49-50. http://www.doc88.com/p-0307410367067.html |
[14] | WANG Qing-bin, ZOU Wei, ZHANG Feng, et al. Binocular initial location and extrinsic parameters real-time calculation for bionic eye system[C]//2014 11th World Congress on Intelligent Control and Automation, Shenyang, Jun. 29-Jul. 4, 2014. http://ieeexplore.ieee.org/document/7052690/ |
[15] | MA Meng-chao, GAO Xi-cheng, ZHANG Jin, et al. Design of a compound eye system with planar micolens array and curved folded mirrors[C]//The 8th SPIE International Symposium on Advanced Optical Manufacturing and Testing Technologies, Suzhou, Apr. 26-29, 2016. http://adsabs.harvard.edu/abs/2016SPIE.9684E..0FM |
[16] | RICK B, TAQI M, MATT N. LabVIEW advanced programming techniques[J]. Boca Raton:CRC Press, 2006: 193–195. |
[17] |
孙卓辉, 章大海, 王振波, 等.
基于研华DAQNavi的LabVIEW虚拟仪器设计[J]. 实验室研究与探索, 2016, 35(6): 71–73.
SUN Zhuo-hui, ZHANG Da-hai, WANG Zhen-bo, et al. Virtual instrument system based on LabVIEW and Advantech DAQNavi[J]. Laboratory Research and Exploration, 2016, 35(6): 71–73. |
[18] |
魏义虎, 陈雷.
基于LabVIEW-VISA方式的串口通信研究[J]. 电子设计工程, 2015, 23(24): 129–131.
WEI Yi-hu, CHEN Lei. Serial port communication based on LabVIEW-VISA[J]. Electronic Design Engineering, 2015, 23(24): 129–131. DOI:10.3969/j.issn.1674-6236.2015.24.039 |
[19] | BASCH M E, CRISTEA D G, TIPONU V, et al. Elaborated motion detector based on Hassenstein-Reichardt correlator model[J]. Latest Trends on Systems, 2010, 1: 192–195. |
[20] |
左兆陆, 郑宾, 甘潦, 等.
一种红外光幕测速系统的设计与应用[J]. 工程设计学报, 2011, 18(2): 149–152.
ZUO Zhao-lu, ZHENG Bin, GAN Liao, et al. A design and application method of speed test system based on infrared light screen[J]. Chinese Journal of Engineering Design, 2011, 18(2): 149–152. |