基于成像声呐的水下多目标跟踪研究
Underwater multi-target tracking using imaging sonar
通讯作者:
收稿日期: 2018-03-7
Received: 2018-03-7
作者简介 About authors
荆丹翔(1990—),男,博士生,从事水声探测的研究.orcid.org/0000-0002-2080-2604.E-mail:
针对水下多目标跟踪问题,提出基于成像声呐的高效目标跟踪算法. 基于声呐的成像特点,针对声学图像中的每个像素点,建立基于信号强度的回波信号模型,提取图像中的个体目标. 采用基于序贯蒙特卡罗的概率密度假设(SMCPHD)滤波对各目标状态进行滤波,结合Auction航迹识别算法将滤波后的目标状态与已确定的航迹进行关联,实现多目标跟踪. 通过算法的仿真分析发现,该方法相对于基于数据关联型的多目标跟踪算法如联合概率数据关联(JPDA)算法、多假设跟踪(MHT)算法,大大提高了计算效率. 对采集的现场数据进行目标提取与跟踪,获得目标的跟踪轨迹.
关键词:
An efficient target tracking algorithm based on an imaging sonar was proposed to solve the problem of underwater multi-target tracking. The echo signal model based on signal intensity was established for each pixel point in the acoustic image according to the imaging features of the sonar in order to extract the individual target from the images. The sequential Monte Carlo probability hypothesis density (SMCPHD) filtering was applied to the target states. The Auction track recognition algorithm was used to associate the filtered target states with the identified tracks, so that the multi-target tracking was realized. The simulation analysis of the algorithm showed that the proposed method was more efficient than the multi-target tracking algorithms based on data correlation, eg. joint probabilistic data association (JPDA) and multiple hypothesis tracking (MHT). A field experiment was conducted to collect the sonar data. The tracking trajectories of all the targets were obtained after the target extraction and tracking.
Keywords:
本文引用格式
荆丹翔, 韩军, 徐志伟, 陈鹰.
JING Dan-xiang, HAN Jun, XU Zhi-wei, CHEN Ying.
成像声呐可以在昏暗或浑浊水域中生成几乎等同于光学影像质量的高清晰度图像,因此被广泛用于各类水下作业,例如渔业管理、结构检测、管道泄漏、水底探测、水下搜寻、水下安检等[1-3]. 通过成像声呐获取水下鱼群的声学影像,从影像中提取个体目标进行多目标跟踪研究是现在渔业的重要研究方向,既可以实现目标计数,又可以观测鱼类行为,这将为渔业资源评估提供技术支撑[4]. 在水下多目标跟踪中,经常面临观测量不确定、探测声呐分辨力有限、目标密集及低门限检测等问题,导致跟踪效果不佳. Handegard等[5]通过成像声呐的拖网作业对水下目标进行观测,利用
针对该问题,本文提出基于成像声呐的水下多目标跟踪方法. 通过定点采集水下鱼群信息,建立基于信号强度的目标模型,提取个体目标;采用基于序贯蒙特卡罗的概率密度假设滤波,结合Auction航迹识别算法(sequential Monte Carlo probability hypothesis density combined with Auction track recognition,SMCPHD-Auction)对水下多目标进行跟踪,通过仿真分析该算法的可行性,开展现场试验.
1. 多目标跟踪算法
1.1. 目标提取
图 1
声呐图像中每个像素点代表回波信号的强度,对每个像素点建立信号强度模型:
式中:
由于背景的强度低于目标的强度,目标的强度可以判决为
式中:
1.2. 基于SMCPHD的滤波
基于数据关联的多目标跟踪算法,例如联合概率数据关联(joint probabilistic data association,JPDA)、多假设跟踪(multiple hypothesis tracking,MHT)等,该算法的计算量随着目标数、量测数呈指数增长,因此当水下目标密集、杂波较多时,多目标跟踪的计算量呈爆炸式增加[12-14]. 为了提高目标跟踪的效率、降低计算量,该研究采用基于随机集理论的目标跟踪算法,即利用概率假设密度(probability hypothesis density,PHD)滤波算法实现目标状态估计与目标数量估计,从而避免数据关联所需的庞大计算,其中PHD滤波器利用粒子滤波实现[15].
首先建立多目标跟踪系统的动态模型:
式中:
假设
式中:
1)初始化. 当
2)预测. 当
对应粒子的权值为
式中:
其中
3)更新. 当系统获得最新观测集合后,依据预测步骤得到粒子集合
式中:
4)重采样. 计算粒子集合的权值累加和,即目标个数:
判断粒子集合
5)状态估计输出.
通过加权准则确定PHD函数:
对所有粒子权值求和,获得目标数目估计值:
对于
1.3. 航迹识别算法
图 2
假设
式中:
其中
航迹识别算法的具体过程如图3所示,计算过程如下. 1)计算关联矩阵
图 3
4)判断
如果
2. 算法仿真与评估
为了方便算法仿真,假设所有目标都在
式中:
目标的量测方程为
式中:
假设共有3个目标,各目标的初始位置与出现、消失情况如表1所示,其中目标1在初始时刻出现,目标2和目标3是新生目标.
表 1 各目标运动参数
Tab.1
目标 | 起始位置/m | 初始速度/(m∙s−1) | 出现时间/s | 消失时间/s |
目标1 | (0, 0) | (3, −3) | 1 | 20 |
目标2 | (20, 30) | (3, −3) | 15 | 40 |
目标3 | (30, −40) | (3, 3) | 35 | 50 |
图 4
图 5
图 6
基于SMCPHD滤波算法获得的目标状态估计值与真实目标状态量的偏差可以通过Wasserstein距离进行定量评估. 假设真实目标状态集为
式中:
图 7
对提取的目标状态集,采用Auction航迹识别算法进行航迹识别,分别标示出轨迹1、2和3,结果如图8所示.
图 8
为了定量比较提出的多目标跟踪算法与基于数据关联的目标跟踪算法的效率,开展数据仿真. 设定有效目标数为5,蒙特卡罗仿真次数为50步,每个时刻的量测平均数为20,SMCPHD-Auction算法中粒子数为1 000,MHT算法中假设生成树深度为3,利用Matlab进行仿真计算. 仿真环境如下:CPU inter(R) Core(TM) i5-4590 CPU 3.3 GHz,内存为16 GB,MATLAB-2015(b). JPDA和MHT相对于SMCPHD-Auction的仿真运行时间比分别为2.1和8.3.
3. 试验与数据处理
3.1. 数据采集
图 9
表 2 DIDSON的配置参数
Tab.2
参数 | 参数值 | 参数 | 参数值 | |
发射频率 | 1.8 MHz | 接收增益 | 20 dB | |
波束个数 | 96 | 声速 | 1 457 m/s | |
采样点 | 512 | 倾斜角 | 10° | |
采样频率 | 37.3 kHz | 帧率 | 13帧/s |
3.2. 数据处理
图 10
利用SMCPHD-Auction算法对多目标进行跟踪,记录每个目标的运动轨迹. 表3记录了连续6帧图像中11个目标的位置,其中的位置
表 3 各目标在声呐图中的位置
Tab.3
坐标参数 | t0 | t1 | t2 | t3 | t4 | t5 |
ρ1/m | 7.71 | 7.66 | 7.59 | 7.48 | 7.37 | 7.25 |
θ1/rad | 1.49 | 1.53 | 1.57 | 1.61 | 1.66 | 1.70 |
ρ2/m | 7.51 | 7.44 | 7.35 | 7.13 | 7.05 | 6.90 |
θ2/rad | 1.51 | 1.57 | 1.59 | 1.61 | 1.64 | 1.66 |
ρ3/m | 7.42 | 7.31 | 7.23 | 7.13 | 7.03 | 6.83 |
θ3/rad | 1.46 | 1.49 | 1.53 | 1.57 | 1.60 | 1.64 |
ρ4/m | 7.36 | 7.29 | 7.17 | 7.03 | 6.97 | 6.82 |
θ4/rad | 1.45 | 1.47 | 1.51 | 1.56 | 1.59 | 1.63 |
ρ5/m | 6.9 | 6.82 | 6.72 | 6.66 | 6.55 | 6.47 |
θ5/rad | 1.48 | 1.54 | 1.57 | 1.62 | 1.69 | 1.71 |
ρ6/m | 6.94 | 6.58 | 6.51 | 6.41 | 6.42 | 6.38 |
θ6/rad | 1.44 | 1.49 | 1.52 | 1.57 | 1.64 | 1.72 |
ρ7/m | 6.33 | 6.33 | 6.35 | 6.41 | 6.50 | 6.57 |
θ7/rad | 1.45 | 1.49 | 1.53 | 1.56 | 1.59 | 1.62 |
ρ8/m | 6.17 | 6.17 | 6.2 | 6.25 | 6.34 | 6.41 |
θ8/rad | 1.44 | 1.49 | 1.51 | 1.55 | 1.58 | 1.60 |
ρ9/m | 4.69 | 4.78 | 4.84 | 5.00 | 5.07 | 5.17 |
θ9/rad | 1.52 | 1.54 | 1.57 | 1.60 | 1.62 | 1.63 |
ρ10/m | 4.39 | 4.54 | 4.75 | − | − | − |
θ10/rad | 1.50 | 1.52 | 1.60 | − | − | − |
ρ11/m | 3.17 | 3.26 | 3.38 | 3.44 | 3.48 | 3.61 |
θ11/rad | 1.49 | 1.51 | 1.56 | 1.63 | 1.66 | 1.67 |
图 11
由于每一个目标从出现到消亡会跨越若干帧图像,将不同帧图像中同一目标的位置依次用线段连接,并显示在同一幅图像中,是这个目标的运动轨迹. 为了显示所有目标的轨迹,需要保存目标在不同帧中出现的位置,并用不同颜色将不同目标轨迹进行标识. 为了使不同轨迹对应不同颜色,每条轨迹需要有一个颜色标记位,当新目标出现的时候,系统自动为该目标分配一种新颜色;当一个目标消亡时,系统回收该目标的颜色,这样可以保证同一帧图像中不同目标对应不同颜色,不同帧图像中,同一目标对应同样的颜色. 将表3中各目标的坐标依次连接,如图12(a)所示. 为了更好地展示不同时刻下多目标的跟踪轨迹,利用Visual Studio(VS)中的Microsoft Foundation Classes(MFC)模块结合Open Graphics Library(OpenGL),将连续多帧图像堆叠在同一空间中,不同的目标轨迹将呈现在三维空间中,如图12(b)所示. 此处不是真正的“三维空间”跟踪轨迹,仅仅是将原来堆叠在二维平面的6帧声呐图拉伸成三维,即各条轨迹不是由
图 12
图 12 跟踪轨迹在二维平面及三维空间的显示
Fig.12 Tracking trajectories shown in two-dimensional plane and three-dimensional space
对于试验结果的验证,由于数据采集于人工渔场,声呐探测范围宽度约为10 m,深度约为4 m,而光学摄像头在水下很难捕捉到这么大范围的影像信息,因此可以在室内水池或水族馆等光线充足、背景简单的环境中利用光学摄像头进行对比试验.
4. 结 语
提出基于声学信号强度模型的目标提取算法,对成像声呐采集的水下数据进行个体目标提取. 采用SMCPHD滤波器对目标状态与数量进行估计,利用Auction航迹识别算法关联当前时刻目标状态与已确定的航迹. 通过仿真发现,利用提出的水下多目标跟踪算法不仅可以准确获取目标状态与数量估计,而且大大降低了数据运算量,提高了跟踪效率. 采集试验场数据进行处理分析,利用OpenGL绘制出目标随时间变化的轨迹,真正实现了多目标跟踪.
参考文献
Autonomous detection, following and mapping of an underwater chain using sonar
[J].
Real-time sonar image enhancement for AUV-based acoustic vision
[J].
Acoustic beam profile-based rapid underwater object detection for an imaging sonar
[J].DOI:10.1007/s00773-014-0294-x [本文引用: 1]
A method to estimate the abundance of fish based on dual-frequency identification sonar (DIDSON) imaging
[J].DOI:10.1007/s12562-017-1111-3 [本文引用: 1]
Automated tracking of fish in trawls using the DIDSON (dual frequency identification SONar)
[J].DOI:10.1093/icesjms/fsn029 [本文引用: 1]
Automated acoustic method for counting and sizing farmed fish during transfer using DIDSON
[J].
Detecting a nearshore fish parade using the adaptive resolution imaging sonar (ARIS): an automated procedure for data analysis
[J].
基于单摄像机视频的鱼类三维自动跟踪方法初探
[J].
Preliminary studies on an automated 3D fish tracking method based on a single video camera
[J].
A class of near optimal JPDA algorithms
[J].DOI:10.1109/7.272272
Multiple hypothesis tracking for multiple target tracking
[J].
The Gaussian mixture probability hypothesis density filter
[J].DOI:10.1109/TSP.2006.881190 [本文引用: 1]
DC motor fault analysis with the use of acoustic signals, Coiflet wavelet transform, and K-nearest neighbor classifier
[J].
An Auction-based spectrum leasing mechanism for mobile macro-femtocell networks of IoT
[J].DOI:10.1109/JSEN.2016.2616969 [本文引用: 1]
/
〈 |
|
〉 |
