浙江大学学报(工学版), 2023, 57(11): 2170-2178 doi: 10.3785/j.issn.1008-973X.2023.11.004

计算机技术

基于联合概率数据融合的多目标车辆安全跟随

章军辉,, 郭晓满, 王静贤, 付宗杰, 陈大鹏

1. 常熟理工学院 电气与自动化工程学院,江苏 苏州 215500

2. 无锡物联网创新中心有限公司,江苏 无锡 214029

3. 江苏省物联网创新中心昆山分中心,江苏 苏州 215347

Safety-enhanced multi-vehicle tracking based on joint probability data association

ZHANG Jun-hui,, GUO Xiao-man, WANG Jing-xian, FU Zong-jie, CHEN Da-peng

1. School of Electrical and Automatic Engineering, Changshu Institute of Technology, Suzhou 215500, China

2. Wuxi Internet of Things Innovation Center Co. Ltd, Wuxi 214029, China

3. Kunshan Department, Jiangsu Internet of Things Innovation Center, Wuxi 215347, China

收稿日期: 2022-11-15  

基金资助: 江苏省博士后科研资助计划(2020Z411)

Received: 2022-11-15  

Fund supported: 江苏省博士后科研资助计划(2020Z411)

作者简介 About authors

章军辉(1985—),男,高级工程师,博士,从事车路协同智能驾驶研究.orcid.org/0000-0001-5885-4314.E-mail:zjh34@mail.ustc.edu.cn , E-mail:zjh34@mail.ustc.edu.cn

摘要

为了实现密集杂波环境下多目标车辆安全跟随,提出多源传感器数据融合的多目标车辆跟踪算法与纵向避撞预警策略. 针对多源传感器观测序列因采样周期、采样起始时刻、通信时延差异等引起的时间异步,以及空间上存在不同维度、不同坐标系的问题,给出时间配准与空间融合的软同步方法. 采用基于改进的联合概率数据关联(JPDA)的单一传感器多目标状态估计算法对目标轨迹进行滤波估计,能够在保证有效关联的同时,在一定程度上降低计算复杂度. 基于多源传感器联合概率数据融合(MSJPDA)序贯滤波算法对目标的运动状态进行序贯更新,将最后一级的输出作为融合中心的最终状态估计,再根据威胁估计模型对追尾危险的发展态势进行评估与分级. 实车试验与仿真结果验证了该算法的可行性与有效性.

关键词: 智能车辆 ; 多源数据融合 ; 多车辆跟踪 ; 威胁估计 ; 联合概率数据关联

Abstract

A novel multi-sensor data fusion based multi-vehicle tracking algorithm and a longitudinal collision warning strategy were proposed, in order to achieve the safety-enhanced multi-vehicle tracking in dense clutter environments. The time registration and spatial fusion approaches were introduced, with respect to the problems of time asynchronous sampling sequences of multi-source sensors caused by nonidentity of sampling periods, sampling start-up time and inherent communication time delay, as well as different coordinate systems and different space dimensions. The single sensor multi-object state estimation based on the improved joint probability data association (JPDA) was utilized to estimate the multi-object trajectory, which not only ensured the effective association, but also could reduce the computational complexity to a certain extent. Furthermore, the multi-sensor joint probability data association (MSJPDA) sequential filtering algorithm was employed to update the motion state of targets serially, and the output of the last sensor was utilized as the state estimation of the fusion center, by which the situation of longitudinal collision could be well-estimated. Results of comparative experiment demonstrated the feasibility and effectiveness of the tracking algorithm proposed.

Keywords: intelligent vehicle ; multi-source data fusion ; multi-vehicle tracking ; threat estimation ; joint probabilistic data association

PDF (2042KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

章军辉, 郭晓满, 王静贤, 付宗杰, 陈大鹏. 基于联合概率数据融合的多目标车辆安全跟随. 浙江大学学报(工学版)[J], 2023, 57(11): 2170-2178 doi:10.3785/j.issn.1008-973X.2023.11.004

ZHANG Jun-hui, GUO Xiao-man, WANG Jing-xian, FU Zong-jie, CHEN Da-peng. Safety-enhanced multi-vehicle tracking based on joint probability data association. Journal of Zhejiang University(Engineering Science)[J], 2023, 57(11): 2170-2178 doi:10.3785/j.issn.1008-973X.2023.11.004

随着汽车保有量的逐年增加、城市交通规模的快速扩张以及新型城镇化进程的全面推进,拥堵、安全、污染等已成为全球性交通难题[1]. 以电动化-智能化-网联化-共享化融合发展为趋势的汽车“新四化”建设,将会重塑未来汽车行业格局,助推交通环境优化,加速智慧出行服务. 感知层是智能车辆与道路环境交互的关键,利用多源传感器融合技术精准辨识车辆周围环境,能够为决策规划层提供更可靠的决策依据,因而多源传感器协同融合感知技术一直是目标跟踪领域研究的热点难点[2-4].

目标跟踪包括单目标与多目标跟踪,其中密集杂波环境下数据有效关联是多目标跟踪问题研究的关键. 数据关联的目的是实现相关波门内各候选回波与已知航迹的匹配. 经典的单一传感器数据关联方法主要包括最近邻域法[5]、概率密度数据关联(probability data association, PDA)[6]、联合概率数据关联[7-9]、多假设追踪[10-11]等. 其中,PDA适用于稀疏环境下单目标跟踪,通过对落入波门内的各个候选回波进行组合加权,得到一个等效回波,再利用该等效回波对目标状态进行更新. 当回波落入波门相交区域时,数据关联问题将变得复杂许多,须考虑各个回波的来源情况. 联合概率数据关联(joint probability data association, JPDA)通过计算各有效回波与其可能的源目标相关联的概率来解决多目标数据关联问题,再利用关联概率对当前点迹进行加权平均进而修正航迹,不过当目标较为密集或回波密度较大时,该算法计算量剧增,甚至会出现“组合爆炸”的问题. 为了表示有效回波与各目标跟踪门的复杂关系,Bar-Shalom引入确认矩阵的概念[12]. 进一步,为了提高JPDA算法的实时性,多种次优算法相继被提出. 改进思路主要集中在:1)对确认矩阵进行降维处理,如文献[7]先通过Cheap JPDA来计算关联概率,再通过阈值处理方法对聚概率矩阵进行重构,以降低优化算法复杂度;2)间接计算关联概率,如文献[13] 采用最大熵模糊聚类方法来间接计算目标与量测之间的关联概率,较好地解决了JPDA算法随着目标数、回波数的增加计算量呈指数趋势增长的组合问题.

多源数据融合[4]是多信源、多层次的处理过程. 按照融合系统结构来分,主要分为集中式、分布式、混合式. 按照融合的层级来分,又分为数据级融合、特征级融合、决策级融合. 按照处理方法来分,基本上可以概括为概率统计类、人工智能类. 在面向智能驾驶的多源数据关联与融合系统中,车侧或路侧各类传感器所提供的多源信息往往是不同时空、不同维度、不同数据结构的,因此,如何提高源自各传感器的量测数据关联的可靠程度,如何对时空上互补或冗余的信息进行多方位、多层次的优化处理,以提高信息的综合利用效率,都是非常值得研究与探讨的问题.

为了实现多源传感器量测数据的有效关联与车辆安全跟随,提出多目标车辆跟踪算法与纵向避撞预警策略. 针对多源传感器观测序列的时间异步、空间不同维度不同坐标系的问题,给出时间配准与空间融合方法;采用改进的JPDA多目标状态估计算法对目标轨迹进行滤波估计,降低计算复杂度,并采用序贯滤波设计,增强融合感知的鲁棒性;综合车辆跟驰过程中的诸多实际因素,设计威胁估计模型;通过实车试验对该算法的跟踪效果进行验证与探讨.

1. 多源异构传感器多目标观测模型

1.1. 数学建模

在多车道多目标车辆跟踪(multi-lane multi-vehicle tracking, ML-MVT)过程中,感兴趣目标(object of interest, OOI)是位于本车道与邻车道且离本车最近的前方目标车辆,这是由于其相对自车来说,危险系数较高,引发车辆追尾的隐患相对较大.

1.1.1. 状态方程

图1所示为ML-MVT问题的坐标系建立. 假设雷达坐标系与世界坐标系的二维水平面平行,并忽略目标车辆的法向运动. 令第i个目标车辆k时刻的纵向距离为 $ {d_{i,y}}(k) $,纵向速度为 $ {v_{i,y}}(k) $,横向距离为 $ {d_{i,x}}(k) $,横向速度为 $ {v_{i,x}}(k) $,以 ${{\boldsymbol{x}}_i}(k) = {[\,{d_{i,{{y}}}}(k),\,\,{v_{i,{{y}}}}(k),\,\,{d_{i,{{x}}}}(k),\,\,{v_{i,{{x}}}}(k)]^{\rm{T}}}$作为状态向量, ${\boldsymbol{y}}_i^\xi (k) = {[\,{d_{i,{{y}}}}(k),\,\,{d_{i,{{x}}}}(k)]^{\rm{T}}}$作为模型预测输出,建立多源异构传感器多目标观测模型的离散状态空间方程:

图 1

图 1   多车道多目标车辆跟踪问题的坐标系建立

Fig.1   Coordinate system for multi-lane multi-vehicle tracking


$ \left. \begin{gathered} {{\boldsymbol{x}}_i}(k+1|k) = {{\boldsymbol{F}}_i}{{\boldsymbol{x}}_i}(k)+{{\boldsymbol{w}}_i}(k)+{{\boldsymbol{C}}_i}, \\ {\boldsymbol{y}}_i^\xi (k) = {{\boldsymbol{H}}^\xi }{{\boldsymbol{x}}_i}(k)+{{\boldsymbol{v}}^\xi }(k). \\ \end{gathered} \right\} $

式中:下标i表示第i个目标车辆,上标 $ \xi $表示第 $ \xi $个传感器, $ {{\boldsymbol{x}}_i}(k+1|k) $表示基于k时刻对k+1时刻第i个目标的状态预测, $ {\boldsymbol{y}}_i^\xi (k) $为第 $ \xi $个传感器对k时刻第i个目标的预测, $ {{\boldsymbol{F}}_i} $为目标i的状态转移矩阵, $ {{\boldsymbol{C}}_i} $为状态校正项, $ {{\boldsymbol{H}}^\xi } $为第 $ \xi $个传感器的量测矩阵, $ {{\boldsymbol{w}}_i}(k) $为过程噪声, $ {{\boldsymbol{v}}^\xi }(k) $k时刻第 $ \xi $个传感器的量测噪声.

1.1.2. 模型参数

采用毫米波雷达与单目视觉数据融合的技术方案. 在多目标观测模型中,下标 $ \;i =1,2,3 $,即最多3个OOI目标车辆,上标 $ \xi =1,2 $,不妨令 $ \xi $=1表示雷达传感器, $ \xi $=2表示视觉传感器.

兼顾目标的机动特性与本地实时计算的需求,给出在线可调的匀速运动(tunable constant velocity, TCV)模型,即定义目标运动模型为匀速运动(constant velocity, CV)模型,并通过雷达量测数据动态校正传统CV模型中机动目标的速度. 假设过程噪声 $ {{\boldsymbol{w}}_i}(k) $服从 $N({\bf{0}},{\boldsymbol{Q}})$分布,量测噪声 $ {{\boldsymbol{v}}^\xi }(k) $服从 ${{N}}({\bf{0}},{{\boldsymbol{R}}^\xi })$分布,多目标观测模型中各系数矩阵满足如下约束:

$ \left.\begin{gathered} {{\boldsymbol{F}}_i} = \left[ {\begin{array}{*{20}{c}} 1&{{T_{\rm{s}}}}&0&0 \\ 0&1&0&0 \\ 0&0&1&{{T_{\rm{s}}}} \\ 0&0&0&1 \end{array}} \right] , \\ {{\boldsymbol{C}}_i} = {\left[ {\begin{array}{*{20}{c}} 0,&{\Delta {v_{i,{{y}}}}},&0,&{\Delta {v_{i,{{x}}}}} \end{array}} \right]^{\text{T}}}, \\ {{\boldsymbol{H}}^\xi } = \left[ {\begin{array}{*{20}{c}} 1&0&0&0 \\ 0&0&1&0 \end{array}} \right]. \\ \end{gathered}\right\} $

式中: $ {T_{\rm{s}}} $为采样周期; $ \Delta {v_{i,y}} $$ \Delta {v_{i,x}} $分别为通过雷达量测得到的纵向与横向相对速度, $ \Delta {v_{i,y}} $是用来定期校正TCV模型的. 考虑到雷达传感器横向测速的精度,这里忽略 $ \Delta {v_{i,x}} $变化.

1.2. 时间同步

毫米波雷达采样周期约为60 ms,相机采样周期约为33 ms,两者的采样序列示意如图2所示,图中, $ t_n^{\text{r}} $$ t_m^{\text{c}} $分别表示雷达、相机的采样时刻.

图 2

图 2   雷达与相机采样序列示意图

Fig.2   Sampling sequence of radar and camera


考虑到时间配准精度、实时性以及应用场景,选取内插外推的方法进行时间配准. 以x轴为例,将相机的采样序列配准至雷达的采样时刻上,时间配准公式如下:

$ \begin{split} & {\left[ {\begin{array}{*{20}{c}} {X_{1,1}^{\rm{c}}}&{X_{2,1}^{\rm{c}}}& \cdots &{X_{m{\text{,1}}}^{\rm{c}}} \\ {X_{1,2}^{\rm{c}}}&{X_{2,2}^{\rm{c}}}& \cdots &{X_{m,2}^{\rm{c}}} \\ \vdots & \vdots & & \vdots \\ {X_{1,n}^{\rm{c}}}&{X_{2,n}^{\rm{c}}}& \cdots &{X_{m,n}^{\rm{c}}} \end{array}} \right]_{n \times m}} = \\ &\qquad{\left[ {\begin{array}{*{20}{c}} {X_1^{\rm{c}}}&{X_2^{\rm{c}}}& \cdots &{X_m^{\rm{c}}} \\ {X_1^{\rm{c}}}&{X_2^{\rm{c}}}& \cdots &{X_m^{\rm{c}}} \\ \vdots & \vdots & \quad & \vdots \\ {X_1^{\rm{c}}}&{X_2^{\rm{c}}}& \cdots &{X_m^{\rm{c}}} \end{array}} \right]_{n \times m}}+\; \\ &\qquad{\left[ {\begin{array}{*{20}{c}} {t_1^{\text{r}} - t_1^{\rm{c}}}&{t_1^r - t_2^{\rm{c}}}& \cdots &{t_1^r - t_m^{\rm{c}}} \\ {t_2^r - t_1^{\rm{c}}}&{t_2^r - t_2^{\rm{c}}}& \cdots &{t_2^r - t_m^{\rm{c}}} \\ \vdots & \vdots & \quad & \vdots \\ {t_n^r - t_1^{\rm{c}}}&{t_n^r - t_2^{\rm{c}}}& \cdots &{t_n^r - t_m^{\rm{c}}} \end{array}} \right]_{n \times m}}\; \times \\ &\qquad{\left[ {\begin{array}{*{20}{c}} {\frac{{X_2^{\rm{c}} - X_1^{\rm{c}}}}{{{T_2}}}}&0 &\cdots &0 \\ 0&{\frac{{X_3^{\rm{c}} - X_2^{\rm{c}}}}{{{T_2}}}}&{}&\vdots \\ \vdots & \quad & \quad &0 \\ 0&\cdots &0 &{\frac{{X_{m{\text{+1}}}^{\rm{c}} - X_m^{\rm{c}}}}{{{T_2}}}} \end{array}} \right]_{m \times m}}. \end{split} $

式中: $ \left( {X_{\text{1}}^{\rm{c}},\;X_{\text{2}}^{\rm{c}},\; \cdots \;,\;X_m^{\rm{c}}} \right) $为相机采样序列的x轴分量, $ X_{m,n}^{\rm{c}} $表示将相机的第m个采样点 $ X_m^{\rm{c}} $配准至雷达的第n个采样时刻上, $ {T_2} $为相机采样周期.

1.3. 空间配准

前文假设雷达坐标系与世界坐标系的二维水平面是平行的,这样仅须建立相机像素坐标系与世界坐标系的映射关系.

图3所示,三维世界点P与其在像平面上投影点p的关系满足

图 3

图 3   相机像素坐标系与世界坐标系的映射关系

Fig.3   Relationship between camera pixel coordinate system and world coordinate system


$ \lambda {\boldsymbol{p}} = {\boldsymbol{\psi}} \left[ {{{\boldsymbol{R}}_{3 \times 3}}\;|\;\;{{\boldsymbol{t}}_{3 \times 1}}} \right]{\boldsymbol{P}}. $

式中: $ \lambda $为比例系数; $ {\boldsymbol{p}} = {\left[ {u,\;v,\;1} \right]^{\rm{T}}} $为二维图像中投影点的齐次坐标; ${\boldsymbol{P}} = {\left[ {{X_{\rm{w}}},\;{Y_{\rm{w}}},\;{Z_{\rm{w}}},\;1} \right]^{\rm{T}}}$为三维世界中某点的齐次坐标; ${\boldsymbol{\psi}} = \left[ {\begin{array}{*{20}{c}} {\dfrac{f}{{{\rm{d}}x}}}&0&{{u_0}} \\ 0&{\dfrac{f}{{{\rm{d}}y}}}&{{v_0}} \\ 0&0&1 \end{array}} \right]$为相机的内参矩阵, $ ({u_0},\;{v_0}) $为投影中心点,f为焦距, $ \left[ {{{\boldsymbol{R}}_{3 \times 3}}\;|\;\;{{\boldsymbol{t}}_{3 \times 1}}} \right] $为相机的外参矩阵, $ {{\boldsymbol{R}}_{3 \times 3}} $为旋转矩阵, $ {{\boldsymbol{t}}_{3 \times 1}} $为平移向量.

2. 多源异构传感器融合估计

2.1. 数据关联

数据关联是将源自单个或多个传感器的量测数据与相应的确定轨迹进行关联的过程. 该过程主要分2步,首先是有效量测数据的筛选,接着是将当前有效量测数据匹配到最佳的目标序列上.

2.1.1. 定义

定义1    马氏距离(Mahalanobis distance).

马氏距离是由印度统计学家Mahalanobis提出的,用于计算2个未知样本集相似度. 为了弱化不同特征数据之间量纲的影响,定义模型预测与实际量测之间的马氏距离为

$ {d_{\rm{M}}} = \left[{{{({{\boldsymbol{y}}^\xi } - {{\boldsymbol{z}}^\xi })}^{\rm{T}}}{{({{\boldsymbol{\varSigma}} ^\xi })}^{ - 1}}({{\boldsymbol{y}}^\xi } - {{\boldsymbol{z}}^\xi })}\right]^{1/2}. $

式中: ${{\boldsymbol{z}}^\xi }$为本周期内第 $ \xi $个传感器的实际量测, $ {{\boldsymbol{y}}^\xi } $为基于第 $ \xi $个传感器的观测模型的预测, $ {{\boldsymbol{\varSigma}} ^\xi } $为协方差矩阵.

定义2    有效观测集.

$ {{ Z}^\xi } = \left\{ {{{\boldsymbol{z}}^\xi }|{d_{\rm{M}}} \leqslant \varepsilon } \right\}. $

式中: $ {{ Z}^\xi } $为第 $ \xi $个传感器的有效观测集, $\varepsilon $为门限. 若量测数据落于式(6)所描述的区域内,则认为该量测数据属于有效观测集.

定义3    观测确认矩阵.

定义1、2能够为判断量测是否落入目标的跟踪门内提供量化依据. 在某个采样周期内,将 $ {m_k} $个有效量测与 $ {n_k} $个目标之间的一种匹配可能的事件定义为联合事件,并用矩阵形式来描述联合事件,即

$ \begin{split} {\boldsymbol{\varOmega}} =&\left[{\omega }_{i,j}\right]=\\ &\left[ \begin{array}{*{20}{c}} 1&{\omega _{1,1}} &\cdots &{\omega _{{n_k},1}}\\ 1&{\omega _{1,2}} &\cdots &{\omega _{{n_k},1}}\\ \vdots & \vdots &{} &\vdots \\ 1&{\omega _{1,{m_k}}} &\cdots &{\omega _{{n_k},{m_k}}} \end{array} \right]. \end{split}$

式中: $ {\omega _{i,j}} $表示在联合事件中量测j与目标i的布尔关系,即当量测j落入目标i的跟踪门内时, $ {\omega _{i,j}} = 1 $,反之, $ {\omega _{i,j}} = 0 $$ {\boldsymbol{\varOmega}} $为观测确认矩阵,确认矩阵的第1列表示量测j源于杂波或虚警.

定义4    目标关联概率.

对于量测落入跟踪门相交区域的情形,即某些量测可能源自于多个目标,这里定义目标关联概率,用以表示不确定性量测与其可能的源目标的关联程度.

假设如下:1)每个量测只能源自于一个目标或杂波;2)每个目标最多只能产生一个回波. 这样,式(7)表示的联合事件将被拆分成多个不相关的可行关联事件的组合.

定义目标关联概率为

$ {\beta _{i,j}}(k) = p\left\{ {{\theta _{i,j}}(k)|{{{Z}}^k}} \right\} {\text{ = }}\;\sum\limits_{\ell = 1}^{{L_k}} {p\left\{ {{\theta _\ell }(k)|{{{Z}}^k}} \right\}{\omega _{i,j}}({\theta _\ell }(k))} . $

式中: $ \;{\beta _{i,j}}(k) $表示量测j与目标i关联的概率,属于后验概率; $ {\theta _{i,j}}(k) $表示量测j源自于目标i的事件; $ {\theta _\ell }(k) $表示第 $ \ell $个可行关联事件; $ {{{Z}}^k} $为前k次的量测集,属于先验知识.

2.1.2. 关联流程

数据关联的流程如图4所示. 图中, ${\boldsymbol{z}}_j^\xi (k)$表示雷达或视觉的有效观测, $ {{\boldsymbol{x}}_1}(k) $代表左车道OOI目标车辆状态向量, $ {{\boldsymbol{x}}_2}(k) $代表本车道OOI目标车辆状态向量, $ {{\boldsymbol{x}}_3}(k) $代表右车道OOI目标车辆状态向量.

图 4

图 4   雷达与相机数据关联流程

Fig.4   Flow chart of data association for radar and camera


当有新的机动目标进入观测视野时,根据最临近原则,距离本车最近的目标所构成的威胁较为明显,从而更新OOI目标序列,否则维持当前OOI目标序列. 当机动目标超出雷达的观测范围或连续数个周期内皆无有效量测时,舍弃该目标.

2.2. 融合估计算法
2.2.1. 单一传感器多目标状态估计

JPDA算法通过对各有效量测值按关联概率加权平均进而对目标轨迹进行滤波估计[7-8]. 先通过计算当前时刻有效观测集内每一个量测与其可能的源目标相关联的后验概率,即对组合量测求加权平均时的权值,再基于标准卡尔曼滤波框架,利用组合量测对相应目标的运动状态进行联合预测,在下一采样时刻重复该过程,从而实现各目标运动状态的在线滚动估计.

对于单一传感器,忽略标识符 $ \xi $,一步迭代表达式如下.

1)时间更新过程.

$ \left. \begin{gathered} {{\boldsymbol{x}}_i}(k|k-1) = {{\boldsymbol{F}}_i}{{\boldsymbol{x}}_i}(k-1)+{{\boldsymbol{C}}_i}, \\ {{\boldsymbol{P}}_i}(k|k - 1) = {{\boldsymbol{F}}_i}{{\boldsymbol{P}}_i}(k - 1){{\boldsymbol{F}}_i}^{\rm{T}}+{\boldsymbol{Q}}. \\ \end{gathered} \right\} $

式中: $ {{\boldsymbol{x}}_i}(k|k - 1) $表示基于k−1时刻对k时刻第i个目标的状态预测, $ {{\boldsymbol{P}}_i}(k|k - 1) $为对目标i状态预测的协方差, $ {\boldsymbol{Q}} $为过程噪声的协方差.

2)关联概率更新过程.

根据式(6)所示的跟踪门规则生成确认矩阵,接着将其拆分成Lk个可行矩阵,再根据式(8)对关联概率进行更新.

3)量测更新过程.

$ \left. \begin{split} {{\boldsymbol{S}}_i}(k) =& {\boldsymbol{H}}{{\boldsymbol{P}}_i}(k|k - 1){{\boldsymbol{H}}^{\rm{T}}}+{\boldsymbol{R}}, \\ {{\boldsymbol{G}}_i}(k) =& {{\boldsymbol{P}}_i}(k|k - 1){{\boldsymbol{H}}^{\rm{T}}}{\boldsymbol{S}}_i^{ - 1}(k), \\ {{\boldsymbol{\delta}} _{i,j}}(k) =& {{\boldsymbol{z}}_j}(k) - {\boldsymbol{H}}{{\boldsymbol{x}}_i}(k|k-1), \\ {{\boldsymbol{\delta}} _i}(k) =& \sum\limits_{j = 1}^{{m_k}} {{\beta _{i,j}}(k){{\boldsymbol{\delta}} _{i,j}}(k)}, \\ {{\boldsymbol{x}}_i}(k) =& {{\boldsymbol{x}}_i}(k|k - 1)+{{\boldsymbol{G}}_i}(k){{\boldsymbol{\delta}} _i}(k), \\ {{\boldsymbol{P}}_i}(k) =& {{\boldsymbol{P}}_i}(k|k - 1) - (1 - {\beta _{i,0}}(k)){{\boldsymbol{G}}_i}(k){{\boldsymbol{S}}_i}(k){\boldsymbol{G}}_i^{\text{T}}(k) + \\ &\sum\limits_{j = 0}^{{m_k}} {{\beta _{i,j}}(k)\left( {{{\boldsymbol{x}}_{i,j}}(k){\boldsymbol{x}}_{i,j}^{\text{T}}(k) - {{\boldsymbol{x}}_i}(k){\boldsymbol{x}}_i^{\text{T}}(k)} \right)}. \\ \end{split} \right\} $

式中: ${{\boldsymbol{S}}_i}(k)$为量测协方差 ; ${{\boldsymbol{G}}_i}(k)$为卡尔曼增益 ; $ {{\boldsymbol{\delta}} _{i,j}}(k) $为量测新息 ; $ {{\boldsymbol{\delta}} _i}(k) $为组合新息 ; $\; {\beta _{i,0}}(k){\text{ = }}1- \displaystyle \sum\limits_{j = 1}^{{m_k}} {{\beta _{i,j}}(k)} $表示k时刻没有量测与目标i关联 ; $ {{\boldsymbol{x}}_{i,j}}(k) $表示利用第j个量测对目标i的卡尔曼滤波估计 ; ${{\boldsymbol{x}}_i}(k)$${{\boldsymbol{P}}_i}(k)$k时刻的最优估计,被用作下一步迭代的输入.

2.2.2. 多源传感器数据融合

常用的数据融合方法对比,见表1. 考虑到传感器数量以及应用场景,基于卡尔曼滤波思想设计多传感器联合概率数据融合序贯滤波算法,算法流程图如图5所示. 该算法将单一传感器JPDA算法结构串联起来,在当前时刻依次处理各传感器的量测,对目标运动状态进行序贯更新,最后一级的输出将作为融合中心的最终状态估计.

表 1   常用的数据融合方法比较

Tab.1  Comparison of common data fusion methods

类别 融合方法 不确定性 融合层次
概率统计类 加权平均法 低层次
卡尔曼滤波法 高斯噪声 低层次
贝叶斯估计法 高斯噪声 低层次
产生式规则 置信因子 高层次
人工智能类 模糊推理 隶属度 高层次
神经网络 学习误差 低或高

新窗口打开| 下载CSV


图 5

图 5   MSJPDA序贯滤波算法流程图

Fig.5   Flow chart of MSJPDA sequential filtering algorithm


2.2.3. 算法改进

在JPDA数据关联过程中,对观测确认矩阵 $ {\boldsymbol{\varOmega}} $进行拆分,应遵循:1)逐行扫描,每行仅选出一个1作为可行矩阵在该行的非0元素;2)除第1列外,每列只能有一个1. 当目标密集或回波较多时,尤其是在强杂波环境下,拆分复杂度将会剧增,计算实时性不太理想.

由于关联概率较大的可行关联事件会在跟踪过程中起主导作用[7],设计一个参考阈值,用来忽略关联概率接近于0的事件,以实现对确认矩阵的稀疏化处理,进而减少可行联合事件的拆分次数. 对如式(7)所示的确认矩阵进行重构:

$ \left.\begin{split} &{{\boldsymbol{\varOmega}} }^{\prime }=\left[{{\omega }^{\prime }}_{i,j}\right] , \\ &{\omega '_{i,j}} = \left\{ \begin{gathered} \begin{array}{*{20}{c}} 1,&{{{\beta '}_{i,j}} \geqslant \rho } \end{array}; \\ \begin{array}{*{20}{c}} 0,&{{{\beta '}_{i,j}} < \rho } \end{array}. \\ \end{gathered} \right. \end{split}\right\} $

式中: $ \rho $为设计参数,当 $ \rho $越小时,拆分次数越多,计算负荷越大,反之,实时性变好,跟踪效果变差,建议选取10−2数量级; $ {\beta '_{i,j}} $为Cheap JPDA算法中聚概率矩阵的元素.

此外,考虑到传感器本身的局限性,为了避免有效目标短暂丢失、邻道车辆干扰、量测噪声等扰动因素的影响,在JPDA关联过程中增加有效目标的存续性判定策略. 判定策略如下:于某个跟踪目标i$ \forall $j$ \exists \sigma > 0 $,当 $ l \in [0,L] $时,有 $\; {\beta _{i,j}}(k+l) \leqslant \sigma $恒成立,则该目标不再有效,反之,则认为该目标的生命周期是存续的. 其中 $ \sigma $L均为设计参数.

3. 纵向避撞预警策略

现役的纵向避撞预警模块容易受到横向扰动、目标关联可靠性、传感器局限性等因素的影响,虚警现象较明显. 此外,未能充分考虑不同驾驶群体的跟驰习惯[1] ,在友好性设计方面存在不足.

3.1. 威胁估计模型

综合纵向安全车距模型[1]、驾驶人应激响应时间预测模型[14]、路面附着状况[15]等因素,设计适用于车辆跟随工况的威胁估计模型(threat estimation model, TEM),其数学描述如下:

$ {d_{{\rm{safe}}}} = {d_{{\rm{lim}}}}+{D_0}+\Delta v {T_{{\rm{res}}}}. $

式中: $ {d_{{\rm{lim}}}} $为临界安全车距,与驾驶群体有关[1]$ {D_0} $为零速度车距,与路面附着系数有关[16]$ \Delta v $为自车相对前车的速度差, $ {T_{{\rm{res}}}} $为驾驶人反应时间.

基于前期研究成果[1],采用实际跟车车距、制动减速度、应急反应时间来量化驾驶群体的行为特征,并通过AI学习方法对不同驾驶群体的跟驰习惯进行学习以实现对TEM模型参数进行在线更新.

3.2. 分级预警策略

结合MSJPDA状态估计与TEM威胁估计模型,对追尾危险的发展态势进行评估与分级,并辅以相应的预警措施,更加符合人体工程学方法论,能够一定程度上改善驾乘体验. 分级预警策略如下. 比较MSJPDA状态估计结果 $ {d_{2,y}}(k) $与TEM威胁估计模型的输出 $ {d_{{\text{safe}}}} $. 若与本车道OOI目标车辆的纵向车距 $ {d_{2,y}}(k) $相对较大时,不预警;若 $ {d_{2,y}}(k) $持续一段时间相对稍小时,启动二级预警;若 $ {d_{2,y}}(k) $持续一段时间相对较小时,启动一级预警.

4. 仿真验证

试验车与传感器如图6所示. 雷达与相机的主要参数见表2. 试验场景为一段市区中环高架工况,通过试验车采集雷达与相机的量测数据,再进行离线仿真验证.

图 6

图 6   试验车及传感器

Fig.6   Experimental vehicle and sensors


表 2   雷达与相机的主要参数

Tab.2  Main performance parameters of radar and camera

传感器 参数 数值
毫米波
雷达
型号 大陆ARS 408-21
载波频率/ GHz 77
长距模式 最大测距/m 250
量测精度/m ±0.4
水平角/(°) ±9
短距模式 最大测距/m 70
量测精度/m ±0.1
水平角/(°) ±45
速度范围/(km·h−1) −400~200
(−表示远离目标;+表示靠近目标)
通信方式 CAN
扫描周期/ms ~60
相机 型号 Logitech C310
分辨率/像素 1 280×720
焦距/mm 29.5
帧率/(帧·s−1) 30

新窗口打开| 下载CSV


单目视觉测距原理是基于针孔成像模型采用相似三角变换得到相机与被测物之间的距离,这样图像坐标系下标识框的宽度或高度将直接影响世界坐标系下的距离信息. 考虑到毫米波雷达纵向测距能力的优越性,将雷达的纵向量测结果作为纵向“参考”,记为Lref,将基于YOLO框架的视觉检测结果,记为YOLO估计,将雷达与相机融合感知的结果,记为MSJPDA估计,并将MSJPDA估计与加权融合估计方法进行对比,令雷达与相机的融合权重分别为 $ {w_1} $$ {w_2} $.

图7所示为基于YOLO框架对多车道OOI车辆进行检测的结果. 先通过车道线识别技术对车道进行划分,再检测出相应车道内的OOI车辆.

图 7

图 7   多车道多目标车辆跟踪检测结果

Fig.7   Detection result of multi-lane multi-vehicle tracking


图8所示为本车道内自车与OOI车辆的纵向相对运动估计. 图中, $ {S_{\text{P}}} $表示采样点, $ {d_{{\text{safe}}}} $为威胁估计模型输出的安全车距. 在第100~400个采样点的采样区间,本车道内OOI车辆呈现加速驶离趋势,由于单目视觉测距本身的局限性,YOLO估计对OOI车辆的跟踪能力相对较弱. 在接近第400个采样点时,雷达估计的纵向车距发生陡降,这是由于邻道车辆切入到本车道,使得当前跟踪的OOI车辆被更新. 在第700~800个采样点的采样区间内,雷达估计的纵向车距在短暂时段内发生陡升,结合视频记录仪发现这可能是由于雷达探测到邻道上的前方车辆而导致目标跟错. 由于在目标关联过程中增加了有效目标存续性判定策略,MSJPDA估计能够滤除该噪声点,提升了纵向跟踪效果,从而为威胁估计模型的有效性提供了可靠基础.

图 8

图 8   本车道内自车与OOI车辆的纵向相对运动估计

Fig.8   Longitudinal inter-vehicle motion estimation between host vehicle and OOI vehicle in host-lane


图9所示为本车道内自车与OOI车辆的横向相对运动估计. 相对YOLO估计来说,雷达横向运动估计易受扰动因素影响,跟踪效果较差.

图 9

图 9   本车道内自车与OOI车辆的横向相对运动估计

Fig.9   Lateral inter-vehicle motion estimation between host vehicle and OOI vehicle in host-lane


图10所示为本车道内自车与OOI车辆的纵向车距分布,由于单目视觉测距的局限性,YOLO估计的箱线图分布较集中,而MSJPDA与雷达估计的箱线图能够较好体现出车间相对运动状况,且MSJPDA能够在一定程度上减少离群值.

图 10

图 10   本车道内自车与OOI车辆的纵向车距分布

Fig.10   Longitudinal inter-vehicle distance distribution between host vehicle and OOI vehicle in host-lane


图11所示为邻道OOI目标车辆运动估计的对比情况. 整体上来看,基于MSJPDA的滤波算法能够较好地实现多车道OOI目标车辆跟踪.

图 11

图 11   邻道OOI目标车辆纵向运动估计对比

Fig.11   Comparison of longitudinal inter-vehicle motion estimation between host vehicle and OOI vehicle in adjacent-lane


图12所示为融合算法的对比情况. 相对加权融合估计来说,MSJPDA估计的跟踪效果更优、抗扰动性较强.

图 12

图 12   MSJPDA估计与加权融合估计算法对比

Fig.12   Comparison between MSJPDA estimation and weighted fusion estimation


图13所示为本车道内OOI车辆的运动轨迹估计. 图中,实心圆表示跟踪起始的相对位置,实心五角星表示跟踪结束的相对位置. 相对单一传感器估计效果而言,MSJPDA算法能够提升量测数据关联的可靠性,较好地兼顾了纵向、横向的跟踪性能,从而有望改善车辆纵向避撞预警模块的友好性.

图 13

图 13   本车道内OOI车辆的轨迹估计

Fig.13   Trajectory estimation of OOI vehicle in host-lane


5. 结 论

为了实现多源传感器量测数据的有效关联与车辆安全跟随,提出多源传感器多目标车辆跟踪算法与纵向避撞预警策略,主要结论如下.

(1)多源异构传感器的观测序列通常在时空上、数据结构上存在着较大差异,针对车辆纵向避撞的应用场景,对该问题进行数学描述,并给出时间配准与空间融合方法.

(2)关联概率较大的可行关联事件在跟踪过程中往往起着主导作用,通过设计一个参考阈值来忽略关联概率接近于0的事件,进而对确认矩阵进行稀疏化处理,以减少可行联合事件的拆分次数.

(3)MSJPDA序贯滤波提升了量测数据关联的可靠程度,充分发挥出单一传感器各自的性能优势,增强了融合感知的鲁棒性.

(4)考虑到不同驾驶群体跟驰习惯的差异性,后续将通过AI学习方法对TEM模型参数进行在线更新,以提升纵向避撞预警策略对驾驶群体的适应能力.

参考文献

章军辉, 李庆, 陈大鹏

基于BP神经网络的纵向避撞安全辅助算法

[J]. 西安交通大学学报, 2017, 51 (7): 140- 147

[本文引用: 5]

ZHANG Jun-hui, LI Qing, CHEN Da-peng

Safety assistance algorithm for longitudinal collision avoidance based on BP neural network

[J]. Journal of Xi'an Jiaotong University, 2017, 51 (7): 140- 147

[本文引用: 5]

DONG Y, LI X, DEZERT J, et al

A novel multi-criteria discounting combination approach for multi-sensor fusion

[J]. IEEE Sensors Journal, 2019, 19 (20): 9411- 9421

DOI:10.1109/JSEN.2019.2922769      [本文引用: 1]

HE S, SHIN H, TSOURDOS A

Multi-sensor multi-target tracking using domain knowledge and clustering

[J]. IEEE Sensors Journal, 2018, 18 (19): 8074- 8084

DOI:10.1109/JSEN.2018.2863105     

何友, 关欣, 王国宏

多传感器信息融合研究进展与展望

[J]. 宇航学报, 2005, 26 (4): 7

[本文引用: 2]

HE You, GUAN Xin, WANG Guo-hong

Survey on the progress and prospect of multisensor information fusion

[J]. Journal of Astronautics, 2005, 26 (4): 7

[本文引用: 2]

SINHA A, DING Z, KIRUBARAJAN T, et al

Track quality based multitarget tracking approach for global nearest-neighbor association

[J]. IEEE Transactions on Aerospace and Electronic Systems, 2012, 48 (2): 1179- 1191

DOI:10.1109/TAES.2012.6178056      [本文引用: 1]

HONG L, CUI N Z

An interacting multi-pattern probabilistic data association (IMP-PDA) algorithm for target tracking

[J]. IEEE Transactions on Automatic Control, 2001, 46 (8): 1223- 1236

DOI:10.1109/9.940926      [本文引用: 1]

李首庆, 徐洋

基于自适应聚概率矩阵的JPDA算法研究

[J]. 西南交通大学学报, 2017, 52 (2): 340- 347

DOI:10.3969/j.issn.0258-2724.2017.02.018      [本文引用: 4]

LI Shou-qing, XU Yang

Joint probabilistic data association algorithm based on adaptive cluster probability matrix

[J]. Journal of Southwest Jiaotong University, 2017, 52 (2): 340- 347

DOI:10.3969/j.issn.0258-2724.2017.02.018      [本文引用: 4]

孙宁, 秦洪懋, 张利, 等

基于多传感器信息融合的车辆目标识别方法

[J]. 汽车工程, 2017, 39 (11): 1310- 1315

DOI:10.19562/j.chinasae.qcgc.2017.11.014      [本文引用: 1]

SUN Ning, QIN Hong-mao, ZHANG Li, et al

Vehicle target recognition based on multi-sensor information fusion

[J]. Automotive Engineering, 2017, 39 (11): 1310- 1315

DOI:10.19562/j.chinasae.qcgc.2017.11.014      [本文引用: 1]

刘俊, 刘瑜, 何友, 等

杂波环境下基于全邻模糊聚类的联合概率数据互联算法

[J]. 电子与信息学报, 2016, 38 (6): 1438- 1445

DOI:10.11999/JEIT150849      [本文引用: 1]

LIU Jun, LIU Yu, HE You, et al

Joint probabilistic data association algorithm based on all-neighbor fuzzy clustering in cluster

[J]. Journal of Electronic and Information Technology, 2016, 38 (6): 1438- 1445

DOI:10.11999/JEIT150849      [本文引用: 1]

CORALUPPI S P, CARTHEL C A

Multiple hypothesis tracking for targets producing multiple measurements

[J]. IEEE Transactions on Aerospace and Electronic Systems, 2018, 54 (3): 1485- 1498

DOI:10.1109/TAES.2018.2796478      [本文引用: 1]

YOO H, KIM K, BYEON M, et al

Online scheme for multiple camera multiple target tracking based on multiple hypothesis tracking

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27 (3): 454- 469

DOI:10.1109/TCSVT.2016.2593619      [本文引用: 1]

BAR-SHALOM Y, TSE E

Tracking in a cluttered environment with probabilistic data association

[J]. Automatic, 1975, 11 (9): 451- 460

[本文引用: 1]

陈晓, 李亚安, 蔚婧, 等

基于最大熵模糊聚类的快速多目标跟踪算法研究

[J]. 西北工业大学学报, 2017, 35 (4): 629- 634

DOI:10.3969/j.issn.1000-2758.2017.04.011      [本文引用: 1]

CHEN Xiao, LI Ya-an, WEI Jing, et al

A fast multi-target tracking algorithm based on maximum entropy fuzzy clustering

[J]. Journal of Northwestern Polytechnical University, 2017, 35 (4): 629- 634

DOI:10.3969/j.issn.1000-2758.2017.04.011      [本文引用: 1]

郭应时, 王畅, 付锐, 等

城市道路环境中驾驶人应激响应时间特性

[J]. 中国公路学报, 2013, 26 (6): 135- 142

DOI:10.3969/j.issn.1001-7372.2013.06.019      [本文引用: 1]

GUO Ying-shi, WANG Chang, FU Rui, et al

Driver’s reaction time under city road conditions

[J]. China Journal of Highway and Transport, 2013, 26 (6): 135- 142

DOI:10.3969/j.issn.1001-7372.2013.06.019      [本文引用: 1]

王博, 卢萍萍, 管欣, 等

路面附着系数识别方法发展现状综述

[J]. 汽车技术, 2014, (8): 1- 7

[本文引用: 1]

WANG Bo, LU Ping-ping, GUAN Xin, et al

A review on the development status of road adhesion coefficient identification approach

[J]. Automobile Technology, 2014, (8): 1- 7

[本文引用: 1]

章军辉, 李庆, 陈大鹏

实时多目标权重弯道跟随预测控制

[J]. 天津大学学报: 自然科学与工程技术版, 2020, 53 (8): 861- 871

[本文引用: 1]

ZHANG Jun-hui, LI Qing, CHEN Da-peng

Multi-objective real-time weighted model predictive control for car-following

[J]. Journal of Tianjin University: Science and Technology, 2020, 53 (8): 861- 871

[本文引用: 1]

/