基于灰度相似性的激光点云与全景影像配准

doi:10.3785/j.issn.1008-973X.2022.08.017

基于灰度相似性的激光点云与全景影像配准

范光宇^,, 宫宇宸, 饶蕾^,, 陈年生

上海电机学院电子信息学院，上海 201306

Registration of laser point cloud and panoramic image based on gray similarity

FAN Guang-yu^,, GONG Yu-chen, RAO Lei^,, CHEN Nian-sheng

College of Electronic Information, Shanghai Dianji University, Shanghai 201306, China

通讯作者: 饶蕾，女，副教授，博士. orcid.org/0000-0001-7399-3224. E-mail: raol@sdju.edu.cn

收稿日期: 2021-09-5

基金资助:

国家自然科学基金资助项目（61702320）

Received: 2021-09-5

Fund supported:

国家自然科学基金资助项目（61702320）

作者简介 About authors

范光宇（1981—），男，副教授，博士，从事机器人导航技术研究.orcid.org/0000-0002-1404-0009.E-mail:fangy@sdju.edu.cn , E-mail：fangy@sdju.edu.cn

摘要

针对传感器参数未知、环境结构特征不明显、影像数据较少等情况，提出基于灰度相似性的车载3D激光点云与全景影像自动化配准方法. 基于全景拼接算法和柱面投影原理，分别将多张单幅图片拼接为全景影像，并将3D激光点云转换为2D深度图. 基于灰度相似性原理，将全景影像和2D深度图在水平方向和垂直方向等间隔细分成区域对，沿水平方向和垂直方向移动全景影像，计算每次移动后各细分区域对之间像素灰度值之和的比值，并求解其均方差，将均方差最小时的区域移动值作为最终匹配偏移量. 根据偏移量计算得到全景影像相对3D激光点云的水平旋转角度和垂直平移距离. 实测结果表明，本研究所提算法对场景的适应性较好，平均配准误差为2个像素，而对比方法无法实现有效配准.

关键词： 3D激光点云 ; 全景影像 ; 自动化配准 ; 灰度相似性 ; 车载

Abstract

An automatic registration between vehicle 3D laser point cloud and panoramic image based on gray similarity was proposed, under the scenes of unknown sensor parameters, unclear environmental structure characteristics and small amount of image data. Firstly, multiple single images were spliced into panoramic image and 3D laser point cloud was converted into 2D depth image, respectively, based on the panoramic stitching algorithm and cylindrical projection principle. Secondly, based on the principle of gray similarity, the panoramic image and 2D depth map were subdivided into region pairs at equal intervals along the horizontal and vertical directions, and the panoramic image was moved along the horizontal and vertical directions. The proportion of the sum of pixel gray values between each pair of subdivided regions after each move was calculated, and its mean square deviation was solved, and the region move value with the smallest mean square deviation was taken as the final matching offset. Finally, the horizontal rotation angle and vertical translation distance of the panoramic image relative to the 3D laser point cloud were calculated according to the offsets. Experimental results show that the algorithm has good adaptability to the scenes and the average registration error was 2 pixels, while the comparison method cannot achieve effective registration.

Keywords： 3D laser point cloud ; panoramic image ; automatic registration ; gray similarity ; vehicle

PDF (2194KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

范光宇, 宫宇宸, 饶蕾, 陈年生. 基于灰度相似性的激光点云与全景影像配准. 浙江大学学报(工学版)[J], 2022, 56(8): 1633-1639 doi:10.3785/j.issn.1008-973X.2022.08.017

FAN Guang-yu, GONG Yu-chen, RAO Lei, CHEN Nian-sheng. Registration of laser point cloud and panoramic image based on gray similarity. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(8): 1633-1639 doi:10.3785/j.issn.1008-973X.2022.08.017

全景影像是通过对多个相机同步采集的图像进行拼接得到的360°环境范围内的影像图，其具有丰富的色彩信息，但不具备地物的三维空间信息^[1-2]. 激光雷达基于三角测距或飞行时间原理测量周围环境到激光雷达的距离，获取周围环境的高精度三维几何数据并生成3D激光点云，但其色彩单一，不利于复杂场景下的处理和理解^[3-4]. 将全景图像的色彩数据与3D激光点云的几何数据进行配准融合，可以获得富有纹理信息的彩色点云，加强目视判别环境属性的能力，在城市建模、目标识别、自动驾驶和语义分割等领域具有广泛的应用价值^[5]. 全景影像与3D激光点云匹配方法通常包含以下3类.

1)基于传感器模型的配准. 该类方法通过对3D激光雷达与相机进行标定，获取传感器自身参数及相互间的位置关系，建立严格的传感器模型^[6]，并考虑数据采集过程中镜头畸变、激光轴偏心、扫描测距和时间同步等各种传感器系统误差对影像和点云定位精度的影响，计算得到3D激光点云与光学影像之间的映射关系，实现3D激光点云与全景影像的配准. 但是，一方面，基于传感器模型的配准参数较多，且参数之间并不独立，导致在计算过程中模型容易发生退化，另一方面，该类方法需要传感器初始参数支持，自动化程度不高^[7].

2)基于点线特征的配准. 该类方法将3D激光点云转换为带有深度或强度信息的2D平面图，对2D平面图与全景影像中的点线特征进行检测与匹配^[8-9]，通过找到2幅图像间的异构同名点线对，基于共线方程^[10]、直接线性变换(direct linear transformation, DLT)^[11]或罗德里格矩阵^[12]等方法求解2D平面图与全景影像之间的相对位置，进一步地，通过换算可以得到3D点云与全景影像之间的映射关系. 但是，基于点线特征的配准，需要所采集的环境信息自身具有较强的结构特征，不适用于具有弱纹理特征的场景.

3)基于多视几何的配准. 该类方法基于多视图立体(multi view stereo，MVS)密集匹配算法或半全局匹配(semi-global matching，SGM)算法，将序列影像图重构为密集图像点云，然后采用迭代最邻近点算法(iterative closest point, ICP)点云配准算法，得到图像点云与3D激光点云之间的相对位姿，通过换算得到序列影像与3D激光点云之间的映射关系^[13-15]. 但是，基于多视几何的配准需要具有时间先后关系的序列影像，对影像数据内容和数量要求较高.

上述3类方法对传感器参数、场景特性及影像数据等均提出了要求，无法在诸如传感器参数未知、环境结构特征不明显、影像数据较少的场合得到应用. 因此，本研究提出基于灰度相似性的3D激光点云与全景影像自动化配准算法.

利用全景图像拼接算法将多张单幅图像拼接形成全景影像，同时通过对激光点云进行柱体坐标变换投影构建2D平面点云深度图，并在水平与垂直方向上进行均匀的等区域划分. 本算法创新性地使用深度图作为激光点云与全景图像的配准媒介，结合灰度相似性原理循环对比各区域间的像素灰度值之和，寻找最佳偏移量，摆脱了须人工对多传感器联合标定才能使异构数据配准的现状. 相关实测结果表明，本研究方法对场景的适应性较好，配准误差较低.

1. 激光点云与全景影像配准方法

如图1所示为基于灰度相似性的激光点云与全景影像配准的算法结构框架图，将多线程3D激光雷达点云与单幅影像作为数据输入源，从图像拼接和点云变换投影的数据转换、基于灰度相似性的水平配准和基于灰度相似性的垂直配准这3个主要方面进行算法构建，最终实现激光雷达点云与图像异构数据的配准.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1 基于灰度相似性的激光点云与全景影像的算法结构框架图

Fig.1 Algorithm structure frame of lidar point cloud and panoramic image based on gray similarity

1.1. 数据转换

为了实现全景图片和3D激光点云的匹配，首先将单个相机采集的影像图拼接成全景图像，通过尺度不变特征变换(scale-invariant feature transform，SIFT)得到特征匹配，通过随机抽样一致算法(random sample consensus，RANSAC)筛选正确的特征匹配得到透视矩阵，利用透视变换完成2幅图像的拼接，循环迭代所有图像即可以完成多张图像的全景图拼接^[16]. 如图2(o)所示为本研究所采用的由13个工业相机和1个3D激光雷达组成的车载移动测量系统. 如图2(a)~(m)所示为13个工业相机所采集的环境图像，如图2(n)所示为基于SIFT特征点匹配、RANSAC筛选和透视转换的全景拼接算法，将图2(a)~(m)拼接所形成的全景图像.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2 由13幅影像拼接而成的全景图像

Fig.2 Panoramic image stitched by 13 images

如图3所示为3D激光点云转2D深度图的原理^[17]，建立柱体坐标系，将所有的3D激光信息点投影到柱体表面，再将柱体的表面展开，即可形成2D影像信息. 设某一3D激光信息点P在世界坐标系中的坐标为(x₀, y₀, z₀)，则其在柱体坐标系下的坐标 $ (\theta ,\varphi $)表达式如下：

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3 3D激光点云转2D深度图原理

Fig.3 Principle of 3D laser point cloud to 2D depth map

(1) $ \theta =\mathrm{arctan}\;\left({{y}_{0}}/{{x}_{0}}\right)\text{，} $

(2) $ \varphi =\mathrm{a}\mathrm{r}\mathrm{c}\sin\;\left({{z}_{0}}\Bigg/{\sqrt{{x}_{0}^{2}+{y}_{0}^{2}+{z}_{0}^{2}}}\right). $

将柱体表面展开形成2D平面图，则其在柱体表面所对应像素点的坐标 $ {(u}_{0},{v}_{0}) $可以表示为

(3) $ {(u}_{0},{v}_{0})=\left({\theta }/{\Delta \theta },{\varphi }/{\Delta \varphi } \right). $

式中： $ \Delta \theta $和 $ \Delta \varphi $分别为3D激光雷达沿水平方向和垂直方向的分辨率.

像素点的灰度由P点的深度信息 $ d=\sqrt{{x}_{0}^{2}+{y}_{0}^{2}} $所确定，没有对应点云的像素点灰度值设为0. 由此，3D激光点云被转换为2D深度图. 本研究使用的工业相机所采集图像的原始大小为5376×2688像素（宽×高），宽高比为2∶1. 为了与全景水平角度360°成正比关系以便于计算，通过调整∆θ、∆φ和图像分辨率，将2D深度图和全景影像统一设置成3600×1800像素（宽×高），宽高比保持2∶1不变.

1.2. 基于灰度相似性的水平配准

由于2D深度图和全景影像所拍摄的场景相同，在理想情况下，2D深度图中的任意一点信息点在全景影像中均有与其对应的像素点. 对于完全配准的全景影像和2D深度图，两者在整幅图片及图片细分区域的灰度分布应具有相似性^[18].

如图4所示为基于灰度相似性的水平配准原理. 将2D深度图沿x方向等间隔分为n块区域记为A_x1, A_x2, A_x3$,\cdots , $ A_xn，区域A_xi( $i=1\sim n)$的像素灰度值之和记为 $ {G}_{xi}^{A} $. 将全景影像先转换为灰度图，再沿x方向同样等间隔分为n块区域并记为B_x1, B_x2, B_x3$,\cdots , $ B_xn，区域B_xi( $i=1\sim n)$的像素灰度值之和记为 $ {G}_{xi}^{B} $. 对于 $\forall i\in [1，n]$，区域A_xi的像素灰度值之和 $ {G}_{xi}^{A} $与区域B_xi的像素灰度值之和 $ {G}_{xi}^{B} $的比例记为

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4 基于灰度相似性的水平配准原理

Fig.4 Principle of horizontal registration based on gray similarity

(4) $ {{G}_{xi}^{A}}/{{G}_{xi}^{B}}={\alpha }_{i} . $

全景相机和2D深度图在水平方向均包含了360°范围内的数据，当两者完全配准时， $ \forall i $，沿水平方向的 $ {\alpha }_{i} $应处处相等. 将全景图像的B_xi区域循环右移i(i从1增加至n)次生成新的全景图像，找到使得 $\left\{\dfrac{{G}_{x1}^{A}}{{G}_{xi}^{B}},\dfrac{{G}_{x2}^{A}}{{G}_{x\left(i+1\right)}^{B}},\cdots ,\dfrac{{G}_{x(n-i+1)}^{A}}{{G}_{xn}^{B}},\cdots, \dfrac{{G}_{x(n-1)}^{A}}{{G}_{x\left(i-2\right)}^{B}},\dfrac{{G}_{xn}^{A}}{{G}_{x\left(i-1\right)}^{B}}\right\}$均方差最小的i，从而得到全景图像相对2D深度图在水平方向上的偏移量，实现全景影像与2D深度图在水平方向上的配准，全景影像相对3D激光点云的水平旋转角度 $ R=i\times {3\;600}/{n} $.

1.3. 基于灰度相似性的垂直配准

类似的，完全配准的全景影像与2D深度图在垂直方向细分区域的灰度分布同样具有相似性. 如图5所示为基于灰度相似性的垂直配准原理. 将2D深度图沿y方向等间隔的分为m块区域A_y1, A_y2, A_y3$,\cdots , $ A_ym，区域A_yj ( $ j\in [1，m]) $的所有像素点灰度值之和设为 $ {G}_{yi}^{A} $. 将全景影像先转换为灰度图，再沿y方向等间隔分为m块区域B_y1, B_y2, B_y3$,\cdots , $ B_ym，区域B_yj( $ j\in [1，m]) $的所有像素点灰度值之和设为 $ {G}_{yi}^{B} $. 类似的， $ {G}_{yi}^{A} $和 $ {G}_{yi}^{B} $的比例记为

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5 基于灰度相似性的垂直配准原理

Fig.5 Principle of vertical registration based on gray similarity

(5) $ {{G}_{yi}^{A}}/{{G}_{yi}^{B}}={\beta }_{j} . $

本研究所采用激光雷达的垂直扫描角度范围为60°（−30°~30°），工业相机的垂直成像角度范围为120°（−60°~60°），当两者完全配准时，2D深度图和全景影像在中心区域附近的比例 $\;{\beta }_{j} $应为常数，但在图像的上下边缘区域则差异较大. 因此，为了实现2D深度图和全景影像在垂直方向的配准，须保证2幅图像在中心区域的所有细分区域对灰度值之和比例相同.

当激光雷达与工业相机同时进行数据采集时，激光雷达所生成的2D深度图与工业相机所生成的全景影像图的视域范围比为1∶2，即2D深度图约占据全景影像图中50%的区域. 因此，在全景影像中心区域沿y方向上、下各取0.25m块区域共计0.5m片区域，则该片区域的起点和终点分别为 $ {B}_{y0.25m} $和 $ {B}_{y0.75m} $. 将该区域沿垂直方向移动j（j从1增加至0.5m）次，找到使得 $ \left\{\dfrac{{G}_{yj}^{A}}{{G}_{y0.25m}^{B}}, \dfrac{{G}_{y(j+1)}^{A}}{{G}_{y(0.25m+1)}^{B}},\;\cdots ,\;\dfrac{{G}_{y\left(0.5m+j-2\right)}^{A}}{{G}_{y\left(0.75m-1\right)}^{B}},\dfrac{{G}_{y(0.5m+j-1)}^{A}}{{G}_{y\left(0.75m\right)}^{B}}\right\} $均方差最小的j，从而实现全景图像和2D深度图在垂直方向上的配准,全景影像相对3D激光点云的垂直平移距离 $T=(j-0.5m)\times {1\;800}/{m}$.

2. 实验效果及评价

根据前述理论，本研究开展了3D激光点云和全景图像的配准. 数据来自如图2(o)所示的车载移动测量系统采集的某一帧3D激光点云和13个工业相机所拍摄的图片. 虽然相机和3D激光雷达的传感器参数和相对位姿未知，但由于所采集的数据是短时间内的同一场景，图片和3D激光点云具有高度的相关性，配准效果如图6(a)所示. 可以看出，2D深度图和全景影像中的建筑物、树木、车辆等轮廓信息重叠度高，配准效果较好.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6 基于灰度相似性、点线特征和域变换的配准效果对比图

Fig.6 Comparison of registration effect based on gray similarity, point or line features and domain transformation

在图6(a)中存在有A和B这2块未重叠区域. 在A区，由于3D激光雷达的测量距离有限，无法获取全景影像中远景高楼的几何结构信息，导致2D深度图和全景影像在该区域的灰度分布不一致. 在B区，3D激光雷达所发射的红外光会穿透类似玻璃的透明物体，无法获取透明物体的深度信息，而全景影像中透明物体在不同光照下颜色不同，导致2D深度图和全景影像在该区域的灰度分布不一致. 从配准效果来看，即使在场景中存在透明物体和远景，导致2D深度图和全景影像在部分区域出现灰度分布不一致的情况，本研究所提算法仍然能够较好地实现配准. 如图6(b)、(c)所示为分别采用基于SIFT点特征和线特征的匹配. 点线特征提取匹配算法是根据图像像素灰度值与周围像素灰度值的差异性进行特征选取与匹配的，主要用于彩色图片中特征的提取和匹配^[19]. 深度信息是几何结构信息，同一深度区域的像素灰度值变化较小，不具有彩色图像像素灰度值变化多样的特点，因此，无论是点特征还是线特征，在深度图中所提取的点线特征大都集中在轮廓区域. 因此，如图6(b)、(c)所示，在将深度图与彩色图进行点线特征匹配时，出现了大量的误匹配，即使采用RANSAC筛选错误匹配，2种异源数据的点线特征匹配误差仍然较大，无法找到正确的异构同名点对及线对以实现有效配准. 基于域变换的图片配准方法，只能计算2幅图片自身相对位置的旋转缩放平移变化，对图片内容的旋转平移变化没有较好的适应性^[20]. 如图6(d)所示，使用域变换中的傅里叶梅林变换对2D深度图与全景影像进行配准，会产生较大误差，无法实现有效配准.

为了定量分析本研究所提算法的配准精度，如图7所示，在全景影像与2D深度图上选择10对同名点对，计算同名点对之间像素差值的绝对值，并取差值平均值作为配准精度的衡量指标. 所选取的同名点均为在环境中具有显著特征的边缘点或轮廓点，且同名点在2D深度图和全景影像中都能够明显体现.

图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7 选取的10对同名点对

Fig.7 Selected 10 pairs of corresponding points

如表1所示为10对人工标记点对的配准误差统计表. 表中，e、e_X、e_Y、e_p分别为误差、X误差、Y误差、平面误差. 可以看出，使用本研究所提方法的平均配准误差为2个像素.

表 1 配准误差统计

Tab.1 Statistics of registration error

点号	激光点云平面像素点坐标		全景影像像素点坐标		e/像素
点号	X	Y	X	Y	e_X	e_Y	e_p
1	123	648	122	650	1	2	2.23
2	1474	680	1475	681	1	1	1.41
3	1568	755	1567	757	1	2	2.23
4	1748	804	1749	804	1	0	1.00
5	2390	335	2390	333	0	2	2.00
6	1506	779	1505	780	1	1	1.41
7	42	623	39	620	3	3	4.24
8	817	440	815	443	2	3	3.60
9	2492	188	2492	187	0	1	1.00
10	2351	756	2350	756	1	0	1.00

新窗口打开| 下载CSV

为了验证本研究算法的可靠性并降低人工选取同名点的随机性误差，在街道、楼宇不同场景中采集了20组数据，采用本研究所提出的算法进行配准并使用人工标记同名点的方法进行像素误差计算，结果如图8所示. 图中， ${{\bar e}} $为平均像素误差. 可以看出，本研究所提算法的适用性较好，20组数据的平均像素误差均低于2.5个像素.

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8 20组数据的平均配准误差

Fig.8 Average registration error of 20 groups of data

3. 结　语

本研究提出基于灰度相似性的激光点云与全景影像自动化精细配准方法，能够较好地将激光雷达点云与视觉图像2种异构数据进行高精度配准，实验采用实测数据评估本算法性能并与基于点线特征的配准算法对比，结果表明基于灰度相似性约束的配准算法适应性较好，在存在灰度不一致区域的情况下，仍然可以实现较好的配准效果，配准平均误差为2个像素. 而基于点线特征的配准，由于算法对异构同名点对及线对的匹配误差较大，配准效果不佳. 虽然本研究的2D深度图像与全景图像沿水平方向和垂直方向的配准是分步完成的，但经实验验证，在水平和垂直2个方向同时对2D深度图像与全景图像进行配准时，其配准效果与分步配准的效果完全相同.

由于全景图的灰度代表反射物体颜色的灰度，而2D深度图的灰度代表物体的距离，从匹配角度来看，只能保证有物体，但不能保证灰度一定相同. 如当工业相机在光照不足的场景下进行数据采集或者激光雷达在有玻璃等透明区域较多的场景下进行数据采集时，全景图像和2D深度图会出现灰度分布不一致的区域，所以即使是完全配准的全景图和2D深度图仍存在如图6(a)所示A区和B区这样未匹配的区域. 但在正常光照下的城市场景中，当激光雷达和工业相机对相同的环境进行数据采集且能获取足够多的数据信息时，则可以认为所得到的2D深度图和全景影像图在大部分区域具有相似性，区域的像素灰度分布应具有对应关系. 这种对应关系即意味着2D深度图和全景影像图上具有对应关系的区域，其细分区域的像素灰度值之和的比例是相似的，这亦是本算法有效的主要原因.

本研究所提出的算法适用于各种车载场景，在传感器参数未知、环境结构特征不明显，以及影像数据较少等场景下，仍然可以实现较好的配准效果，能够对城市建模、目标识别、自动驾驶等研究领域的发展起到促进作用. 下一步研究方向将尝试在多传感器融合的SLAM算法中添加本研究所提出的基于灰度相似性的激光点云与全景图像配准方法，实现在线进行自主配准，使得激光雷达点云与视觉图像这2种异构数据能够一一对应，避免人工联合标定所产生的误差，提高多传感器融合的SLAM算法的数据处理性能和鲁棒性.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

张靖, 江万寿

激光点云与光学影像配准: 现状与趋势

[J]. 地球信息科学学报, 2017, 19 (4): 528- 539