浙江大学学报(工学版), 2025, 59(6): 1140-1147 doi: 10.3785/j.issn.1008-973X.2025.06.005

计算机技术

基于异常检测的图像特征匹配算法

肖剑,, 武亮亮, 何昕泽, 胡欣,

1. 长安大学 电子与控制工程学院,陕西 西安 710064

2. 长安大学 能源与电气工程学院,陕西 西安 710064

Image feature matching algorithm based on anomaly detection

XIAO Jian,, WU Liangliang, HE Xinze, HU Xin,

1. School of Electronics and Control Engineering, Chang’an University, Xi’an 710064, China

2. School of Energy and Electrical Engineering, Chang’an University, Xi’an 710064, China

通讯作者: 胡欣,女,教授. orcid.org/0009-0006-2066-5490. E-mail:huxin@chd.edu.cn

收稿日期: 2024-03-29  

基金资助: 西安市人工智能重点产业链资助项目(23ZDCYJSGG0013-2023); 陕西省秦创原“科学家+工程师”队伍建设资助项目(2024QCY-KXJ-161);咸阳市重点研发计划资助项目(L2024-ZDYF-ZDYF-GY-0004).

Received: 2024-03-29  

Fund supported: 西安市人工智能重点产业链资助项目(23ZDCYJSGG0013-2023);陕西省秦创原“科学家+工程师”队伍建设资助项目(2024QCY-KXJ-161);咸阳市重点研发计划资助项目(L2024-ZDYF-ZDYF-GY-0004).

作者简介 About authors

肖剑(1975—),男,副教授,博士,从事检测技术研究.orcid.org/0000-0003-0650-6099.E-mail:xiaojian@chd.edu.cn , E-mail:xiaojian@chd.edu.cn

摘要

基于预定义参数化模型的特征匹配方法通用性较低,为此提出基于异常检测的特征匹配算法(RFM-AD). 根据假定特征匹配构建异常检测样本,将特征匹配问题转换为异常样本点检测问题,引入局部异常因子(LOF)算法作为异常检测的基础. 针对LOF算法不能有效检测低密度样本的缺陷,引入并改进基于连通性的异常检测方法(COF),并基于引导匹配策略对COF算法和LOF算法进行融合. 在随机选取的30幅涉及不同变换模型和噪声干扰的图像对上测试算法的参数设置,确定全局最优的关键参数. 在4个公开数据集上进行实验,结果表明,本研究算法在面对大量异常值时具有良好的鲁棒性和匹配性能;在保证较高匹配准确率的情况下,本研究算法相比于RANSAC、LPM、RFM-SCAN等先进算法取得了较高的召回率;在内点率最低的Retina数据集上,本研究算法的F分数较高.

关键词: 特征匹配 ; 异常检测 ; 局部异常因子 ; 误匹配剔除 ; 图像配准

Abstract

A robust feature matching algorithm based on anomaly detection (RFM-AD) was proposed to solve the problem of low generality in feature matching methods that rely on pre-defined parameterized models. Firstly, anomaly detection samples were constructed based on putative feature matches, thereby feature matching problems were transformed into anomaly detection problems, and the local outlier factor (LOF) algorithm was introduced as the foundation for anomaly detection. Secondly, the connectivity-based outlier factor (COF) method was introduced and improved to address the deficiency of LOF algorithm in effectively detecting low-density samples, and a guided matching strategy was used to fuse COF and LOF for enhanced performance. Finally, the parameter settings of the proposed algorithm were tested on 30 randomly selected image pairs involving different transformation models and noise levels, and the globally optimal parameters were determined. Experiments conducted on four public datasets demonstrated the robustness and promising performance of the proposed algorithm when dealing with a large number of outliers. Under the premise of maintaining a high matching precision, the proposed algorithm achieved a leading recall compared to advanced algorithms, such as RANSAC, LPM and RFM-SCAN. Specifically, the proposed algorithm achieved a leading F-score on the Retina dataset, which had the lowest inlier rate.

Keywords: feature matching ; anomaly detection ; local outlier factor ; mismatch removal ; image registration

PDF (1913KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

肖剑, 武亮亮, 何昕泽, 胡欣. 基于异常检测的图像特征匹配算法. 浙江大学学报(工学版)[J], 2025, 59(6): 1140-1147 doi:10.3785/j.issn.1008-973X.2025.06.005

XIAO Jian, WU Liangliang, HE Xinze, HU Xin. Image feature matching algorithm based on anomaly detection. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(6): 1140-1147 doi:10.3785/j.issn.1008-973X.2025.06.005

图像特征匹配旨在建立同一场景下2组图像特征点之间的可靠对应关系,已经被广泛应用于许多领域,如计算机视觉[1]、医学成像[2]、遥感[3]等. 解决特征匹配问题的常见且有效的策略一般包括2个步骤:基于特征描述符相似性建立假定特征匹配,如使用尺度不变特征变换(scale invariant feature transform,SIFT)[4];基于几何约束剔除假定匹配中的误匹配. 由于局部特征描述符的不确定性,特别是当匹配图像之间存在较大的视点变化、严重的非刚性变换或者图像本身具有重复的纹理图案时,假定匹配中除了包含大多正确匹配(内点)外,还存在许多的错误匹配(外点). 因此,设计一种鲁棒的方法剔除误匹配,对提高特征匹配的可靠性是至关重要的.

现有方法通常是在几何约束下基于匹配图像间的空间变换关系剔除假定特征匹配中的误匹配,这类方法须预定义参数化变换模型,如单应性变换、极几何变换[5]、非刚性变换[6]. 代表方法包括随机采样一致性(random sample consensus,RANSAC)算法[5]及其一系列改进算法,如渐进采样一致性(progressive sample consensus,PROSAC[7])、随机采样一致性通用框架(universal framework for random sample consensus,USAC[8]). RANSAC算法遵循假设和验证策略. 首先,假设匹配图像间存在某种空间变换关系,如单应性变换;其次,在假定匹配中随机选取最少数量的匹配(如计算单应性矩阵时为4对匹配),然后根据匹配关系计算参数化模型,求得模型后验证假定匹配中的剩余匹配,若满足该模型的特征匹配数量大于设定阈值,则认为模型可靠,并认为满足该模型的特征匹配为正确匹配;否则,重新采样并重复验证步骤,直至获得可靠的参数化模型.

近年来,研究人员陆续提出了许多非参数化特征匹配方法,这些方法不依赖匹配图像间的空间变换模型,而是在先验条件或理论假设下通过探索正确特征匹配的局部邻域结构剔除误匹配. Ma等[9]提出向量场一致性(vector field consensus,VFC)算法,将特征匹配转化为向量场一致性优化问题,基于正确匹配的向量场相比误匹配的向量场更加平滑一致的先验条件,采用期望最大化(expectation-maximization,EM)算法求解最优向量场,从而获得正确的特征匹配. Bian等[10]提出基于网格的运动统计(grid-based motion statistics,GMS)算法,假定匹配图像间的运动信息具有连续性且运动变化范围较小,通过在局部网格内统计特征匹配的数量实现快速误匹配剔除. Ma等[11]提出局部保持匹配(locality preserving matching,LPM)算法,基于正确匹配具有相似的邻域结构这一先验条件,将特征匹配问题抽象为数学模型,并导出具有线性时间复杂度和线性空间复杂度的闭合形式解. Jiang等[12]通过将整数二次规划与局部图结构一致性相结合的方法,将特征匹配问题转化为基于图匹配的通用优化框架. Xia等[13]提出局部引导的全局保持优化(locality-guided global-preserving optimization,LOGO)算法,设计引导匹配策略提高特征匹配的鲁棒性. Ma等[14]提出基于空间聚类的鲁棒特征匹配(robust feature matching based on spatial clustering algorithm with noisy samples,RFM-SCAN)算法,将特征匹配转化为具有异常值的空间聚类问题,自适应地将假定特征匹配聚类为几个运动一致的簇从而剔除误匹配.

尽管目前已经提出了许多误匹配剔除方法,但面对复杂多变的特征匹配场景,现有方法还存在一些不足. 一方面,在可变形物体识别或动态场景匹配计算机视觉任务中,匹配图像间的变换模型往往无法提前预知,因此须设计通用的特征匹配算法;另一方面,当假定特征匹配中存在大量误匹配或者图像变换模型是复杂的非刚性变换时,现有特征匹配方法的效率会急剧下降.

为了解决上述问题,提出基于异常检测的特征匹配算法(robust feature matching based on anomaly detection,RFM-AD),将特征匹配中的误匹配剔除问题转化为异常样本点检测问题. 根据假定特征匹配中正确匹配之间具有运动一致性,而误匹配的空间分布具有任意性这一现象,本研究算法将每个假定特征匹配转换为异常检测样本,将误匹配视为样本中的异常值. 在特征匹配背景下引入局部异常因子(local outlier factor,LOF)算法[15]及基于连通性的异常检测方法(connectivity-based outlier factor,COF)[16]作为异常检测框架,并设计了自适应参数估计方法以提高算法的鲁棒性. 相比于传统基于参数化模型的特征匹配方法,本研究算法能够处理涉及任何空间变换的图像对,具有更广泛的应用场景,且对大量异常值具有较强的鲁棒性.

1. 异常检测

异常检测旨在从数据集中识别和标识与预期行为或模式显著不同的观测数据[17]. 包括基于统计学的方法,如核密度估计法;基于聚类的方法,如k-means算法[18];基于距离的方法,如k-近邻算法[19]. 然而,这些方法通常要求检测样本满足特定的分布且难以检测局部异常值,在特征匹配问题中的应用受限.

基于密度的LOF算法认为正常样本的邻域密度与其周围样本的邻域密度相似,而异常样本的邻域密度会明显低于其周围样本的. 在特征匹配问题中,近邻的正确匹配之间具有相似的邻域结构,而误匹配的空间分布具有任意性,因此LOF算法是解决特征匹配问题的一个良好选择. 然而,LOF算法的检测效果容易受到参数$ k $的影响,此外,当样本异常率较高或者存在较多低密度的正常样本时,LOF算法的鲁棒性将会显著下降[20]. 针对上述问题,本研究设计自适应参数估计方法,引入并改进COF算法以提高异常检测效果.

1.1. 局部异常因子LOF

LOF算法的基本原理是通过计算某一样本点p在其k距离邻域内相比于其他样本点的局部密度偏差,即局部异常因子来衡量每个样本点的异常程度. 相关定义如下.

定义1 k距离. 给定样本点p和任意正整数k,距离pk个最近的样本点记为${{\boldsymbol{q}}_k}$pk距离即p${{\boldsymbol{q}}_k}$的距离,记为${{\rm{dist}} _k}({\boldsymbol{p}})$.

定义2 k距离邻域. 样本点pk距离邻域就是所有与p的距离小于等于${{\rm{dist}} _k}({\boldsymbol{p}})$的样本点集合,即

式中:D表示样本集;$ d $表示距离度量,如欧氏距离.

定义3 可达距离. 给定样本点p${\boldsymbol{q}} \in {N_k}({\boldsymbol{p}})$,样本点p相对q的可达距离为$\max \;\{ d({\boldsymbol{p}},{\boldsymbol{q}}),{\text{dis}}{{\text{t}}_k}({\boldsymbol{q}})\} $,记为${\text{dis}}{{\text{t}}_{\text{r}}}({\boldsymbol{p}},{\boldsymbol{q}})$.

定义4 局部可达密度. 样本点p的局部可达密度(local reachabilty density,LRD)表达式为

定义5 局部异常因子. 样本点p的局部异常因子可以表示为

从定义5可知,LOF(p)就是样本点p的邻域${N_k}({\boldsymbol{p}})$的局部可达密度与p的局部可达密度比值的均值. 当样本点的LOF大于给定阈值T时,认为该样本点为异常值. LOF算法的具体步骤如下.

LOF算法.

输入:样本集D,参数Tk.

输出:正常样本集.

1) 计算D中所有样本的距离矩阵M.

2) 根据定义1、2和M得到所有样本点的k距离邻域.

3) 根据定义3计算所有样本点的可达距离.

4) 根据定义4计算所有样本点的局部可达密度.

5) 根据定义5计算所有样本点的局部异常因子LOF.

6) 根据参数T和LOF求得正常样本集.

1.2. 基于连通性的异常检测方法COF

COF算法引入最小生成树(minimum spanning tree,MST)使用链式距离方法计算最短路径来衡量局部邻域密度. 相关定义如下.

定义6 SBN-path (a set based nearest path). 给定样本集D的一个子集$G = \{ {{\boldsymbol{p}}_1},{{\boldsymbol{p}}_2}, \cdots ,{{\boldsymbol{p}}_l}\} $${{\boldsymbol{p}}_1}$的SBN-path是一个序列,使得对于所有的$1 \leqslant i \leqslant l - 1$${{\boldsymbol{p}}_{i+1}}$为集合$\{ {{\boldsymbol{p}}_{i+1}}, \cdots ,{{\boldsymbol{p}}_l}\} $中距离${{\boldsymbol{p}}_i}$最近的样本.

定义7 SBN-trail (a set based nearest trail). 假定从${{\boldsymbol{p}}_1}$开始的SBN-path为$s = \left\langle {{{\boldsymbol{p}}_1},{{\boldsymbol{p}}_2}, \cdots ,{{\boldsymbol{p}}_l}} \right\rangle $,关于$ s $的SBN-trail是一个序列,记为$\left\langle {{{\boldsymbol{e}}_1}, \cdots ,{{\boldsymbol{e}}_{l - 1}}} \right\rangle $,使得对于所有的$1 \leqslant i \leqslant l - 1$${{\boldsymbol{e}}_i} = ({{\boldsymbol{o}}_i},{{\boldsymbol{p}}_{i+1}})$. 其中,${{\boldsymbol{o}}_i} = \{ {{\boldsymbol{p}}_1}, \cdots ,{{\boldsymbol{p}}_i}\} $$d({{\boldsymbol{e}}_i}) = d({{\boldsymbol{o}}_i},{{\boldsymbol{p}}_{i+1}})$.

定义8 平均链式距离(average chaining distance). 给定从${{\boldsymbol{p}}_1}$开始的SBN-path为$s = \left\langle {{\boldsymbol{p}}_1},{{\boldsymbol{p}}_2}, \cdots , {{\boldsymbol{p}}_l} \right\rangle $,关于$ s $的SBN-trail为$e = \left\langle {{{\boldsymbol{e}}_1}, \cdots ,{{\boldsymbol{e}}_{l - 1}}} \right\rangle $.${{\boldsymbol{p}}_1}$$G - \{ {{\boldsymbol{p}}_1}\} $的平均链式距离记为${\text{ac-dis}}{{\text{t}}_G}({{\boldsymbol{p}}_1})$,定义如下

定义9 COF. 给定任意样本点${\boldsymbol{p}} \in D$和任意正整数k. 样本点p的COF定义如下:

2. 研究方法

2.1. 问题阐述

2个近邻的正确匹配具有相似的运动特性,如运动矢量的方向和长度. 因此,从异常检测的角度出发,由正确匹配构建的运动矢量可以视为正常样本,而错误匹配构建的运动矢量则可以视为局部异常值. 将每个假定匹配转换为异常检测样本,并设计相应的规则用于度量样本相似性.

假设通过SIFT特征描述符相似性得到了H对假定特征匹配$S = \{ ({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i})\} _{i = 1}^H$. 其中,${{\boldsymbol{x}}_i}$${{\boldsymbol{y}}_i}$分别为2个对应特征点的图像坐标的二维向量. 令${{\boldsymbol{m}}_i} = {{\boldsymbol{x}}_i} - {{\boldsymbol{y}}_i}$表示假定匹配$({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i})$的运动矢量. 将假定匹配集S转换为异常检测样本集D,转换规则如下:

$ D = \{ {{\boldsymbol{p}}_i} = ({{\boldsymbol{x}}_i},{{\boldsymbol{y}}_i},{{\boldsymbol{m}}_i}),i = 1,2, \cdots ,H\} . $

式中:${{\boldsymbol{p}}_i}$为表征假定特征匹配性质的样本点. 为了增强正确匹配间的运动一致性,参考文献[14]中的加权距离,表达式如下:

$ d({{\boldsymbol{p}}_i},{{\boldsymbol{p}}_j}) = \phi ({{\boldsymbol{x}}_i},{{\boldsymbol{x}}_j})+\phi ({{\boldsymbol{y}}_i},{{\boldsymbol{y}}_j})+ {\text{ }}{\omega _{i,j}} \phi ({{\boldsymbol{m}}_i},{{\boldsymbol{m}}_j}) , $

$ {\omega _{i,j}} = 1+\gamma \cdot \exp \;( - \min \;\{ \phi ({{\boldsymbol{x}}_i},{{\boldsymbol{x}}_j}),\phi ({{\boldsymbol{y}}_i},{{\boldsymbol{y}}_j})\} ) . $

式中:${\omega _{i,j}}$为权重参数;$\gamma $为正数,用以增强运动一致性;$\phi ( \cdot )$为距离函数,文中采用欧氏距离.

根据上述规则可以计算出$H \times H$的距离矩阵M${{{M}}_{i,j}} = d({{\boldsymbol{p}}_i},{{\boldsymbol{p}}_j})$表示样本点${{\boldsymbol{p}}_i}$${{\boldsymbol{p}}_j}$之间的加权距离. 给定参数Tk后就可以通过LOF算法检测出样本集D中的异常样本,即假定匹配集S中的误匹配.

2.2. RFM-AD算法

在使用LOF算法剔除假定匹配中的误匹配时主要存在2个问题. 一方面,如何自适应地确定关键参数k的取值. 另一方面,当假定匹配的内点率较低时,LOF算法的准确率和召回率将会急剧下降. 解决方法如下. LOF算法的一个关键步骤是确定样本点pk距离邻域${N_k}({\boldsymbol{p}})$. 从定义2可以看出,${N_k}({\boldsymbol{p}})$是在整个样本集D上定义的,当样本集D中的异常样本(误匹配)数量较多时,${N_k}({\boldsymbol{p}})$将会包含大量异常值,这是导致LOF算法检测效果显著下降的关键原因. 为了解决这个问题,引入能够检测低密度样本的COF算法,并在特征匹配背景下对其关键步骤进行改进,以提高异常检测效果. 相关定义如下.

定义10 k距离邻域平均链式距离之和. 给定任意样本点${\boldsymbol{p}} \in D$和任意正整数k,样本点pk距离邻域平均链式距离之和记为${{{\mathrm{ac}} {\text{-}} {\mathrm{dis}}}}{{\text{t}}_k}({\boldsymbol{p}})$,定义如下:

定义11 k距离邻域平均链式距离之和的最大值. 给定任意样本点${{\boldsymbol{p}}_i} \in D$和任意正整数kk距离邻域平均链式距离之和的最大值记为${\text{ac-dist}}_k^{\max }$,定义如下:

定义12 改进COF. 特征匹配背景下的COF,记为${\text{CO}}{{\text{F}}_{{\text{FM}}}}({\boldsymbol{p}})$,定义如下:

改进COF算法的具体步骤描述如下.

输入:样本集D,参数Tk.

输出:正常样本集.

1) 计算D中所有样本的距离矩阵M.

2) 根据定义1、2和M得到所有样本点的k距离邻域.

3) 根据定义6、7计算所有样本点的SBN-path和SBN-trail.

4) 根据定义8计算所有样本点的平均链式距离.

5) 根据定义10、11得到k距离邻域平均链式距离之和的最大值.

6) 根据定义12计算${\text{CO}}{{\text{F}}_{{\text{FM}}}}({\boldsymbol{p}})$ .

7) 根据参数T${\text{CO}}{{\text{F}}_{{\text{FM}}}}$求得正常样本集.

参数k决定了样本点的邻域规模,其最优值应该取决于样本集D的基数. 假定参数k的最优值由集合D的基数H和百分比Pct决定,即$k = \left[ {H \times {\text{Pct}}} \right]$,其中$\left[ \cdot \right]$表示舍入运算. 此外,为了提高鲁棒性,将k的取值限制在${B_{\text{L}}}$${B_{\text{U}}}$之间,即

$ k = \max\; \{ \min \;\{ \left[ {H \times {\text{Pct}}} \right],{B_{\text{U}}}\} ,{B_{\mathrm{L}}}\} . $

式中:${B_{\text{L}}} = 3$${B_{\text{U}}} = 30$. 因此,确定参数k的最优值就被转换为确定Pct的最优值.

为了处理具有大量异常值的特征匹配,基于引导匹配策略提出RFM-AD算法. 首先,在整个样本集D上构建所有样本点的k距离邻域,并通过设置合适的阈值运行改进COF算法获得高内点率的假定正常样本集${I_0}$,然后在${I_0}$上构建所有样本点的k距离邻域,最后基于LOF算法获得正常样本集$I$.

$ {N_k}({\boldsymbol{p}}) = \{ {\boldsymbol{o}} \in {I_0}|d({\boldsymbol{p}},{\boldsymbol{o}}) \leqslant {\text{dis}}{{\text{t}}_k}({\boldsymbol{p}})\} . $

RFM-AD算法的具体步骤描述如下.

输入:假定特征匹配S,参数T1T2、Pct、$\gamma $.

输出:内点集I.

1) 根据式(1)构建样本集D.

2) 根据式(4)计算参数k.

3) 基于DT1k运行改进COF算法求得假定内点集${I_0}$.

4) 基于${I_0}$构建所有样本点的k距离邻域,基于T2k运行LOF算法求得内点集I.

为了对比LOF算法、改进COF算法以及RFM-AD算法的鲁棒性,随机选取30幅涉及不同变换类型的图像对(假定特征匹配的平均内点率仅为56.05%),测试3种算法的异常因子分布. 将特征匹配的准确率P、召回率RF分数作为算法的性能评价指标. 其中,准确率定义为算法保留下来的内点占保留下来的所有匹配的百分比,召回率定义为算法保留下来的内点占所有内点的百分比,F分数定义为准确率和召回率乘积的2倍与其和的比值. 如图1所示为3种算法的异常因子分布及F分数累计分布. 图中,OF为异常因子,Pro为异常因子的概率,f(F)为F分数的累积概率. LOF算法的异常因子对内点和外点的区分性较差,当阈值为1.7时,LOF算法的平均F分数取得最大值,为70.91%. 改进COF算法的平均F分数在阈值为0.4时取得最大值83.45%,相比于LOF算法有较大的提升. RFM-AD算法的异常因子对内点和外点的区分性则非常显著,并取得了88.36%的平均F分数. 这是因为在RFM-AD算法中,针对改进COF异常因子设置了较小的阈值,从而获得了内点率较高的假定内点集${I_0}$,在${I_0}$上构建的${N_k}({\boldsymbol{p}})$几乎不包含外点,增强了LOF异常因子对内点和外点的区分性.

图 1

图 1   LOF、改进COF、RFM-AD的异常因子分布以及F分数累计分布

Fig.1   Outlier factor distribution and cumulative distribution of F-score for LOF, improved COF and RFM-AD


为了确定参数Pct、$\gamma $T1T2的最优值,测试不同参数设置下RFM-AD算法在随机选取的30幅图像对上的平均F分数$\bar F $,结果如图2所示. 图2(a)固定参数$\gamma $和Pct,分别测试参数T1T2的最优值;图2(b)固定参数T1T2,分别测试参数$\gamma $和Pct的最优值. 从图2可以看出,在$\gamma = 15$${\text{Pct}} = {\text{0}}{\text{.04}}$$T_1 = 0.2$$T_2 = 2.5$时,RFM-AD算法取得了最优的平均F分数,这也是本研究默认的最佳参数设置.

图 2

图 2   不同参数设置下RFM-AD在30幅图像对上的平均F分数

Fig.2   Average F-score of RFM-AD with different parameter settings on 30 image pairs


3. 实验结果

首先测试RFM-AD算法在具有不同变换类型的代表性图像对上的表现,然后在以下4个公开数据集上对RFM-AD算法与先进的特征匹配算法进行定量比较.

1) VGG数据集[21]. 该数据集由40对图像组成,包含8个不同场景,涵盖刚性变换和图像质量变化的噪声干扰. 图像对之间满足单应性变换.

2) Retina数据集[11]. 该数据集由65对视网膜图像组成,图像对之间满足非刚性变换.

3) DAISY数据集[22]. 该数据集主要由宽基线图像对组成,本节共使用其中52个图像对进行算法评估.

4) AdelaideRMF数据集[23]. 该数据集共包含38个图像对,其中前19个图像对满足单应性变换,后19个图像对符合基本矩阵. 此外,大多数图像满足多运动模式,即图像场景中多个物体具有不同的运动.

以上4个数据集中图像对的假定特征匹配以及正确匹配关系均来自文献[1]的公开数据. 使用MATLAB代码实现RFM-AD算法,实验配置为AMD Ryzen 5 2500U CPU和8 GB内存的笔记本电脑.

3.1. 代表图像对实验结果

使用涉及不同类型几何变换的7个代表性图像对进行测试,包括多运动变换、非刚性变换、分段线性变换、宽基线图像对等,假定特征匹配及正确对应关系来自文献[1]的公开数据集,由SIFT算法产生,特征匹配结果如图3所示. 7个测试对的初始内点率分别为44.24%、68.48%、90.40%、83.70%、69.18%、56.35%、48.51%. 对于每组结果,左边图像对直观地显示出了特征匹配关系,右边运动场中每个矢量的头部和尾部对应于左边图像对中2个对应特征点的位置,矢量的颜色用以示意匹配结果的正确性,蓝色代表真正,黑色代表真负,红色代表假正,绿色代表假负. 从图3可以看出,近邻的正确匹配之间具有相似的运动矢量,而错误匹配的运动矢量之间几乎毫无关联. 在所有图像对中,RFM-AD算法准确地找到并保留了几乎全部的正确匹配,证明了它对不同匹配场景的鲁棒性.

图 3

图 3   RFM-AD在7个代表图像对上的特征匹配结果

Fig.3   Feature matching results of RFM-AD on seven representative image pairs


在7幅典型图像对上,将4种先进的特征匹配算法(RANSAC[5]、LPM[11]、RFM-SCAN[14]、LOGO[13])与RFM-AD算法进行对比研究. 所有算法基于公开代码实现,使用准确率、召回率和F分数评价算法性能,结果如图4所示. 图中,f(P)、f(R)分别为准确率、召回率的累积概率. 可以看出,与其他算法相比,RFM-AD算法在准确率方面没有明显的优势,尤其是相比于RANSAC算法;RFM-AD算法总能够得到最好的召回率,平均召回率高达99.56%;在7幅代表图像对上取得了最高的平均F分数,表明RFM-AD算法在准确率和召回率之间取得了最佳的平衡.

图 4

图 4   RFM-AD、RANSAC、LPM、RFM-SCAN、LOGO在7个代表图像对上的特征匹配准确率、召回率、F分数的累计分布

Fig.4   Cumulative distribution of feature matching precision, recall, and F-score for RFM-AD, RANSAC, LPM, RFM-SCAN, and LOGO on seven representative image pairs


为了更加直观地对比RFM-AD算法和RANSAC、LPM、RFM-SCAN、LOGO算法的特征匹配效果,选取图3中内点率较低的3组图像对,分别测试上述5种算法在这3组图像对上的特征匹配结果,如图5所示. 第1组图像对涉及多运动变换且图像存在大片空白无纹理的背景. 第2组为宽基线图像对,且图像内容具有相似的纹理,如建筑墙壁. 第3组图像对涉及非刚性变换,图像内容同样具有相似的纹理. 从结果可以看出,在内点率较低的图像对上,RANSAC和LOGO虽然准确率表现优异,但召回率普遍较低;LPM算法在第1组涉及多运动变换的图像对中表现较差;RFM-SCAN算法较稳定,但本研究所提出的RFM-AD算法的特征匹配结果整体上更加优秀.

图 5

图 5   RFM-AD、RANSAC、LPM、RFM-SCAN、LOGO的特征匹配结果

Fig.5   Intuitive feature matching results of RFM-AD, RANSAC, LPM, RFM-SCAN and LOGO


3.2. 图像数据集实验结果

为了对RFM-AD算法进行全面的定量评估,在VGG、Retina、DAISY、AdelaideRMF这4个特征匹配数据集上与RANSAC[5]、LPM[11]、RFM-SCAN[14]和LOGO[13]算法进行对比实验. 4个数据集中假定匹配的平均数量分别为693.17、69.03、1475.60、341.68,平均内点率分别为88.10%、41.58%、79.37%、56.54%. 准确率、召回率和F分数的统计分布如图6所示. 从实验结果可以看出,RANSAC算法的准确率相比其他算法具有一定优势. 但是,召回率在内点率较低时出现了急剧下降的情况,比如在Retina数据集上的平均召回率仅为35.88%. 虽然可以通过增加迭代循环次数的方法提高RANSAC算法的召回率,但这无疑会大幅提高算法的运行时间,特别是当数据集的内点率较低时. LPM算法在Retina、DAISY、AdelaideRMF这3个数据集上的准确率和召回率均表现良好,但在VGG数据集上,其召回率出现了较为明显的下降,主要集中在失真的图像对中,这可能是因为在这些图像对中一部分正确匹配的邻域拓扑结构和错误匹配的邻域拓扑结构较相似. RFM-SCAN算法总体上较稳定,在准确率和召回率之间取得了较好的平衡. LOGO算法的准确率表现较稳定,但在内点率较低的Retina数据集上召回率出现了大幅下降. RFM-AD算法的召回率表现十分稳健,在VGG、Retina、AdelaideRMF这3个数据集上都取得了领先的召回率,并且在Retina数据集上获得了最佳的F分数曲线,表明RFM-AD算法具有良好的综合性能,且对含大量异常值和具有非刚性变换的图像特征匹配场景具有较强的鲁棒性.

图 6

图 6   RFM-AD,RANSAC,LPM,RFM-SCAN,LOGO在VGG,Retina,DAISY,AdelaideRMF数据集上的内点率、准确率、召回率、F分数的累计分布

Fig.6   Cumulative distribution of feature matching precision, recall, and F-score for RFM-AD, RANSAC, LPM, RFM-SCAN, and LOGO on VGG, Retina, Daisy, AdelaideRMF datasets


4. 结 语

提出基于异常检测的图像特征匹配算法RFM-AD. 将假定特征匹配转换为异常检测样本,引入LOF算法和COF算法进行异常检测从而剔除误匹配. 与依赖预定义参数化模型的方法相比,RFM-AD算法能够处理涉及任何空间变换的图像对,更具有通用性. 在涉及多运动变换、非刚性变换和分段线性变换等代表图像对和VGG、Retina、DAISY等公开数据集上的实验结果表明,本研究算法面对不同匹配场景和大量异常值时表现优异,综合匹配性能优于LPM、RFM-SCAN和LOGO等先进算法.

本研究算法的匹配性能依赖于最优参数设置,在其他匹配场景下可能需要经验调参以获得良好的匹配效果. 下一步计划针对特定匹配场景自适应确定最优参数.

参考文献

MA J, JIANG X, FAN A, et al

Image matching from handcrafted to deep features: a survey

[J]. International Journal of Computer Vision, 2020, 129 (1): 1- 57

[本文引用: 3]

GHAFFARI A, FATEMIZADEH E

Image registration based on low rank matrix: rank-regularized SSD

[J]. IEEE Transactions on Medical Imaging, 2018, 37 (1): 138- 150

DOI:10.1109/TMI.2017.2744663      [本文引用: 1]

高雪艳, 潘安宁, 杨扬

基于图像混合特征的城市绿地遥感图像配准

[J]. 浙江大学学报: 工学版, 2019, 53 (6): 1205- 1217

[本文引用: 1]

GAO Xueyan, PAN Anning, YANG Yang

Urban green space remote sensing image registration using image mixed features

[J]. Journal of Zhejiang University: Engineering Science, 2019, 53 (6): 1205- 1217

[本文引用: 1]

LOWE D G

Distinctive image features from scale-invariant keypoints

[J]. International Journal of Computer Vision, 2004, 60 (2): 91- 110

[本文引用: 1]

FISCHLER M A, BOLLES R C

Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography

[J]. Communications of the ACM, 1981, 24 (6): 381- 395

[本文引用: 4]

MA J, WU J, ZHAO J, et al

Nonrigid point set registration with robust transformation learning under manifold regularization

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30 (12): 3584- 3597

DOI:10.1109/TNNLS.2018.2872528      [本文引用: 1]

CHUM O, MATAS J. Matching with PROSAC: progressive sample consensus [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2005: 220–226.

[本文引用: 1]

RAGURAM R, CHUM O, POLLEFEYS M, et al

USAC: a universal framework for random sample consensus

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (8): 2022- 2038

DOI:10.1109/TPAMI.2012.257      [本文引用: 1]

MA J, ZHAO J, TIAN J, et al

Robust point matching via vector field consensus

[J]. IEEE Transactions on Image Processing, 2014, 23 (4): 1706- 1721

[本文引用: 1]

BIAN J W, LIN W Y, LIU Y, et al

GMS: grid-based motion statistics for fast, ultra-robust feature correspondence

[J]. International Journal of Computer Vision, 2019, 128 (6): 1- 14

[本文引用: 1]

MA J, ZHAO J, JIANG J, et al

Locality preserving matching

[J]. International Journal of Computer Vision, 2019, 127 (5): 512- 531

DOI:10.1007/s11263-018-1117-z      [本文引用: 4]

JIANG X, XIA Y, ZHANG X P, et al. Robust image matching via local graph structure consensus [J]. Pattern Recognition, 2022, 126.

[本文引用: 1]

XIA Y, MA J

Locality-guided global-preserving optimization for robust feature matching

[J]. IEEE Transactions on Image Processing, 2022, 31: 5093- 5108

DOI:10.1109/TIP.2022.3192993      [本文引用: 3]

MA J, JIANG X, JIANG J, et al

Robust feature matching using spatial clustering with heavy outliers

[J]. IEEE Transactions on Image Processing, 2019, 29: 736- 746

[本文引用: 4]

BREUNIG M M, KRIEGEL H P, NG R T, et al. LOF: identifying density-based local outliers [C]// ACM SIGMOD International Conference on Management of Data. Dallas: ACM, 2000, 29(2): 93–104.

[本文引用: 1]

TANG J, CHEN Z X, FU A W C, et al. Enhancing effectiveness of outlier detections for low density patterns [C]// Pacific-Asia Conference on Knowledge Discovery and Data Mining. Taipei: Springer, 2002, 535–548.

[本文引用: 1]

许茂龙, 姜高霞, 王文剑

基于异常检测的标签噪声过滤框架

[J]. 计算机科学, 2024, 51 (2): 87- 99

DOI:10.11896/jsjkx.221100264      [本文引用: 1]

XU Maolong, JIANG Gaoxia, WANG Wenjian

Label noise filtering framework based on outlier detection

[J]. Computer Science, 2024, 51 (2): 87- 99

DOI:10.11896/jsjkx.221100264      [本文引用: 1]

HARTIGAN J A, WONG M A

A K-means clustering algorithm

[J]. Applied Statistics, 1979, 28 (1): 100- 108

[本文引用: 1]

RAMASWAMY S, RASTOGI R, SHIM K. Efficient algorithms for mining outliers from large data sets [C]// ACM SIGMOD International Conference on Management of Data. Dallas: ACM, 2000: 29(2): 427–438.

[本文引用: 1]

孔翎超, 刘国柱

离群点检测算法综述

[J]. 计算机科学, 2024, 51 (8): 20- 33

DOI:10.11896/jsjkx.230600052      [本文引用: 1]

KONG Lingchao, LIU Guozhu

Review of outlier detection algorithms

[J]. Computer Science, 2024, 51 (8): 20- 33

DOI:10.11896/jsjkx.230600052      [本文引用: 1]

MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al

A comparison of affine region detectors

[J]. International Journal of Computer Vision, 2005, 65 (1): 43- 72

[本文引用: 1]

TOLA E, LEPETIT V, FUA P

DAISY: an efficient dense descriptor applied to wide-baseline stereo

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32 (5): 815- 830

DOI:10.1109/TPAMI.2009.77      [本文引用: 1]

WONG H S, CHIN T J, YU J, et al. Dynamic and hierarchical multi-structure geometric model fitting [C]// International Conference on Computer Vision. Barcelona: IEEE, 2011: 1044–1051.

[本文引用: 1]

/