异源图像匹配是图像处理领域的重要研究方向. 考虑单一传感器获取的图像信息有限, 通过引入多模图像实现特征信息互补；匹配的多传感器数据能够对图像区域或特定目标进行更鲁棒的解释, 这势必对优化匹配方法提出新的挑战.

现有匹配方法分为基于强度和基于特征两大类. 基于强度的方法是利用图像间的相似性度量信息实现匹配, 如归一化互相关(normalized cross correlation, NCC)^[1]、互信息(mutual information, MI)^[2]或交叉累积剩余熵(cross-cumulative residual entropy, CCRE)^[3]等; 基于特征的匹配方法通过提取图像的点^[4]、线^[5]、面^[6]等局部特征实现匹配, 如Harris算法、尺度不变特征变换(scale-invariant feature transform, SIFT)^[7]、最大稳定极值区域(maximally stable extremal regions, MSER)^[8]等. 以可见光和红外图像为例, 二者存在较大差异，导致匹配难度加大. 一方面是不同成像机理导致图像之间存在差异；另一方面是多模传感器的引入，使得区域图像特征更复杂. 传统的同源图像匹配方法难以直接应用于异源图像.

近年来, 大量网络模型应用于图像处理领域^[9-11], Goodfellow等^[12]提出生成对抗网络(generative adversarial network, GAN)模型在图像生成^[13]、图像编辑^[14]、风格转换^[15]、照片增强^[16]等视觉图像方面发挥重要作用, 大量改进网络不断涌现, 如DCGAN^[17]、WGAN^[18]、CycleGAN^[19]等. 针对模式相差较大的转换任务, 研究者们提出MUNIT^[20]、DRIT^[21]、DSMAP^[22]等多种图像翻译框架. Song等^[23]开展近红外-可见光的人脸图像生成与识别工作, 改善了现有方法对于不同模式间差距较大的问题. Merkle等^[24]实现了光学与SAR图像的风格转换, 体现了生成对抗网络应用于图像匹配的可行性与实用性.

综合上述分析, 本文提出基于生成对抗模型的异源图像匹配方法, 包括以下2个阶段. 1）引入图像转换机制作为匹配预处理阶段, 构建新的损失函数提高可见光-红外图像的转换效果, 消除不同模态图像间的成像差异；2）判断生成图像与真实红外图像的PCCs, 实现匹配任务约束. 设定阈值 $ \gamma $, 若 $ {\text{PCCs}} \geqslant \gamma $, 则实施SIFT匹配；反之, 则重新生成再判断直至满足匹配条件. 实验结果表明, 利用所提方法能够有效地处理多模数据, 实现可见光和红外图像的间接匹配.

生成式对抗网络是基于深度学习的网络框架, 具有2个相互竞争的神经网络模型, 即1个生成器模型(generative model, $ G $)、1个判别器模型(discriminative model, $ D $). 对抗网络的目的是通过反复训练模型来学习输入图像与输出图像二者间的映射关系, 训练好的模型可以生成与给定目标数据集相似的图像，以欺骗判别器. 该网络描述了图像到图像的翻译过程, 如GAN可以实现单模态转多模态数据集, 生成全新图片, 方便后续目标检测、识别和跟踪任务时使用, 以提高数据样本较少时目标检测、识别的准确率. 该应用与本文研究的异源匹配问题高度一致, 即可以看作实现异源(可见光和红外)图像的风格转换问题.

考虑成对的异源图像获取相对困难, 根据GAN网络的核心思想, 利用循环一致性对抗网络(cycle-consistent generative adversarial networks, CycleGAN)^[25]不需要成对数据就可以训练、具有较强通用性、性能良好的优势, 完成异源匹配前的图像转换工作. CycleGAN是用2个对称的GAN构成环形网路, 即由2个生成器和2个判别器构成. 以可见光-红外图像的转换问题为例, 将可见光图像和红外图像分别定义为源域 $ V $和目标域 $ I $, 此时，生成器表示为 $ {G_{{\text{VI}}}} $和 $ {F_{{\text{IV}}}} $, 判别器表示为 ${D_{{V}}}$和 ${D_{{I}}}$, 2条环路的结构如图1所示. 图中，v为来自V域的图像，i为来自I域的图像. 通过训练模型的2个映射： $ {G_{{\text{VI}}}} $: $ V \to I $和 $ {F_{{\text{IV}}}} $: $ I \to V $, 使得 ${G_{{\text{VI}}}}(V)$无限逼近目标域 $ I $的图像, 再通过判别器进一步优化生成图像的细节信息. 该网络具备独特的循环一致对抗学习能力, 使得输入图像在依次通过2个生成器后仍能重构得到输入图像本身. 该思想既拟合了目标域图像的风格分布, 又保留了源域图像的内容特征, 有效减少了转换过程中错误信息及无用信息的加入. 引入的循环一致性约束条件防止生成器 $ {G_{{\text{VI}}}} $和 $ {F_{{\text{IV}}}} $相互矛盾, 缓解了模型坍塌和梯度消失的问题, 进而增强不同域之间的整体转换效果, 实现多模图像风格的双向转换, 使转换模型训练更稳定, 方便后续图像匹配工作的开展.

图2描述了生成对抗网络中生成器和判别器的结构组成. 图中, Conv为卷积层, Resnet为残差层, Deconv为反卷积层. 生成器 $ G $由编码器、转换器与解码器构成, 转换器由9个残差块结构构成, 合理利用了Highway Network的跨层连接思想, 一定程度上解决了传统卷积层或全连接层在信息传递时可能造成的信息丢失和损耗问题, 实现了输入到输出的恒等映射, 从而保证信息的完整性, 避免后续由于网络层数的加深造成准确率下降的问题. 生成器部分整体经过了先下采样后上采样的过程, 且随着网络深度的增加, 图像细节不断优化；判别器采用下采样方法, 主要用于判断生成器生成的假样本是否属于目标域I. 判别器部分采用Pix2Pix中的PatchGANs结构, 大小为 $ 70 \times 70 $, 工作过程描述如下： $ 256 \times 256 $大小的图像, 将整幅图像分割成若干个 $ 70 \times 70 $感受野的图像块, 通过判断当前 $ 70 \times 70 $的patch为真或假, 再遍历整个图像上的patch块并取所有结果的平均值作为判别器 $ D $的最终输出. 若该图像来自生成网络, 则输出0；反之, 若来自真实的数据分布, 则输出1. 两者根据反馈结果不断更新参数, 直至达到纳什均衡.

CycleGAN的损失函数由对抗损失和循环一致性损失构成. 其中对抗损失在实际模型训练中通常采用LSGAN的损失函数, 最小二乘损失在一定程度上缓解了梯度消失问题；循环一致性损失的引入是CycleGAN网络相比于传统GAN的改进部分. 本文模型在CycleGAN生成—判别通道的基础上, 构建了生成器的本体映射损失 $ {L_{{\text{identity}}}} $的计算通路, 用来约束生成图像的颜色配置, 使得网络尽可能生成与目标域相似的转换图像. 下面分别描述各部分损失项.

1）生成对抗损失. 对抗损失采用LSGAN常规生成对抗网络中的损失约束函数, 依据最小二乘损失函数对网络进行评估, 该损失的引入提升了图像细节清晰度, 使得模型训练更加稳定. 2个生成器 $ {G_{{\text{VI}}}} $和 $ {F_{{\text{IV}}}} $对抗损失的数学表达式可以描述如下：

(1) $ \begin{split} & {L_{{\text{LSGAN}}}}\left( {{G_{{\text{VI}}}},{D_{{I}}},V,I} \right) = {E_{{\boldsymbol{i}} : {P_{{\text{data}}}}\left( {\boldsymbol{i}} \right)}}\left[ {{{\left( {{D_{{I}}}\left( {\boldsymbol{i}} \right) - 1} \right)}^2}} \right] + \\ & \;\;\;\;\;\;\;\;\;\;\;\;\;\; {E_{{\boldsymbol{v}} : {P_{{\text{data}}}}\left( {\boldsymbol{v}} \right)}}\left[ {{D_{{I}}}{{\left( {{G_{{\text{VI}}}}\left( {\boldsymbol{v}} \right)} \right)}^2}} \right] , \end{split} $

(2) $ \begin{split} & {L_{{\text{LSGAN}}}}\left( {{F_{{\text{IV}}}},{D_{V}},I,V} \right) = {E_{{\boldsymbol{v}} : {P_{{\text{data}}}}\left( {\boldsymbol{v}} \right)}}\left[ {{{\left( {{D_{V}}\left( {\boldsymbol{v}} \right) - 1} \right)}^2}} \right] + \\ & \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {E_{{\boldsymbol{i}} : {P_{{\text{data}}}}\left( {\boldsymbol{i}} \right)}}\left[ {{D_{V}}{{\left( {{F_{{\text{IV}}}}\left( {\boldsymbol{i}} \right)} \right)}^2}} \right] . \end{split} $

式中： $ {L_{{\text{LSGAN}}}} $表示生成器和判别器之间的对抗损失. 式（1）为源域 $ V $至目标域 $ I $转换过程对应的对抗损失表达式, 式（2）为目标域 $ I $至源域 $ V $反向转换过程对应的对抗损失表达式. 该损失使得模型训练过程更加稳定, 生成图像的质量更高.

2）循环一致性损失. 循环一致性损失主要描述输入图像与由生成器生成图像重构形成的图像间近似相等的过程, 即同时训练映射 $ {G_{{\text{VI}}}} $和映射 $ {F_{{\text{IV}}}} $, 形成如下闭环回路： ${\boldsymbol{v}} \to {G_{{\text{VI}}}}({\boldsymbol{v}}) \to {F_{{\text{IV}}}}\left( {{G_{{\text{VI}}}}({\boldsymbol{v}})} \right) \approx {\boldsymbol{v}}$. 同理, 反向一致性与上述过程类似. 该损失主要利用生成器输入图像和映射回来的重构图像间的 $ {L_1} $范数距离进行计算, 为了描述输入图像和重构图像的低频信息相似性, 保证两者内容的一致性, 且尽可能减少图像模糊. 循环一致性损失表示为

(3) $ \begin{split} & {L_{{\text{cycle}}}}\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}}} \right) = {E_{{\boldsymbol{v}} : {P_{{\text{data}}}}\left( {\boldsymbol{v}} \right)}}\left[ {{{\left\| {{F_{{\text{IV}}}}\left( {{G_{{\text{VI}}}}\left( {\boldsymbol{v}} \right)} \right) - {\boldsymbol{v}}} \right\|}_1}} \right]{\text{ + }} \\ &\;\;\;\;\;\;\;\;\;\;\; {E_{{\boldsymbol{i}} : {P_{{\text{data}}}}\left( {\boldsymbol{i}} \right)}}\left[ {{{\left\| {{G_{{\text{VI}}}}\left( {{F_{{\text{IV}}}}\left( {\boldsymbol{i}} \right)} \right) - {\boldsymbol{i}}} \right\|}_1}} \right]. \end{split} $

式中： ${F_{{\text{IV}}}}\left( {{G_{{\text{VI}}}}({\boldsymbol{v}})} \right)$通过对生成器 $ {G_{{\text{VI}}}} $输出的假红外样本进行重构得到, ${G_{{\text{VI}}}}\left( {{F_{{\text{IV}}}}({\boldsymbol{i}})} \right)$同理; $ {\left\| * \right\|_1} $表示 $ {L_1} $范数, 与以下部分保持一致.

3）本体映射损失. 利用生成器输入图像和输出图像的 $ {L_1} $范数作为生成器的本体映射损失, identity项的引入, 避免了生成器自主修改图像色调、改变图像整体颜色的现象. 本体映射损失优化了CycleGAN模型的总损失, 更好地保留了原图像的颜色配置, 防止生成器产生色差，影响最终的匹配效果. 本体映射损失表示为

(4) $ \begin{split} & {L_{{\text{identity}}}}\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}}} \right) = {E_{{\boldsymbol{v}} : {P_{{\text{data}}}}\left( {\boldsymbol{v}} \right)}}\left[ {{{\left\| {{F_{{\text{IV}}}}\left( {\boldsymbol{v}} \right) - {\boldsymbol{v}}} \right\|}_1}} \right]{\text{ + }} \\ &\qquad {E_{{\boldsymbol{i}} : {P_{{\text{data}}}}\left( {\boldsymbol{i}} \right)}}\left[ {{{\left\| {{G_{{\text{VI}}}}\left( {\boldsymbol{i}} \right) - {\boldsymbol{i}}} \right\|}_1}} \right]. \end{split} $

式中： $ E $为期望值, $ {P_{{\text{data}}}} $表示实际数据分布.

综上所述, CycleGAN损失函数的计算包括以下3个部分：1）生成器计算生成样本的对抗性损失, 以区分生成图像和真实图像；2）计算循环一致性损失, 即重构损失, 避免模型学习的映射 $ {G_{{\text{VI}}}} $和 $ {F_{{\text{IV}}}} $相互矛盾；3）生成器 $ {G_{{\text{VI}}}} $和 $ {F_{{\text{IV}}}} $的本体映射损失, 避免了对源图像色调的改变, 约束了图像生成过程. 各环节的关系示意图如图3所示.

在上述3种损失中, 本体映射损失与循环一致性损失分别通过各自的超参数来描述两者在总损失中的占比情况. 综上所述, 整个框架的损失函数由本体映射损失、生成对抗损失及循环一致性损失三者按照一定的比例加和构成, 总体损失函数表示为

(5) $ \begin{split} & {L_{{\text{loss}}}}\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}},{D_{{V}}},{D_{{I}}}} \right) = {L_{{\text{LSGAN}}}}\left( {{G_{{\text{VI}}}},{D_{{I}}},V,I} \right) + \\ &\;\;\;\;\;\;\;\;\;\; {L_{{\text{LSGAN}}}}\left( {{F_{{\text{IV}}}},{D_{{V}}},I,V} \right) + \alpha {L_{{\text{cycle}}}}\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}}} \right){\text{ + }} \\ &\;\;\;\;\;\;\;\;\;\; \beta {L_{{\text{identity}}}}\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}}} \right). \end{split} $

式中： $ \alpha $和 $ \;\beta $作为各损失函数的调节系数, 是超参数, 分别表示2种对应损失在目标函数中的重要性. 通过调整权重 $ \alpha $和 $ \;\beta $以寻求较优的结果, 相关参数设置详见3.1节.

目标函数可以表示为

(6) $ G_{{\text{VI}}}^ * ,F_{{\text{IV}}}^ * = \arg \mathop {\min }\limits_{{G_{{\text{VI}}}},{F_{{\text{IV}}}}} \mathop {\max }\limits_{{D_{{V}}},{D_{{I}}}} L\left( {{G_{{\text{VI}}}},{F_{{\text{IV}}}},{D_{{V}}},{D_{{I}}}} \right). $

将图像转换技术作为匹配的预处理阶段, 通过反复训练模型尽可能消除图像间的成像差异, 大大降低了匹配难度. 利用SIFT算法提取局部特征, 初步确定特征点位置和尺度信息，完成特征点的粗匹配；利用随机采样一致性(random sample consensus, RANSAC)算法进行一致性检验, 剔除误匹配点, 实现转换图像与真实图像的间接匹配. 其中, 极值点检测覆盖范围包括不同尺度像素点及邻域像素, 即尺度的第 $ n $层上下共计26个点进行比较, 得到高斯差分尺度空间的局部极值点. 特征描述是通过特征点邻域内16个种子点构成的128维特征向量来描述目标图像的特征.

为了避免转换网络生成的无效图像加入匹配任务中造成干扰, 在匹配任务前, 对生成图像的质量进行主观判断及数值检验, 引入皮尔逊相关系数(Pearson correlation coefficient, PCCs)作为间接验证, 通过计算生成图像与原始图像间的PCCs完成对2幅图像的相似性度量, 以衡量生成图像与原始图像的线性相关程度, 综合评价了图像转换的效果. 将数值结果作为匹配任务开展的前提约束, 对图像质量进行评估. PCCs的数学表达式为

(7) $ {\rm{PCCs}} = \dfrac{{{\rm{cov}}\left( {{\boldsymbol{R}},{\boldsymbol{W}}} \right)}}{{{\sigma _{\boldsymbol{R}}}{\sigma _{\boldsymbol{W}}}}} = \dfrac{{E\left( {{\boldsymbol{RW}}} \right) - E\left( {\boldsymbol{R}} \right)E\left( {\boldsymbol{W}} \right)}}{{\sqrt {E\left( {{{\boldsymbol{R}}^2}} \right) - {E^2}\left( {\boldsymbol{R}} \right)} \sqrt {E\left( {{{\boldsymbol{W}}^2}} \right) - {E^2}\left( {\boldsymbol{W}} \right)} }}. $

式中： ${{\boldsymbol{R}}}$和 ${\boldsymbol{W}}$分别为2种模态图像的像素矩阵, $ E $为数学期望, ${{\rm{cov}}}$为协方差.

假设2幅图像像素个数均为 $ N $, 则式（7）可以改写为

(8) $ \begin{array}{*{20}{l}} {{\rm{PCCs}} = }\\ {\frac{{\displaystyle\sum\limits_{n = 1}^N {{R_n}} {W_n} - {N^{ - 1}}\displaystyle\sum\limits_{n = 1}^N {{R_n}} \sum\limits_{n = 1}^N {{W_n}} }}{{\sqrt {\left( {{{\displaystyle\sum\limits_{n = 1}^N {{R^2_n}} - {N^{ - 1}}}} {{\left( {\displaystyle\sum\limits_{n = 1}^N {{R_n}} } \right)}^2}} \right)\left( {{{\displaystyle\sum\limits_{n = 1}^N {{W^2_n}} - {N^{ - 1}}} }{{\left( {\displaystyle\sum\limits_{n = 1}^N {{W_n}} } \right)}^2}} \right)} }}}. \end{array}ֱ $

式中： $ n $表示图像的第 $ n $个像素.

结合PCCs的值域为[−1,1], 为了使生成器转换的红外图像更好地匹配真实的红外图, PCCs应尽可能接近于1. 考虑各图像间存在跨模态的转换, 且不同数据模态间存在较大的差异性, 要实现强相关相对困难.

参考表1变量相关强度的取值标准，依据经验值及实验数据得出2幅图像的最佳PCCs阈值为0.55. 在完成异源图像转换后, 通过判断由生成器生成的待测红外图像与真实红外图像二者间的相似度，决定是否进行进一步匹配.

综合以上分析, 基于生成对抗模型的异源图像匹配方法流程如图4所示. 图中，γ为相关系数阈值. 所提方法的整体步骤描述如下.

输入: 2组V和I, $ b = 1 $, $r = 0.000\;2$, $ e = 100 $. 其中, $ b $为模型训练过程中每次批量处理的图像样本数; $ r $为学习率; $ e $表示遍历完所有数据，则记为一个批次.

输出: 匹配结果图.

1） 设置输入图像为 $ 256 \times 256 $，进行训练.

2） 将v及i送入ResNet网络中提取特征, 经过编码解码操作, 生成新的v和i.

3） 根据式（5）计算总损失：

$ \begin{split} {L_{{\text{loss}}}}({G_{{\text{VI}}}},{F_{{\text{IV}}}},{D_{\text{V}}},{D_{\text{I}}}){\text{ = }}&{L_{{\text{LSGAN}}}}({G_{{\text{VI}}}},{D_{\text{I}}},V,I) + \\ & {L_{{\text{LSGAN}}}}({F_{{\text{IV}}}},{D_{\text{V}}},I,V) + \\ & \alpha {L_{{\text{cycle}}}}({G_{{\text{VI}}}},{F_{{\text{IV}}}}) + \\ & \beta {L_{{\text{identity}}}}({G_{{\text{VI}}}},{F_{{\text{IV}}}}). \\ \end{split} $

4） 将数据集遍历100个批次.

5） 导出模型latest_net_G.pth权重文件.

6） 任取单张测试图像 $\widetilde {\boldsymbol{v}}$, 对应真实红外图像 $\widetilde {\boldsymbol{i}}$, 将 $\widetilde {\boldsymbol{v}}$输入模型进行转换, 生成假样本 ${{\boldsymbol{i}}^ * }$.

7） 利用式（8），计算 $\widetilde {\boldsymbol{i}}$和 ${{\boldsymbol{i}}^ * }$的PCCs.

8） 若 $ {\text{PCCs}} \geqslant 0.55 $, 则实施匹配任务；否则返回步骤2）继续训练模型，直至收敛.

9） 匹配对应关系映射到 ${{V}}$和 ${{I}}$.

10） 结束.

考虑所提模型涉及的参数空间相对较大, 而参数值的选定本身是比较复杂的问题，依据表2设定的基本参数训练网络模型, 以确保用于异源图像转换的CycleGAN方法在满足可行性的基础上提供更高的保真度.

为了提高网络的优化学习能力, 采用Adam优化器, 结合动量稳定学习率, 使其线性衰减至0. 在归一化处理阶段, 采用实例归一化方式, 加速优化模型的收敛性.

针对模型损失部分, 参考原始CycleGAN模型及相关变体模型, 可以发现，基于该模型下引入的循环一致性损失在总loss中的权值系数大部分位于[10, 40], 该范围在一定程度上保持了风格转换过程中图像的原始特征, 有效实现了原图的循环迁移. 结合生成图像质量评价指标PCCs, 将其作为权重 $ \alpha $的关联参数, 当PCCs越大时, 图像相关程度越高, 图像匹配性越强. 利用控制变量法, 以10为步长对权值区间进行遍历, 取不同的 $ \alpha $ $\left( {\alpha {\text{ = }}10、20、30、40、50} \right)$，分别对2组场景进行实验, 其他部分损失系数保持不变. 经实验可知, 权值调节趋势如图5所示. 可以看出, 当 $ \alpha = 30 $时PCCs达到峰值, 兼顾生成图像的相关性及清晰度, 选定 $ \alpha $的合理取值为30. 考虑 $ {L_{{\text{identity}}}} $用于更好地保留源图像的颜色配置, 但为了避免过多的颜色信息影响, 将损失函数中L_identity权重 $ \;\beta $置为0.5. 当数据存在较大差异时, 根据模型的实际训练结果对网络结构及权值参数进行适当调整, 以达到期望的转换效果.

讨论不同场景作用于模型的训练结果, 为了获得最佳转换效果, 对网络模型进行优化处理, 并反复训练模型. 考虑图像转换的多样性问题, 选用网上公开的OTCBVS数据集^[26]中Dataset 3: OSUColor and Thermal Database数据库进行实验, 包含2组场景下的可见光图像A和红外图像B, 共计17 089张图像, 大小均为 $ 320 \times 240 $像素；本文模型在输入网络之前，须改变图像为固定大小, 即 $ 256 \times 256 $像素. 实验分别选取Location1中的Sequence3及Location2中的Sequence6共2组数据, 训练模型. 其中 Location1为低照度场景1, 共包含465张图像, 分别是324张红外图像和141张可见光图像; Location2为高强度场景2, 共包含3 304张图像, 分别是1652张红外图像和1 652张可见光图像. 由于场景1受光照强度、拍摄时间、光线角度等因素的影响, 获取的图像细节特征不明显, 相比场景2而言, 场景1的转换过程更具挑战性. 如图6所示为随机选取的2组不同场景下可见光、红外图像数据集中的几组样本. 实验模型训练过程的参数设置与3.1节保持一致, 最多迭代100个批次. 如图7所示为训练模型分别作用于场景1和场景2时对应的损失曲线图.

从图7可知, 随着训练的进行, 损失函数逐渐减小, 但存在上下波动的状况, 即体现出生成器与判别器的博弈过程. 表3给出2组场景下异源图像数据集在训练的第30个和第100个批次后的输出结果图. 表中, Input_A代表2组场景下真实的可见光图像；fake_B表示经生成器转换后的图像, 即模型生成的假红外图像；recon_A表示重构的原始图像, 即对生成器生成的假红外图像进行编码和解码操作形成的重构图像；identity_B表示自身映射图像.

从表3可以看出, 随着迭代次数的增加, 生成器越来越能创建更接近真实图像的假样本. 经过30个批次后, 图像的主要特征变得突出. 遍历50个批次后, 几乎能够生成表示真实图像特征的转换图像, 但存在模糊、码率低、波纹明显等问题；通过增加迭代次数尽可能消除上述现象, 经反复验证得出, 数据集被遍历100个批次时视觉效果更好, 图像质量几乎接近真实图像的红外图像, 且 $ {L_{{\text{identity}}}} $项的加入使得生成图像与真实图像的色差明显减小, 总体质量较高. 按照训练批次的不同, 分别列举权重为10和30时模型在上述2种场景下的表现, 记录2种场景下生成的假红外样本与真实红外图像之间的PCCs, 具体的数值结果如表4所示.

从表4可以看出, 当固定权重 $ \alpha $时, 随着迭代次数的增加, 由生成器生成的假样本更加趋近于真实图像, 两者的相似程度总体上呈递增趋势. 当固定遍历批次时, 利用不同 $ \alpha $对模型进行训练, 对比不同权值下生成器生成的假样本与真实图像之间的PCCs. 对比可以发现, 当 $ \alpha $调整为30时对应生成的图像质量更好, 生成器保持了较好的泛化能力. 综合上述2种情况, 采用权值 $ \alpha = 30 $, $\; \beta {\text{ = }}0.5 $, 对模型进行100个批次的训练, 设定PCCs阈值为0.55, 即当2幅图像的相关系数不小于阈值时, 表明生成器能够较好地欺骗判别器, 生成更接近于真实样本的图像. 判定满足该阈值约束条件的图像即可执行后续匹配任务, 否则返回重新训练模型.

该实验均建立在如表5所示的实验环境下. 在上述配置环境下, 分别利用3.2节的2组数据集进行网络训练, 总体生成效果较好. 为了验证提出方法的有效性, 通过评估测试数据集的结果, 以评估训练模型在应用于全新数据集时的学习程度.

1）可见光与红外图像转换实验. 本文测试集是利用实验室的无人机飞行平台, 在巡飞过程中采集3组不同场景下的可见光和红外异源航拍图像, 建立新的数据库. 该数据库包含3组不同场景, 实验中将每个场景下不同模态的测试数据设置为50张图像, 且图像原始大小均为 $ 720 \times $ $ 480 $像素.

通过测试新数据验证模型的转换效果, 实景航拍图像的转换效果如图8所示, 图中展示了3组不同场景下可见光-红外图像的转换效果图. 从转换结果可以发现, 基于CycleGAN的图像转换模型不会改变原始图像的尺度、视角及目标形态, 仅作模态上的转换. 总体来看, 提出模型生成的红外图像质量较高, 与目标图像相似, 且对于图像的结构、色彩及细节信息表征完整, 未出现大面积失真、伪影、畸变等现象, 主观判断转换效果较优.

2）图像匹配实验.

a）可见光-红外图像直接匹配实验. 针对图8左侧3组场景的实拍可见光与红外图像, 利用经典SIFT匹配算法完成未进行图像转换预处理的可见光-红外图像直接匹配, 匹配结果如图9所示. 算法运行时间 $ T $、场景Ⅰ和Ⅱ的特征点数量 ${K_1}、 $ $ {K_2}$、正确匹配对数 $ P $及正确匹配率 ${R_{\rm{P}}}$的数值结果见表6.

从图9可以看出, 2张异源图像检测到的特征点数量相差较大, 正确匹配点对数极少. 结合表6可知, 当2种模态差异较大时, 直接利用传统SIFT算法的匹配难度较大, 匹配率不到7%, 因而不利于异源图像匹配任务的完成.

b）基于转换网络的图像匹配实验. 为了对比不同算法作用于3组场景下生成红外图像与实拍红外图像的匹配效果, 分别使用3种经典算法SIFT、SURF、ORB进行对比实验, 匹配结果如图10所示, 不同算法作用下3组场景的匹配数值对比结果见表7.

从图10可以看出, 当图像间存在尺度变换时, ORB算法较难进行正常匹配. SIFT算法虽然耗时更长, 但在多数场景中表现最好. 针对3组不同场景下的匹配任务, 对比图9、10可以看出, 提出的图像转换预处理方法比直接匹配算法提取的特征点更密集, 转换后的同源图像中正确匹配点对数明显增多. 结合表7可知, 经图像转换预处理后的正确匹配率总体较高, 与直接匹配算法相比, 该算法作用下3组场景的正确匹配率分别提升了40.8%、32.44%、24.54%. 选定SIFT作为图像转换预处理后同源图像间的匹配算法, 完成可见光和红外图像的间接匹配任务.

c）不同时间段特定物体预处理后图像匹配实验. 针对不同时间段下拍摄的3组场景图像分别进行匹配实验, 间接匹配效果如图11所示, 相关数值结果如表8所示. 可知, 训练模型能够较好地平衡不同温度下特定物体间的匹配任务, 表现出所提模型对于不同环境的适应性较好.

3）性能评估参数.

为了验证将图像转换机制作为异源匹配预处理方法的可行性, 引入峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(smart sensors and integrated microsystem, SSIM)、归一化均方根误差(normalization root mean square error, NRMSE)以及信息熵(information entropy, IE) 4种图像质量评价指标, 对模型性能进行客观、全面的分析. 由于测试集3组图像是来自同一采集设备、同一时间的不同场景下的数据, 在温度、光照、视角等方面均相差不大, 且考虑篇幅限制, 仅选取场景1参与数值分析, 其他2组的分析思路与场景1一致. 如表9所示分别为3种模型（原始图像、CycleGAN转换网络模型及添加L_identity项的CycleGAN）下场景1对应的数值对比结果.

从表9可知, 原始可见光和红外图像在结构、细节信息方面差异较大, 相似性程度低, 影响最终的匹配效果. 通过CycleGAN模型转换后的生成图像结构更趋于原始红外图像, 且色彩变换和失真程度低, 鲁棒性方面表现良好. 与其他2种模型相比, CycleGAN+ $ {L_{{\text{identity}}}} $模型在4种指标上均具有明显优势, 表明生成图像较好地保留了原始特征, 图像失真小, 且更接近于真实红外图像. 数值结果验证了所提方法能够达到结构性更强、细节特征信息更接近真实图像的效果, 说明了将图像转换机制作为异源匹配预处理阶段是一个可行的思路, 且 $ {L_{{\text{identity}}}} $项的加入更好地保留了原始图像的整体色调, 提升了匹配效果.

本文通过对原CycleGAN网络增加损失函数计算通路, 引入本体映射损失实现对颜色信息的约束，在强化结构信息的同时保留原有循环一致性损失函数对图像颜色、纹理等特征的约束, 一定程度上减少了图像转换过程中错误信息的生成, 降低了错误映射情况发生的概率. 通过实验验证了利用图像转换思想进行异源(多模态)图像匹配预处理方法的可行性, 所提的预处理方法可以广泛应用于匹配任务, 拓宽了生成对抗模型的应用范围, 为异源匹配的实现提供了新思路. 结果表明, 基于生成对抗模型及局部特征提取的匹配方法可以有效地解决多模态图像的匹配问题, 为多模数据的处理提供有效参考.