行人重识别(person re-identification, ReID)即通过匹配不同摄像机捕获的行人图像而实现目标检索^[1]. 现有研究大多局限于单模态场景，即基于可见光图像进行识别^[2-3]. 然而，在实际应用场景中，监控系统须适应全天候光照条件；尤其在夜间或低光照环境下，红外成像技术成为关键补充手段. 为此，研究者提出可见光-红外行人重识别(visible-infrared person re-identification, VI-ReID)方法^[4-5]，以实现可见光与红外图像之间的跨模态行人匹配. 相较于传统的单模态ReID任务，由于可见光和红外图像之间存在显著的跨模态差异（如颜色和纹理缺失、光谱响应偏差等），可见光-红外行人重识别任务更具挑战性^[6-7].

近年来，单模态ReID研究取得了显著进展. 现有方法主要通过卷积神经网络(CNN)来学习具有类内一致性和类间判别性的特征表示^[8]. 为了增强特征鲁棒性，Sun等^[9]提出无须依赖外部线索的特征对齐方法，通过重新分配局部特征中的异常值，精确对齐局部特征. 随着视觉变换器(vision Transformer, ViT)模型的兴起，He等^[10]首次将ViT变体应用于单模态ReID任务. 此外，ReID领域衍生出了一些重要分支，如无监督的领域自适应ReID和领域泛化ReID^[11]等. 现有方法虽然在单模态ReID中表现良好，但是在可见光-红外行人重识别任务中，其识别性能明显下降.

可见光-红外行人重识别任务主要采用2种主流模型架构. 一种是基于CNN的方法^[12-17]. CNN凭借其局部感受野和权值共享机制，在提取局部特征方面表现出显著优势，能够有效捕捉行人图像中的细节信息，如纹理、边缘等局部特征. Ren等^[18]提出隐式判别知识学习方法，该方法通过双流CNN分离模态特定特征与共享特征，利用信息净化器消除模态差异并保留判别信息，再通过特征和语义对齐来增强共享特征的判别性. 另一种是基于ViT的方法^[19-22]. ViT通过自注意力机制建立全局依赖关系，擅长捕捉图像的整体结构和长距离特征关联，在全局特征提取方面展现出独特优势. Jiang等^[21]采用跨模态ViT，利用全局模态原型和跨模态注意力机制来补偿缺失的模态特征. 在2种架构中，CNN擅长捕获局部特征，ViT擅长获取全局特征^[23-24]. 然而，现有方法通常使用单一模型架构来提取特征，难以在全局语义理解和局部细节捕捉之间实现有效平衡. 此外，跨模态行人重识别面临着模态差异这一核心挑战. 由于可见光图像和红外图像的成像原理不同，两者在颜色、纹理等视觉特征上存在显著差异，这种模态差异严重影响了特征表示的准确性和鲁棒性. 现有方法往往侧重于单一模态的特征提取，而忽视了跨模态特征对齐，这也导致模型在实际应用中性能受限.

针对上述问题，提出全局学习扩展的新型嵌入增强网络架构. 该网络由全局特征聚合(global feature aggregation, GFA)和特征多样化扩展(feature diversification expansion, FDE)模块组成. GFA模块将ViT的优点融合到CNN中，使其拥有全局感受野，同时产生与局部卷积相同的位置敏感特征，有效融合局部与全局结构信息，提升网络挖掘多样化嵌入的能力. FDE模块通过基于CNN和ViT的多分支生成结构生成多样化的嵌入，并配合全局特征学习(global feature learning, GFL)损失，生成更关注全局且模态差异更小的嵌入. GFA提升特征质量，FDE拓展特征表达，GFL强化模态一致性，最终在端到端框架中共同优化模型性能，实现对跨模态行人图像的精准匹配与识别.

图1展示了提出的全局学习扩展(global learning expansion, GLE)网络的整体架构，该网络以双流ResNet-50^[15,25]作为主干网络，分别提取可见光模态和红外模态的初始特征. 在网络的前3个阶段，将ResNet-50的第1~3个残差阶段提取的特征分别输入GFA-1~GFA-3中，以融合局部与全局结构信息，并生成具有方向感知能力的增强特征. 在阶段3中，进一步地将GFA-3提取到的模态特征输入FDE模块，以产生更多嵌入并输入至下一阶段.

为了使生成的嵌入更加关注全局信息，并减小不同模态特征的差异，提出GFL损失，以驱动FDE模块生成更具判别性的多样化特征嵌入.

最后，在训练过程中，将批量归一化层前、后的特征输入多组损失函数中进行联合优化，从而实现GLE模型的端到端学习.

为了充分融合局部特征与全局结构信息，增强网络挖掘多样化嵌入的能力，引入全局特征聚合模块. GFA模块采用纯卷积操作来实现全局感受野，通过循环卷积模拟ViT的长距离建模能力，在结构上实现了对全局信息的聚合，且相较于ViT的自注意力机制，其计算效率更高. 此外，设计的GFA模块可以应用于主干网络中的多个阶段，具有较强的可移植性与灵活性. 相比于传统注意力模块仅在输出特征上调整权重，GFA直接从位置编码出发构建空间感知特征，能够从更深层次提升模型的全局建模能力.

传统的局部卷积操作会破坏输入特征的全局空间结构，尤其是在边缘区域. 循环卷积虽然将感受野扩展至全局，但是仍然会丢失空间位置关系. 因此，引入位置编码，将垂直或水平方向上的位置编码信息添加到相应的输入特征中，从而让特征具有空间信息表达能力.

如图1所示，首先将输入特征$ \boldsymbol{f}\in {\mathbf{R}}^{C\times H\times W} $在通道维度上平均分为2部分：$ {\boldsymbol{f}}_{\mathrm{w}}^{1}\in {\mathbf{R}}^{\left(C/2\right)\times H\times W} $和$ {\boldsymbol{f}}_{\mathrm{h}}^{1}\in {\mathbf{R}}^{\left(C/2\right)\times H\times W} $. 其中，C、H、W分别为通道数、高度和宽度，$ {\boldsymbol{f}}_{\mathrm{w}}^{1} $为$ \boldsymbol{f} $拆分后在水平方向上的特征，$ {\boldsymbol{f}}_{\mathrm{h}}^{1} $为$ \boldsymbol{f} $拆分后在垂直方向上的特征.

下面以水平方向上的特征处理为例，说明基于位置编码的特征提取过程. 首先，初始化可学习的位置编码$ {\mathbf{p}\mathbf{e}}^{\mathrm{w}} $，其维度为$ (C/2)\times 1\times W $. 然后，通过扩展函数EW(·)沿垂直方向复制H次，得到维度为$ \left(C/2\right)\times H\times W $的矩阵$ {\mathbf{P}\mathbf{E}}^{\mathrm{w}} $. 将得到的矩阵和$ {\boldsymbol{f}}_{\mathrm{w}}^{1} $相加得到$ {\boldsymbol{f}}_{\mathrm{w}}^{2}\in {\mathbf{R}}^{(C/2)\times H\times W} $，再将$ {\boldsymbol{f}}_{\mathrm{w}}^{2} $沿水平方向堆叠，并在每个通道上移除特征的最后1列得到$ {\boldsymbol{f}}_{\mathrm{w}}^{3}\in {\mathbf{R}}^{(C/2)\times H\times (2W-1)} $. 对$ {\boldsymbol{f}}_{\mathrm{w}}^{3} $使用1×W的卷积核进行水平方向上的循环卷积操作，得到$ {\boldsymbol{f}}_{\mathrm{w}}^{+} $.

图2展示了输入一维向量时的循环卷积操作. 将输入特征在水平方向堆叠后，连接其起始端和末端形成闭环结构. 卷积核沿着闭环顺时针执行W次卷积操作，得到输出特征.

同理，在垂直方向上采用类似的方法进行循环卷积处理得到$ {\boldsymbol{f}}_{\text{h}}^{+} $. 将得到的$ {\boldsymbol{f}}_{\text{w}}^{+} $和$ {\boldsymbol{f}}_{\text{h}}^{+} $沿通道维度进行拼接，最终得到输出特征$ {\boldsymbol{f}}_{\text{c}}^{{\mathrm{GFA}}} $.

为了缓解样本数据不足的问题，提出特征多样化扩展模块，利用CNN和ViT架构来生成多样化的嵌入特征.

如图1所示，FDE生成结构包含3个分支. 对分支1、2采用相同的处理方式，即分别使用3个具有不同扩张率（1、2或3）的3×3空洞卷积层($ {\varphi }_{3\times 3}^{1} $、$ {\varphi }_{3\times 3}^{2}、{\varphi }_{3\times 3}^{3} $)对特征图进行降维；随后，将得到的3个特征融合并经过ReLU激活层，提高特征的非线性表示能力；最后，通过1×1卷积层$ {\theta }_{1\times 1} $变换特征维度，使之与输入特征的维度一致. 分支1、2生成的特征嵌入分别为

(1)$ \begin{split} \boldsymbol{f}_+^i =&\theta_{1 \times 1}\left({\operatorname{ReLU}}\left(\varphi_{3 \times 3}^1(\boldsymbol{f}) + \varphi_{3 \times 3}^2(\boldsymbol{f}) + \varphi_{3 \times 3}^3(\boldsymbol{f})\right)\right) ;\;\; i = 1,2.\end{split} $

为了捕获全局特征，引入分支3. 该分支是包含2个四头自注意力机制的ViT模块(T)：

(2)$ \boldsymbol{f}_+^3=T(\boldsymbol{f}). $

最后，对原始特征和所有生成的特征嵌入沿批量大小维度进行拼接，作为主干网络下一阶段的输入：

(3)$ \boldsymbol{f}_\text{c}^{{\mathrm{FDE}}}=\left[\boldsymbol{f}, \boldsymbol{f}_+^1, \boldsymbol{f}_+^2, \boldsymbol{f}_+^3\right] . $

特征图结构中蕴含丰富的关系信息和分布特性^[15,26]. 为了充分挖掘这些潜在的关联特征并增强特征表达能力，提出全局特征学习损失. 一方面，通过图结构对齐操作，驱动ViT分支生成的嵌入$ {\boldsymbol{f}}_{+}^{3} $引导原始特征f生成更关注全局信息的嵌入；另一方面，对齐原始特征f的2个模态，使原始特征f生成的嵌入模态差异更小.

对于模态$ a $，引入用于表示特征间关系的图结构亲和矩阵A^a：

(4)$ \alpha_{i j}=\frac{\exp \left(D\left(\boldsymbol{f}_a^i, \boldsymbol{f}_a^j\right)\right)}{\displaystyle{\sum}_{k \in N} \exp \left(D\left(\boldsymbol{f}_a^i, \boldsymbol{f}_a^k\right)\right)} ;\; i, j \in N . $

式中：$ \alpha_{i j} $为亲和矩阵中的元素，N为模态a的样本数目，$ {\boldsymbol{f}}_a^i $、$\boldsymbol{f}_a^j $、$\boldsymbol{f}_a^k $为第i、j、k个样本的特征，D(·)表示计算2个特征的欧几里得距离. 亲和度矩阵A^a中的每一行都表征了对应样本的图结构.

给定模态$ a $和$b$，为了将2种不同的特征分布对齐，定义图结构对齐损失：

(5)$ L_{\mathrm{GFL}}^{(a ; b)}=\displaystyle\sum_{p=1}^P \displaystyle\sum_{k=1}^K \operatorname{KL}\left(\boldsymbol{A}_a^{p_k}, \boldsymbol{A}_b^{p_k}\right) . $

式中：$ {\boldsymbol{A}}_a^{{p_k}} $、$\boldsymbol{A}_b^{p_k} $为模态a、b的第p类中第k个样本的图结构，$ P $为人物类别总数，$ K $为单模态下每类样本的数量，KL表示对2个模态的矩阵进行KL散度对齐.

更进一步地，定义损失$ {L_{{\mathrm{GFL}}}} $：

(6)$ L_{\mathrm{GFL}}=L_{\mathrm{GFL}}^{\left(\boldsymbol{f}, \text{V} ; \boldsymbol{f}_+^3, \text{V}\right)}+L_{\mathrm{GFL}}^{\left(\boldsymbol{f}, \text{I} ; \boldsymbol{f}_+^3, \text{I}\right)}+L_{\mathrm{GFL}}^{(\boldsymbol{f}, \text{V} ; \boldsymbol{f}, \text{I})} . $

如图3所示，式(6)中前2项$ L_{{\text{GFL}}}^{({\boldsymbol{f}},\text{V};{\boldsymbol{f}}_+^3,\text{V})} $和$ L_{{\text{GFL}}}^{({\boldsymbol{f}},\text{I};{\boldsymbol{f}}_+^3,\text{I})} $分别用于可见光模态和红外模态下$ {\boldsymbol{f}}_{+}^{3} $和f的对齐，从而将全局信息传递给f，使生成的嵌入更加关注全局信息. $ L_{{\text{GFL}}}^{({\boldsymbol{f}},\text{V};{\boldsymbol{f}},\text{I})} $用于f在可见光模态和红外模态下的对齐，从而使生成的嵌入模态差异更小.

除了提出的全局特征学习损失$ {L_{{\text{GFL}}}} $之外，还采用交叉熵损失$ {L_{{\text{ce}}}} $^[27]和三元组损失$ {L_{{\text{tri}}}} $^[28]：

(7)$ \begin{aligned} L_{\mathrm{ce}}=\lambda_1 L_{\mathrm{ce}}^{\mathrm{cnn}}+\left(1-\lambda_1\right) L_{\mathrm{ce}}^{\mathrm{vit}}，\end{aligned} $

(8)$ \begin{aligned} L_{\mathrm{tri}}=\lambda_2 L_{\mathrm{tri}}^{\mathrm{cnn}}+\left(1-\lambda_2\right) L_{\mathrm{tri}}^{\mathrm{vit}} .\end{aligned} $

式中：$L_{\mathrm{ce}}^{\mathrm{cnn}} $、$L_{\mathrm{tri}}^{\mathrm{cnn}} $为基于嵌入[f, $ {\boldsymbol{f}}_{+}^{1} $, $ {\boldsymbol{f}}_{+}^{2} $]所对应的特征计算得到的交叉熵损失和三元组损失，$L_{\mathrm{ce}}^{\mathrm{vit}} $、$L_{\mathrm{tri}}^{\mathrm{vit}} $为基于嵌入$ {\boldsymbol{f}}_{+}^{3} $对应的特征计算得到的交叉熵损失和三元组损失，${\lambda _1}$、${\lambda _2}$为损失项系数.

最终的损失函数为

(9)$ L_{\mathrm{tot}}=L_{\mathrm{ce}}+L_{\mathrm{tri}}+\lambda_3 L_{\mathrm{GFL}} . $

式中：${\lambda _3}$为损失项系数.

SYSU-MM01数据集包含491个人物身份，30 071张可见光图像和15 792张红外图像. RegDB数据集由412个人物身份组成，每个身份包含由2个重叠摄像机采集的10张可见光图像和10张红外图像. LLCM数据集在弱光环境下采集得到，其中训练集包含713个人物身份、16 946张可见光图像和13 975张红外图像，测试集包含351个人物身份、8 680张可见光图像和7 166张红外图像.

所提方法的相关实验都在PyTorch框架上实现. 与基线模型DEEN保持一致，所有输入图像首先被调整为3×384×144像素，并在训练阶段采用随机水平翻转和随机擦除技术^[29]对其进行数据增强. 初始学习率设置为10⁻²，并通过预热策略在10个epoch后将学习率提高到10⁻¹. 随后，在第20个epoch将学习率衰减到10⁻²，并分别在第80、120个epoch进一步衰减到10⁻³和5×10⁻⁴，直至完成150个epoch的训练. 在每个小批量中，随机选择6个人物身份，对每个身份的4张可见光图像和4张红外图像进行训练. 优化器采用SGD进行训练，将动量设置为0.9.

首先将提出的GLE方法与当前先进方法进行比较，以验证其优越性. 在SYSU-MM01、RegDB、LLCM数据集上的实验结果分别如表1~3所示. 其中R-k准确率为前k个结果中正确匹配的概率，mAP为检索排序结果中各查询样本平均精度的均值.

与先进方法相比，GLE方法在SYSU-MM01数据集上展现出显著的性能优势. 具体而言，在全搜索模式下，GLE取得了78.9%的Rank-1准确率、98.4%的Rank-10准确率、99.6%的Rank-20准确率以及76.1%的mAP值，其中Rank-10和Rank-20准确率均达到当前最优水平. 在室内搜索模式下，GLE的表现同样突出，实现了86.0%的Rank-1准确率和88.1%的mAP值.

如表2所示，在RegDB数据集上，可见光检索红外模式下的GLE取得了94.9%的Rank-1准确率、98.8%的Rank-10准确率、99.6%的Rank-20准确率以及90.5%的mAP值. 在红外检索可见光模式下，模型同样表现优异，获得了90.2%的Rank-1准确率、98.0%的Rank-10准确率、99.1%的Rank-20准确率以及89.2%的mAP值. 值得注意的是，GLE在多个关键指标上均达到了当前最优水平. 这些实验结果充分表明，GLE能够有效缓解可见光与红外模态之间的跨模态差异，展现出优异的跨模态检索能力.

如表3所示，在LLCM数据集上，可见光检索红外模式下的GLE取得了71.6%的Rank-1准确率、92.5%的Rank-10准确率、96.2%的Rank-20准确率以及56.9%的mAP值. 对于红外检索可见光模式，所提GLE方法取得了57.7%的Rank-1准确率、86.3%的Rank-10准确率、92.1%的Rank-20准确率以及64.4%的mAP值. 由于低光照、模态不均衡和背景干扰显著等因素，LLCM数据集上的跨模态检索任务更具有挑战性，但是GLE的性能仍然展现了一定优越性.

为了评估GLE模型中各组件的贡献，在SYSU-MM01数据集上进行消融实验. 采用控制变量法，在基线模型上逐步加入GLE中的关键模块，同时保持其他实验条件不变，具体结果如表4所示. 实验结果表明，当单独使用FDE模块时，虽然通过生成结构增加了嵌入特征数量，但是性能提升有限. 引入GFL损失函数后，模型性能显著提升，这表明GFL能够有效约束生成特征. GFA模块通过全局特征聚合，进一步提升了模型的性能，证明了其在空间信息挖掘上的有效性.

通过将FDE、GFL和GFA模块集成到端到端学习框架中，构建完整的GLE模型. 实验结果表明，GLE在SYSU-MM01数据集上取得了显著的性能提升，这验证了FDE和GFA在生成多样化嵌入特征方面的协同作用，二者能够相互补充，共同提升模型的整体表现.

为了评估损失函数中超参数对模型性能的影响，在SYSU-MM01数据集的全搜索模式下，开展控制变量实验，并通过折线图直观展示模型性能在不同超参数取值下的变化趋势，如图4所示. 其中，A为mAP或Rank-1准确率. 在实验过程中，逐步调整超参数的数值，观察其对性能的影响. 结果表明，当超参数${\lambda _1}$、${\lambda _2}$、${\lambda _3}$分别设置为0.6、0.6和0.2时，模型能够达到最佳性能.

为了平衡性能与计算成本，仅在模型高层（Layer3后)引入分支结构. 为了全面评估GLE模型的计算效率，在相同硬件环境下对计算成本进行系统性分析，并对GLE与基线模型进行详细对比. 实验结果表明，GLE模型的总参数量为115.20 M，相较于基线模型的89.04 M有所增加；模型大小增至391.26 MB（基线模型为339.68 MB）；计算量（FLOPs）从18.47 G上升至23.15 G；单图推理时延由10.57 ms增至13.23 ms；在批处理大小为6的设置下，FPS从368.7帧/s降至305.2帧/s；峰值显存占用也从13.17 GB增加到16.32 GB. 尽管GLE模型在参数量与计算量上有所增加，但是仍然保持在可接受范围内，且带来了显著的精度提升.

为了研究GLE有效的原因，在LLCM数据集上对类内和类间距离进行可视化分析，如图5所示. 其中，$d\left(\boldsymbol{f}_i, \boldsymbol{f}_j\right) $为特征向量f_i与f_j之间的欧氏距离，f_d为对应距离区间内样本对出现的频率，$z_{i, 1} $、$z_{i, 2} $为降维后的2个嵌入维度。比较图5中(a)~(c)，可以得出，GLE拉大了类间和类内距离均值的差距. 与初始特征和基线特征相比，GLE得到的特征类内距离更小，类间差距更大. 此外，利用t-SNE^[40]将特征分布映射到二维空间中进行可视化，如图5(d)~(f)所示. 结果表明，GLE能够清晰地区分不同人物的特征并聚合同一人物的特征，有效减小了模态差异.

为了进一步说明GLE的有效性，在图6中展示了GLE在LLCM数据集上的部分检索结果. 对于每个检索案例，GLE能够有效优化排序结果，使得正确匹配的图像在排序中靠前，从而显著提高了检索准确率.

面向可见光-红外行人重识别任务，提出新颖的全局学习扩展(GLE)网络. GLE网络通过全局特征聚合模块有效融合了局部细节与全局结构信息，增强了模型对图像空间关系的建模能力；同时借助特征多样化扩展模块生成多源嵌入特征，提升了特征的判别性与多样性. 为了进一步优化特征表示，引入全局特征学习损失，通过图结构对齐机制促进跨模态特征分布的一致性，显著缓解了可见光与红外图像之间的模态差异. 在SYSU-MM01、RegDB和LLCM数据集上的实验结果表明，GLE网络在Rank-1、Rank-10、mAP等关键指标上取得了领先的性能表现，验证了其在复杂跨模态场景下的有效性与鲁棒性.