多模态医学图像可以分为2类：结构图像，如磁共振图像（MRI）和计算机断层成像（CT）；功能图像，如正电子发射计算机断层成像（PET）和单光子发射计算机断层成像（SPECT）^[1]. 单一图像信息有限，难以满足临床需求，需要整合多模态信息，以获得兼具结构清晰度与功能细节的高质量融合图像，有助于病情的诊断与治疗方案的制定^[2].

医学图像融合方法可以分为传统融合方法与基于深度学习的融合方法. 传统方法如小波变换^[3]、非下采样轮廓波变换^[4]、主成分分析^[5]等通过设计特定的融合规则实现特征的分解与重构，但在处理复杂图像特征时表现有限. 近年来，基于深度学习的融合方法显著提升了融合效果，主流方法包括CNN、Transformer和INN等. Wang等^[6]采用多输入CNN结构，提出针对乳腺癌检测的跨模态融合方法，有效提升了软组织的分辨能力. Xie等^[7]提出轻量级跨模态Transformer的适应性融合方法，通过多轴注意力机制提升局部和全局特征交互，解决特征难以充分整合的问题. 这些方法存在以下局限：CNN的正向推理不可逆，局部感受野导致其全局建模能力不足，可能在融合过程中丢失全局信息；Transformer计算复杂度高，对大规模数据依赖较强，且捕获边缘、纹理与梯度等局部细节的能力有限. 针对这些问题，部分研究引入可逆神经网络（INN），实现信息的无损映射与重构. Wang等^[8]提出新的网络结构iVAN，该模型采用可逆网络架构，支持双向推理与多种输入输出映射，增强了模型的灵活性. Zhao等^[9]将INN结构应用于细节卷积神经网络编码器中，从共享特征中提取高频细节特征，通过可逆设计确保信息在编码过程中不丢失. INN通常对细节的敏感度不足，特别是在纹理表达与局部对比度增强方面表现有限. 小波变换具备优秀的频域分解能力，能够有效区分高频纹理信息与低频结构信息，可以弥补INN在高频细节表达方面的不足.

针对上述问题，本文提出基于双阶段注意力机制与可逆变换的多模态医学图像融合方法.

（1） 提出新型融合框架：基于双阶段注意力与可逆变换的医学图像融合网络，通过双阶段注意力与可逆耦合的协同设计实现互补信息的动态双向整合.

（2） 设计双阶段注意力可逆网络（dual-attention invertible network, DAIN），在改进的双阶段注意力机制基础上，结合可逆结构与瓶颈残差耦合机制，增强浅层全局特征与深层局部细节的表达能力，并实现低频特征的无损传递与高效融合.

（3） 构建纹理-对比多尺度融合模块（texture-contrast multiscale fusion block, TCMFB），在完成多模态特征加权融合的同时，引入高频残差信息与边缘引导机制，有效提升融合图像的纹理清晰度与边缘对比度，实现低频结构与高频纹理的协同优化.

设计基于双阶段注意力机制与可逆变换的多模态医学图像融合算法. 该模型由双阶段注意力可逆网络和纹理-对比多尺度融合模块2部分构成，模型结构如图1所示. 采用二维Haar小波变换进行下采样，将源图像对$ {\boldsymbol{I}}_{\text{A}} $、$ {\boldsymbol{I}}_{\text{B}} $初步分解为高频特征$ \bf{HF} $与低频特征$ \bf{LF} $. 将$ \bf{HF} $和$ \bf{LF} $输入双阶段注意力模块，得到增强后的深层局部特征${ \bf{HF}}_{}^{i} $与浅层全局特征$ {\bf{LF}}_{}^{i} $. 通过可逆瓶颈残差耦合模块（invertible bottleneck residual coupling block, IBRC Block）对处理过的低频特征进行整合，得到$ {\bf{L}}\hat{{\bf{F}}}_{}^{i} $. 重复执行上述过程多次，获得不同层次的低频信息，逐步增强特征适应性和特征表达能力. 将不同尺度下DAIN处理后的结果$ [{\bf{L}}\hat{{\bf{F}}}_{{\mathrm{A}}}^{i},{\bf{L}}\hat{\bf{F}}_{{\mathrm{B}}}^{i}] $与$ [{\bf{HF}}_{{\mathrm{A}}}^{i},{\bf{HF}}_{{\mathrm{B}}}^{i}] $输入TCMFB中，获得最终的融合图像$ {\boldsymbol{I}}_{\text{F}} $.

采用二维Haar小波变换完成下采样，设第i层的低频分量为$ {\bf{LF}}_{{\mathrm{A}}}^{i} $和$ {\bf{LF}}_{{\mathrm{B}}}^{i} $（其中${\bf{LF}}_{{\mathrm{A}}}^{0}={{\boldsymbol{I}}}_{{\mathrm{A}}} \text{，} {\bf{LF}}_{{\mathrm{B}}}^{0}={{\boldsymbol{I}}}_{{\mathrm{B}}} $）. 经过DAIN后的输出为$ {\bf{L}}\hat{\bf{F}}_{{\mathrm{A}}}^{i} $和$ {\bf{L}}\hat{\bf{F}}_{{\mathrm{B}}}^{i} $，通过对$ {\bf{L}}\hat{\bf{F}}_{{\mathrm{A}}}^{i} $和$ {\bf{L}}\hat{\bf{F}}_{{\mathrm{B}}}^{i} $进行分解，获得第i+1层的高、低频分别为$ {\bf{HF}}_{}^{i+1} = [{\bf{HL}}^{i+1},{\bf{LH}}^{i+1},{\bf{HH}}^{i+1}] $和$ {\bf{LF}}_{}^{i+1} = {\bf{LL}}^{i+1} $^[10]. 上述过程的变换公式如下：

(1)$ \left[\begin{matrix}{\text{LL}}^{i+1}(p,q) & {\text{LH}}^{i+1}(p,q)\\{\text{HL}}^{i+1}(p,q) & {\text{HH}}^{i+1}(p,q)\end{matrix}\right]={\boldsymbol{TM}}{{\boldsymbol{T}}}^{{\mathrm{T}}}. $

式中：T为变换矩阵，

$ {\boldsymbol{T}}=\frac{1}{\sqrt{2}}\left[\begin{matrix}1 & 1\\1 & -1\end{matrix}\right] \text{；} $

$ {\boldsymbol{M}}=\left[\begin{matrix}{{\rm{L}}\hat{\rm{F}}}^{i}(2p-1,2q-1) & {{\rm{L}}\hat{\rm{F}}}^{i}(2p-1,2q)\\{{\rm{L}}\hat{\rm{F}}}^{i}(2p,2q-1) & {{\rm{L}}\hat{\rm{F}}}^{i}(2p,2q)\end{matrix}\right] \text{；} $

$ p = 0, 1, 2,… ,{H}/{{2}^{i+1}}-1 \text{，} $

$ q =0, 1, 2, … , {W}/{{2}^{i+1}}-1 \text{，} i=0,1,2 \text{，} $

其中，H、W分别为图像的高度和宽度.

DAIN的每一层仅将前一层经DWT处理后的低频分量作为输入，而高频分量与对应层的低频分量一同保留. 上述过程递归3次，分别生成不同尺度下的特征表示，即从原始$ H\times W $到$ ({H}/{2})\times ({W}/{2}) $、$ ({H}/{4})\times ({W}/{4}) $和$ ({H}/{8})\times ({W}/{8}) $. 各尺度输出的高频与低频分量统一输入TCMFB，以实现特征的整合与优化.

医学图像融合要兼顾低频全局信息与高频局部信息，但卷积操作感受野有限，易导致全局特征表达不充分. 不同模态的输入特征在不同通道中的重要性存在差异，不加区分地处理可能使病灶边缘、组织纹理及结构轮廓等重要信息被掩盖. 设计双阶段注意力模块，详细结构如图2所示.

将小波变换处理后的特征图$ \boldsymbol{F}\in {\bf{R}}^{B\times C\times H\times W} $作为输入，通过通道全局平均池化和全局最大池化分别捕获特征图的空间统计信息，经多层感知机（MLP）的“降维- ReLU激活-升维”后得到平均输出和最大输出. 将两者相加，再经Sigmoid激活函数对加权结果进行归一化，引入权重因子$ \alpha $用于缩放通道注意力输出. 将生成的一维通道注意力$ {{\boldsymbol{\omega}} }_{{\mathrm{c}}}\in {\bf{R}}^{B\times C\times 1\times 1} $与输入的特征图相乘，得到经通道注意力调节后的中间特征图${ \boldsymbol{F}^{\prime}} $. ${ \boldsymbol{F}^{\prime}} $通过空间全局平均池化和全局最大池化，将2个池化结果拼接为二维向量，再进行大小为9×9、7×7和5×5的多尺度卷积，以捕获不同尺度间的空间上下文信息. 引入缩放因子$ \beta $对输出进行缩放，经Sigmoid激活后生成空间注意力$ {{\boldsymbol{\omega}} }_{{\rm{s}}}\in {\bf{R}}^{B\times 1\times H\times W} $，再与中间特征图${ \boldsymbol{F}^{\prime}} $相乘后得到输出特征图$ \boldsymbol{\hat{F}}\in {\bf{R}}^{B\times C\times H\times W} $. 具体的计算过程如下.

(2)$ \left.\begin{aligned}{{{\boldsymbol{F}}}^{\prime}}&={{\boldsymbol{\omega}} }_{\text{c}}(\boldsymbol{F})\otimes \boldsymbol{F},\\{\hat{{\boldsymbol{F}}}}&={{\boldsymbol{\omega}} }_{\text{s}}({{{\boldsymbol{F}}}^{\prime}})\otimes {{{\boldsymbol{F}}}^{\prime}}{.}\end{aligned}\right\} $

(3)$ \left.\begin{aligned} &{{\boldsymbol{\omega}} }_{{\mathrm{c}}}(\boldsymbol{F})=\sigma \{\alpha \cdot \{{W}_{{\mathrm{MLP2}}}\cdot \mathrm{Re}{\mathrm{LU}}\{{W}_{{\mathrm{MLP1}}}\times \\&\qquad \qquad {\mathrm{Concat}}\;[{\mathrm{GAP}}(\boldsymbol{F}),{\mathrm{GMP}}(\boldsymbol{F})]\}\}\},\\&{{\boldsymbol{\omega}} }_{{\mathrm{s}}}({\boldsymbol{F}^{\prime}})=\sigma \{\beta \cdot {\mathrm{Concat}}\;[{\mathrm{SGAP}}(\boldsymbol{F}'),{\mathrm{SGMP}}(\boldsymbol{F}')]\}.\end{aligned}\right\} $

式中：$ \otimes $表示逐元素乘法，$ \sigma $为Sigmoid激活函数，$ \alpha 和\beta $为权重因子，$ {\mathrm{GAP}}(\cdot ) $和$ {\mathrm{SGAP}}(\cdot ) $分别表示通道和空间的全局平均池化，$ {\mathrm{GMP}}(\cdot ) $和$ {\mathrm{SGMP}}(\cdot ) $分别表示通道和空间的全局最大池化，$ {{\boldsymbol{\omega}} }_{{\mathrm{c}}}(\boldsymbol{F}) $、$ {{\boldsymbol{\omega}} }_{\text{s}}(\boldsymbol{{F}^{\prime}}) $分别为通道注意力和空间注意力权重，W_MLP1、W_MLP2分别为MLP1、MLP2的权重，${ \boldsymbol{F}^{\prime}} $为通道加权后的特征图，$ \boldsymbol{\hat{F}} $为最终输出的特征图.

特征在非线性变换过程中存在信息丢失的风险，由于信息流是单向传递，浅层与深层特征的融合比例容易失衡，从而影响融合图像的完整性. 设计可逆瓶颈残差耦合模块，利用残差连接和双向变换特性，实现特征信息的无损双向映射，详细结构如图3所示. 在经过DWT和DSAM增强后获得的分解图像中，高频部分仅包含源图像的轮廓细节与边缘纹理信息，这些高频分量将在后续进行加权融合. 大部分信息集中于低频部分，因此该模块仅作用于分解后的低频部分.

该模块基于可逆神经网络实现，并集成了3个残差卷积块（residual convolution blocks, RCBs）. 将输入张量$ {{{\textit{φ}}} }_{{m}}\in {\bf{R}}^{B\times ({\mathrm{i}}{{{\mathrm{n}}}_{1}}+{\mathrm{i}}{{{\mathrm{n}}}_{2}})\times H\times W} $沿通道维度拆分为2个子张量，即$ {{{\textit{φ}}} }_{m,1}\in {\bf{R}}^{B\times {\mathrm{i}}{{{\mathrm{n}}}_{1}}\times H\times W} $和$ {{{\textit{φ}}} }_{m,2}\in {\bf{R}}^{B\times {\mathrm{i}}{{{\mathrm{n}}}_{2}}\times H\times W} $，总通道数为$ {\mathrm{i}}{{\mathrm{n}}}_{1}+{\mathrm{i}}{{\mathrm{n}}}_{2}=C $（其中in₁、in₂为输入的通道数）. $ {{{\textit{φ}}} }_{m,2} $通过残差连接与$ {\mathrm{RCB1}}({{{{\textit{φ}}} } }_{m,1}) $的输出相加并生成$ {{\boldsymbol{y}}}_{1} $. 将$ {{\boldsymbol{y}}}_{1} $输入$ {\mathrm{RCB2}} $后，通过指数变换函数$ e(\cdot ) $生成缩放因子，同时将$ {{\boldsymbol{y}}}_{1} $输入$ {\mathrm{RCB3}} $生成偏移量. 将$ {{{{\textit{φ}}} } }_{m,1} $与缩放因子的变换函数相乘，再与偏移量相加，完成正向变换. 反向过程通过逆运算恢复原输入. 每个残差卷积块均由“升维-深度卷积-降维”结构构成，采用Conv 1×1、Conv 3×3、BN和ReLU层，实现浅层特征的初步融合并保证输入与输出维度的一致性，最终嵌入3层DAIN中. 正向与逆向的完整实现过程如下：

(4)$ \left.\begin{aligned} & e(s)=\exp\; \{{\mathrm{clamp}}\times 2\times [{\mathrm{sigmoid}}(s)-0.5]\},\\&{{\boldsymbol{y}}}_{1}={{{{\textit{φ}}} } }_{m,2}+{\mathrm{RCB1}}({{{{\textit{φ}}} } }_{m,1}),\\&{{\boldsymbol{y}}}_{2}={{{{\textit{φ}}} } }_{m,1}\cdot e({\mathrm{RCB2}}({{\boldsymbol{y}}}_{1}))+{\mathrm{RCB3}}({{\boldsymbol{y}}}_{1}),\\&{{{{\textit{φ}}} } }_{m,1}=({{\boldsymbol{y}}}_{2}-{\boldsymbol{t}})/e({\mathrm{RCB2}}({{\boldsymbol{y}}}_{1})),\\&{{{{\textit{φ}}} } }_{m,2}={{\boldsymbol{y}}}_{1}-{\mathrm{RCB1}}\{({{\boldsymbol{y}}}_{2}-{\boldsymbol{t}})/e({\mathrm{RCB2}}({{\boldsymbol{y}}}_{1}))\}.\end{aligned} \right\}$

式中：$ s $为$ {{\boldsymbol{y}}}_{1} $输入$ {\mathrm{RCB2}} $时生成的缩放因子，$ e(\cdot ) $为基于缩放因子$ s $的指数变换函数，$ {\boldsymbol{t}} $为$ {{\boldsymbol{y}}}_{1} $输入$ {\mathrm{RCB3}} $时生成的偏移量，$ {\mathrm{clamp}} $为用于控制缩放因子动态范围的超参数.

针对融合图像常存在对比度不足且细节纹理模糊的问题，提出纹理-对比多尺度融合模块. 该模块由多模态特征加权融合单元（MM-FWFU）和边缘细节增强网络（EDEN）组成，能够有效整合深层局部特征，增强融合结果中边缘纹理与结构细节的清晰度，详细结构如图4所示. MM-FWFU通过权重图对多模态特征进行加权融合. 将初步生成的融合特征在3个尺度上分别输入EDEN，通过不同核大小的卷积层增强纹理、梯度和对比度. 通过逆小波变换和上采样进行逐步的加权融合，输出融合图像$ {\boldsymbol{I}}_{{\mathrm{F}}} $.

设计多模态特征加权融合单元，利用动态生成的权重图自适应地平衡高频和低频分量，通过多尺度结构分层融合不同频率的特征. 分别沿通道维度拼接2个模态的低频和高频分量，使用1×1卷积对拼接后的特征进行降维和特征提取. 应用Sigmoid激活函数对卷积输出进行非线性变换，分别生成低频与高频分量的动态权重图$ {{\boldsymbol{\omega}} }_{{\mathrm{LF}}} $和$ {{\boldsymbol{\omega}} }_{{\mathrm{HF}}} $. 这些权重图通过自适应机制平衡各模态，确保融合过程能够根据输入特征的特性动态调整权重分配. 将输入分量与对应的权重图相乘，再将加权结果相加，生成最终的融合输出$ {\bf{L}}{{\bf{F}}}^{i} $和$ {\bf{H}}{{\bf{F}}}^{i} $. 具体的实现过程如下.

(5)$ \left.\begin{array}{c}{{\boldsymbol{\omega}} }_{{\mathrm{LF}}}=\sigma [{\mathrm{Con}}{{\mathrm{v}}}_{1\times 1}{\mathrm{Concat}}({\bf{LF}}_{{\mathrm{A}}}^{i},{\bf{LF}}_{{\mathrm{B}}}^{i})],\\{{\boldsymbol{\omega}} }_{{\mathrm{HF}}}=\sigma [{\mathrm{Con}}{{\mathrm{v}}}_{1\times 1}{\mathrm{Concat}}({\bf{HF}}_{{\mathrm{A}}}^{i},{\bf{HF}}_{{\mathrm{B}}}^{i})].\end{array} \right\}$

(6)$ \left.\begin{array}{c}{\bf{LF}}^{i}={{\boldsymbol{\omega}} }_{{\mathrm{LF}}}\cdot {\bf{LF}}_{{\mathrm{A}}}^{i}+({\boldsymbol{1}}-{{\boldsymbol{\omega}} }_{{\mathrm{LF}}})\cdot {\bf{LF}}_{{\mathrm{B}}}^{i},\\{\bf{HF}}^{i}={{\boldsymbol{\omega}} }_{{\mathrm{HF}}}\cdot {\bf{HF}}_{{\mathrm{A}}}^{i}+({\boldsymbol{1}}-{{\boldsymbol{\omega}} }_{{\mathrm{HF}}})\cdot {\bf{HF}}_{{\mathrm{B}}}^{i}.\end{array}\right\} $

式中：$ \sigma $为Sigmoid激活函数，用于将卷积非线性输出映射到[0,1.0]；$ {\mathrm{Con}}{{\mathrm{v}}}_{1\times 1} $表示1×1卷积操作；$ {\mathrm{Concat}}(\cdot ) $表示沿通道维度拼接；$ {\bf{LF}}_{{\mathrm{A}}}^{i}、{\bf{LF}}_{{\mathrm{B}}}^{i} $和$ {\bf{HF}}_{{\mathrm{A}}}^{i}、{\bf{HF}}_{{\mathrm{B}}}^{i} $分别为不同模态在第$ i $层的小波分解的低频和高频分量；$ {\bf{LF}}^{i} $和$ {\bf{HF}}^{i} $分别为第$ i $层融合后的低频和高频分量.

设计边缘细节增强网络，引入Laplacian算子作为预处理步骤，通过二阶梯度提取并增强边缘和纹理变化，弥补传统方法在梯度提取方面的局限性. 通过多尺度卷积捕获从局部到全局的上下文信息，提升对比度和纹理清晰度，增强病理特征的可视化效果.

该模块由梯度预处理和增强网络两部分组成. 在初始阶段，MM-FWFU输出的融合特征$ \boldsymbol{F} $进入Laplacian算子模块，通过二阶微分算子提取梯度特征$ {\nabla }^{2}\boldsymbol{F} $，突出图像的边缘和纹理变化，再与原始特征$ \boldsymbol{F} $在通道维度进行拼接，生成增强的输入特征集. 增强网络分为以下3个步骤. 1）对不同尺度下的拼接后特征使用3×3卷积处理，提取并优化梯度信息. 2）将这些卷积输出通过通道拼接后传递至后续处理层，在该层，特征被分配至4个平行分支，分别使用3×3、5×5、7×7和9×9大小的卷积核处理，以增强对比度并突出纹理细节，并在每个分支后接入ReLU和BN，确保特征表达的稳定性和非线性. 3）各分支输出通过通道拼接，利用1×1大小的卷积核进行最终的特征融合，生成增强后的输出特征图.

在EDEN的后处理阶段，通过逆小波变换与上采样操作，将多尺度特征重构并生成最终的融合结果. 将逆小波变换应用于每一层的增强子带，例如在第3层，融合后的子带被输入IWT模块中，将特征恢复至上一层的分辨率，生成初步的特征重构图，这一过程在第2层和第1层依次重复. 通过上采样操作逐步放大较低分辨率的特征图，生成最终的融合图像. 具体的实现过程如下：

(7)$ \left.\begin{aligned} &{\bf{IF}}_{i}={\mathrm{IWT}}({\boldsymbol{\hat{F}}}^{i}),\;i=1,2,3;\\&{{\bf{I{F}}}^{\prime}}_{1}={\bf{IF}}_{1}+{\mathrm{Con{v}}}_{1\times 1}[{U}_{{\mathrm{p}}}({\bf{IF}}_{2})];\\&{{\bf{I{F}}}^{\prime}}_{0}={\bf{IF}}_{0}+{\mathrm{Con{v}}}_{1\times 1}[{U}_{{{{\mathrm{p}}}}}({\bf{IF}}_{1})];\\&{\bf{IF}}={\mathrm{BN}}({{\bf{I{F}}}^{\prime}}_{0}).\end{aligned} \right\}$

式中：IWT表示逆小波变换，$ \bf{IF} $表示经IWT后得到的特征，$ {\mathrm{Con{v}}}_{1\times 1} $表示1×1卷积操作，$ {U}_{{\mathrm{p}}} $表示上采样操作，BN表示批归一化.

第1层的特征分量包含最基础的全局信息且低频信息较完整，因此该阶段仅对第2层和第3层进行上采样操作并使用1×1卷积进行特征映射，随后直接与第1层的特征分量融合，避免了低频信息的过度平滑.

从梯度、结构、亮度和色度4个维度来构建损失函数. 总损失函数的定义为

(8)$ {L}_{\text{total}}={\omega }_{1} {L}_{\text{SSIM}}+{\omega }_{2} {L}_{\text{grad}}+{\omega }_{3} {L}_{\text{lum}}+{\omega }_{4} {L}_{\text{color}}. $

式中：$ {L}_{\text{total}} $为总损失；$ {\omega }_{1} $、$ {\omega }_{2} $、$ {\omega }_{3} $和$ {\omega }_{4} $为4个子损失函数的权重，用来平衡4个子损失之间的关系.

在伪彩色图像中，颜色信息分布于3个不同的通道. 若直接将其用于结构、梯度、亮度和色度的计算而忽略通道间的协同关系，则会导致色彩失真、色度信息计算不准确、梯度方向不一致以及多通道之间信息冗余等问题. 为了提升模型对颜色的恢复能力并减少颜色通道对其他损失项的干扰，在计算损失函数时，须将源图像和融合图像转化至感知更合理的色彩空间YCbCr. 其中，$ {L}_{\text{SSIM}} $、$ {L}_{\text{grad}} $和$ {L}_{\text{lum}} $仅基于亮度通道$ {\boldsymbol{I}}^{{\mathrm{Y}}} $计算，$ {L}_{\text{color}} $则依赖$ {\boldsymbol{I}}^{{\mathrm{Cb}}} $和$ {\boldsymbol{I}}^{{\mathrm{Cr}}} $，$ {\boldsymbol{I}}^{{\mathrm{Y}}} $、$ {\boldsymbol{I}}^{{\mathrm{Cb}}} $、$ {\boldsymbol{I}}^{{\mathrm{Cr}}}\in {\bf{R}}^{H\times W\times 1} $.

结构相似性损失是基于感知一致性的图像质量评价损失函数，用于衡量图像在结构、亮度和对比度等方面的相似程度. SSIM是衡量结构相似性的指标，最初由Wang等^[11]提出，用于评价图像质量，数学定义如下：

(9)$ {\mathrm{SSIM}}({\boldsymbol{I}}_{{\mathrm{F}}},\boldsymbol{I})=\frac{(2{\mu }_{{{{\boldsymbol{I}}}_{{\mathrm{F}}}}}{\mu }_{{\boldsymbol{I}}}+{{C}}_{1})(2{\sigma }_{{{{\boldsymbol{I}}}_{{\mathrm{F}}}}{\boldsymbol{I}}}+{{C}}_{2})}{(\mu _{{{\boldsymbol{I}}}_{{\mathrm{F}}}}^{2}+\mu _{{\boldsymbol{I}}}^{2}+{{C}}_{1})(\sigma _{{{\boldsymbol{I}}}_{{\mathrm{F}}}}^{2}+\sigma _{{\boldsymbol{I}}}^{{\mathrm{2}}}+{{C}}_{2})}. $

式中：$ {\mu }_{{\boldsymbol{I}}} $和$ {\mu }_{{{{\boldsymbol{I}}}_{{\mathrm{F}}}}} $分别为源图像与融合图像的均值；$ {\sigma }_{{\boldsymbol{I}}} $和$ {\sigma }_{{{{\boldsymbol{I}}}_{{\mathrm{F}}}}} $分别为源图像与融合图像的标准差；$ {\sigma }_{{{{\boldsymbol{I}}}_{{\mathrm{F}}}}{\boldsymbol{I}}} $为$ {\boldsymbol{I}}_{{\mathrm{F}}} $与$ \boldsymbol{I} $的协方差；$ {C}_{1} $和$ {C}_{2} $为稳定因子，用于增强数值稳定性并避免分母为0，通常设置为0.00001和0.00009.

由于融合功能图像与结构图像时，功能图像的信息分布集中且区域较小，结构图像提供全图的结构信息，若计算全图损失来约束模型训练，将导致融合结果偏向于信息量较少的图像. 对SSIM函数进行改进，优先对信息量较大的区域计算结构相似性损失. 该损失函数能够有效避免模型向有效区域较少的图像偏移，计算公式为

(10)$ {L}_{\text{SSIM}}=1-{\mathrm{SSI{M}}}_{{\mathrm{st}}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{A}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}}}^{{\mathrm{Y}}}). $

式中：$ {\boldsymbol{I}}_{{\mathrm{F}}}^{{\mathrm{Y}}} $为融合图像，$ {\boldsymbol{I}}_{{\mathrm{A}}}^{{\mathrm{Y}}}、{\boldsymbol{I}}_{{\mathrm{B}}}^{{\mathrm{Y}}} $为输入的源图像，

(11)$\begin{split} &{\mathrm{SSI{M}}}_{{\mathrm{st}}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{A}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}}}^{{\mathrm{Y}}})=\\&\frac{1}{N}\sum \limits_{M=1}^{N}{\mathrm{SSIM}}(\boldsymbol{I}_{{\mathrm{F}},M}^{{\mathrm{Y}}},S(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}})).\end{split} $

(12)$ S(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}})=\begin{cases} \boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}},\;{\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}}) \gt {\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}});\\\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}},\;{\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}}) \lt {\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}}).\end{cases} $

式中：$ \boldsymbol{I}_{{\mathrm{F}},M}^{{\mathrm{Y}}} $、$ \boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}} $和$ \boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}} $分别为融合图像和不同模态源图像第M个图像块的Y通道值，$ S(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}}) $表示选取第M个图像块中标准差较大的源图像块，${\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}}) $、${\mathrm{st}}\;(\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}}) $分别为$\boldsymbol{I}_{{\mathrm{A}},M}^{{\mathrm{Y}}}、\boldsymbol{I}_{{\mathrm{B}},M}^{{\mathrm{Y}}} $的标准差.

梯度损失主要用于衡量图像之间的边缘、纹理和细节信息差异，以更好地保留丰富的数据特征，如Ma等^[12]基于源图像对和融合图像计算梯度损失. 可逆网络在初始融合阶段保留了大量的信息，因此本文采用的梯度损失函数仅基于融合图像本身进行计算，计算公式如下：

(13)$ {L}_{\text{grad}}=1-\|\nabla \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\|/(1+\|\nabla \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\|), $

(14)$ \left\|\nabla \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\right\|=\frac{1}{HW} \left({\left|\left|{K}_{x}\otimes \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\right|\right|}_{1}+{\left|\left|{K}_{y}\otimes \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\right|\right|}_{1}\right). $

式中：$ \|\nabla \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}} \|$为融合图像在亮度通道上的梯度幅值；$ 1+\|\nabla \boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}\| $为归一化因子，用于控制梯度幅度，避免梯度爆炸；$ {K}_{x} $、$ {K}_{y} $分别为水平与垂直方向的Sobel算子，用于提取图像的边缘信息；$ \otimes $为卷积操作；$ {\left|\left|\cdot \right|\right|}_{1} $为L1范数，表示对每个像素点梯度的绝对值求和.

亮度损失通过均方误差量化融合图像亮度通道与2幅源图像亮度通道之间的像素级差异，计算公式如下：

(15)$ {L}_{\text{lum}}={\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{A}}}^{{\mathrm{Y}}})+\omega \cdot {\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},\boldsymbol{I}_{{\mathrm{B}}}^{{\mathrm{Y}}}). $

(16)$ {\mathrm{MSE}}\;(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},{\boldsymbol{I}}^{{\mathrm{Y}}})=\frac{1}{BHW}\sum \limits_{i=1}^{B}\sum \limits_{j=1}^{H}\sum \limits_{k=1}^{W}{\left(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}}{}_{i,j,k}-{\boldsymbol{I}}^{{\mathrm{Y}}}_{i,j,k}\right)}^{2}. $

式中：$ {\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Y}}},\boldsymbol{I}_{}^{{\mathrm{Y}}}) $为均方误差；$ \boldsymbol{I}_{{\mathrm{A}}}^{{\mathrm{Y}}}\in {\bf{R}}^{B\times 1\times H\times W} $和$ \boldsymbol{I}_{{\mathrm{B}}}^{{\mathrm{Y}}}\in {\bf{R}}^{B\times 1\times H\times W} $分别为不同源图像的亮度通道；$ \omega $为加权因子，用于平衡2幅模态图像之间的关系，经多次实验验证，设置为$ \omega =0.01 $.

色度损失旨在保留功能性图像的色度信息. 针对功能性图像的色度通道计算，通过均方误差量化融合图像的色度通道和2幅源图像色度通道之间的像素级差异，计算公式如下：

(17)$ {L}_{\text{color}}={\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Cb}}},\boldsymbol{I}_{{\mathrm{A}}}^{{\mathrm{Cb}}})+{\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Cr}}},\boldsymbol{I}_{{\mathrm{B}}}^{{\mathrm{Cr}}}) .$

式中：$ {\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F}}}^{{\mathrm{Cb}}},\boldsymbol{I}_{}^{{\mathrm{Cb}}}) $和$ {\mathrm{MSE}}(\boldsymbol{I}_{{\mathrm{F{\mathrm{}}}}}^{{\mathrm{Cr}}},\boldsymbol{I}_{}^{{\mathrm{Cr}}}) $为均方误差，$ {\boldsymbol{I}}^{{\mathrm{Cb}}}、{\boldsymbol{I}}^{{\mathrm{Cr}}}\in {\bf{R}}^{B\times 1\times H\times W} $为色度通道.

对比试验中的训练集和测试集均选用哈佛医学院公开的人类脑部图像数据集. 该数据集包含MRI、PET与SPECT等多种模态的脑部疾病相关配准图像对，图像覆盖面包括冠状面、矢状面和横断面，因此该数据集广泛用于脑部疾病诊断、图像处理和机器学习研究. 本文选用其中的540对图像，训练集、验证集与测试集的比例为8∶1∶1，并在训练过程中对数据进行归一化处理. 为了增强数据集的多样性，对每一对图像进行20次随机重叠裁剪，裁剪区域从原始图像中随机选取，确保裁剪区域之间存在部分重叠，最终生成10 800对大小为 $ 120\text{ 像素}\times 120\text{ 像素} $的图像补丁. 在测试阶段，采用3种病例各18对进行实验，分别为“转移性支气管癌”MRI-SPECT融合、“轻度阿尔茨海默病”MRI-PET融合和“神经胶质瘤”MRI-SPECT融合.

实验在Windows11操作系统上完成，硬件环境配置为Intel（R） Core（TM） i5-13600KF和NVIDIA GeForce RTX 3090. 模型的算法实现基于PyTorch框架，代码环境为Python 3.8.10和PyTorch 1.8.1. 在训练过程中，采用Adam优化器，初始学习率设为$ 3.162\times {10}^{-5} $，每200轮衰减一次，衰减因子设为0.5；动量参数$ {\beta }_{1}=0.5 $，$ {\beta }_{2}=0.999 $；批量大小设为16；模型训练总轮数设为500轮，每10轮使用验证集进行一次验证，每50轮保存一次检查点. 为了稳定训练过程，经多次实验验证，损失函数中的超参数设置为$ {\omega }_{1}=3 $，$ {\omega }_{2}=1.5 $，$ {\omega }_{3}=1 $，$ {\omega }_{4}=1 $.

为了验证所提算法的有效性，选择CNP^[13]、NSST^[14]、BSAFusion^[15]、MAEE^[16]、MBHFuse^[17]、EMMA^[18]、CrossFuse^[19]、FATFusion^[20]、SwinFusion^[12]、CDDFuse^[9]、MATR^[21]等11种SOTA算法进行对比分析，可视化结果如图5所示.

如图5~7所示分别为所提方法与其他经典算法在“转移性支气管癌”MRI-SPECT融合、“阿尔茨海默病”MRI-PET融合及“神经胶质瘤”MRI-SPECT融合任务中的可视化对比结果，并附带差异显著区域的放大视图. 从结果可以看出，在第1个病例中，图5（c）、（d）出现了严重色彩失真. 图5（e）、（f）、（h）、（k）虽然能够较好地反映病灶区域与纹理信息，但融合图像整体偏暗且对比度低. 图5（j）在下方区域产生了紫色块效应，有明显的色彩失真. 图5（i）色度保留较差，且在病灶区域引入了色彩伪影. 图5（g）、（m）融合结果亮度较高，但未能很好地保留源图像中的纹理信息，且病灶区域较暗. 图5（l）虽然提取到较多的细节信息，但在病灶区域中引入了色彩伪影. 利用所提方法，更充分地保留了MRI的细节纹理信息和SPECT的功能信息，能够更清晰地显示病灶区域，融合质量更优.

在第2个病例中，图6（c）、（d）的亮度与色度信息保留较差. 图6（g）、（i）、（l）、（m）虽然较多地保留了来自源图像的亮度与色度信息，但丢失了大量的纹理细节与软组织信息. 图6（e）、（j）、（k）纹理对比度有所增强，但色彩还原不足，且图6（j）出现了源图像中不存在的暗块. 图6（f）、（h）所示的图像中部分MRI信息不够清晰，且PET信息偏暗. 所提方法在纹理细节保持、色彩还原和互补融合方面表现更优，融合结果更好地保留了MRI中的结构和软组织信息以及PET中的功能信息与亮度特征，整体图像的对比度与结构清晰度更强.

在第3个病例中，图7（c）、（d）整体亮度偏低，亮度保留能力较差. 图7（e）、（k）未能有效地保留来自源图像的颜色信息，无法准确地反映组织代谢情况. 图7（g）、（h）中功能信息较模糊，且丢失了部分细节. 图7（f）、（l）、（m）色度信息还原较为理想，但MRI的结构特征存在偏暗或偏亮的问题. 图7（i）的融合结果出现伪彩色且亮度分布不均. 图7（j）中，MRI特征对比度偏高，颜色较深. 综合而言，所提方法呈现更均匀的亮度分布，颜色过渡自然，避免了过亮或过暗区域，且保留了更多的结构细节.

选取标准差（SD）、空间频率（SF）、平均梯度（AG）、相关系数（CC）、结构内容差异（SCD）、峰值信噪比（PSNR）、视觉信息保真度（VIF）和多尺度结构相似性（MS-SSIM） 共8种客观指标，评价融合结果. 其中SD、SF和AG用于衡量融合图像的清晰度和细节丰富性，数值越大表明融合图像的细节信息和对比度越好. CC、SCD和MS-SSIM用于评估融合图像与源图像间的相关性和结构信息保留能力，数值越接近1或越大，表明结构相似性更强，互补特征保留更充分. PSNR和VIF反映图像的整体视觉保真度，数值越大或越接近1，表明融合效果更佳. 所提方法与11种经典算法的指标对比结果见表1. 其中，加粗表示最优值，下划线表示次优值.

从表1可以看出，所提方法在SF、CC和MS-SSIM上表现最佳. 在“转移性支气管癌”MRI-SPECT融合任务中，SD、SF、CC与MS-SSIM分别较次优方法提升了1.99%、13.75%、0.34%和0.10%. 在“轻度阿尔茨海默病”MRI-PET融合任务中，SF、AG、CC和MS-SSIM分别较次优方法提升了5.67%、4.63%、0.93%和1.13%. 在“神经胶质瘤”MRI-SPECT融合任务中，SF、CC、SCD和MS-SSIM分别较次优方法提升了11.31%、5.27%、1.42%和0.89%. 具体而言，SF与AG越高，图像的纹理与边缘信息清晰度越高；CC越高，融合图像与源图像之间的线性相关性越强；MS-SSIM越高，图像结构信息保留能力越强. 在第2组实验中，所提方法在SD与SCD上表现稍弱，原因如下：MATR方法采用多模态引导注意力，结构保持性较好；CDDFuse采用密集连接，保留空间一致性；SwinFusion借助Transformer扩大感受野以保留全局结构，但这些措施会导致边缘信息弱化或细节模糊，且丢失部分高频信息. MBHFuse和BSAFusion分别通过高频平衡机制和保护滤波来增强信息平衡，但会牺牲整体视觉对比度. 与其他方法相比，本文方法通过增强浅层全局特征与深层局部特征，双向整合互补信息，并突出边缘与细节表现，从而提升纹理清晰度和亮度层次，虽然SD/SCD未达到最优，但整体视觉保真度及其他指标更均衡，避免了“结构强但细节弱”的问题.

如表2所示为本文方法与其他基于深度学习的融合方法的效率对比实验结果. 其中，S_m为模型大小，FLOPs为每秒浮点运算次数，t_t为推理时间. 从表2可以看出，所提方法在FLOPs和单张图片处理时间上表现最优，分别为0.208×10⁹和0.039 s，模型大小为次优. 总体而言，所提方法兼具低存储开销与低计算量，在临床诊断辅助和实际部署上具有良好的可行性.

为了验证所提方法中DSAM、IBRC Block和EDEN的有效性，设计8组消融实验. 第1~3组分别去掉DSAM、IBRC Block和EDEN，其余结构保留. 第4~6组分别只保留DSAM、IBRC Block和EDEN，其余结构去除. 第7、8组分别为三者全部去除或全部保留. 实验结果如图8与表3所示.

从图8可以看出，移除DSAM后融合图像的细节保留能力下降，且VIF显著下降，表明该模块有助于提升细节与纹理的表达能力. 将INN结构替换为普通卷积后，信息损失增加，模态间的协同性减弱，色彩保真度降低，使得PSNR与MS-SSIM下降，表明该模块能够实现信息的无损传输. 在移除EDEN后，融合图像的结构细节与纹理清晰度显著退化，且对比度变差，表明该模块能够提高图像的对比度与纹理清晰度. 当去除所有模块时，融合图像在色度、亮度、纹理与结构等方面均表现不佳，客观指标均低于其他模型，表明基础融合模型存在明显的缺陷. 最后一组实验加入了所有模块，结合DSAM的特征选择、INN结构的信息整合以及EDEN的细节与结构优化，实现了最佳性能，与不含任何模块的配置相比，各项指标分别提升了17.26%、3.41%、8.14%、30.28%、11.84%和37.61%，验证了3个模块的有效性.

针对医学图像融合中全局信息丢失、互补信息融合不充分及图像对比度与清晰度差的问题，提出新的融合框架——基于双阶段注意力机制与可逆变换的多模态医学图像融合方法. 所提方法通过双阶段注意力模块与可逆瓶颈残差耦合模块的协同设计，实现多模态信息的动态双向整合. 可逆结构保证了低频特征在多尺度传递过程中的信息无损，并与瓶颈残差耦合机制共同实现高效融合，显著提升了多模态特征的完整性和互补性. 采用纹理-对比多尺度融合模块，引入高频残差与边缘引导机制，实现低频结构与高频纹理的联合优化.

引入亮度、结构、梯度与色度4种损失函数，约束融合过程中的结构保持与细节完整性. 实验结果表明，所提方法在SD、SF、CC和MS-SSIM等客观指标上均优于次优方法，提升幅度分别为1.99%、13.75%、0.34%和0.10%. 在主观评价中，所提方法有效保留了图像的结构纹理信息与边缘特征，更好地融合了功能图像中的亮度及代谢信息，融合图像层次感更丰富，病灶区域更清晰，具备良好的视觉观感.

尽管所提方法在结构保持、细节增强与对比度提升等方面已取得优于现有方法的表现，但仍存在值得进一步探索的方向. 未来研究可以扩展至针对轻度非配准及形变的融合框架，提升该方法在真实临床场景中的适用性. 此外，可以进一步探索与病灶分割、诊断预测与辅助诊断等下游任务相联合优化的任务驱动融合范式，使融合不再仅仅追求视觉质量，而是直接服务于临床判别.