磁共振成像(magnetic resonance imaging, MRI)具有对软组织对比度高、无侵入性和无辐射等特点，广泛应用于临床疾病的诊断、治疗和筛查. 然而， MRI具有扫描时间长的固有问题，这将可能导致患者不适和运动伪影. 因此，自磁共振成像技术出现以来，加快MRI扫描速度一直是该领域的重要研究方向之一. 并行成像(parallel imaging，PI)^[1-3]和压缩感知(compressed sensing, CS)^[4-5]是2种加速MRI扫描速度的常规方法. PI技术利用多个接收线圈同时采集数据，并利用多个线圈的空间灵敏度差异来编码空间信息，减少成像所必须的k空间数据从而实现加速成像. 基于灵敏度编码^[6] (sensitivity encoding, SENSE)的重建算法是最常见的PI重建方法之一，此类方法须显式利用灵敏度图，因此，灵敏度图的准确估计成为这类方法的关键步骤. 通常，使用预扫描信号或者自校准信号(auto-calibration signal, ACS)进行估计^[7]. CS则通过在k空间中采集部分数据并利用图像在某种变换下的稀疏性来重建图像^[8-10].

目前，深度学习在去噪、压缩感知和超分辨等成像逆问题求解中取得了出色的表现^[11-13]. Wu等^[14]提出基于深度学习的重建方法，以端到端的方式从欠采样的k空间数据中恢复高质量的MR图像. Hammernik等^[15]引入有效的可训练公式，用于加速基于PI的MRI重建，这一公式被称为变分网络(variational network, VN). 变分网络中嵌入了一个广义的CS概念，在深度学习方法中形成了一种变分模型. 其主要好处在于，变分网络能够通过学习自动调整所有自由参数，以实现对复值多通道MR数据的重建. Sriram等^[16]将变分网络扩展到端到端MRI重建模型(E2E-VN). 该网络利用卷积神经网络在图像域中重建MR图像. 受这项工作的启发，Yiasemis等^[17]提出递归变分网络(RecurrentVN)，该网络进行多次变分迭代，以解决多线圈加速 MRI 重建的逆问题. Guo等^[18]提出用于MRI重建的循环Transformer模型，即ReconFormer. ReconFormer也都采用了迭代重建的策略，通过多次迭代优化来逐渐逼近真实图像. Huang等^[19]提出新的 Transformer 架构，用于重建MRI，该架构将Shifted Windows Transformer与U-Net耦合以降低网络复杂性，同时结合可变形的注意力来解释重建模型的可解释性. Huang等^[20]提出基于Swin Transformer的快速MRI重建方法. 网络中的特征提取模块由多个(RSTBs)组成. 与传统Transformer不同，Swin Transformer通过移位窗口多头自注意力机制实现高效的特征提取，同时保留全局依赖信息. Wang等^[21]提出的DCT-Net与上述的方法不同，在双域之间进行信息交换和优化.

为了提高MR图像的重建质量，本研究提出基于变分模型和Transformer的多尺度并行磁共振成像重建模型(multi-scale parallel MRI reconstruction model based on a variational model and Transformer, VNTM). VNTM中的灵敏度图中期增强策略（简称中期增强），使用多线圈欠采样k数据估计灵敏度图，同时在每个周期的T/2次迭代时重新估计并更新灵敏度图. 如果估计出的灵敏度图不够准确可能会产生混叠伪影，因此，本研究设计了U形多尺度重建(U-shaped multi-scale reconstruction block, UMRB)模块. UMRB模块中的网络称为UMRNet，主要是由Swin Transformer Layer构建，但是Transformer在计算过程中会产生高额的计算和内存成本，为了应对这一挑战，本研究设计了前后处理模块，其借助小波变换在空间和频率特征提取上的优势，最大限度地减少了特征信息的丢失.

目前，大多数MR扫描仪都使用PI技术来加速扫描速度，具体而言，PI技术利用多个灵敏度不同的接收线圈同时采集MRI信号. 并行磁共振成像模型可以表述为

(1)$ {{\boldsymbol{y}}} = {\boldsymbol{PFSx}}+{\boldsymbol{\varepsilon}} {\text{.}} $

式中：$ {\boldsymbol{x}} \in {{\bf{C}}^N} $表示待重建的目标图像， $ {N = H} {W} $为图像的像素总点数，$ W $和$ H $分别表示图像的列数和行数；y表示欠采样多线圈k空间数据，$ {\boldsymbol{y}} = [{\boldsymbol{y}}_1^{\text{T}}, \cdots , {\boldsymbol{y}}_c^{\text{T}}, \cdots ,{\boldsymbol{y}}_{{C}}^{\text{T}}]^{\text{T}} \in {{\bf{C}}^{MC}} $，$ {{\boldsymbol{y}}_c} \in {{\bf{C}}^M} $表示第$ c $个线圈的欠采样k空间数据，$ M $表示单个线圈的欠采样数据点数，$ C $为接收线圈的个数；${\boldsymbol{\varepsilon}} $表示加性高斯噪声，$\varepsilon \in {{\bf{C}}^{MC}}$；S为灵敏度图，$ {\boldsymbol{S}} = [{\boldsymbol{S}}_1^{\text{T}}, \cdots ,{\boldsymbol{S}}_c^{\text{T}}, \cdots , {\boldsymbol{S}}_{{C}}^{\text{T}}]^{\text{T}} \in {{\bf{C}}^{NC \times N}} $，对角矩阵${{{\boldsymbol{S}}}_c} \in {{\bf{C}}^{N \times N}}$表示归一化的第$c$个线圈的灵敏度信息；${{\boldsymbol{F}}} = {{{\boldsymbol{I}}}_C} \otimes {\boldsymbol{f}} \in {{\bf{C}}^{NC \times NC}}$表示逐线圈二维傅里叶变换算子，$ \otimes $表示Kronecker乘积，${{\boldsymbol{I}}_C}$为$C \times C$的单位矩阵，$ {\boldsymbol{f}} = {{\boldsymbol{U}}_W} \otimes {{\boldsymbol{U}}_H} \in {{\bf{C}}^{N \times N}} $表示二维傅立叶变换算子，${{\boldsymbol{U}}_H} \in {{\bf{C}}^{H \times H}}$和${{\boldsymbol{U}}_W} \in {{\bf{C}}^{W \times W}}$分别为$H$点和$W$点离散傅里叶变换矩阵；P表示多线圈k空间数据的欠采样算子，$ {{\boldsymbol{P}}} = {{{\boldsymbol{I}}}_C} \otimes {\boldsymbol{p}} \in {{\bf{C}}^{MC \times NC}} $，$ {\boldsymbol{p}} $表示单个线圈k空间数据的欠采样矩阵，该矩阵由大小为NC×NC的单位矩阵中选取若干行构成. 灵敏度图${\boldsymbol{S}}$通常通过对完全采样的k空间中心区域（ACS）进行估计得到. 如果ACS区域变小，可能会造成灵敏度图估计不准确，从而导致重建的MRI图像出现严重的混叠伪影.

从欠采样k空间数据${\boldsymbol{y}}$中重建出目标图像${\boldsymbol{x}}$是一个不适定的逆问题^[22]，因此很难获得目标图像${\boldsymbol{x}}$的显示解. 根据CS理论，一般来说式（1）可以被视为优化问题，通过求解具有L1范数的最优化问题，来实现对其求解. 考虑与图像${\boldsymbol{x}}$相关的正则项$ {\boldsymbol{R}} ({\boldsymbol{x}}) $，于是得到基于SENSE模型的重建模型：

(2)$ \boldsymbol{x}=\arg \min _{\boldsymbol{x}}\; \dfrac{1}{2}\|\boldsymbol{P} \boldsymbol{F} \boldsymbol{S} \boldsymbol{x}-\boldsymbol{y}\|_2^2+\lambda {\boldsymbol{R}}(\boldsymbol{x}) . $

式中：$\lambda $为正则化参数，$\lambda > 0 $.

式（2）为带正则化项的最小二乘问题，其近似解可使用迭代求解的梯度下降法^[15]来得到：

(3)$ \boldsymbol{x}^{t+1}=\boldsymbol{x}^t-\beta^t\left((\boldsymbol{P} \boldsymbol{F} \boldsymbol{S})^{\mathrm{H}}\left(\boldsymbol{P} \boldsymbol{F} \boldsymbol{S} \boldsymbol{x}^t-\boldsymbol{y}\right)+\lambda \nabla {\boldsymbol{R}}\left(\boldsymbol{x}^t\right)\right) . $

式中：β为可学习的参数，${\beta ^t} > 0$，上标t表示第t次迭代.

由于深度学习的快速发展，基于深度学习的MRI重建方法也得到了快速发展，与传统的重建方法相比，深度学习方法具有许多优势，比如：重建速度快，质量高. 文献[15]提出使用卷积神经网络(CNN)来实现正则项的梯度计算，式（3）可以重写为

(4)$ \boldsymbol{x}^{t+1}=\boldsymbol{x}^t-\beta^t(\boldsymbol{P F S})^{\mathrm{H}}\left(\boldsymbol{P F S} \boldsymbol{x}^t-\boldsymbol{y}\right)+{G}_{\theta^t}\left(\boldsymbol{x}^t\right) . $

式中：$ {G_\theta }({\boldsymbol{x}}) $表示基于CNN的由$\theta $参数化的图像重建模块，输入输出均为单线圈复数图像；${\boldsymbol{S}}$由ESPIRiT方法对全采样的ACS进行估计得到. 本研究工作的灵感是来自于端到端变分网络（E2E-VN），其是建立在变分网络之上的. E2E-VN通过在图像域中使用基于CNN的神经网络，在k空间中执行迭代优化方案. 在式（3）两边执行$ {{\boldsymbol{FS}}} $，并令${{\boldsymbol{k}}} = {{\boldsymbol{FSx}}}$，可得${{\boldsymbol{x}}} = {{{\boldsymbol{S}}}^{\text{H}}}{{{\boldsymbol{F}}}^{\text{H}}}{{\boldsymbol{k}}}$，则可得k空间的更新公式：

(5)$ \boldsymbol{S}={E}_{\omega}\left(\boldsymbol{F}^{\mathrm{H}} \boldsymbol{P}_{\mathrm{ACS}}^{\mathrm{T}} \boldsymbol{P}_{\mathrm{ACS}} \boldsymbol{Y}\right) \oslash \operatorname{SOS}\left({E}_{\omega}\left(\boldsymbol{F}^{\mathrm{H}} \boldsymbol{P}_{\mathrm{ACS}}^{\mathrm{T}} \boldsymbol{P}_{\mathrm{ACS}} \boldsymbol{Y}\right)\right), $

(6)$ \boldsymbol{k}^{t+1}=\boldsymbol{k}^t-\beta^t\left(\boldsymbol{M}\left(\boldsymbol{k}^t-\boldsymbol{Y}\right)+\boldsymbol{F} \boldsymbol{S G}_{\boldsymbol{\theta}^t}\left(\boldsymbol{S}^{\mathrm{H}} \boldsymbol{F}^{\mathrm{H}} \boldsymbol{k}^t\right)\right) . $

式中：${{\boldsymbol{M}}} = {{{\boldsymbol{P}}}^{\text{T}}}{{\boldsymbol{P}}}$，${{\boldsymbol{Y}}} = {{{\boldsymbol{P}}}^{\text{T}}}{{\boldsymbol{y}}}$，$ {{\boldsymbol{P}}_{{\text{ACS}}}} $表示只提取ACS的掩码，$ {E_{\omega} }({\boldsymbol{x}}) $表示基于CNN的由${\omega} $参数化的图像处理模块，$ \oslash $表示逐元素相除，平方和的平方根(square root of sum of squares, SOS)^{[3, 23]}表示将多个线圈图像组合成幅度图像. 假设$ {\boldsymbol{X }}\in {{\bf{C}}^{NC}} $为多线圈复数图像，则SOS按下式定义：

(7)$ \operatorname{SOS}(\boldsymbol{X})=\left[{\sum_{c=1}^C\left|\boldsymbol{X}_c\right|^2}\right]^{1/2}. $

式中：$ {{\boldsymbol{X}}_c}$表示多线圈图像$ {\boldsymbol{X}} $的第c个线圈图像，$ {{\boldsymbol{X}}_c} \in {{\bf{C}}^N} $.

VNTM的具体结构如图1(a)所示，由灵敏度图估计(SME)模块、U形多尺度重建(UMRB)模块和数据一致性(DC)模块等子模块组成. 首先，使用多线圈欠采样k空间数据${{\boldsymbol{k}}^0}$作为SME模块的输入，初步估计灵敏度图，然后在${T_2} = T/2$次迭代时，SME模块使用${{\boldsymbol{k}}^{{T_2} - 1}}$进行灵敏度图中期增强来增加灵敏度图的准确性；其次，对${{\boldsymbol{k}}^t}$进行傅里叶反变换，得到图像域数据，并通过$ {{\boldsymbol{S}}^{\text{H}}} $合并成单个线圈图像. 该图像经过前处理模块降低分辨率后，送入UMRNet进行处理. 随后，后处理模块对其进行分辨率恢复，并通过${\boldsymbol{S}}$将单线圈图像还原为多线圈图像，再次执行傅里叶变换得到$ {\tilde {\boldsymbol{k}}^t} $. DC模块分别对${{\boldsymbol{k}}^t}$和$ {\tilde {\boldsymbol{k}}^t} $进行保真操作，以确保网络输出与原始采集的k空间数据保持一致. 随后，将更新后的多通道k空间数据加权合成，形成最终重建的${{\boldsymbol{k}}^t}$. 最后，应用傅里叶反变换将多线圈k空间数据转换到图像空间，再进行SOS，即可得到重建的幅度图像. 该更新流程的核心公式如下：

(8)$\left.\begin{split} & \boldsymbol{S}={E}_{\omega}\left(\left(\boldsymbol{F}^{\mathrm{H}} \boldsymbol{k}^{t-1}\right) \oslash \operatorname{SOS}\left(\boldsymbol{F}^{\mathrm{H}} \boldsymbol{k}^{t-1}\right)\right),\; t=1, \dfrac{T}{2}-1 ; \\& \tilde{\boldsymbol{k}}=\boldsymbol{FS}{A}_{\text {post }}\left({G}_{\theta^t}\left({A}_{\text {pre }}\left(\boldsymbol{S}^{\mathrm{H}} \boldsymbol{F}^{\mathrm{H}} \boldsymbol{k}^{t-1}\right)\right)\right) ; \\& \boldsymbol{k}^t=\boldsymbol{k}^{t-1}-\beta^t\left(\boldsymbol{M k}^{t-1}-\boldsymbol{Y}\right)+\lambda^t\left[\tilde{\boldsymbol{k}}-\rho^t(\boldsymbol{M} \tilde{\boldsymbol{k}}-\boldsymbol{Y})\right] .\end{split}\right\} $

式中：${A_{{\mathrm{pre}}}}$和${A_{{\mathrm{post}}}}$分别表示前、后处理模块；$ \oslash $表示逐元素相除；${\beta ^t}$、${\lambda ^t}$和${\rho ^t}$为可学习参数，其初始值分别为1.0、0.1和1.0；$ {{\boldsymbol{S}}^{\text{H}}}{{\boldsymbol{F}}^{\text{H}}}{{\boldsymbol{k}}^t} $表示将多线圈k空间数据$ {{\boldsymbol{k}}^t} $经傅里叶反变换后再通过$ {{\boldsymbol{S}}^{\text{H}}} $合并成单个线圈图像数据；$ {G_\theta } $为U形多尺度重建模块中的网络，由于$ {G_\theta } $的输入为合并的单线圈图像，与接收线圈的数量无关，因此，该网络可以处理任意线圈数量的MRI数据.

对于基线模型E2E-VN中的灵敏度估计方法而言，就是将多线圈欠采样k空间的ACS区域作为输入进行一次性估计. 然而，当ACS区域有限时，灵敏度图估计的准确度将大大降低，导致传统方法(如SENSE和ESPIRiT)和深度学习方法(如E2E-VN)产生较差的重建图像. 这些方法的不足部分归因于它们依赖ACS区域数据一次性估计的灵敏度图. 为了更准确地估计每个线圈的灵敏度图，提出灵敏度图中期增强策略. 具体而言，采用多线圈欠采样k空间数据估计灵敏度图，由于一次性估计出灵敏度图不够准确，因此，当VNTM进行到T/2次迭代时，使用UMRB的输出数据作为SME的输入，进行灵敏度图的重新估计与更新，这一创新的设计旨在提高灵敏度图与重建结果的关联性，使重建结果与灵敏度图相互促进. 如图1(b)所示展示了SME模块的结构.

UMRB结构如图1(g)所示，包含前处理模块、 UMRNet和后处理模块. 灵敏度图作为UMRB的输入之一，灵敏度图不够准确可能会导致重建图像出现混叠伪影. 为了解决这一问题，本研究设计了UMRNet，它是一种多尺度的编码器-解码器结构，其核心构建块为Swin Transformer Layer Block (STLB). 具体而言，UMRNet的输入尺寸从$ \dfrac{H}{{\text{2}}}{{ \times }}\dfrac{W}{{\text{2}}} \times 66 $开始，逐步通过下采样缩减到$\dfrac{H}{{16}}{{ \times }}\dfrac{W}{{16}} \times 528$的最小尺度. 随后，在上采样过程中，每个尺度通过跳跃连接与相应分辨率的特征进行融合，逐步恢复至原始尺寸$ \dfrac{H}{{\text{2}}}{{ \times }}\dfrac{W}{{\text{2}}} \times 66 $，实现了特征图的多尺度融合，并且通过跳跃连接，保留了不同尺度的特征信息. STLB中的STL来自于在图像去噪和超分辨领域取得成功的SwinIR^[24]. 与SwinIR相比，本研究在STL层之间进行了进一步的残差处理，结构如图1(f)所示，可以表示为如下公式：

(9)$ \left.\begin{split} & \boldsymbol{X}_{\mathrm{STL} 1}=\operatorname{STL}\left(\mathrm{STL}\left(\boldsymbol{X}_{\mathrm{in}}\right)\right)+\boldsymbol{X}_{\mathrm{in}} ， \\& \boldsymbol{X}_{\mathrm{STL} 2}=\operatorname{STL}\left(\mathrm{STL}\left(\boldsymbol{X}_{\mathrm{STL} 1}\right)\right)+\boldsymbol{X}_{\mathrm{STL} 1} ，\\& \boldsymbol{X}_{\mathrm{out}}=\operatorname{Conv}\left(\boldsymbol{X}_{\mathrm{STL} 2}\right)+\boldsymbol{X}_{\mathrm{in}} .\end{split}\right\} $

在MRI重建任务中，输入图像的分辨率通常高于常用的图像数据集(32×32~256×256^)[25]，加上Transformer模型固有的全局时间自注意力机制所引发的二次计算成本挑战，特别是在处理更高分辨率输入时，对计算设备性能提出了更为严苛的要求. 为了在保留空间信息和减少计算资源之间取得平衡，本研究设计了前后处理模块，嵌入至UMRNet框架的两侧. 前处理模块包含小波变换(discrete wavelet transform, DWT)^[26]、卷积（Conv）、实例归一化(instance normalization, IN)和LeakyReLU（LReLU）激活函数，其中小波变换不仅可以降低分辨率，还能在频域上分离图像特征，特别是高频和低频成分，从而提取边缘和纹理之类的高频细节，为网络提供更丰富的细节信息. 在小波分解过程中，每一级将图像分解为4个子图(LL、LH、HL和HH)，并在通道上拼接，从而实现分辨率减半. 本实验中使用了一级小波分解. 前后处理模块显著降低了随后在UMRNet内部处理的数据的复杂性与空间占用，从而大幅提升了计算效率. 如图1(d)所示展示了前处理模块的结构，该结构可表示为如下公式：

(10)$ \left.\begin{split} & \boldsymbol{Z}_{\mathrm{CIL}}=\operatorname{CIL}\left(\operatorname{CIL}\left(\boldsymbol{Z}_{\mathrm{in}}\right)\right) ,\\& \boldsymbol{Z}_{\text {out }}=\operatorname{Conv}\left(\operatorname{DWT}\left(\boldsymbol{Z}_{\mathrm{CIL}}\right)\right), \\& \operatorname{CIL}(\boldsymbol{Z})=\operatorname{LReLU}(\operatorname{IN}(\operatorname{Conv}(\boldsymbol{Z}))) .\end{split}\right\} $

式中：$ \{ {{\boldsymbol{X}}_{{\text{LL}}}},{{\boldsymbol{X}}_{{\text{HL}}}},{{\boldsymbol{X}}_{{\text{LH}}}},{{\boldsymbol{X}}_{{\text{HH}}}}\}={\text{DWT}}({\boldsymbol{X}}) $，$ {{\boldsymbol{X}}_{{\text{LL}}}} $表示低频子带，$ {{\boldsymbol{X}}_{{\text{HL}}}}、{{\boldsymbol{X}}_{{\text{LH}}}}、{{\boldsymbol{X}}_{{\text{HH}}}} $表示3个高频子带，分别表示原始图像的垂直、水平和对角线特征；Conv的卷积核为3×3；$ {\text{CIL}} $操作由Conv、In和LReLU组成.

后处理模块采用小波逆变换(inverse discrete wavelet transform, IDWT)与一系列卷积操作相结合的方式，旨在恢复数据的分辨率至与输入时相同的大小，从而确保数据在经过UMRNet处理后的完整性. 如图1(e)所示展示了后处理模块的结构，该结构可表示为如下公式：

(11)$\left. \begin{aligned}& \boldsymbol{Q}_{\mathrm{IDWT}}=\operatorname{IDWT}\left(\operatorname{Conv}\left(\boldsymbol{Q}_{\mathrm{in}}\right)\right) , \\& \boldsymbol{Q}_{\mathrm{out}}=\operatorname{Conv}\left(\operatorname{CIL}\left(\operatorname{CIL}\left(\operatorname{Cat}\left(\boldsymbol{Q}_{\mathrm{IDWT}}, \boldsymbol{Z}_{\mathrm{CIL}}\right)\right)\right) \right).\end{aligned} \right\}$

式中：$ {{\boldsymbol{X}}'} = {\text{IDWT}}(\{ {{\boldsymbol{X}}_{{\text{LL}}}},{{\boldsymbol{X}}_{{\text{HL}}}},{{\boldsymbol{X}}_{{\text{LH}}}},{{\boldsymbol{X}}_{{\text{HH}}}}\} ) $，$ {{\boldsymbol{Z}}_{{\text{CIL}}}} $来自前处理模块，$ {\text{Cat}} $表示拼接操作.

E2E-VN对前一次重建的k空间数据进行数据一致性处理，但并未对当前迭代中网络的输出数据进行数据一致性操作. 实验表明，如果对当前迭代次数的UMRNet输出值进行数据一致性处理，可提高重建质量. 在消融实验中，本研究进一步证明了对当前迭代次数的UMRNet输出值进行数据一致性操作对VNTM造成的影响.

如图1(c)所示展示了DC模块的结构，该结构可表示为如下公式：

(12)$ \mathrm{DC}_\beta\left(\boldsymbol{M}, \boldsymbol{k}^t, \boldsymbol{Y}\right)=\boldsymbol{k}^t-\beta^t \boldsymbol{M}\left(\boldsymbol{k}^t-\boldsymbol{Y}\right) , $

(13)$ \mathrm{DC}_\rho\left(\boldsymbol{M}, \tilde{\boldsymbol{k}}^t, \boldsymbol{Y}\right)=\tilde{\boldsymbol{k}}^t-\rho^t \boldsymbol{M}\left(\tilde{\boldsymbol{k}}^t-\boldsymbol{Y}\right) . $

式中：${{\boldsymbol{k}}^t}$表示当前迭代重建的输出，${\tilde {\boldsymbol{k}}^t}$表示UMRNet模块的输出值，${\boldsymbol{Y}}$表示欠采样k空间数据，${\boldsymbol{M}}$表示欠采样掩码，$\beta $与$\rho $表示可学习的参数.

在公开的大脑和膝盖数据集上，使用不同的采样掩码和加速因子，并与当前最先进的几种方法进行比较. 本研究中所有的实验指标结果均只计算感兴趣区域(region of interest，ROI).

使用公开的膝盖和大脑数据对所提出的模型进行测试. 具体而言，膝盖数据来源于公开数据集NYULH Radiology-Reconstruction-Data^[15]，包括冠状面质子密度加权(coronal proton-density, Coronal-PD)序列和矢状面质子密度加权(sagittal proton-density, Sagittal-PD)序列，大脑数据集则来自于纽约大学fastMRI Initiative数据库的T2大脑数据集(fastMRI-T2Brain)^[27].

膝盖数据集是利用3T磁共振扫描仪对病人的膝盖进行全采样得到的，包含了5个不同对比度和不同解剖面的快速自旋回波(turbo spin echo, TSE)序列，每个序列采集20位不同的病人的数据. 本次实验选取了冠状面质子密度加权(Coronal-PD)序列(TR=2750 ms，TE=27 ms，TF=4，平面内分辨率为 0.49×0.44 mm²，切片厚度为3 mm，35~42个切片)和矢状面质子密度加权(Sagittal-PD)序列(TR=2800 ms，TE=27 ms，TF=4，平面内分辨率为 0.46×0.36 mm²，切片厚度为3 mm，31~38个切片)对模型的重建效果进行验证. 在实验过程中，在每个序列中随机选取14个病人的数据作为训练集，3个病人的数据作为验证集，以及3个病人的数据作为测试集. 同时，为了排除数据中噪声对实验结果的影响，选取每个病人的20个切片并将图像裁剪为320×320大小进行实验，每个切片均为15个线圈，即每个实验样本大小为320×320×15.

大脑数据集在3T或1.5T扫描仪上采集的. 原始的多线圈k空间数据经过傅立叶逆变换后，被裁剪为320×320大小. 为了标准化线圈数量，使用几何分解线圈压缩(geometric decomposition coil compression，GCC)技术，将线圈数量标准化为15. 实验过程中，从原始数据集中随机选择80名受试者进行训练，20名受试者进行验证，以及20名受试者用于测试，每个受试者包含前5个切片的数据，即每个实验样本大小为320×320×15.

所提出的VNTM是在PyTorch框架^[28]下实现的. 由于实验设备性能限制，训练过程中，将Batch Size设置为1，采用余弦退火策略对学习率进行不断调整，并使用提前停止策略时刻关注模型是否过拟合. 具体的模型参数如表1所示. 实验在配备64G RAM的IntelCore i9-13900K@3.2 GHz和24 G的NVIDIA GeForce RTX 4090上进行.

为了评估提出的VNTM网络的性能，在实验过程中选择了不同加速因子的采样掩码进行欠采样实验. 具体来说，采用了5种欠采样掩码，分别为一维等间隔欠采样(1DUU)、一维笛卡尔随机欠采样(1DRU)、二维随机欠采样(2DRU)、伪径向欠采样(RADU)和泊松盘欠采样(2DPU). 对于一维采样掩码，采用了2个加速因子(acceleration factor, AF)，分别为3和5，而对于二维采样掩码，则选择了5和10作为加速因子，不同采样掩码的ACS大小如表2所示. 为了定量评估重建图像的质量，选择峰值信噪比(peak signal-to-noise ratio， PSNR)^[29]和结构相似性指数(structural similarity， SSIM)^[30]作为评价指标来定量评估重建图像，其中PSNR和SSIM的数值越高代表重建质量越好.

为了验证所提出VNTM的优势，将其与当前在基于校准的欠采样MRI重建领域内的先进方法进行对比，这些方法包括E2E-VN^[16]、RecurrentVN^[17]、Deep-SLR^[31]、Deepcomplex^[32]、DONet^[33]和SwinMR^[20]. 其中，E2E-VN和RecurrentVN是用于多线圈MRI重建的代表性深度展开网络，都采用深度学习的方法进行灵敏度图估计. SwinMR基于Swin Transformer进行重建，损失函数部分使用ESPIRiT估计的全采样数据的灵敏度图. 而其余3种方法并未使用灵敏度图进行多个线圈图像的重建. 为了确保对比的公正性与科学性，本研究严格按照这些作者论文中设置的参数进行训练.

如表3~5所示，详尽对比了几种方法在不同数据集、采样掩码以及加速因子条件下的重建性能，并通过PSNR和SSIM指标进行定量分析，最好的结果用加粗标记. 从表3中可以观察到，在3倍加速的一维笛卡尔采样掩码应用场景下，RecurrentVN的SSIM与本研究提出VNTM的相当，但VNTM在PSNR上优于RecurrentVN. 进一步观察发现，在其他采样掩码上，VNTM不仅在PSNR上，同时在SSIM上也超越了RecurrentVN. 与其他5种方法相比，VNTM的重建质量在PSNR和SSIM上均达到了更优水平. 从表4可以观察到，在所有采样掩码的应用场景下，VNTM都具有较好的重建性能. 从表5可以观察到，虽然RecurrentVN在一维采样掩码应用场景下的SSIM与VNTM基本相同，但VNTM在PSNR上表现依旧更好，这与表1中的观察结果是一致的. 总体而言，VNTM在不同采样掩码与加速因子下都具有稳定且优异的定量结果.

如图2所示展示了不同算法在3个数据集（Coronal-PD、Sagittal-PD 和 fastMRI-T2Brain）上的 PSNR 整体表现，反映了各算法在图像重建任务中性能的差异. 具体来看，VNTM 算法在3个数据集上的 PSNR 平均值均为最高，比次优方法分别提高了0.903、1.054、1.290 dB. DONet 在 Coronal-PD 和 Sagittal-PD 数据集上的表现虽不及 VNTM，但优于其他方法；而在 fastMRI-T2Brain 数据集中，Recurrent-VN 的表现相对较好. 相比之下，Deep-SLR 和 SwimMR 在所有数据集上的 PSNR 平均值较低，表现不佳. 总之，VNTM 在3个数据集中的定量结果最佳.

如图3所示展示了不同算法在3个数据集（Coronal-PD、Sagittal-PD 和 fastMRI-T2Brain）上的 SSIM 整体表现，反映了各算法在图像重建任务中的性能差异. 具体来看，VNTM 算法在3个数据集上的 SSIM 平均值均为最高；在 Coronal-PD 和 fastMRI-T2Brain 数据集中，Recurrent-VN 的 SSIM 表现次优，仅次于 VNTM，而在 Sagittal-PD 数据集中，DONet 表现相对较好. 相比之下，Deep-SLR 和 SwimMR 在所有数据集上的 SSIM 平均值较低，整体表现不佳. 值得注意的是，在 fastMRI-T2Brain 数据集上，各算法的 SSIM 普遍较高，且不同算法间的差距较小. 总体而言，VNTM 算法在3个数据集上的定量结果最佳.

如图4~6所示，本研究分别展示了在膝盖和大脑数据集下，7种先进方法(E2E-VN、RecurrentVN、Deep-SLR、Deepcomplex、DONet、SwinMR和VNTM)在不同采样掩码下的视觉比较，每组视觉比较分为3行：第1行中的第1列为Ground truth，其余则分别展示了各方法的重建结果；第2行中的第1列是该组所使用的采样掩码，其余则是通过误差图直观反映了各方法的重建误差；第3行中的第1列是该组所使用的采样掩码和加速因子，其余则是各方法重建图像的PSNR和SSIM. 其中，$\Delta p $表示归一化相素值的差值.

观察图4可以发现，几乎所有的误差都集中在重建图像的中部偏下区域. 其中，Deep-SLR和SwinMR中出现了较多的块状伪影，表现相对较差. 而相比之下，本研究提出的VNTM方法表现最好. 然而，E2E-VN的误差图上仍然存在较多的误差区域，而VNTM的误差区域更少，保留了更为丰富的细节信息.

观察图5可以发现，E2E-VN、Deep-SLR、 Deepcomplex和SwinMR在误差图像的中部和左侧边缘出现了较多的伪影区域，SwinMR的误差区域最多且比较严重，相比之下，RecurrentVN、DONet和本研究提出的VNTM在边缘部分的重建细节处理的相对较好. 尤其是VNTM，相较于RecurrentVN误差区域更少.

观察图6可以发现，Deep-SLR的误差图出现了比较多的误差区域. 相比之下，E2E-VN、RecurrentVN、Deepcomplex、DONet、SwinMR和VNTM显示出的混叠伪影主要集中在重建图像的边缘区域，而VNTM的整体表现更好.

为了评估所提出方法的有效性，本研究设计了一系列的消融实验. 这些消融实验以E2E-VN作为基准模型(Baseline)，并在Coronal-PD上使用5倍加速的二维随机的采样掩码. 在消融实验中，设计了5个算法来评估所提出方法的有效性，即：VNTM-A、VNTM-B、VNTM-C、VNTM-D和VNTM-E. 具体而言，VNTM-A与VNTM-B在基准模型中分别应用UMRNet和UMRB；VNTM-C和VNTM-D与VNTM相比，分别去除了${\text{D}}{{\text{C}}_\rho }$模块和中期增强；VNTM-E与VNTM相比去除了前后处理模块，上述的消融实验结果见表6，最好的结果用加粗标记.

从消融实验结果可以看出，所提出的改进策略均提升了模型性能. 其中，灵敏度图的中期增强提升效果最强，而${\text{D}}{{\text{C}}_\rho }$的提升效果相对较弱. 当所有改进策略相结合时，模型达到了最优的重建效果，其效果优于基准模型E2E-VN，这一结果充分验证了所提出改进方法的有效性.

为了探究灵敏度图中期增强与非中期增强对模型重建性能的影响，针对不同的迭代点(T/4、T/2、3T/4)进行了灵敏度图增强实验，其中T/2迭代为中期增强，T/4和3T/4迭代为非中期增强. 通过对实验结果的分析(见表7)可以发现， 在T/2迭代增强时，模型性能达到了最优. 因此，本研究后续将主要聚焦于T/2迭代的深入分析，以进一步优化模型性能，而对T/4和3T/4迭代不再展开深入讨论.

为了评估处理模块对模型计算性能的影响，对其在使用前后的计算量FLOPs、参数量Para和推理时间t_I进行对比. 处理模块在减少计算复杂度的同时，保持了参数量的相对稳定性，并提升了推理效率. 具体数据如表8所示，其中，VNTM-E表示没有使用处理模块，VNTM-F表示使用了处理模块. 通过处理模块，FLOPs减少了约61%，模型的计算复杂度降低；推理时间减少了约65%，推理速度提高，说明模块优化效果明显；参数量在使用处理模块后仅略微增加，表明模块的引入对模型的存储需求影响较小. 综上所述，验证了所提出处理模块的有效性.

为了确定模型级联数量T对模型性能的影响，对T进行消融实验，实验中评估了不同级联数量(2, 4, 6, 8, 10, 12)对 PSNR 和 SSIM 的影响，结果如表9所示. 实验结果表明，当级联数量从2增加至8时，PSNR和SSIM均稳步提升，在 T=8时性能达到最佳. 然而，进一步增加T至10 和12时，性能提升趋于平缓，且计算量会相对增加. 因此，本研究选择T=8作为最终模型，以在性能和计算资源之间取得平衡.

对于重建过程中需要利用ACS区域估计灵敏度图的方法，ACS区域大小尤为重要. 由于E2E-VN在估计灵敏度图时仅使用ACS区域，因此ACS区域过小，可能会产生严重的混叠伪影. 为了解决这一问题，使用欠采样多线圈k空间数据估计灵敏度图，并利用T/2次迭代时的输出数据重新估计灵敏度图，这种策略不仅加强了与重建数据之间的关联程度，而且还更新了灵敏度，进一步增加灵敏度图的准确性，并减少了对于ACS区域的依赖. 为了验证本研究的方法对于不同的ACS区域大小的鲁棒性，在Sagittal-PD上进行实验，使用3倍加速二维泊松采样掩码(3× 2DPU)进行欠采样，ACS区域大小分别设置为4×4，8×8，12×12，16×16和20×20，并将VNTM方法与E2E-VN和RecurrentVN这2种方法进行比较. 上述的消融实验结果如图7所示. 可以看出，在ACS区域从20×20降低到4×4时，本研究提出的方法在PSNR和SSIM这2种评估指标上仍然保持一个相对稳定范围，而E2E-VN和RecurrentVN则出现了较大的波动. 具体来说，当ACS从20×20降低到4×4时，VNTM的PSNR仅下降了0.31 dB，显示出良好的稳定性. 相比之下，E2E-VN和RecurrentVN的PSNR分别下降了3.57、4.79 dB. 进一步地，当ACS从20降低到4时，VNTM的SSIM下降了0.003，而E2E-VN和RecurrentVN分别下降了0.007和0.01.

如图8、9所示分别展示了ACS大小为4×4和20×20这2种场景下，3种方法的重建图像和对应的误差图. 可以看出，当ACS足够大(20×20)时，E2E-VN和RecurrentVN可以产生较接近Ground truth的重建图像，而VNTM则产生了误差更小的重建图像. 另外，即使当ACS区域有限(如4×4)时，从误差图可以观察到VNRM的误差区域依旧很少，而其他2种方法则出现多个高误差区域. 上述实验结果验证了所提出方法对于ACS大小变化的鲁棒性，有效降低了对ACS大小的依赖.

提出基于变分模型和Transformer的多尺度并行磁共振成像重建模型(VNTM). 该模型充分考虑了ACS区域大小对灵敏度图估计的影响，提出了灵敏度图中期增强策略，有效降低了对ACS区域大小的依赖. 为了进一步提高重建图像的质量，利用残差Swin Transformer的出色性能设计了UMRB模块. 针对Transformer模型固有的计算复杂度挑战，设计了前处理和后处理模块，以在保留空间信息和减少计算资源之间取得平衡. 通过在大脑和膝盖数据集上的实验可以看出，所提出的VNTM与最先进的重建方法相比，在定量和定性上都表现出优异的重建性能. 在之后的工作中，会继续尝试设计不同的网络架构，以获得更高的重建性能和更广泛的应用前景.