LK-CAUNet：基于交叉注意的大内核多尺度可变形医学图像配准网络

doi:10.3785/j.issn.1008-9497.2023.06.009

浙江大学学报（理学版）

2023, Vol. 50

Issue (6): 745-753 DOI: 10.3785/j.issn.1008-9497.2023.06.009

第26届全国计算机辅助设计与图形学学术会议专题

LK-CAUNet：基于交叉注意的大内核多尺度可变形医学图像配准网络

程天琪¹,王雷¹(

),郭新萍¹,王钰帏¹,刘春香²,李彬³

^1.山东理工大学计算机科学与技术学院，山东淄博 255000
^2.山东理工大学资源与环境工程学院，山东淄博 255000
^3.华南理工大学自动化科学与工程学院，广东广州 510641

LK-CAUNet: Large kernel multi-scale deformable medical image registration network based on cross-attention

Tianqi CHENG¹,Lei WANG¹(

),Xinping GUO¹,Yuwei WANG¹,Chunxiang LIU²,Bin LI³

^1.School of Computer Science and Technology，Shandong University of Technology，Zibo 255000，Shandong Province，China
^2.School of Resources and Environmental Engineering，Shandong University of Technology，Zibo 255000，Shandong Province，China
^3.School of Automation Science and Engineering，South China University of Technology，Guangzhou 510641，China

全文: PDF(2794 KB)

HTML( 2 )

摘要：

经典的UNet网络可用于预测全分辨率空间域的密集位移场，在医学图像配准中取得了巨大成功。但对大变形的三维图像配准，还存在运行时间长、无法有效保持拓扑结构、空间特征易丢失等缺点。为此，提出一种基于交叉注意的大内核多尺度可变形医学图像配准网络（large kernel multi-scale deformable medical image registration network based on cross-attention，LK-CAUNet）。在经典UNet模型基础上，通过引入交叉注意力模块，实现高效、多层次的语义特征融合；配备大内核非对称并行卷积，使其具有多尺度特征和对复杂结构的学习能力；通过加入平方和缩放模块，实现拓扑守恒和变换可逆。基于脑部MRI数据集，将LK-CAUNet与18种经典图像配准模型进行了比较，结果表明，LK-CAUNet的配准性能较其他模型有明显提升，其Dice得分较TransMorph配准方法提高了8%，而参数量仅为TransMorph的1/5。

关键词： 医学图像; 图像配准; UNet网络; 交叉注意力; 大内核卷积

Abstract:

The UNet network can be used to predict the dense displacement field in the full-resolution spatial domain, and has achieved great success in the field of medical image registration. However, for three-dimensional images with large deformation, there are still shortcomings such as long running time, inability to effectively maintain the topological structure, and easily leading to the loss of spatial features. A large kernel multi-scale deformable medical image registration network based on cross-attention (LK-CAUNet) is proposed. Based on the classical UNet network, the cross-attention module is introduced to achieve efficient and multi-level semantic feature fusion. The large kernel asymmetric parallel convolution is equipped. It has the ability to learn multi-scale features and complex structures. Besides, an additional square and scaling module is added to let it have the advantages of topological conservation and transform reversibility. Using the brain MRI dataset, it is demonstrated that the proposed method has significantly improved the registration performance compared with the eighteen classical registration methods. Especially compared with the most advanced TransMorph registration method, the Dice score can be improved by 8%, and the parameter quantity is only one fifth of it.

Key words: medical image image registration UNet network cross-attention large kernel convolution

收稿日期: 2023-06-12 出版日期: 2023-11-30

CLC:

TP 391

基金资助: 国家自然科学基金资助项目(61502282);山东省自然科学基金资助项目(ZR2021MF017)

通讯作者: 王雷 E-mail: wanglei0511@sdut.edu.cn

作者简介: 程天琪（1997—），ORCID：https：//orcid.org/0009-0006-8274-2287，女，硕士研究生，主要从事医学图像处理研究.

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	程天琪
	王雷
	郭新萍
	王钰帏
	刘春香
	李彬

引用本文:

程天琪,王雷,郭新萍,王钰帏,刘春香,李彬. LK-CAUNet：基于交叉注意的大内核多尺度可变形医学图像配准网络[J]. 浙江大学学报（理学版）, 2023, 50(6): 745-753.

Tianqi CHENG,Lei WANG,Xinping GUO,Yuwei WANG,Chunxiang LIU,Bin LI. LK-CAUNet: Large kernel multi-scale deformable medical image registration network based on cross-attention. Journal of Zhejiang University (Science Edition), 2023, 50(6): 745-753.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2023.06.009 或 https://www.zjujournals.com/sci/CN/Y2023/V50/I6/745

图1 单幅图像网络配准流程

图2 基于交叉注意的特征融合与特征匹配

图3 LK-CAUNet模型整体框构

图4 大内核多尺度特征提取卷积块

图5 交叉注意力模块的结构

表1 消融实验

图6 消融实验可视化结果

表2 不同配准方法的结果比较

图7 不同配准方法的可视化结果

1	LIU X， LI Z， ISHII M， et al. SAGE： Slam with appearance and geometry prior for endoscopy［C］// 2022 International Conference on Robotics and Automation （ICRA）. Philadelphia： IEEE， 2022： 5587-5593. DOI：10.1109/icra46639.2022.9812257 doi: 10.1109/icra46639.2022.9812257
2	GAZIV G， BELIY R， GRANOT N， et al. Self-supervised natural image reconstruction and large-scale semantic classification from brain activity［J］. NeuroImage， 2022， 254： 119121. DOI：10.1016/j.neuroimage.2022.119121 doi: 10.1016/j.neuroimage.2022.119121
3	XIE Y T， ZHANG J P， SHEN C H， et al. CoTr： Efficiently bridging CNN and transformer for 3D medical image segmentation［C］// The 24th International Conference on Medical Image Computing and Computer Assisted Intervention （MICCAI）. Strasbourg： Springer International Publishing， 2021： 171-180. DOI：10.1007/978-3-030-87199-4_16 doi: 10.1007/978-3-030-87199-4_16
4	SOTIRAS A， DAVATZIKOS C， PARAGIOS N. Deformable medical image registration： A survey［J］. IEEE Transactions on Medical Imaging， 2013， 32（7）： 1153-1190. DOI：10.1109/TMI.2013.2265603 doi: 10.1109/TMI.2013.2265603
5	RUECKERT D， SONODA L， HAYES C， et al. Nonrigid registration using free-form deformations： Application to breast MR images［J］. IEEE Transactions on Medical Imaging， 1999， 18（8）： 712-721. DOI：10.1109/42.796284 doi: 10.1109/42.796284
6	VERCAUTEREN T， PENNEC X， PERCHANT A， et al. Diffeomorphic demons： Efficient non-parametric image registration［J］. NeuroImage， 2009， 45（1）： S61-S72. DOI：10.1016/j.neuroimage. 2008.10.040 doi: 10.1016/j.neuroimage. 2008.10.040
7	AVANTS B B， TUSTISON N J， SONG G， et al. A reproducible evaluation of ANTs similarity metric performance in brain image registration［J］. NeuroImage， 2011， 54（3）： 2033-2044. DOI：10. 1016/j.neuroimage.2010.09.025 doi: 10. 1016/j.neuroimage.2010.09.025
8	ZHANG M， FLETCHER P T. Fast diffeomorphic image registration via fourier-approximated lie algebras［J］. International Journal of Computer Vision， 2019， 127： 61-73. DOI：10.1007/s11263-018-1099-x doi: 10.1007/s11263-018-1099-x
9	THORLEY A， JIA X， CHANG H J， et al. Nesterov accelerated ADMM for fast diffeomorphic image registration［C］// Medical Image Computing and Computer Assisted Intervention-MICCAI 2021： 24th International Conference. Strasbourg： Springer International Publishing， 2021： 150-160. DOI：10.1007/978-3-030-87202-1_15 doi: 10.1007/978-3-030-87202-1_15
10	HERING A， HANSEN L， MOK T C W， et al. Learn2Reg： Comprehensive multi-task medical image registration challenge， dataset and evaluation in the era of deep learning［J］. IEEE Transactions on Medical Imaging， 2023， 42（3）： 697-712. DOI：10. 1109/TMI.2022.3213983 doi: 10. 1109/TMI.2022.3213983
11	BALAKRISHNAN G， ZHAO A， SABUNCU M R， et al. VoxelMorph： A learning framework for deformable medical image registration［J］. IEEE Transactions on Medical Imaging， 2019， 38（8）： 1788-1800. DOI：10.1109/TMI.2019.2897538 doi: 10.1109/TMI.2019.2897538
12	SUN S L， HAN K， KONG D Y， et al. Topology-preserving shape reconstruction and registration via neural diffeomorphic flow［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans： IEEE， 2022： 20845-20855. DOI：10.1109/CVPR52688.2022.02018 doi: 10.1109/CVPR52688.2022.02018
13	ZHAO S Y， DONG Y， CHANG E， et al. Recursive cascaded networks for unsupervised medical image registration［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul： IEEE， 2019： 10600-10610. DOI：10.1109/ICCV.2019.01070 doi: 10.1109/ICCV.2019.01070
14	MOK T C W， CHUNG A. Fast symmetric diffeomorphic image registration with convolutional neural networks［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle： IEEE， 2020： 4644-4653. DOI：10.1109/CVPR42600.2020.00470 doi: 10.1109/CVPR42600.2020.00470
15	JIA X， THORLEY A， CHEN W， et al. Learning a model-driven variational network for deformable image registration［J］. IEEE Transactions on Medical Imaging， 2021， 41（1）： 199-212. DOI：10. 1109/TMI.2021.3108881 doi: 10. 1109/TMI.2021.3108881
16	KIM B， KIM D H， PARK S H， et al. CycleMorph： Cycle consistent unsupervised deformable image registration［J］. Medical Image Analysis， 2021， 71： 102036. DOI：10.1016/j.media.2021.102036 doi: 10.1016/j.media.2021.102036
17	CHEN J， FREY E C， HE Y， et al. TransMorph： Transformer for unsupervised medical image registration［J］. Medical Image Analysis， 2022， 82： 102615. DOI：10.1016/j.media.2022.102615 doi: 10.1016/j.media.2022.102615
18	JIA X， BARTLETT J， ZHANG T Y， et al. UNet vs transformer： Is UNet outdated in medical image registration？［C］// LIAN C F， CAO X H， REKIK I， et al. Machine Learning in Medical Imaging. Cham： Springer， 2022： 151-160. DOI：10.1007/978-3-031-21014-3_16 doi: 10.1007/978-3-031-21014-3_16
19	CHEN J， HE Y， FREY E C， et al. ViT-V-Net： Vision Transformer for Unsupervised Volumetric Medical Image Registration［Z］. （2021-04-13）. https：//arXiv/org/abs/2104.06468. doi:10.1016/j.media.2022.102615 doi: 10.1016/j.media.2022.102615
20	张纠，刘晓芳，杨兵. 基于双通道级联注意力网络的医学图像配准［J］. 计算机工程与设计， 2021， 42（10）： 2894-2901. DOI：10.16208/j.issn1000-7024.2021.10.026 ZHANG J， LIU X F， YANG B. Medical image registration based on dual-stream cascaded attention network［J］. Computer Engineering and Design， 2021， 42（10）： 2894-2901. DOI：10.16208/j.issn1000-7024.2021.10.026 doi: 10.16208/j.issn1000-7024.2021.10.026
21	秦庭威，赵鹏程，秦品乐，等. 基于残差注意力机制的点云配准算法［J］. 计算机应用， 2022， 42（7）：2184-2191. QIN T W， ZHAO P C， QIN P L， et al. Point cloud registration algorithm based on residual attention mechanism［J］. Journal of Computer Application， 2022， 42（7）：2184-2191.
22	BALAKRISHNAN G， ZHAO A， SABUNCU M R， et al. An unsupervised learning model for deformable medical image registration［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 9252-9260. DOI：10.1109/CVPR.2018.00964 doi: 10.1109/CVPR.2018.00964
23	VOS B D D， BERENDSEN F F， VIERGEVER M A， et al. End-to-end unsupervised deformable image registration with a convolutional neural network［C］// Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham： Springer， 2017： 204-212. DOI：10.1007/978-3-319-67558-9_24 doi: 10.1007/978-3-319-67558-9_24
24	WANG X， GIRSHICK R， GUPTA A， et al. Non-local neural net-works［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE，2018： 7794-7803. DOI：10.1109/CVPR.2018.00813 . doi: 10.1109/CVPR.2018.00813
25	MARCUS D S， WANG T H， PARKER J， et al. Open access series of imaging studies （OASIS）： Cross-sectional MRI data in young， middle aged， nondemented， and demented older adults［J］. Journal of Cognitive Neuroscience， 2007， 19（9）： 1498-1507. DOI：10.1162/jocn.2007.19.9.1498 doi: 10.1162/jocn.2007.19.9.1498
26	AVANTS B B， TUSTISON N J， WU J， et al. An open source multivariate framework for n-tissue segmentation with evaluation on public data［J］. NeuroInformatics， 2011， 9： 381-400. DOI：10.1007/s12021-011-9109-y doi: 10.1007/s12021-011-9109-y
27	AVANTS B B， EPSTEIN C L， GROSSMAN M， et al. Symmetric diffeomorphic image registration with cross-correlation： Evaluating automated labeling of elderly and neurodegenerative brain［J］. Medical Image Analysis， 2008， 12（1）： 26-41. DOI：10.1016/j.media.2007.06.004 doi: 10.1016/j.media.2007.06.004
28	MODAT M， RIDGWAY G R， TAYLOR Z A， et al. Fast free-form deformation using graphics processing units［J］. Computer Methods and Programs in Biomedicine， 2010， 98（3）： 278-284. DOI：10.1016/j.cmpb.2009.09.002 doi: 10.1016/j.cmpb.2009.09.002
29	BEG M F， MILLER M I， TROUVÉ A， et al. Computing large deformation metric mappings via geodesic flows of diffeomorphisms［J］. International Journal of Computer Vision， 2005， 61： 139-157. DOI：10.1023/B：VISI.0000043755.93987.aa doi: 10.1023/B：VISI.0000043755.93987.aa
30	HEINRICH M P， MAIER O， HANDELS H. Multi-modal multi-atlas segmentation using discrete optimisation and self-similarities［J］. VISCERAL Challenge@ ISBI， 2015， 1390： 27.
31	DALCA A V， BALAKRISHNAN G， GUTTAG J， et al. Unsupervised learning of probabilistic diffeomorphic registration for images and surfaces［J］. Medical Image Analysis， 2019， 57： 226-236. DOI：10.1016/j.media.2019.07.006 doi: 10.1016/j.media.2019.07.006
32	QIU H Q， QIN C， SCHUH A， et al. Learning diffeomorphic and modality-invariant registration using B-splines［C］// International Conference on Medical Imaging with Deep Learning. Lubeck： MDPL， 2021： 1-20.
33	WANG W， XIE E， LI X， et al. Pyramid vision transformer： A versatile backbone for dense prediction without convolutions［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal： IEEE， 2021： 548-558. DOI：10.1109/ICCV48922.2021.00061 doi: 10.1109/ICCV48922.2021.00061

[1]	窦丰,马会文,谢昕洋,杨万文,石雪,韩丽,林彬. 广义无监督函数映射学习的三维形状密集对应方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 736-744.
[2]	夏兆辉,刘健力,高百川,聂涛,余琛,陈龙,余金桂. 面向多尺度拓扑优化的渐进均匀化GPU并行算法研究[J]. 浙江大学学报（理学版）, 2023, 50(6): 722-735.
[3]	汪飞,李伟鸿,杨彧,姜大志,赵宝全,罗笑南. 动脉粥样硬化斑块生成的高效流固耦合不可压缩SPH模拟方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 711-721.
[4]	张泽初,彭伟龙,唐可可,余朝阳,Khan Asad,方美娥. 面向CBCT图像的金字塔微分同胚变形牙齿网格重建方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 701-710.
[5]	毛涵杨,彭晨,李晨,王长波. 面向开放表面的神经移动立方体算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 692-700.
[6]	苏科华,刘百略,雷娜,李可涵,顾险峰. 基于最优质量传输的Focus+Context可视化[J]. 浙江大学学报（理学版）, 2023, 50(6): 681-691.
[7]	刘圣军,滕子,王海波,刘新儒. 基于函数映射的二维形状内蕴对称检测算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 668-680.
[8]	刘泽润,尹宇飞,薛文灏,郭蕊,程乐超. 基于扩散模型的条件引导图像生成综述[J]. 浙江大学学报（理学版）, 2023, 50(6): 651-667.
[9]	谭晓东,赵奇,文明珠,王小超. 基于BEMD、DCT和SVD的混合图像水印算法[J]. 浙江大学学报（理学版）, 2023, 50(4): 442-454.
[10]	方于华,叶枫. MFDC-Net：一种融合多尺度特征和注意力机制的乳腺癌病理图像分类算法[J]. 浙江大学学报（理学版）, 2023, 50(4): 455-464.
[11]	孔翔,陈军. 一类带4个形状参数的同次三角曲面构造算法[J]. 浙江大学学报（理学版）, 2023, 50(2): 153-159.
[12]	张远鹏, 陈鸿韬, 王伟娜. 基于非凸非光滑变分模型的灰度图像泊松噪声移除算法[J]. 浙江大学学报（理学版）, 2023, 50(2): 160-166.
[13]	李军成,刘成志,罗志军,龙志文. 空间参数曲线的双目标能量极小化方法及其应用[J]. 浙江大学学报（理学版）, 2023, 50(1): 63-68.
[14]	全浩荣,刘成志,李军成,杨炼,胡丽娟. 张量积型Said-Ball曲面的预处理渐近迭代逼近法[J]. 浙江大学学报（理学版）, 2022, 49(6): 682-690.
[15]	虞瑞麒,刘玉华,沈禧龙,翟如钰,张翔,周志光. 表征学习驱动的多重网络图采样[J]. 浙江大学学报（理学版）, 2022, 49(3): 271-279.

Viewed

Full text

Abstract

Cited

Shared

Discussed