面向CBCT图像的金字塔微分同胚变形牙齿网格重建方法

doi:10.3785/j.issn.1008-9497.2023.06.005

浙江大学学报（理学版）

2023, Vol. 50

Issue (6): 701-710 DOI: 10.3785/j.issn.1008-9497.2023.06.005

第26届全国计算机辅助设计与图形学学术会议专题

面向CBCT图像的金字塔微分同胚变形牙齿网格重建方法

张泽初¹,彭伟龙¹(

),唐可可²,余朝阳³,Khan Asad¹,方美娥¹

^1.广州大学元宇宙研究院计算机科学与网络工程学院, 广东广州 510006
^2.广州大学网络空间先进技术研究院, 广东广州 510006
^3.广西医科大学第一临床医学院，广西南宁 530021

Reconstructing tooth meshes by pyramid diffeomorphic deformation from CBCT images

Zechu ZHANG¹,Weilong PENG¹(

),Keke TANG²,Zhaoyang YU³,Asad Khan¹,Meie FANG¹

^1.Metaverse Research Institute & School of Computer and Cyber Engineering，Guangzhou University，Guangzhou 510006，China
^2.The Cyberspace Institute of Advanced Technology，Guangzhou University，Guangzhou 510006，China
^3.The First Affiliated Hospital，Guangxi Medical University，Nanning 530021，China

全文: PDF(3611 KB)

HTML( 3 )

摘要：

从锥形束计算机断层扫描（cone-beam computed tomography，CBCT）中生成准确、高质量的牙齿网格是数字牙科常用的一种计算机辅助技术。然而，现有的基于实例分割的方法需要进行复杂的后处理和大量手动修正才能生成符合后续使用要求（如有限元分析）的牙齿网格。通过学习由微分同胚变形生成多分辨率的牙齿网格，直接用CBCT图像生成高质量的牙齿网格。采用经典的两阶段网络，第1阶段，用改进后的牙齿检测网络准确定位和裁剪牙齿；第2阶段，基于微分同胚变形的金字塔流将球面网格从低分辨率变形为高分辨率，使得生成的牙齿网格高效逼近目标网格。实验结果表明，所提方法在各评估指标上和重建牙齿表面的几何质量上均优于现有先进方法。

关键词： 牙齿网格重建; 形状生成; 金字塔微分同胚变形; CBCT图像

Abstract:

Accurate and high-quality shape generation of individual teeth from cone-beam computerized tomography (CBCT) is essential for computer-aided dentistry. Existing methods need post-process to extract isosurfaces and the output meshes cannot be directly used as the input for most subsequent applications (such as finite element analysis (FEA). In this paper, we propose the network that directly learns the multi-resolution mesh guided by diffeomorphic deformation. Overall, our solution is a classic two-stage schema widely used in tooth reconstruction. Firstly, we adopt a revised anchor-free detector to locate each individual tooth with high precision. Then, we design the top-to-bottom flows from the multi-level features of each individual, referred to as pyramid flows, to predict diffeomorphic deformation from a sphere to a detailed tooth. Finally, we validate the effectiveness and efficiency of the proposed approach by comparing with the previous segmentation methods and other explicit surface learning-based methods in the experiment.

Key words: tooth mesh reconstruction shape generation pyramid diffeomorphic deformation CBCT image

收稿日期: 2023-06-12 出版日期: 2023-11-30

CLC:

TP 391.41

基金资助: 国家自然科学基金资助项目(62072126);广东省自然科学基金资助项目(2022A1515010138);广州市基础研究计划市校（院）联合项目(202201020229)

通讯作者: 彭伟龙 E-mail: wlpeng@gzhu.edu.cn

作者简介: 张泽初（1996—），ORCID：https：//orcid.org/0000-0003-2599-629X，男，硕士研究生，主要从事智能图形学、口腔正畸研究.

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	张泽初
	彭伟龙
	唐可可
	余朝阳
	Khan Asad
	方美娥

引用本文:

张泽初,彭伟龙,唐可可,余朝阳,Khan Asad,方美娥. 面向CBCT图像的金字塔微分同胚变形牙齿网格重建方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 701-710.

Zechu ZHANG,Weilong PENG,Keke TANG,Zhaoyang YU,Asad Khan,Meie FANG. Reconstructing tooth meshes by pyramid diffeomorphic deformation from CBCT images. Journal of Zhejiang University (Science Edition), 2023, 50(6): 701-710.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2023.06.005 或 https://www.zjujournals.com/sci/CN/Y2023/V50/I6/701

图1 不同方法的建模效果注第3行为根据顶点法向对重建模型进行染色的效果。

图2 网络的整体框架

图3 牙齿检测网络结构

图4 金字塔微分同胚变形网络结构

图5 微分同胚网格变形模块结构

表1 3种检测方法在CBCT数据集上的检测结果

图6 不同方法牙齿中心检测效果比较注彩色方块为预测到的边界框，右列为编号23牙齿的预测Heatmap；（a）中红色叉号代表未检测到的牙齿。

表2 不同方法在CBCT分割和网格生成中的效果比较

图7 牙齿实例分割效果对比

图8 不同方法生成的牙齿网格模型对比

图9 不同类型牙齿（切牙、双尖牙、磨牙）从低分辨率网格经过多次变形的过程

表3 3种变形方法的自交面占比

表4 3种配置网络的消融实验结果

表5 不同输出分辨率对分割与网格生成效果的影响

表6 CBCT-100的分割与网格生成效果

1	LI P C， LIU Y， CUI Z M， et al. Semantic graph attention with explicit anatomical association modeling for tooth segmentation from CBCT images［J］. IEEE Transactions on Medical Imaging， 2022， 41（11）： 3116-3127. DOI：10.1109/TMI.2022.3179128 doi: 10.1109/TMI.2022.3179128
2	CUI Z M， LI C J， WANG W P. ToothNet： Automatic tooth instance segmentation and identification from cone beam CT images［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 6368-6377. DOI：10.1109/cvpr.2019.00653 doi: 10.1109/cvpr.2019.00653
3	WU X Y， CHEN H， HUANG Y J， et al. Center-sensitive and boundary-aware tooth instance segmentation and classification from cone-beam CT［C］// 2020 IEEE 17th International Symposium on Biomedical Imaging （ISBI）. Iowa City： IEEE， 2020： 939-942. DOI：10.1109/isbi45749.2020.9098542 doi: 10.1109/isbi45749.2020.9098542
4	LEE J， CHUNG M Y， LEE M Y， et al. Tooth instance segmentation from cone-beam CT images through point-Based detection and Gaussian disentanglement［J］. Multimedia Tools and Applications， 2022， 81（13）： 18327-18342. DOI：10.1007/s11042-022-12524-9 doi: 10.1007/s11042-022-12524-9
5	CHUNG M Y， LEE M， HONG J， et al. Pose-aware instance segmentation framework from cone beam CT images for tooth segmentation［J］. Computers in Biology and Medicine， 2020， 120： 103720. DOI：10. 1016/j.compbiomed.2020.103720 doi: 10. 1016/j.compbiomed.2020.103720
6	JANG T J， KIM K C， CHO H C， et al. A fully automated method for 3D individual tooth identification and segmentation in dental CBCT［Z］. （2021-02-11）. https：//arXiv/org/abs/2102.06060.
7	CUI Z M， ZHANG B J， LIAN C F， et al. Hierarchical morphology-guided tooth instance segmentation from CBCT images［C］// International Conference on Information Processing in Medical Imaging. Switzerland：Springer， 2021： 150-162. DOI：10.1007/978-3-030-78191-0_12 doi: 10.1007/978-3-030-78191-0_12
8	CUI Z， FANG Y， MEI L， et al. A fully automatic AI system for tooth and alveolar bone segmentation from cone-beam CT images［J］. Nature Communications， 2022， 13（1）： 1-11. DOI：10. 1038/s41467-022-29637-2 doi: 10. 1038/s41467-022-29637-2
9	GAO H， CHAE O. Individual tooth segmentation from CT images using level set method with shape and intensity prior［J］. Pattern Recognition， 2010， 43（7）： 2406-2417. DOI：10.1016/j.patcog.2010. 01.010 doi: 10.1016/j.patcog.2010. 01.010
10	AKHOONDALI H， ZOROOFI R， SHIRANI G. Rapid automatic segmentation and visualization of teeth in CT-scan data［J］. Journal of Applied Sciences， 2009， 9（11）： 2031-2044. DOI：10.3923/jas.2009.2031.2044 doi: 10.3923/jas.2009.2031.2044
11	BARONE S， PAOLI A， RAZIONALE A V. CT segmentation of dental shapes by anatomy-driven reformation imaging and B-spline modelling［J］. International Journal for Numerical Methods in Biomedical Engineering， 2016， 32（6）： e02747. DOI：10.1002/cnm.2747 doi: 10.1002/cnm.2747
12	KONG F， SHADDEN S C. Learning whole heart mesh generation from patient images for computational simulations［J］. IEEE Transactions on Medical Imaging， 2023： 42（2）： 533-545. DOI：10. 1109/tmi.2022.3219284 . doi: 10. 1109/tmi.2022.3219284
13	WICKRAMASINGHE U， REMELLI E， KNOTT G， et al. Voxel2Mesh： 3D mesh model generation from volumetric data［C］// International Conference on Medical Image Computing and Computer-Assisted Intervention. Switzerland： Springer， 2020： 299-308. DOI：10. 1007/978-3-030-59719-1_30 doi: 10. 1007/978-3-030-59719-1_30
14	CRUZ R S， LEBRAT L， FU D， et al. CorticalFlow++： Boosting cortical surface reconstruction accuracy， regularity， and interoperability［Z］. （2022-06-14）. https：// arXiv/abs/2206.06598. doi:10.1007/978-3-031-16443-9_48 doi: 10.1007/978-3-031-16443-9_48
15	ZHOU X Y， WANG D Q， KRÄHENBÜHL P. Objects as points［Z］. （2019-04-16） https：//arxiv.org/abs/1904.078502019. doi:10.5260/chara.21.2.8 doi: 10.5260/chara.21.2.8
16	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］// 2017 IEEE International Conference on Computer Vision （ICCV）. Venice： IEEE， 2017： 2999-3007. DOI：10.1109/iccv.2017.324 doi: 10.1109/iccv.2017.324
17	WANG N N， ZHANG Y D， LI Z W， et al. Pixel2mesh： Generating 3D mesh models from single RGB images［C］// European Conference on Computer Vision （ECCV）. Switzerland： Springer， 2018： 55-71. DOI：10.1007/978-3-030-01252-6_4 doi: 10.1007/978-3-030-01252-6_4
18	LOOP C. Smooth Subdivision Surfaces Based on Triangles［D］. Salt Lake City： The University of Utah， 1987.
19	DUPONT E， DOUCET A， TEH Y W. Augmented neural odes［J］. Advances in Neural Information Processing Systems， 2019， 32：3140-3150.
20	GUPTA K. Neural Mesh Flow： 3D Manifold Mesh Generation via Diffeomorphic Flows［D］. San Diego： University of California， 2020.
21	MESCHEDER L， OECHSLE M， NIEMEYER M， et al. Occupancy networks： Learning 3D reconstruction in function space［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 4455-4465. DOI：10.1109/cvpr.2019. 00459 doi: 10.1109/cvpr.2019. 00459
22	FAN H Q， SU H， GUIBAS L J. A point set generation network for 3D object reconstruction from a single image［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE， 2017： 605-613. DOI：10. 1109/cvpr.2017.264 doi: 10. 1109/cvpr.2017.264
23	COMMUNITY B O. Blender： A 3D Modelling and Rendering Package［M］. Amsterdam： Blender Foundation， 2018.
24	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149. doi:10.1109/tpami.2016.2577031 doi: 10.1109/tpami.2016.2577031

[1]	毛涵杨,彭晨,李晨,王长波. 面向开放表面的神经移动立方体算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 692-700.
[2]	苏科华,刘百略,雷娜,李可涵,顾险峰. 基于最优质量传输的Focus+Context可视化[J]. 浙江大学学报（理学版）, 2023, 50(6): 681-691.
[3]	刘圣军,滕子,王海波,刘新儒. 基于函数映射的二维形状内蕴对称检测算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 668-680.
[4]	刘泽润,尹宇飞,薛文灏,郭蕊,程乐超. 基于扩散模型的条件引导图像生成综述[J]. 浙江大学学报（理学版）, 2023, 50(6): 651-667.
[5]	方于华,叶枫. MFDC-Net：一种融合多尺度特征和注意力机制的乳腺癌病理图像分类算法[J]. 浙江大学学报（理学版）, 2023, 50(4): 455-464.
[6]	虞瑞麒,刘玉华,沈禧龙,翟如钰,张翔,周志光. 表征学习驱动的多重网络图采样[J]. 浙江大学学报（理学版）, 2022, 49(3): 271-279.
[7]	钟颖,王松,吴浩,程泽鹏,李学俊. 基于SEMMA的网络安全事件可视探索[J]. 浙江大学学报（理学版）, 2022, 49(2): 131-140.
[8]	祝锦泰, 叶继华, 郭凤, 江蕗, 江爱文. FSAGN：一种自主选择关键帧的表情识别方法[J]. 浙江大学学报（理学版）, 2022, 49(2): 141-150.
[9]	朱强,王超毅,张吉庆,尹宝才,魏小鹏,杨鑫. 基于事件相机的无人机目标跟踪算法[J]. 浙江大学学报（理学版）, 2022, 49(1): 10-18.
[10]	杨猛,丁曙,马云涛,谢佳翊,段瑞枫. 基于纹理特征的小麦锈病动态模拟方法[J]. 浙江大学学报（理学版）, 2022, 49(1): 1-9.
[11]	傅汝佳, 冼楚华, 李桂清, 万隽杰, 曹铖, 杨存义, 高月芳. 面向表型精确鉴定的豆株快速三维重建[J]. 浙江大学学报（理学版）, 2021, 48(5): 531-539.
[12]	余鹏, 刘兰, 蔡韵, 何煜, 张松海. 基于单目摄像头的自主健身监测系统[J]. 浙江大学学报（理学版）, 2021, 48(5): 521-530.
[13]	桂志强, 姚裕友, 张高峰, 徐本柱, 郑利平. 3D-power图的快速生成方法[J]. 浙江大学学报（理学版）, 2021, 48(4): 410-417.
[14]	徐敏, 王科, 戴浩然, 罗晓博, 余炜伦, 陶煜波, 林海. 基于电子病历的乳腺癌群组与治疗方案可视分析[J]. 浙江大学学报（理学版）, 2021, 48(4): 391-401.
[15]	邹北骥, 杨文君, 刘姝, 姜灵子. 面向自然场景图像的三阶段文字识别框架[J]. 浙江大学学报（理学版）, 2021, 48(1): 1-8.

Viewed

Full text

Abstract

Cited

Shared

Discussed