生物3D打印装置及打印模型形貌检测
Biological 3D printer and topography detection of printing model
通讯作者:
收稿日期: 2020-08-8
基金资助: |
|
Received: 2020-08-8
Fund supported: | 国家重点研发计划资助项目(2018YFA0703000) |
作者简介 About authors
白大鹏(1982—),男,博士后,从事生物3D打印装备与机电系统研究.orcid.org/0000-0002-3549-8940.E-mail:
为了能够实时观测生物3D打印全过程,并对打印模型的形貌进行检测及重建,设计集成式生物3D打印机检测系统. 通过开发具备视频监测功能的打印喷头,实现对打印模型的在线检测. 采用色散共焦位移测量技术,通过对打印模型X、Y轴的位置信息及Z轴的高度信息进行扫描得到测量数据,并结合MountainsMap实现打印模型的形貌重建. 使用LabVIEW完成上位机操作系统的设计,建立G-code与打印模型的映射关系,实现打印轨迹的可视化,确保在程序运行到当前代码段时打印模型的准确性. 通过实验验证生物3D打印机的在线检测功能,对网格状及凸台模型的表面进行形貌检测,结果表明检测系统能够实现对打印模型的形貌检测. 打印模型表面形貌特征的可视化数据为构建精准打印模型提供数据支持,计算机视觉技术为高精度生物3D打印提供有效的检测手段.
关键词:
An integrated biological 3D printer inspection system was designed in order to observe the printing process of 3D biological printer in real time as well as detect and reconstruct the surface topography of printing model. The online inspection of printing model was realized based on the printing needles with video monitoring. The dispersion confocal displacement measurement technology was adopted to measure the position information of X-axis and Y-axis and the height information of Z-axis. The topography reconstruction work of printing model was processed by MountainsMap. The upper computer operating system was developed by LabVIEW, in which the printing model was mapped with G-code to visualize printing track to ensure the accuracy of the printing model when the program runs to the current code segment. The online real-time detecting function of the proposed biological 3D printer was verified by experiments, and the surface topography detection of grid shaped and convex shaped models was conducted respectively. Results show that the surface topography information of printing model can be reconstructed by the detection system. The visualization data of the surface topography features of the printing model provides data support for the construction of accurate printing models, and the computer vision technology provides an effective detection method for high-precision biological 3D printing.
Keywords:
本文引用格式
白大鹏, 张斌, 洪昊岑, 李洋, 季清华, 杨华勇.
BAI Da-peng, ZHANG Bin, HONG Hao-cen, LI Yang, JI Qing-hua, YANG Hua-yong.
在生物三维(three-dimensional,3D)打印领域,美国维克森林大学利用生物打印技术成功制造出真正的人类膀胱,并成功移植[5]. 哈佛大学医学院研发出多材料连续挤出式生物打印机,成功打印构建了多层皮肤结构[6]. 韩国浦项科技大学研发组织/器官制造系统[7],采用成骨细胞和软骨细胞进行软骨再生研究. Organovo公司在国际上首次推出商业化的细胞打印,并开发了用于药物毒性测试的肝脏、肾脏体外模型[8]. 在国内,清华大学研发出系列生物打印技术与装备[9],利用细胞精确受控组装技术构建体外三维肿瘤模型,为癌症疾病研究和药物开发提供仿生生物学研究手段. 西安交通大学建立面向骨组织构建的个性化植入物设计和制造方法,并实现对气管支架、乳房填充支架的构建,成功进行了临床实验[10]. 杭州电子科技大学自主研发Bio-Architect系列生物3D打印机[11],成功打印出人类的耳朵软骨组织以及肝单元.
1. 生物3D打印系统
生物3D打印机主要由运动系统、供料系统、温控系统、视觉检测系统、控制系统组成,结构如图1所示.
图 1
1.1. 运动系统
运动系统是生物3D打印机的主体部分,用于驱动打印头实现空间定位和轨迹运动,主要包括X、Y轴直线电机运动系统、2套Z轴伺服电机运动系统、大理石基座、大理石龙门架等,如图2所示.
图 2
在X、Y轴采用直线电机驱动,直线电机运动特性较好,可以提高打印效率. 在Z轴方向上采用2个相互独立的伺服电机分别驱动各自的直线模组,在直线模组上可以安装2个供料系统用于同时打印不同材料,也可以分别安装供料系统和视觉检测系统用于对打印模型的形貌检测.
1.2. 供料系统
气动挤出式供料系统启动压力不易判断,且随着挤出材料的不断减少,同一气压挤出材料的均匀度会发生变化. 此外,气动挤出式供料系统需要气泵、阀外部元件,无法集成到打印机内部. 本研究采用基于电动挤出式的供料系统,包括底板、步进电机、联轴器、丝杠螺母副、直线导轨、针筒固定机构及推杆固定机构,如图3所示. 该供料系统不会因打印材料的减少而影响打印材料的挤出均匀性,可以实现对供料速度的连续调节,提高系统的打印精度.
图 3
1.3. 温控系统
生物3D打印与普通3D打印的区别在于其所打印的对象是具有生物活性的细胞及生物材料,这些材料的3D打印工艺对材料本身温度控制要求较高,较小的温度改变会引起材料打印特性的较大变化,使得打印过程难以掌控. 因此,为了维持打印过程的细胞活性和材料打印特性,设计了在打印过程中能够对材料温度进行精确控制的温控系统. 温控系统包括打印喷头温控系统和打印平台温控系统2部分,如图4所示. 每个子温控系统均由温度PID控制模块单独控制,与温控装置之间设有温度传感器接口和半导体制冷元件控制接口. 整个温控系统通过RS485串口与上位机控制系统连接,每个温控装置的目标温度由上位机设置.
图 4
1.3.1. 打印喷头温控系统
图 5
图 5 低温打印喷头结构
Fig.5 Structure of printing nozzle under low-temperature environment
1.3.2. 打印平台温控系统
打印平台温控系统能够确保在打印过程中维持特定温度为组织细胞提供最适宜的温度环境,维持组织在打印过程中的生物活性. 利用温度变化可以促进溶液交联形成水凝胶,从而提高组织结构的力学性能和整体性.
图 6
图 6 高温打印喷头结构
Fig.6 Structure of printing nozzle under high-temperature environment
打印平台温控系统主要包括半导体制冷元件、半导体温控和水循环风冷系统,如图7所示. 半导体制冷元件底部安装在散热块上,散热块内部设有循环水道,水道的进出口分别与水循环风冷系统连接. 水循环风冷系统利用内部水泵建立冷却液循环流动,用于调节半导体底部的温度.
图 7
图 7 打印平台温控系统结构原理图
Fig.7 Structural schematic diagram of temperature control system of printing platform
1.4. 视觉检测系统
检测系统对形貌的分辨率要求较高,所以需要超高精度的位移传感器. 由于生物材料的特殊性,为了避免材料受到污染,不能使用接触式位移传感器. 在符合高分辨测量的非接触式位移传感器中,主要有激光测量、白光干涉和色散共焦能够满足精度要求,如表1所示,其中,能用于透明材质测量的只有白光干涉和色散共焦2种类型传感器. 白光干涉光斑照射后形成区域立体结构,只能针对光斑区域,类似于显微镜,无法集成到打印设备上进行实时检测和大范围立体结构数据的采集,因此最终选用色散共焦传感器.
表 1 非接触式位移传感器优、缺点对比
Tab.1
传感器类型 | 优点 | 缺点 |
激光测量 | 测量速度快,模块小,可拆卸安装,测量精度为亚毫米级 | 采用三角测量原理,不能测量透明材料 |
白光干涉 | 直接照射测量物体,可以快速得到局部轮廓模型,微米级精度 | 测量范围极小,不可拆卸和二次开发,价格昂贵 |
色散共焦 | 可以测量任何材料物体,探头可以集成和二次开发,理论精度为纳米级 | 点测量方式,测量效果和测量速度有关,一般测量速度慢 |
检测系统的总体设计方案如图8所示,主要包括光学探头、光学控制单元和计算机. 光学探头包括色散物镜和光纤耦合器,光学控制单元包括白光光源、分光系统、电路处理,其中白光部分通过光纤为色散物镜提供光源.
图 8
1.5. 控制系统
控制系统主要由主控制器、上位机、电机及驱动器、限位开关、对刀器、温度控制器、光学探头及光电控制单元等组成,生物3D打印机控制系统框图如图9所示. 通过上位机发送指令给主控制器及温度控制器,通过主控制器实现对三轴系统的运动控制、供料、运动限位、对刀等功能;温度控制器通过RS485与上位机连接,利用上位机软件设定打印时打印平台、低温针管针头和高温针管所需要的温度;通过光学探头及光电控制单元获取打印模型的信息传递给上位机.
图 9
2. 视觉检测功能实现
2.1. 检测方法
检测系统使用色散共焦探头对打印完的生物模型进行测量,生成待测量生物三维模型的点位数据,同时通过试验人员观察和分析打印模型存在的缺陷优化新的打印模型,提高打印的准确性.
除了1.5节中列出的检测系统硬件外,还须搭建四大模块,分别为三维控制模块、扫描模块、数据收集模块和三维建模模块,其中三维建模模块属于测量后数据处理模块,各模块之间的关系如图10所示.
图 10
2.2. 数据获取
获取三维数据的扫描过程依赖三维控制模块、扫描模块和数据收集模块. 其中,三维控制模块依赖三轴打印系统,一方面控制扫描过程,另一方面从中获取X、Y轴的位置信息. 扫描模块依赖光学探头、光学控制单元和扫描程序,从中获取Z轴的高度变化信息. 数据收集模块收集X、Y、Z轴的数据信息,为三维建模模块提供点位信息. 如图11所示为获取X、Y轴数据信息的原理框图.
图 11
2.3. 扫描及数据采集程序
2.3.1. 扫描程序
整个扫描过程如图12所示. 定义2个判定标志位,一个标志位取值为0或1,0表示不回行扫描,1表示回行扫描;另一个标志位取值为0、1或2,用于表示扫描算法的类型,0表示普通扫描算法,1表示梯度扫描算法,2表示扫描速度变化的梯度扫描算法.
图 12
2.3.2. 数据采集程序
在扫描过程中,光学控制单元不断获取每个点位的位置信息,点位信息具有易失去性,即光学控制单元缓冲的数据量较小,后面的数据可能会覆盖前面的数据,所以须编写程序从光学控制单元读入相应的数据保存在数组中,然后统一输出保存在外部文件上,为三维重建提供原始测量数据.
光学控制单元提供了一些封装好的函数以供开发者进行二次开发,因此使用C++编写程序完成对光学控制单元的控制、数据读取和数据保存,数据采集程序流程如图13所示.
图 13
3. 上位机控制界面
生物3D打印机上位机程序的图形化界面采用LabVIEW设计,如图14所示,采用功能分区方式来增加软件的交互性,其中左边区域为开始、复位、停止和回原点功能区. 中部区域为JOG运动、自动打印、温度控制、扫描等打印及检测功能区. 右边区域为系统报警指示及打印位置实时反馈功能区,将打印过程中须控制的参数可视化显示出来,以观察打印参数的实时变化和报错处理.
图 14
图 14 生物3D打印机上位机控制界面
Fig.14 Upper computer operating system of biological 3D printer
1)回原点功能. “HOME”按钮具有让X、Y、Z轴同时回原点的功能,在打印前和打印结束后须进行回原点的操作,考虑到须对单个运动轴进行回原点的操作也设置了各运动轴的独立操作键.
2)点位运动功能. 为了实现对各运动轴的单独点位手动控制,方便调试、打印、扫描等操作,设置点位运动功能,其中供料系统在进行点位运动时,系统根据打印速度自动匹配供料速度,不需要额外设置.
3)打印功能. 打印功能可以使打印机脱离切片软件,只须在对应的文本框中设置相应的参数,即可自动生成坐标点和执行的次数,实现对所需细胞培养网格支架的快速打印,根据进度数值显示打印进行程度.
4)换料功能. 当打印过程中出现打印材料用完的情况时,须使用换料功能. 该功能的操作流程为,先设置辅助坐标点和移动速度,然后点击“换料”按钮终止打印,记录当前坐标位置并显示;将对应的供料系统移动到辅助坐标点的位置进行换料,完成后点击“换料完成”按钮,供料系统即可回到先前记录的打印终止位置并继续未完成的打印任务.
5)温控功能. 温度控制功能为打印平台、打印针筒及打印针头设置合适的温度,在对应的温度控制框中输入温度值即可,以满足不同生物材料对打印温度的不同需求.
6)G代码打印功能. G代码打印功能区设有选择G文件按钮和开始打印按钮,分别对应G代码文件的导入和开始G代码打印. 可以实时显示G代码打印程序、缓存区剩余空间、当前执行到的代码行、打印进度等信息.
7)对刀功能. 在开始对刀前须按下“HOME”键使所有的轴回到原点,然后将Z轴移动到对刀器的上方进行对刀操作. 使用的打印薄片厚度不均,因此设置了补偿键,以设置针头到打印薄片的距离.
8)扫描功能. 扫描功能包含扫描开始按钮、边长设置框、速度设置框和扫描间隙设置框,利用该功能实现对视觉测试系统进行数据采集时运动轨迹的控制,实现对打印模型外观形貌数据的测量.
9)报警及位置实时显示功能. 为了实现打印机与用户更好的交互,设计了报警及位置实时显示的功能,报警显示功能能够明确故障源及故障信息,位置实时显示功能方便操作者观察打印机是否出现打印误差以便及时矫正.
4. 实验研究
图 15
图 16
本研究采用海藻酸钠和明胶混合材料进行打印实验,对打印机的参数设定如表2所示. 表中,d为针头内径,s1为打印速度,s2为供料速度,θ1为打印喷头温度,θ2为平台温度.
表 2 打印试验条件及参数
Tab.2
d /mm | s1 /(mm·s−1) | s2 /(mm·s−1) | θ1 /°C | θ2 /°C |
0.34 | 10 | 15 | 27 | 10 |
4.1. 打印过程的在线检测
所选用的摄像头自带视频监控软件,可以完成视频在线观看和录制,如图17所示,通过摄像头观察和记录打印全过程,可以及时发现打印过程中出现的问题,如材料挤出不均匀、堆料和断料等.
图 17
图 17 生物3D打印机监控软件界面
Fig.17 Monitoring software interface of biological 3D printer
4.2. 网格类打印结构的检测
组织支架是构建复杂生物结构的支撑主体,它为细胞提供空间和养料. 构建良好的组织支架具有重要的意义,因此使用本打印系统构建如图18所示1 mm×1 mm的网格支架,验证系统的检测效果.
图 18
图 19
图 20
图 21
图 22
表 3 网格支架截面高度数据
Tab.3
区域 | Δx /mm | Δz /μm |
区域1、2 | 0.491 | 4.95 |
区域3、4 | 0.519 | 3.77 |
区域5、6 | 0.422 | 3.21 |
如表4所示为网格支架实际打印距离. 表中,h为各波峰之间的距离,即为网格支架实际打印的距离. 求得打印模型的平均误差率为1%,说明该网格支架的整体打印质量较好,同时也证明了设备的位置控制精度较高. 如果要进一步改进网格支架的打印精度,可以从减小坍塌入手,比如加强材料的交联.
表 4 网格支架实际打印距离
Tab.4
区域 | h /mm |
区域0~2 | 0.94 |
区域2~4 | 1.04 |
区域4~6 | 0.99 |
4.3. 凸台打印结构的检测
图 23
图 24
图 25
图 26
图 27
5. 结 论
(1)提出模型在线检测方法,利用色散共焦传感器通过对打印模型的扫描得到打印模型外观形貌数据,构建具有真实立体结构在任意维度都可以进行测量和分析的扫描模型,从而实现对打印模型的外观形貌检测.
(2)利用LabVIEW软件设计上位机操作界面,采用功能分区方式来增加软件的交互性,并建立G-code与打印模型的映射关系,实现打印轨迹的可视化.
(3)实验证明了生物3D打印机的在线检测功能,能够实现对打印过程的观测和模型形貌的扫描重建及检测,通过对打印模型的形貌数据的分析,可以构建更精确的打印模型,提高打印成型的准确性,为高精度生物模型的构建提供检测手段.
(4)后续可以进一步研究在模型打印过程中进行实时形貌重建的方法.
参考文献
3D printed tissue models: present and future
[J].DOI:10.1021/acsbiomaterials.6b00129 [本文引用: 1]
Three-dimensional printing of tricalcium silicate/mesoporous bioactive glass cement scaffolds for bone regeneration
[J].DOI:10.1039/C6TB02055K [本文引用: 1]
3D bioprinting of tissues and organs
[J].DOI:10.1038/nbt.2958 [本文引用: 1]
生物3D打印: 从形似到神似
[J].
3D bioprinting: from structure to function
[J].
In vitro biocompatibility assessment of naturally derived and synthetic biomaterials using normal human urothelial cells
[J].DOI:10.1002/1097-4636(200104)55:1<33::AID-JBM50>3.0.CO;2-7 [本文引用: 1]
Rapid continuous multimaterial extrusion bioprinting
[J].
Three-dimensional printing of tissue/organ analogues containing living cells
[J].DOI:10.1007/s10439-016-1611-9 [本文引用: 1]
Abstract 2034: development of 3D bioprinted human breast cancer for in vitro drug screening
[J].
Three-dimensional printing: review of application in medicine and hepatic surgery
[J].DOI:10.20892/j.issn.2095-3941.2016.0075 [本文引用: 1]
Microscale electro-hydrodynamic cell printing with high viability
[J].
基于同轴流技术的肝组织生物3D打印研究
[J].DOI:10.3969/j.issn.0258-8021.2018.06.012 [本文引用: 1]
Study on 3D bioprinting of liver tissues based on coaxial flow technique
[J].DOI:10.3969/j.issn.0258-8021.2018.06.012 [本文引用: 1]
Multi fab: a machine vision assisted platform for multi-material 3D printing
[J].
Multi-view online vision detection based on robot fused deposit modeling 3D printing technology
[J].DOI:10.1108/RPJ-03-2018-0052 [本文引用: 1]
3D bioprinting: an emerging technology full of opportunities and challenges
[J].DOI:10.1007/s42242-018-0004-3 [本文引用: 1]
The application of 3D printing patient specific instrumentation model in total knee arthroplasty
[J].DOI:10.1016/j.sjbs.2020.02.017 [本文引用: 1]
/
〈 |
|
〉 |
