Please wait a minute...
工程设计学报
工程设计学报  2023, Vol. 30 Issue (4): 409-418    DOI: 10.3785/j.issn.1006-754X.2023.00.036
【主题栏目】数字孪生 · 智能制造     
基于数字孪生的激光加工零件表面温度监控系统的构建
谢章伟1,2(),张兴波1,2,徐哲1,2,张羽2,张丰云1,2,王茜1,2,王萍萍2,孙树峰1,2(),王海涛1,刘纪新3,孙维丽3,曹爱霞3
1.青岛理工大学 机械与汽车工程学院，山东 青岛 266520
2.山东省激光绿色高效智能制造工程技术研究中心，山东 青岛 266520
3.青岛黄海学院 智能制造学院，山东 青岛 266555
Construction of surface temperature monitoring system for laser machining parts based on digital twin
Zhangwei XIE1,2(),Xingbo ZHANG1,2,Zhe XU1,2,Yu ZHANG2,Fengyun ZHANG1,2,Xi WANG1,2,Pingping WANG2,Shufeng SUN1,2(),Haitao WANG1,Jixin LIU3,Weili SUN3,Aixia CAO3
1.School of Mechanical & Automotive Engineering, Qingdao University of Technology, Qingdao 266520, China
2.Shandong Research Center of Laser Green and High Efficiency Intelligent Manufacturing Engineering Technology, Qingdao 266520, China
3.School of Intelligent Manufacturing, Qingdao Huanghai University, Qingdao 266555, China
 全文: PDF(3464 KB)   HTML
摘要：

数字孪生是一个旨在物理空间与虚拟空间之间建立实时映射的概念。为拓展数字孪生技术在激光加工领域的应用，以纳秒激光打标机加工7075铝合金为例，阐述了有限元仿真在激光加工领域的重要作用，但由于有限元仿真计算量较大且目前计算机的运算水平有限，存在仿真计算时间较长的问题，无法满足数字孪生技术所需的实时映射。为此，提出了利用CGAN（conditional generative adversarial network，条件生成对抗网络）模型代替有限元仿真的方法。该方法先利用图像化处理后的工况图像和由有限元仿真获得的温度云图对CGAN模型进行训练，随后将训练好的CGAN模型封装，用于构建基于数字孪生的激光加工零件表面温度监控系统。在完成数字孪生温度监控系统虚拟端的搭建后，使用MQTT（message queuing telemetry transport，消息队列遥测传输）通信协议与实体端进行数据交互，实现数字孪生系统的远程监控与操作。基于数字孪生的激光加工零件表面温度监控系统实现了零件表面温度的快速仿真计算，解决了有限元仿真计算时间长、无法实现实时映射的问题，基本能够满足激光加工零件表面温度的监控与预测，在激光加工温度监测领域具有一定的参考价值。
关键词： 数字孪生;  激光加工;  有限元仿真;  图像化处理;  条件生成对抗网络（CGAN）    
Abstract:

Digital twin is a concept that aims to establish a real-time mapping between physical space and virtual space. In order to expand the application of digital twin technology in laser machining, taking the processing of 7075 aluminum alloy by nanosecond laser marking machine as an example, the important role of finite element simulation in laser machining was expounded. However, due to the large computational amount of finite element simulation and the limited computing level of current computers, the simulation calculation time was long, which could not meet the real-time mapping required by digital twin technology. Therefore, a method of replacing finite element simulation with CGAN (conditional generative adversarial network) model was proposed. In this method, the CGAN model was trained by using the working condition images after image processing and the temperature cloud maps obtained by finite element simulation. Then, the trained CGAN model was packaged for building the surface temperature monitoring system for laser machining parts based on the digital twin. After completing the construction of the virtual end of the digital twin temperature monitoring system, the MQTT (message queuing telemetry transport) communication protocol was used to interact with the physical end to realize the remote monitoring and operation of the digital twin system. The surface temperature monitoring system for laser machining parts based on digital twin achieves the rapid simulation calculation of the surface temperature of parts, which solves the problems of long calculation time and inability to achieve real-time mapping by the finite element simulation. It can basically meet the monitoring and prediction of the surface temperature of laser machining parts, and has certain reference value in the field of laser machining temperature monitoring.
Key words: digital twin    laser machining    finite element simulation    image processing    conditional generative adversarial network (CGAN)
收稿日期: 2022-09-22 出版日期: 2023-09-04
CLC:  TH 136  
基金资助: 国家自然科学基金资助项目(51775289);高等学校学科创新引智计划项目(D21017);山东省重点研发计划项目(2019GGX104097);青岛西海岸新区2020年度科技源头创新专项（2020?103）
通讯作者: 孙树峰     E-mail: xiezw0331@163.com;sunshufeng@qut.edu.cn
作者简介: 谢章伟（1998—），男，山东淄博人，硕士生，从事数字孪生技术研究，E-mail: xiezw0331@163.com
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　
谢章伟
张兴波
徐哲
张羽
张丰云
王茜
王萍萍
孙树峰
王海涛
刘纪新
孙维丽
曹爱霞

引用本文:

谢章伟,张兴波,徐哲,张羽,张丰云,王茜,王萍萍,孙树峰,王海涛,刘纪新,孙维丽,曹爱霞. 基于数字孪生的激光加工零件表面温度监控系统的构建[J]. 工程设计学报, 2023, 30(4): 409-418.

Zhangwei XIE,Xingbo ZHANG,Zhe XU,Yu ZHANG,Fengyun ZHANG,Xi WANG,Pingping WANG,Shufeng SUN,Haitao WANG,Jixin LIU,Weili SUN,Aixia CAO. Construction of surface temperature monitoring system for laser machining parts based on digital twin[J]. Chinese Journal of Engineering Design, 2023, 30(4): 409-418.

链接本文:

https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2023.00.036    或    https://www.zjujournals.com/gcsjxb/CN/Y2023/V30/I4/409

图1  基于数字孪生的激光加工零件表面温度监控系统总体框架
图2  纳秒激光打标机三维模型的绘制、贴图与渲染
图3  深度学习模型训练和使用流程
图4  激光加工工况数据的图像化处理过程
工况最高温度/℃绝对误差/℃相对误差/%
实验值仿真值
1641.50632.568.961.39
2693.60682.9110.691.54
3724.30716.357.951.10
4780.20768.3311.871.52
5833.90822.3611.541.38
表1  不同工况下激光加工零件表面的最高温度对比
图5  瞬态热力学有限元仿真结果数据的图像化处理过程
图6  CGAN模型训练用数据集
图7  CGAN模型训练过程中温度云图生成质量变化
图8  CGAN模型训练过程中MSE和R2的变化曲线
图9  CGAN模型生成的部分温度云图与目标温度云图对比
工况有限元仿真CGAN模型
文件大小/GB计算时间/s平均生成时间/sMSE
11.313050.210.009 5
21.333120.180.012 4
31.403150.230.010 3
41.513220.220.009 8
51.553300.190.009 6
表2  有限元仿真与CGAN模型的求解性能对比
图10  激光加工零件表面温度监控系统用户界面
图11  纳秒激光打标机与实时温度监控系统
图12  激光加工零件表面温度监控系统软件性能测试结果
图13  激光加工零件表面温度监控系统帧率测试结果
1 BOEGELEIN T， LOUVIS E， DAWSON K， et al. Characterisation of a complex thin walled structure fabricated by selective laser melting using a ferritic oxide dispersion strengthened steel［J］. Materials Characterization， 2016， 112： 30-40.
2 ZHANG A， QI B， SHI B， et al. Effect of curvature radius on the residual stress of thin-walled parts in laser direct forming［J］. The International Journal of Advanced Manufacturing Technology， 2015， 79（1/4）： 81-88.
3 BARTLETT J L， CROOM B P， BURDICK J， et al. Revealing mechanisms of residual stress development in additive manufacturing via digital image correlation［J］. Additive Manufacturing， 2018， 22： 1-12.
4 RIVEIRO A， QUINTERO F， VAL J D， et al. Laser cutting using off-axial supersonic rectangular nozzles［J］. Precision Engineering， 2018， 51： 78-87.
5 SALAMA A， LI L， MATIVENGA P， et al. High-power picosecond laser drilling/machining of carbon fibre-reinforced polymer （CFRP） composites［J］. Applied Physics A， 2016， 122（2）： 73.
6 PRIYANKA J， AMIT S. Simultaneous optimization of kerf taper and heat affected zone in Nd-YAG laser cutting of Al 6061-T6 sheet using hybrid approach of grey relational analysis and fuzzy logic［J］. Precision Engineering， 2018， 54： 302-313.
7 KOLLECK R， VOLLMER R， VEIT R. Investigation of a combined micro-forming and punching process for the realization of tight geometrical tolerances of conically formed hole patterns［J］. CIRP Annals-Manufacturing Technology， 2011， 60（1）： 331-334.
8 ZHU Z， DHOKIA V G， NASSEHI A， et al. A review of hybrid manufacturing processes‒state of the art and future perspectives［J］. International Journal of Computer Integrated Manufacturing， 2013， 26（7）： 596-615.
9 RAZA N， MEHMOOD I， RAFIUDDIN H， et al. Numerical simulation of added mass determination of standard ellipsoids［C］//Proceedings of 2012 9th International Bhurban Conference on Applied Sciences & Technology （IBCAST）， Islamabad， Jan. 9-12， 2012.
10 LEI J， LI D L， ZHOU Y L， et al. Optimization and acceleration of flow simulations for CFD on CPU/GPU architecture［J］. Journal of the Brazilian Society of Mechanical Sciences and Engineering， 2019， 41（7）： 290.
11 HUANG J， CHEN J， XU W W， et al. A survey on fast simulation of elastic objects［J］. Frontiers of Computer Science， 2019， 13（3）： 443-459.
12 BRANDVIK T， PULLAN G. Acceleration of a 3D Euler solver using commodity graphics hardware［C］//46th AIAA Aerospace Sciences Meeting and Exhibit， Reno， Nevada， Jan. 7-10， 2008.
13 THIBAULT J C， SENOCAK I. Accelerating incompressible flow computations with a Pthreads-CUDA implementation on small-footprint multi-GPU platforms［J］. Journal of Supercomputing， 2012， 59（2）： 693-719.
14 MORISITA H， INAKAGATA K， OSANA Y， et al. Implementation and evaluation of an arithmetic pipeline on FLOPS-2D： multi-FPGA system［J］. ACM Sigarch Computer Architecture News， 2011， 38（4）： 8-13.
15 SANCHEZ-ROMAN D， SUTTER G， LOPEZ-BUEDO S， et al. High-level languages and floating-point arithmetic for FPGA-based CFD simulations［J］. IEEE Design & Test of Computers， 2011， 28（4）： 28-37.
16 GRIEVES M， VICKERS J. Digital twin： mitigating unpredictable， undesirable emergent behavior in complex systems［M］//Transdisciplinary Perspectives on Complex Systems， Cham： Springer， 2017： 85-113.
17 TAO F， HE Z， LIU A， et al. Digital twin in industry： state-of-the-art［J］. IEEE Transactions on Industrial Informatics， 2019， 15（4）： 2405-2415.
18 TAO F， SUI F， LIU A， et al. Digital twin-driven product design framework［J］. International Journal of Production Research， 2019， 57（11/12）： 3935-3953.
19 LUO W， HU T， ZHANG C， et al. Digital twin for CNC machine tool： modeling and using strategy［J］. Journal of Ambient Intelligence and Humanized Computing， 2019， 10（3）： 1-12.
20 LUO W， HU T， YE Y， et al. A hybrid predictive maintenance approach for CNC machine tool driven by digital twin［J］. Robotics and Computer-Integrated Manufacturing， 2020， 65： 101974.
21 GOHARI H， BERRY C， BARARI A. A digital twin for integrated inspection system in digital manufacturing［J］. IFAC-PapersOnLine， 2019， 52（10）： 182-187.
22 BOTKINA D， HEDLIND M， OLSSON B， et al. Digital twin of a cutting tool［J］. Procedia CIRP， 2018， 72： 215-218.
23 DEBROY T， ZHANG W， TURNER J， et al. Building digital twins of 3D printing machines［J］. Scripta Materialia， 2017， 135： 119-124.
24 CAI Y， STARLY B， COHEN P， et al. Sensor data and information fusion to construct digital-twins virtual machine tools for cyber-physical manufacturing［J］. Procedia Manufacturing， 2017， 10： 1031-1042.
25 SCAGLIONI B， FERRETTI G. Towards digital twins through object-oriented modelling： a machine tool case study［J］. IFAC-PapersOnLine， 2018， 51（2）： 613-618.
26 LAI X N， WANG S， GUO Z G， et al. Designing a shape‒performance integrated digital twin based on multiple models and dynamic data： a boom crane example［J］. Journal of Mechanical Design， 2021， 143（7）： 1-15.
27 RASHEED A， SAN O， KVAMSDAL T. Digital twin： values， challenges and enablers from a modeling perspective［J］. IEEE Access， 2020， 8： 21980-22012.
28 RUEDEN L V， MAYER S， SIFA R， et al. Combining machine learning and simulation to a hybrid modelling approach： current and future directions［C］//The 18th International Symposium on Intelligent Data Analysis （IDA）， Bodenseeforum， Lake Constance， Apr. 27-29， 2020.
29 MAGARGLE R， JOHNSON L， MANDLOI P， et al. A simulation-based digital twin for model-driven health monitoring and predictive maintenance of an automotive braking system［C］//Proceedings of the 12th International Modelica Conference. Prague， May 15-17， 2017.
30 WANG J， YE L， GAO R X， et al. Digital twin for rotating machinery fault diagnosis in smart manufacturing［J］. International Journal of Production Research， 2019， 57（12）： 3920-3934.
31 SALIMANS T， GOODFELLOW I， ZAREMBA W， et al. Improved techniques for training GANs［C］//Proceedings of the 30th International Conference on Neural Information Processing Systems， Barcelona， Dec. 5-10， 2016.
32 曹仰杰，贾丽丽，陈永霞，等.生成式对抗网络及其计算机视觉应用研究综述［J］.中国图象图形学报，2018，23（10）：1433-1449. doi：10.11834/jig.180103
CAO Y J， JIA L L， CHEN Y X， et al. Review of computer vision based on generative adversarial networks［J］. Journal of Image and Graphics， 2018， 23（10）： 1433-1449.
doi: 10.11834/jig.180103
33 SONG T A， CHOWDHURY S R， YANG F， et al. PET image super-resolution using generative adversarial networks［J］. Neural Networks， 2020， 125： 83-91.
34 MERTENS J， ZAMIR S. The value of two-person zero-sum repeated games with lack of information on both sides［J］. International Journal of Game Theory， 1971， 1（1）： 39-64.
35 叶晨，关玮.生成式对抗网络的应用综述［J］.同济大学学报（自然科学版），2020，48（4）：591-601.
YE C， GUAN W. A review of application of generative adversarial networks［J］. Journal of Tongji University （Natural Science）， 2020， 48（4）： 591-601.
[1] 谢博伟,金莫辉,杨洲,段洁利,屈明宇,李锦辉. 3D打印TPU材料的力学性能及模型参数研究[J]. 工程设计学报, 2023, 30(4): 419-428.
[2] 徐哲,孙树峰,张兴波,王茜,张丰云,王萍萍,谢章伟,张羽,刘纪新,孙维丽,曹爱霞. 基于数字孪生的光学位移台交互控制系统[J]. 工程设计学报, 2023, 30(2): 254-261.
[3] 李毅,陈国华,夏铭,李波. 电主轴冷却系统设计与仿真优化[J]. 工程设计学报, 2023, 30(1): 39-47.
[4] 涂文兵,袁晓文,杨锦雯,杨本梦. 不同元件故障状态下滚动轴承的动态特性研究[J]. 工程设计学报, 2023, 30(1): 82-92.
[5] 张旭辉,鞠佳杉,杨文娟,吕欣媛. 基于数字孪生的复杂矿用设备预测性维护系统[J]. 工程设计学报, 2022, 29(5): 643-650.
[6] 李阳, 聂羽飞. 钠燃烧试验厂房隔热密封门的设计与分析[J]. 工程设计学报, 2022, 29(1): 115-122.
[7] 傅贵武, 王兴波, 田英. 基于五轴加工中心智能生产线的数字孪生应用研究[J]. 工程设计学报, 2021, 28(4): 426-432.
[8] 严国平, 周俊宏, 钟飞, 李哲, 周宏娣, 彭震奥. 纸塑复合袋磁力压紧纠偏装置设计及优化[J]. 工程设计学报, 2021, 28(3): 367-373.
[9] 刘永江, 彭宣霖, 唐雄辉, 李华, 齐紫梅. 轴流散热风机共振失效分析与优化设计[J]. 工程设计学报, 2021, 28(2): 203-209.
[10] 白仲航, 孙意为, 许彤, 丁满. 基于设计任务的概念设计中产品数字孪生模型的构建[J]. 工程设计学报, 2020, 27(6): 681-689.
[11] 李玄, 周双武, 路松, 丁冰晓. 基于二级杠杆机构的二自由度微定位平台设计与分析[J]. 工程设计学报, 2020, 27(4): 533-540.
[12] 王安邦, 孙文彬, 段国林. 基于数字孪生与深度学习技术的制造加工设备智能化方法研究[J]. 工程设计学报, 2019, 26(6): 666-674.
[13] 夏 磊，江浩斌. 基于刚度匹配的汽车保险杠防撞梁改进设计[J]. 工程设计学报, 2015, 22(1): 84-88.