随着激光加工技术的快速发展，激光器被广泛应用于零件加工行业。激光熔覆、激光切割等激光加工技术具有易操作、非接触、效率高和质量高等突出优势。但是，在激光加工过程中会释放大量热量，这将对加工材料表面产生热影响，从而影响激光加工的质量，导致加工的零件不可用。例如：在使用激光熔覆技术制造复杂零件时，零件的悬垂结构、薄壁和具有特殊几何特征处易产生热变形等缺陷^[1-4]。在激光切割过程中，不同切割材料的导热系数、热膨胀系数等热力学性能虽存在较大差异，但均会出现热影响区、材料烧蚀和热损伤缺陷等^[5-6]。因此，在实际加工时以仿真方式实时监控温度是非常有必要的，可有效降低激光加工零件的不良率^[7-8]。

为加快有限元仿真的计算时间，Raza等人^[9]提出利用不稳定模型、无黏性模型和动态网格技术进行瞬态仿真，有效提升了计算效率。Lei等人^[10]为满足CFD（computational fluid dynamics，计算流体力学）仿真对高计算能力的要求，研究了将Euler求解器从CPU（central processing unit，中央处理单元）移植到3个不同的CPU+GPU（graphics processing unit，图形处理器）异构硬件平台的方法，试验结果表明，该方法的加速效果良好。Huang等人^[11]针对弹性物体的快速仿真技术进行了研究，分析了加速的线性化、简化思想及数值方法。Brandvik等人^[12]提出了采用GPU进行加速的方法，加速后对二维和三维图像的求解速度分别提高了29倍和16倍。Thibault等人^[13]基于CUDA（compute unified device architecture，统一计算设备架构）研究了多GPU的加速方法。Morisita等人^[14]提出了多FPGA（field programmable gate array，现场可编程门阵列）可重配置系统的模型，使得计算时间缩短为原来的1/6。Sanchez-Roman等人^[15]使用HLL（high level language，高级语言）解决了算法移植的问题，使得HPRC（high performance reconfigurable computing，高性能可重构计算）更加高效和便于使用。

数字孪生的概念最早在Grieves教授的产品全生命周期管理课程中出现^[16]。近年来，数字孪生的相关研究呈快速增长态势。Tao等人^[17-18]提出了一种基于数字孪生的产品设计模式。Luo等人^[19-20]通过网络化技术构建了数控机床状态监测平台并建立了其数字孪生体。Gohari等人^[21]基于虚拟模型提出了综合检测系统（integrated inspection system, IIS），用于检测数字化制造中系统和产品的质量。Botkina等人^[22]构建了切削刀具的数字孪生体，并通过不断采集刀具的切削数据来优化切削过程。Debroy等人^[23]开发了一种增材制造技术的数字孪生系统，该系统的应用能够降低增材制造零件的缺陷率。Cai等人^[24]设计了数控机床的数字孪生体，并以开发三轴立式铣床数字孪生系统为例，演示了数据采集和加工特征提取。Scaglioni等人^[25]利用所构建的机床数字孪生体，研究了机床结构件的柔度及其切削过程模型、传动链模型和控制系统模型。Lai等人^[26]提出了一种名为SPI-DT（shape‒performance integrated digital twin，形状-性能集成数字孪生）的新技术，并以臂架式起重机为例来说明用于复杂重型设备结构分析的SPI-DT的设计过程。

目前，数字孪生的研究与应用处于初级阶段，如何解决数字孪生系统的实时仿真和映射问题是关键，而现有的仿真计算加速方法仍难以达到数字孪生对仿真实时性的要求。Rasheed等人^[27]认为，利用基于机器学习（machine learning, ML）和人工智能（artificial intelligence, AI）算法构建的智能数据分析数字孪生系统能够有效减少使用高保真数值模拟解决工程问题时的计算量。此外，结合AI/ML算法和仿真的混合建模方法因具有可同时获得基于数据和基于知识的信息的优势，受到了越来越多的关注^[28]。Magargle等人^[29]利用故障条件下的传感器数据来训练ML模型，并将其应用于汽车制动系统的故障预测。Wang等人^[30]基于转子动力学和有限元仿真技术构建了旋转机械的数字孪生系统，该系统采用粒子群优化算法来减小物理转子与数字转子之间动态响应的差异。由此可知，利用ML模型和AI算法能够解决有限元仿真计算时间长的问题。深度学习是当前ML领域的研究热点，尤其在图像处理方面，但深度学习和有限元仿真相结合的应用研究较少。

为拓展数字孪生技术在激光加工领域的应用，提高激光加工零件过程的可视化水平，笔者基于MQTT（message queuing telemetry transport，消息队列遥测传输）通信协议、Unity3D引擎等来构建基于数字孪生的激光加工零件表面温度监控系统。该系统使用训练好的CGAN（conditional generative adversarial network，条件生成对抗网络）模型作为有限元仿真分析的代理模型，并利用MQTT通信协议实现虚拟端与实体端的信息交互。其中，实体端的激光加工参数数据用于驱动虚拟端系统，虚拟端的温度仿真数据反馈给实体端，由此实现激光加工零件表面温度的快速仿真计算。本文以纳秒激光打标机加工7075铝合金为例，演示所构建系统的可用性。

基于数字孪生的激光加工零件表面温度监控系统的总体框架如图1所示，主要分成两大部分：虚拟端和实体端。本文的研究重点为虚拟端的设计。对于虚拟端，首先，对激光加工过程中激光功率、频率和加工次数不同的工况进行有限元仿真，并将零件三维模型节点的空间坐标、温度等仿真结果数据以表格形式导出，利用Python图像化处理技术将表格数据转换为可视化图像。然后，利用由不同工况图像和温度云图构成的数据集对CGAN模型进行训练，训练好的CGAN模型可实现对数字孪生激光加工零件表面温度的快速仿真计算；将训练好的CGAN模型封装，用于构建数字孪生温度监控系统。最后，构建虚拟端的纳秒激光打标机三维模型，本文使用UG、PS、3ds Max等软件进行模型绘制、贴图和渲染等，将最终的渲染模型导入Unity3D引擎，编写C#脚本，实现虚拟端与实体端的MQTT通信。对于实体端，通过编写脚本的方式对纳秒激光打标机的MarkingMate激光打标控制软件和IPG激光控制系统的各个加工参数进行监测和写入，实现激光加工零件表面温度监控系统的构建。

首先，使用UG软件绘制纳秒激光打标机的白模。在绘制过程中，既要保证模型的真实性，以提高操作的沉浸感，又要降低模型的复杂度，即对不必要的模型结构进行简化。在Unity3D引擎中，物体的三维模型由若干个网格面组成。因此，根据实体设备绘制三维模型时要避免模型的网格过于密集（绘图细节越多，网格越密集），过密的网格会降低计算机渲染能力，增加性能开销，不利于展现数字孪生系统的实时性。对于绘制好的纳秒激光打标机白模，以stp格式从UG软件中导出。然后，使用PS软件绘制与实体纳秒激光打标机表面纹理、颜色相同的贴图，并将绘制好的UG白模和PS贴图导入3ds Max软件，进行模型的表面贴图、渲染。最终构建完成的纳秒激光打标机三维模型如图2(b)所示。

深度学习是AI领域的研究热点之一，其具有强大的特征表示和学习能力，被广泛应用于各行各业。鉴于数字孪生技术对仿真计算速度有较高的要求，而现有可行的有限元仿真计算方法无法满足该要求，因此，基于一定量的有限元仿真数据对深度学习模型进行训练，以达到加快仿真计算结果数据生成速度的目的。深度学习模型的训练和使用流程如图3所示。在模型训练中，先对部分有限元仿真工况数据进行有限元求解，得到部分有限元仿真结果数据，再对工况数据和结果数据进行图像化处理，最后利用图像化数据集训练深度学习模型。在模型使用中，对所有的有限元仿真工况数据进行图像化处理，并将其导入训练好的深度学习模型，从而得到所需工况数据下的温度云图。

深度学习领域中的GAN在无监督学习领域发展迅速，该网络能够以一种间接的方式对未知分布进行建模。GAN由生成器（generator）和判别器（discriminator）组成^[31-32]，其中生成器能生成与真实图像高度相似的图像，判别器用于判断图像是真实图像还是生成器生成的图像^[33]。GAN源自博弈论中的二人零和博弈^[34]。在此博弈对抗中，生成器和判别器不断迭代优化，更新各自的网络参数，最终达到纳什平衡状态^[35]。GAN的目标函数如下：

式中：G、D分别表示生成器和判别器；x表示数据；z表示随机噪声；P_data(x)表示真实数据的概率分布；P_z(z)表示随机噪声的概率分布；x~P_data(x)表示从真实数据的分布中随机抽取数据x；z~P_z(z)表示从高斯分布的随机噪声中抽取噪声z；G(z)和D(x)分别表示生成器G和判别器D的输出。

GAN模型利用最大-最小化的方法进行优化，当生成器可以很好地学习真实图像的近似概率分布，且能够生成高度逼真的虚假图像，而判别器无法精确地判别图像的真假时，GAN模型训练结果达到最优。

CGAN是一种改进的GAN，其基本思想是在生成器和判别器中引入条件变量，以约束数据的生成^[36]。CGAN的目标函数如下：

式中：y表示限制标签。

在本文中，深度学习模型的输入为激光加工的工况图像，输出为温度云图。相较于GAN模型，CGAN模型能够更好地控制生成模式，可生成指定类别的图像。因此，本文选用CGAN模型来构建快速仿真模块。

实体纳秒激光打标机的激光器选用美国IPG公司生产的YLPN-1-100-200-R型掺镱脉冲光纤激光器，红外线测温仪选用三量FT650型测温枪。

PyTorch是一个开源的Python机器学习库，用于自然语言处理等应用程序，其具有强大的GPU加速张量计算能力。本文基于PyTorch对CGAN模型进行训练。CGAN模型训练配置如下：Windows 10操作系统、Core i7-10875H CPU、Nvidia Geforce GTX1650 GPU、CUDA 10.1、PyTorch 1.0.0和Python 3.7。

将激光加工的工况参数划分为功率、频率、加工次数三类，每类参数各选择15种工况，随机排列后产生3 375种工况参数组合，并生产对应的工况图像。在工况图像中，分别用R（red）通道、G（green）通道、B（blue）通道表示功率、频率和加工次数。为了提升图像的区分度和可视化效果，对工况图像的实际数值作归一化处理后再分布到0~255。工况数据的图像化处理过程如图4所示，3个工况数据的图像融合并形成最终的工况图像。

本文选用的激光加工材料为7075铝合金，其是一种冷处理锻压合金，具有抗腐蚀能力强、机械性能良好和强度高等优点，常被用于飞机、火箭等航空航天高端机械的制造。使用有限元仿真软件对尺寸为5 mm×5 mm×1 mm的长方体7075铝合金块进行激光加工仿真模拟，同时采用符合高斯分布的面热源代替脉冲激光光源对铝合金中央进行打孔操作。为了后续观察方便，孔的直径设为1.2 mm。

为验证有限元仿真结果的正确性，本文随机挑选5种不同工况下的激光加工实验与有限元仿真结果进行对比。其中，实验温度采用红外线测温仪测量得到，仿真温度通过瞬态热力学有限元仿真得到。实验和有限元仿真在相同的工况下进行，环境温度均为25 ℃。5种不同工况下激光加工零件表面的最高温度对比如表1所示。由表1可知，5组最高温度的实验值与仿真值的最大绝对误差为11.87 ℃，最大相对误差为1.54%，均在工程中的可接受范围内。因此，可认为有限元仿真结果是正确的。

利用有限元仿真软件依次对3 375种工况进行有限元求解，并将求解结果数据以xls表格形式导出。为了方便Python对表格文件的读取，将xls文件批量转化为csv文件，并利用Pandas对csv文件中的数据进行提取。根据节点数据，先利用NumPy构建图像通道矩阵，再利用OpenCV库中的图像创建函数合成多通道图像，从而实现对瞬态热力学有限元仿真结果数据的图像化处理，获得最终的可视化温度云图，如图5所示。

有限元仿真软件、红外热成像仪等在显示单个温度云图时，色度条表示的值域为温度的最小值到最大值。而在CGAN模型训练中，为便于训练，将整个温度云图数据集中的温度值域作为色度条的范围，即值域为取整后数据集中所有温度的最小值到最大值。因此，有限元仿真软件、红外热成像仪等的温度云图与CGAN模型生成的温度云图在显示上存在一定的区别。

完整的数据集共包含3 375张工况图像和3 375张激光加工零件表面温度云图。由于在CGAN模型训练过程中要读取数据集中的全部图像，为了提高图像读取性能，利用Python对工况图像和对应的温度云图进行拼接，拼接后的图像用于构建CGAN模型训练用数据集，部分结果如图6所示。随机选取数据集中70%的图像作为训练集，10%作为测试集，20%作为验证集。

通过调整学习率、权重等参数来对CGAN模型进行不断的迭代训练，训练效果如图7所示。如图7(a)所示，起初只能生成质量很差的图像；随着训练次数的增加，生成了与原图高度相似的图像，如图7(b)所示。

深度学习模型训练过程的回归评价指标包含平均绝对误差（mean absolute error, MAE）、均方误差（mean square error, MSE）、决定系数R²和校正决定系数等。其中：MSE和MAE量化了目标图像（即真实图像）与生成图像的差距，决定系数R²表征模型的拟合效果，R²∈[0,1]，R²=0表示模型的拟合效果很差，R²=1表示模型的拟合效果非常好。本文选取MAE、MSE、决定系数R²作为评价指标，其计算式分别为：

式中：E_MA表示平均绝对误差；E_MS表示均方误差；Y表示真实值；Y^表示预测值；Y¯表示均值。

本文CGAN模型的训练过程借助TensorBoard进行可视化显示，结果如图8所示。为了便于观察各评价指标的变化趋势，利用TensorBoard对原始数据进行平滑处理。

由图8可知，当CGAN模型迭代训练140 000次后，像素点的MSE基本保持在0.01以下，说明生成图像与目标图像的误差比较小；决定系数保持在0.97之上，说明CGAN模型在回归计算中达到了良好的拟合效果。当CGAN模型训练完成后，利用模型生成对应的温度云图，部分结果如图9所示。结果表明，CGAN模型生成的图像与目标图像极为接近，肉眼已无法辨别两者的区别。

为验证CGAN模型的优势，对比有限元仿真与CGAN模型的求解性能。当采用CGAN模型生成温度云图时，因减少了大量的有限元仿真分析过程，图像的生成速度有了极大的提升。此外，在数据量方面，有限元仿真计算时每组工况参数下生成的数据文件较大，而训练好的CGAN模型的整体大小仅为409 MB左右，其生成图像的大小为kB级。选取5组不同的工况参数，先将5组工况参数转换成工况图像，然后导入训练好的CGAN模型以生成温度云图，并与相同工况下通过有限元仿真生成的温度云图进行对比，结果如表2所示。由于CGAN模型生成温度云图的速度较快，对比单张温度云图生成时间的误差较大，因此CGAN模型的生成时间取生成30张相同工况参数下温度云图的平均时间，并计算每组工况参数下CGAN模型生成的温度云图的MSE。由表2可知，5组工况参数下有限元仿真计算的平均时间为316.8 s，其计算文件的平均大小为1.42 GB，而CGAN模型生成温度云图的平均时间为0.2 s左右，MSE为0.010 3，具有较快的速度和较高的精度。结果表明，相比于直接利用有限元仿真计算方法，本文方法在保证误差较小的情况下极大地提高了计算速度。

采用Unity3D引擎开发基于数字孪生的激光加工零件表面温度监控系统，其中部分可视化映射采用UGUI组件实现。所开发的激光加工零件表面温度监控系统的用户界面如图10所示，主要分为水冷箱温度显示模块、激光加工参数模块和设备显示模块三大部分。其中：水冷箱温度显示模块以曲线图的形式来直观展示水冷温度随加工过程的变化情况；激光加工参数模块用于实现对纳秒激光打标机参数的远程监控和控制以及工件温度的实时监控；设备显示模块用于实现对虚拟加工设备进行拖拽、放缩等操作。

本文通过编写脚本的方式对实体纳秒激光打标机的MarkingMate激光打标控制软件和IPG激光控制系统进行监控和读写操作。为提高数据交互的稳定性，使用Mosquitto代理平台作为MQTT的服务器，虚拟端温度监控系统和实体端纳秒激光打标机均为客户端，承担订阅和发布的角色。当虚拟端获取操作人员设置的激光器参数后，先将参数与预存在工况图库中的图像标签进行比对，选择对应的工况图像；然后调用封装好的CGAN模型，导入所选择的工况图像以生成对应的温度云图；最后将温度云图加载到Unity3D引擎中的工件表面，实现基于数字孪生的激光加工零件表面温度监控系统的搭建，如图11所示。图中：(a)、(c)、(e)为实体端纳秒激光打标机加工零件的过程；(b)、(d)、(f)为虚拟端温度监控系统对纳秒激光打标机进行实时仿真监控。

在激光加工过程中，随着加工图案的变大以及加工次数的增多，加工时间增长，通常为几秒至几十秒不等。本文搭建的温度监控系统成像速度较快（约为0.2 s），在获取到激光加工工况参数后可快速生成温度云图，而实体端纳秒激光打标机仍在加工过程中。因此，所搭建的系统对激光加工零件的表面温度有一定的预测能力，利用该预测功能，操作者可以根据加工材料的物理特性进行正确操作。若监控系统预测到温度过高，则可提前终止激光加工操作，以防止材料烧蚀、减少材料浪费和提高成品率。

完成激光加工零件表面温度监控系统搭建后，对其进行性能测试后才能正式投入使用，以防止通信故障及资源泄露、内存泄漏、CPU或GPU占用率过高等问题的出现。其中，CPU、GPU和内存占用率是评价系统软件性能的重要指标，通常认为CPU和GPU占用率小于80%、内存占用率小于70%时软件性能才满足要求。本文对所搭建的温度监控系统进行了1 h的软件性能测试，并随机截取一张性能测试图，如图12所示。结果表明，在测试过程中，CPU平均占用率为25%左右，GPU平均占用率为30%左右，内存平均占用率为700 MB左右，占总内存的4.5%，均远低于性能指标。由此可认为，该温度监控系统的软件性能满足使用要求，能够流畅地运行。

此外，系统在运行过程中的显示性能会直接影响用户的使用体验。因此，本文还对所搭建的温度监控系统的显示性能进行了测试。帧率是评价显示性能的指标，通常任务帧率大于30 帧/s才不会让用户感到卡顿，帧率大于60 帧/s时才能让用户感觉画面流畅。基于温度监控系统用户界面，对显示帧率进行监测。结果显示，该界面的帧率通常为300 帧/s左右。随机截取的一张帧率监测图（见图13）显示，帧率为346 帧/s，远高于30 帧/s的标准，表明使用过程十分流畅。

本文基于MQTT通信协议和CGAN模型实现了基于数字孪生的激光加工零件表面温度监控系统的构建。通过编写脚本对实体端纳秒激光打标机进行读取和写入操作，利用MQTT通信协议传输实体端与虚拟端的数据，以及使用CGAN模型代替有限元仿真计算，实现对激光加工零件表面温度的快速仿真计算和实时监控。

本文以7075铝合金激光加工为例，论证了基于数字孪生的激光加工零件表面温度监控系统的可行性、实时性和准确性。结果表明，深度学习技术能够在一定程度上解决有限元仿真计算量大、求解时间长的问题，能够满足数字孪生技术所需的实时映射且具有一定的预测能力，对数字孪生系统的构建具有重要的作用。所搭建的激光加工零件表面温度监控系统的温度云图生成速度、准确率等均较为理想，基本达到设计目标，能够满足实际应用中激光加工零件表面温度实时监控的要求，对激光加工的温度监控方面有一定的参考价值。此外，所构建的激光加工零件表面温度监控系统对计算机性能的占用较低，运行稳定，显示画面流畅，能够很好地满足对激光加工设备远程监控和操作的需求。

但是，所构建的系统还存在一定缺陷，仅适用于加工零件材料种类较少的场景。由于不同材料的物理属性差异较大，若添加系统材料库中没有的加工材料，则须重新制作工况图像和进行有限元仿真等，CGAN模型也要重新训练，前期准备工作较多，时间成本高。后续将对该系统中的CGAN模型进行改进，以拓展其应用范围。