基于数字孪生的光学位移台交互控制系统

doi:10.3785/j.issn.1006-754X.2023.00.024

基于数字孪生的光学位移台交互控制系统

徐哲^,¹^,², 孙树峰^,^,¹^,², 张兴波¹^,², 王茜¹^,², 张丰云¹^,², 王萍萍¹^,², 谢章伟¹^,², 张羽¹^,², 刘纪新³, 孙维丽³, 曹爱霞³

1.青岛理工大学机械与汽车工程学院，山东青岛 266520

2.山东省激光绿色高效智能制造工程技术研究中心，山东青岛 266520

3.青岛黄海学院智能制造学院，山东青岛 266520

Interactive control system of optical displacement stage based on digital twin

XU Zhe^,¹^,², SUN Shufeng^,^,¹^,², ZHANG Xingbo¹^,², WANG Xi¹^,², ZHANG Fengyun¹^,², WANG Pingping¹^,², XIE Zhangwei¹^,², ZHANG Yu¹^,², LIU Jixin³, SUN Weili³, CAO Aixia³

1.School of Mechanical and Automotive Engineering, Qingdao University of Technology, Qingdao 266520, China

2.Shandong Research Center of Laser Green and High Efficiency Intelligent Manufacturing Engineering Technology, Qingdao 266520, China

3.School of Intelligent Manufacturing, Qingdao Huanghai University, Qingdao 266520, China

通讯作者: 孙树峰（1968—），男，山东诸城人，教授，博士，从事激光加工技术、数控技术、CAD/CAM技术和数字孪生技术研究，E-mail: sunshufeng@qut.ed.cn, https://orcid.org/0000-0002-5816-2112

收稿日期: 2022-07-27 修回日期: 2022-09-19

基金资助:

国家自然科学基金资助项目.  51775289
高等学校学科创新引智计划.  D21017
山东省重点研发计划.  2019GGX104097.  2019JZZY010402
青岛西海岸新区2020年度科技源头创新专项.  2020-103

Received: 2022-07-27 Revised: 2022-09-19

作者简介 About authors

徐　哲（1994—），男，山东淄博人，硕士生，从事数字孪生技术研究，E-mail:279091987@qq.com , E-mail：279091987@qq.com

摘要

为解决自建激光并行加工实验平台因设备安装位置隐蔽、难以加装辅助装置等而造成实验操作不便、设备运行状态监测困难和交互性差的问题，以实验平台中单个光学位移台为例，利用Unity引擎设计了一种基于数字孪生技术的交互控制系统。该交互控制系统采用MQTT（message queuing telemetry transport，消息队列遥测传输）通信协议，利用服务器中转数据的方式完成跨软件间的信息交互。光学位移台的Kinesis控制软件和Unity引擎中的虚拟控制面板作为MQTT通信中的客户端，共同承担订阅者和发布者的角色。光学位移台的数字孪生模型根据数据信息对物理实体的运动状态进行实时映射，用户通过Kinesis控制软件或虚拟控制面板完成对物理实体和数字孪生模型的同步交互控制。采取引用.dll文件对Kinesis控制软件进行二次开发，调用Kinesis控制软件运动控制类的方法完成对光学位移台的运动控制，并将运动数据变量设置为高精度的float型和decimal型，确保数据精度不丢失。选取10组实际加工数据对交互控制系统运行的延时性、同步性进行测试。结果显示，Kinesis控制软件端数据发布耗时和Unity引擎端数据订阅耗时分别控制在20 ms和10 ms内。所设计的系统能够较好地保证数字孪生模型与物理实体间同步控制的一致性、动作映射的实时性，实现了光学位移台运动状态的可视化监测功能。此外，设置的运动数据类型可满足微米级的信息传递，保证了光学位移台使用时的精度要求；同时虚拟控制面板各功能正常运行，提升了光学位移台控制的便利性。

关键词： 数字孪生 ; 交互控制 ; 光学位移台 ; 运动监测

Abstract

In order to solve the problems of inconvenience in experimental operation, difficulty in monitoring equipment operation status and poor interactivity caused by concealed installation position and difficulty in installing auxiliary devices on the self-built laser parallel processing experimental platform, taking a single optical displacement stage in the experimental platform as an example, an interactive control system based on digital twin technology was designed by using Unity engine. This interactive control system used MQTT (message queuing telemetry transport) communication protocol protocol to complete the cross-software information interaction by using the server to transfer data. The Kinesis control software of optical displacement stage and the virtual control panel in Unity engine served as clients in MQTT communication, acting as subscribers and publishers. The digital twin model of the optical displacement stage performed real-time mapping of the motion state of its physical entity based on data information. Users completed synchronous interactive control of the physical entity and the digital twin model through the Kinesis control software or virtual control panel. The secondary development of Kinesis control software was carried out by referencing.dll file, and the motion control class of Kinesis control software was called to complete the motion control of the optical displacement stage. The motion data variables were set to high-precision float type and decimal type to ensure that the data precision was not lost. Ten groups of actual processing data were selected to test the operation latency and synchronization of the interactive control system. The results showed that the data publishing time on the Kinesis control software and the data subscription time on the Unity engine were controlled within 20 ms and 10 ms, respectively. The designed system can better ensure the consistency of synchronous control and real-time action mapping between the digital twin model and the physical entity, which achieves the visual monitoring function of the motion state of the optical displacement stage. In addition, the motion data type can meet the micron level information transmission, ensuring the accuracy requirements of the optical displacement stage. At the same time, the functions of virtual control panel run normally, which improves the convenience of the optical displacement stage control.

Keywords： digital twin ; interactive control ; optical displacement stage ; motion monitoring

PDF (2432KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

徐哲, 孙树峰, 张兴波, 王茜, 张丰云, 王萍萍, 谢章伟, 张羽, 刘纪新, 孙维丽, 曹爱霞. 基于数字孪生的光学位移台交互控制系统. 工程设计学报[J], 2023, 30(2): 254-261 doi:10.3785/j.issn.1006-754X.2023.00.024

XU Zhe, SUN Shufeng, ZHANG Xingbo, WANG Xi, ZHANG Fengyun, WANG Pingping, XIE Zhangwei, ZHANG Yu, LIU Jixin, SUN Weili, CAO Aixia. Interactive control system of optical displacement stage based on digital twin. Chinese Journal of Engineering Design[J], 2023, 30(2): 254-261 doi:10.3785/j.issn.1006-754X.2023.00.024

为解决传统激光单点扫描加工效率较低的问题，学者们提出了并行加工技术并开展了广泛的研究。目前，激光并行加工仍处于实验研究阶段，绝大多数实验平台为实验人员自行搭建，智能化程度较低，且由于光学设备空间结构紧凑、部件之间相互遮蔽及辅助装置加装困难，使得实验操作、观察较为不便。在激光并行加工实验平台中，光学位移台作为其运动机构的关键组成部分，可承载一定质量的物体在某一平面内作高精度移动^[1-2]。但在实际应用中，光学位移台常被实验平台中各类部件遮挡且位移动作细微，无法有效监测其运动状态。因此，提升光学位移台的运动监测直观性和控制便利性，可直接提升实验平台的整体性能和工作效率。

数字孪生作为一门综合利用多学科、多尺度、多物理量的新兴技术^[3-4]，可使虚拟模型与物理实体之间产生数据交互，令虚拟模型能够实时、同步反映物理实体的运行状态。数字孪生技术对工程装备的协作智能化、信息自动化起重要的促进作用^[5-7]。目前，数字孪生技术由最初面向军工及航空航天领域逐步向民用相关领域拓展^[3]。林润泽等^[8]基于数字孪生技术开发了一种智能装配机械臂实验系统，用于优化机械臂的速度曲线，减少其潜在的机械磨损。孙惠斌等^[9]、李聪波等^[10]针对机床刀具磨损问题，分别提出了面向切削过程的刀具数字孪生模型和数字孪生驱动的刀具磨损在线监测方法，提高了对刀具磨损的预测性能。Debroy等^[11]构建了3D打印材料的数字孪生模型，该模型可实现对实际材料性能的准确仿真。Chen^[12]设计了车间总体结构的数字孪生模型，为车间工业互联网解决方案提供了新思路。由于数字孪生技术存在研究时间短、涉及关键技术多等不足，其在实际生产中的应用受到了一定的限制^[13-15]。利用数字孪生技术对传统机床设备及非智能设备的数字化改造等，还有待深入研究^[16]。

为提高激光并行加工实验平台的运动状态监测直观性、控制便利性及其智能化程度，本文以其运动机构中的单个光学位移台为例，结合Unity引擎，利用MQTT（message queuing telemetry transport，消息队列遥测传输）通信协议设计了基于数字孪生的交互控制系统。Unity作为一款专业的虚拟引擎，内置各类功能组件，可满足用户绝大部分的需求^[17]。MQTT是一种采用发布、订阅模式的轻量级消息传输协议，在物联网中被广泛应用^[18-19]。在交互控制系统中，光学位移台物理实体的运动数据经由数字孪生控制系统处理后传输至虚拟空间中的数字孪生模型，使数字孪生模型实时映射物理实体的运动状态；同时，用户可从虚拟控制面板发出控制信号，实现对光学位移台物理实体及其数字孪生模型的同步运动控制。

1 交互控制系统总体框架设计

根据光学位移台控制及状态监测的需求，将其交互控制系统设计为三大部分：虚拟环境、数字孪生控制系统和实体环境。交互控制系统的总体框架如图1所示。在实体环境中，由Kinesis控制软件发出运动控制信号，经KDC101 K-Cube伺服电机控制器处理后传递至MTS50-Z8光学位移台，从而执行相应运动。数字孪生控制系统由伺服电机控制器的Kinesis控制软件和Unity引擎驱动的虚拟控制面板组成，两者均作为MQTT通信中的客户端，共同承担发布者和订阅者的角色，运动信号发出后经MQTT服务器中转，可实现跨软件间的数据传递。在虚拟环境中，光学位移台数字孪生模型的可视化显示是基于Unity引擎，通过对各个部件挂载相应的功能组件和脚本程序来限制模型的运动轨迹；虚拟控制面板由数据传输脚本和视觉界面构成，能够实时反映光学位移台物理实体的运动信息，同时可利用运动数据控制其数字孪生模型动作，完成模型对实体运动状态的同步映射。此外，也可利用虚拟控制面板上的功能按键来完成对光学位移台物理实体的反向控制。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于数字孪生的光学位移台交互控制系统总体框架

Fig.1 Overall framework of interactive control system of optical displacement stage based on digital twin

2 数字孪生模型构建

保证物理实体与虚拟模型的一致性是构建数字孪生模型的基础^[20]。因此，需对光学位移台进行精确测绘、建模并添加相关物理属性。在数字孪生模型的外观处理方面，首先，对光学位移台物理实体的几何尺寸进行详细测绘后，在UG软件中对各部件进行精确建模、装配及添加相关约束条件，并保存为.stp格式；然后，在3DMAX软件中对.stp部件添加相关贴图纹理，使之与光学位移台物理实体在视觉效果上更为接近，并将文件导出为.FBX格式；最后，将.FBX文件导入Unity引擎，对数字孪生模型尺寸进行适当调整拉伸，使其符合摄像机的观测尺度，以便摄像机准确识别、捕捉模型的精密动作。在数字孪生模型的物理属性方面，利用Unity引擎内置的物理属性功能组件，对关键运动部件添加重力、设置刚体及碰撞检测体积，以约束数字孪生模型的运动状态，使其运动效果更加符合光学位移台物理实体的真实运行状态。所构建的光学位移台数字孪生模型及各类物理组件设置情况如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 光学位移台数字孪生模型

Fig.2 Digital twin model of optical displacement stage

3 数据交互功能实现

数字孪生控制系统的核心是实现数字孪生模型与物理实体之间的信息交互，完成光学位移台运动状态的实时映射，同时满足其运行精度的设计要求。本文选择Apache Apollo作为MQTT通信的消息代理服务器，数字孪生控制系统客户端需同时具有作为消息订阅者与发布者的相关功能，代理服务器负责中转数据；将关键运动数据设置为具有足够有效位数的变量类型，以满足控制系统内的高精度数据传输需求。

3.1　数字孪生控制系统性能要求

基于激光并行加工实验平台中光学位移台的性能特点和实际加工需求，数字孪生控制系统的性能要求如表1所示。其中，对最小步长及重复定位精度的要求较高，对响应时间的要求较低。

表1 数字孪生控制系统的性能要求

Table 1 Performance requirements for digital twin control system

性能指标	数值
最小步长/μm	1
重复定位精度/μm	5
反冲间隙/μm	<6
响应时间/ms	<50

新窗口打开| 下载CSV

3.2　实体环境中设备的线路连接

KDC101 K-Cube伺服电机控制器通过USB（universal serial bus，通用串行总线）线缆与计算机连接，其背面面板带有一个15引脚D型接口，可通过线缆与MTS50-Z8光学位移台相连。伺服电机控制器与光学位移台均可通过安装板固定在气浮平台上，其线路连接如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 实体环境中光学位移台的线路连接

Fig.3 Line connection of optical displacement stage in physical environment

3.3　数字孪生控制系统程序功能设计

3.3.1　设备端控制软件二次开发

Kinesis控制软件自身无法完成跨软件间数据的传输和接收，故需要对其底层程序进行修改（即二次开发）。利用Visual Studio 2019软件中的NuGet管理工具导入M2MQTT包，并通过using命令导入MQTT命名空间，在main()方法中通过MqttClient client和client.Connect完成客户端实例化并与MQTT服务器建立连接；同时，使用MQTT命名空间中的client.Subscribe和client.Publish类对原Kinesis程序段进行改造，以实现向服务器订阅和发送相关运动数据。MQTT消息发布质量共分三级，为确保数据传输到位且不会因重复发送而导致结果不正确，本文选用QOS_LEVEL_EXACTLY_ONCE作为消息级别。设备端部分服务器连接测试程序如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 设备端部分服务器连接测试程序

Fig.4 Part server connection test procedure for device side

3.3.2　Unity引擎端脚本设计

在Unity引擎中，虚拟控制面板具有显示物理实体运动状态、控制数字孪生模型运动和反向控制物理实体的功能。本文中虚拟控制面板通过向服务器订阅或发布数据信息，完成光学位移台运动数据的实时显示，同时向数字孪生模型发送相关运动指令，使数字孪生模型同步映射物理实体的运动状态。为完成上述功能，Unity引擎端的数据传输脚本需与虚拟控制面板的各类功能按键绑定，从而为各个UI组件编写相关监听方法。数据传输脚本同样需要导入MQTT命名空间，分别以MqttMsgSubscribedEventArgs类和MqttMsgPublishEventArgs类为核心，创建客户端订阅与发布方法。同时，在这些类中添加Debug.log()，用于在Unity引擎控制台中输出运行日志，以监控程序执行情况。Unity引擎端订阅与发布方法如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 Unity引擎端的订阅与发布方法

Fig.5 Subscription and publishing methods for Unity engine side

MQTT服务器连接及各个UI组件的对应程序段均放入void start()中调用执行。为保证虚拟控制面板能够实时同步显示光学位移台的位置信息，利用Unity引擎中Update()方法按帧执行的特性，在Update()中编写数据信息显示程序，每0.02 s对程序循环读取运行一次，不断刷新主程序函数，完成数据实时交互功能^[21]，以实现数字孪生模型对物理实体控制信息的高频读取，保证数字孪生模型对物理实体运动状态的实时映射。

3.3.3　运动精度控制

在Unity引擎中，数字孪生模型的运动精度主要取决于程序所传递参数的精度。本文利用Lerp()线性插值运动控制数字孪生模型的运动，该函数的坐标参数类型为float型（浮点型），具有7位精度，可满足光学位移台实际使用时1 μm的最小步长精度要求。通过调整Lerp()函数中的比例因数，可使数字孪生模型具有加速及减速运动效果，更符合物理实体的运动状态。

为满足光学位移台高精度的运动需求，在其物理实体的运动控制程序部分，通过引用官方提供的Kinesis控制软件中.dll文件的方法，导入运动控制相关命名空间后，调用原控制软件中对光学位移台的运动控制类，完成对其物理实体的高精度运动控制。此方法利用Kinesis控制软件的开源命令，对软件程序进行二次开发，实现了无需获取光学位移台中电机的伺服信号即可精确控制电机动作的目的。这些运动控制类支持精度更高的decimal（十进制）型数据。相较于float型，decimal型支持最高小数点后28位的数据，可以满足光学位移台运行时的高精度要求。无论运动指令是由设备端控制软件还是由引擎端虚拟控制面板发出，位移数据信息都以高精度的类型变量decimal赋值给光学位移台的运动控制程序。伺服电机控制器处理相关运动指令后，将驱动光学位移台完成精确的位置移动。图6所示为以1 μm为单次位移增量时，光学位移台进行5次点动时的运动精度测试数据，图中位移增量及实时位置的单位为mm。由图6可知，光学位移台可正常识别微米级的位置信息并做出响应。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 光学位移台的运动精度测试数据

Fig.6 Test data of motion accuracy of optical displacement stage

3.4　虚拟控制面板界面设计

以光学位移台实际运动状态进行控制功能分析，其主要动作为点动和长动，点动时可进行步长设置。虚拟控制面板采用Unity UI组件进行开发，它是基于操作对象的UI系统，使用组件及视图对用户界面进行设计、排序和定位。在Hierarchy窗口的UI选项中添加相关按键及文本输入框，并以设置父级图像覆盖的方式，调整相关功能部件的可视化显示效果。步长设置输入框及功能按键挂载脚本利用MQTT命名空间中Publish()类进行监听，判断用户操作后与Apache Apollo代理服务器进行通信，完成数据发布。对运动控制按键挂载脚本创建timer变量计时，通过判断用户点击操作是否达到预定时间，从而分别触发点按或长按功能。虚拟控制面板可视化界面如图7所示。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 虚拟控制面板可视化界面

Fig.7 Visual control panel virtualization interface

3.5　交互控制处理流程

光学位移台数字孪生模型的运动控制以Kinesis控制软件发出的运动指令为核心，并利用MQTT服务器作为中转媒介，接收由虚拟控制面板发出的运动指令，完成对其物理实体运动状态的实时映射。光学位移台交互控制程序流程如图8所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 光学位移台交互控制程序流程

Fig.8 Interactive control program flow of optical displacement stage

当Kinesis控制软件发出运动指令时，运动指令将同步传输至光学位移台伺服电机控制器和MQTT服务器，虚拟控制面板根据订阅的内容实时显示并控制数字孪生模型做出动作响应。当通过虚拟控制面板控制光学位移台物理实体时，数字孪生模型将根据Kinesis控制软件的监测反馈数据同步做出相应动作。当运动指令由虚拟控制面板发出时，经MQTT服务器中转后由Kinesis控制软件接收，随后通过伺服电机控制器控制光学位移台物理实体完成相关运动，同时Kinesis控制软件将监测到的运动反馈信息回传至MQTT服务器，虚拟控制面板根据反馈信息控制数字孪生模型实时映射物理实体的状态。

4 交互控制系统运行测试

光学位移台交互控制系统搭建完成后，需对其程序执行延时和数字孪生模型的映射运动延时进行验证。光学位移台交互控制系统功能测试现场如图9所示。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 光学位移台交互控制系统功能测试现场

Fig.9 Functional test site for interactive control system of optical displacement stage

对于Kinesis控制软件端和Unity引擎端，分别在控制软件数据发布程序段和数字孪生模型数据订阅程序段的起止位置处，添加DateTime()类获取本段程序的运行时间并计算合计耗时。在Unity引擎内置的控制台中以毫秒级精度输出，由此检验跨软件间数据传输的延迟性。选取10组不同位移下光学位移台的运动数据，对交互控制系统的数据传输耗时进行测试，结果如表2所示。

表2 光学位移台交互控制系统数据传输耗时 (ms)

Table 2 Time consuming for data transmission of interactive control system of optical displacement stage

组别	数据发布耗时	数据订阅耗时
1	19.17	7.10
2	15.17	9.03
3	16.00	8.52
4	18.32	6.93
5	15.86	6.52
6	17.54	6.85
7	17.09	8.05
8	18.31	7.11
9	16.78	8.85
10	18.03	6.18

新窗口打开| 下载CSV

由表2可知，Kinesis控制软件端数据发布耗时均小于20 ms，Unity引擎端数据订阅耗时均小于10 ms，跨软件间数据传输耗时合计均小于30 ms，能够较好地保证光学位移台的数字孪生模型与物理实体接收运动指令、做出相应反馈时的一致性与同步性，同时满足激光并行加工实验平台动作响应时间的要求。由于激光并行加工实验平台对动作延时并不敏感，且光学位移台运动指令由引用的官方.dll文件提供，可控的数据延时对光学位移台运行时的定位精度、重复定位精度和反冲间隙等的影响较小。同时，虚拟控制面板的各功能按键可实现预期功能，能控制数字孪生模型和物理实体同步做出响应。

5 结论

1）针对激光并行加工实验平台运行状态监测困难的问题，以其运动机构中单个光学位移台为例，基于数字孪生技术设计通过发布、订阅数据信息进行通信的实时交互控制系统，提高了实验平台运行时控制的便利性和状态监测的实时性与直观性。利用.dll文件对光学位移台控制软件进行二次开发，调用原控制软件中的运动控制类，并选择高精度的数据类型，可保证光学位移台的运动精度满足设计要求。

2）利用MQTT通信协议对Kinesis控制软件进行二次开发，在无需加装其他硬件设备的情况下，解决了数字孪生技术中数据跨软件传输的问题，实现了利用数字孪生技术对传统设备进行数字化、智能化升级。

3）通过实际加工数据对程序执行的延时性进行测试。结果显示，Kinesis控制软件端数据发布耗时小于20 ms，Unity引擎端数据订阅耗时小于10 ms，能够较好地保证数字孪生模型与物理实体动作的一致、同步，满足对交互控制系统响应时间的要求。当需要引入多个光学位移台进行同步控制时，数据延时会对激光并行加工实验平台运动机构整体的动作精度产生一定影响，可通过在物理实体运动控制程序前增加延时启动的方法，确保多个光学位移台接收运动指令后的动作统一。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

邵伟平，刘周林，郝永平，等.

精密位移台的控制软件开发

［J］.机床与液压，2013，41（21）：82-85. doi：10.3969/j.issn.1001-3881.2013.21.023