工程设计学报, 2025, 32(5): 579-589 doi: 10.3785/j.issn.1006-754X.2025.05.145

机械设计理论与方法

边缘计算和数字孪生融合驱动的多机高效协同运行方法

肖智杰,1,2, 谢嘉成1,2, 乔晓军1,3, 王学文,,1,2, 秦浪1,2

1.太原理工大学 机械工程学院,山西 太原 030024

2.太原理工大学 煤矿综采装备山西省重点实验室,山西 太原 030024

3.山西太重工程机械有限公司,山西 太原 030000

Method for efficient multi-machine collaborative operation driven by integration of edge computing and digital twin

XIAO Zhijie,1,2, XIE Jiacheng1,2, QIAO Xiaojun1,3, WANG Xuewen,,1,2, QIN Lang1,2

1.College of Mechanical Engineering, Taiyuan University of Technology, Taiyuan 030024, China

2.Shanxi Key Laboratory of Fully Mechanized Coal Mining Equipment, Taiyuan University of Technology, Taiyuan 030024, China

3.Shanxi TZCO Construction Machinery Co. , Ltd. , Taiyuan 030000, China

通讯作者: 王学文(1979—),男,教授,博士生导师,博士,从事综采工作面智能化等研究,E-mail: wangxuewen@tyut.edu.cn, https://orcid.org/0000-0001-6028-9430

收稿日期: 2025-05-07   修回日期: 2025-06-20  

基金资助: 山西省科技成果转化引导专项项目.  202304021301036
山西省留学人员科技活动择优资助重点项目.  20230008
山西省回国留学人员科研资助项目.  2023-71
山西省研究生教育创新计划研究生科研创新项目.  2024KY259

Received: 2025-05-07   Revised: 2025-06-20  

作者简介 About authors

肖智杰(2001—),男,硕士生,从事装备协同运行研究,E-mail:x2831328166@163.com , E-mail:x2831328166@163.com

摘要

机械装备由于智能化程度不够高,难以完成较为复杂的作业任务,并且装备间协同运行的机制尚不明确。由此,将边缘计算、数字孪生和多智能体技术相结合,提出了一种边缘计算和数字孪生融合驱动的多机高效协同运行方法。首先,构建了终端物理装备Agent和边缘孪生系统Agent,设计了一种适用于各类智能化机械装备的边端虚实共生系统;然后,提出了一种双层分布式协同运行机制,其既可在单一装备中独立运行,又可通过物理直接交互和虚实间接交互两种交互模式实现多机协同运行;最后,基于实验室现有装备,构建了探测机器人和作业机器人的边端虚实共生系统,并通过机器人协同作业实验,验证了边端虚实共生系统和双层分布式协同运行机制的有效性。所提出的方法既可以提高装备的感知、决策、控制能力,又为多机高效协同运行提供了有力支持。

关键词: 边缘计算 ; 数字孪生 ; 多智能体系统 ; 多机协同

Abstract

The mechanical equipment, due to its insufficient level of intelligence, is unable to perform complex operational tasks, and the mechanism for collaborative operation among the multiple machines is not clearly defined. Thus, by integrating edge computing, digital twin and multi-agent technology, a method for efficient multi-machine collaborative operation driven by the integration of edge computing and digital twin was proposed. Firstly, the terminal physical equipment Agent and the edge twin system Agent were constructed, and an edge-terminal cyber-physical symbiotic system applicable to various intelligent mechanical equipment was designed. Secondly, a dual-layer distributed collaborative operation mechanism was proposed, which was allowed both independent operation on an individual equipment and collaborative operation among multiple machines through direct physical interaction and indirect cyber-physical interaction. Finally, based on the existing equipment in the laboratory, the cyber-physical symbiotic systems for the detection robot and the operation robot were built. Through the robot collaborative operation experiment, the efficiencies of the cyber-physical symbiotic system and the dual-layer distributed collaborative operation mechanism were verified. The proposed method not only enhances the equipment's perception, decision-making and control capabilities, but also provides strong support for efficient multi-machine collaborative operation.

Keywords: edge computing ; digital twin ; multi-agent system ; multi-machine collaboration

PDF (6934KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

肖智杰, 谢嘉成, 乔晓军, 王学文, 秦浪. 边缘计算和数字孪生融合驱动的多机高效协同运行方法[J]. 工程设计学报, 2025, 32(5): 579-589 doi:10.3785/j.issn.1006-754X.2025.05.145

XIAO Zhijie, XIE Jiacheng, QIAO Xiaojun, WANG Xuewen, QIN Lang. Method for efficient multi-machine collaborative operation driven by integration of edge computing and digital twin[J]. Chinese Journal of Engineering Design, 2025, 32(5): 579-589 doi:10.3785/j.issn.1006-754X.2025.05.145

随着工业4.0时代的来临和智能制造技术的不断发展,制造业正朝着智能化、柔性化和个性化发展[1]。通过物联网、大数据、人工智能等新一代信息技术的深度融合[2],可构建起一个实时感知、自主决策、动态优化的生产制造系统。随着装备智能化程度的不断提高,其需要完成实际工况下复杂的作业任务,这对装备有限的计算能力提出了挑战。而且,这些复杂的作业任务通常需要多种装备协作完成,装备间的交互关系趋于复杂[3]。目前,装备间的协同运行机制尚不明确,常常出现数据交互混乱、通信受阻等问题,导致装备间的协作效率低下。

边缘计算技术的发展为弥补作业现场硬件计算能力的不足提供了新思路。边缘计算的低延迟和高带宽特性可以有效提高作业现场实时分析与处理数据的能力,为智能制造的各个环节提供高效、可靠处理数据和调度资源的能力[4]。王文波等[5]建立了一种具有边云(边缘计算和云计算)协同交互决策能力的智能制造系统,实现了异常事件事前预警与主动自适应优化决策;赵威等[6]采用基于群组聚类和对等比较的方法对边缘层进行异常检测,可快速识别发生异常的设备;周晓天等[7]针对多接入边缘计算赋能的AI质检任务调度系统,研究了融合任务调度与资源分配的长期时延最小化问题;阴艳超等[8]基于边缘计算技术提出了一种边云协同的智能数控车间自调控模式;曹新城等[9]提出了一种边云协同的工艺知识迁移方案,实现了智能运维模型的快速进化。在这些边缘计算的应用场景中,主要是利用边缘计算完成数学性质的逻辑运算,而忽视了物理性质的仿真计算。

随着数字孪生技术的发展,其在高保真物理仿真方面的应用有了长足的进步[10]。基于此,不少学者开始将数字孪生技术广泛应用于智能制造领域[11-15]。在多装备协作方面,Li等[16]针对港口多设备一体化调度问题的复杂性和不确定性,引入了数字孪生驱动的主动-反应调度框架;王哲等[17]针对群体机器人协同并行制造控制系统,提出了基于数字孪生的加工过程监控与实时动态优化模块;段现银等[18]提出了一种基于数字孪生的多机器人智能协同加工方法;陈璇[19]等结合数字孪生技术,提出了一种基于多机器人运动控制的断路器车间柔性装配方案。

由于当前装备计算能力的限制,开发的数字孪生系统通常部署于高性能计算机中,没有直接部署于生产作业现场,没有与装备紧密结合。并且,在多装备协同运行过程中,若仅仅构建一个数字孪生系统,则存在软件计算压力大、延迟高、帧率低等问题;若存在多个物理装备和多个虚拟孪生系统,则它们之间的协同运行机制尚不明确。

将边缘计算与数字孪生相结合,既能为作业现场提供高算力支持,又能利用物理仿真解决复杂问题。但当前边缘计算与数字孪生的结合应用,一方面是通过数字孪生技术提高边缘计算处理任务卸载、资源分配等问题的能力。如:李松等[20]提出了一种数字孪生辅助并结合移动边缘解决任务卸载、设备资源分配问题的端到端时延优化方法;郑家瑜等[21]构建了一种新型的数字孪生边云网络模型,优化了服务缓存与计算卸载。另一方面,通过边缘计算收集和处理终端数据,增强终端设备与孪生系统的连接。如:马靖等[22]提出了一种基于边缘计算网关的虚实同步技术;张超等[23]从边云协同的角度构建了软硬件集成的数字孪生制造单元配置模型。然而,以上研究都没有实现边缘计算的快速计算与数字孪生的物理仿真之间的深度融合。

为了解决当前机械装备智能化程度不高而难以完成实际工况下的复杂作业任务,以及装备间协同运行机制不明确等问题,本文将边缘计算、数字孪生与多智能体技术相结合,提出了一种边缘计算和数字孪生融合驱动的多机高效协同运行方法。构建了机械装备的边端虚实共生系统,提出了双层分布式协同运行机制;构建了探测机器人和作业机器人的边端虚实共生系统;通过协同作业实验,来验证边端虚实共生系统和双层分布式协同运行机制的有效性。

1 研究整体框架

多机高效协同运行研究的整体框架如图1所示。

图1

图1   多机高效协同运行研究整体框架

Fig.1   Overall framework of research of efficient multi-machine collaborative operation


首先,基于边缘计算和数字孪生技术,设计了一种适用于各类智能化机械装备的边端虚实共生系统。基于终端装备的硬件计算能力,构建终端物理装备AgentM,来管理终端装备的传感器、控制器和执行器。基于部署于作业现场的边缘服务器,构建边缘孪生系统AgentE,其包括监测模块、推理模块和控制模块。终端AgentM和边缘AgentE之间通过MQTT(message queuing telemetry transport,消息队列遥测传输)通信协议实现双向通信,虚实共生。

然后,提出了一种双层分布式协同运行机制。其既可在单一装备中独立运行,又可在多个终端物理装备之间进行物理直接交互运行及在边端虚实共生系统之间进行虚实间接交互运行,实现装备间不同类型数据的分层级交互,既减轻了终端的计算压力,又增强了其决策推理能力。

最后,利用实验室现有装备,构建了探测机器人和作业机器人边端虚实共生系统。通过协同完成作业任务,来验证边端虚实共生系统和双层分布式协同运行机制的有效性。

2 边端虚实共生系统

基于数字孪生技术,可以实现物理装备与虚拟孪生体之间的虚实映射,即物理装备的真实数据驱动虚拟孪生体运动,虚拟孪生体经过超前推演和分析决策后反向控制物理装备运动[24]。在作业现场部署边缘服务器,可以解决终端物理装备计算能力不足的问题,提高作业现场实时数据处理能力和分析决策能力[25]

作者首先基于多智能体技术构建了物理装备的AgentM模型和孪生系统的AgentE模型,然后将边缘计算与数字孪生技术相结合,将边缘服务器作为装备虚拟孪生系统的载体,并基于MQTT通信协议搭建终端物理装备和边缘孪生系统之间的双向实时通信通道,从而构建机械装备的边端虚实共生系统,如图2所示。终端物理装备AgentM1主要由传感器、控制器和执行器构成,边缘孪生系统AgentE1主要由监测模块、推理模块和控制模块构成。

图2

图2   机械装备边端虚实共生系统

Fig.2   Edge-terminal cyber-physical symbiotic system of mechanical equipment


AgentM1的传感器包括了装备位姿传感器如倾角传感器、位移传感器等,装备性能传感器如力学传感器、压力传感器、振动传感器等,以及感知其他机械装备和外部环境的环境信息传感器如激光雷达、温度传感器等。传感器会将探测到的传感数据发送到AgentM1控制器。控制器的计算模块接收到多源异构的传感数据后,经过分析与计算,得出当前物理装备的运行状态和融合传感数据;控制器的决策模块会基于当前物理装备的运行状态和外部的环境信息进行分析与决策,生成动作级控制指令,控制物理装备下一时刻的动作。AgentM1执行器接收到动作级控制指令后,驱动物理装备的机械元件、电气元件、液压元件等完成相应的动作。同时,AgentM1传感器也会再次更新当前探测到的数据,进而实现闭环控制。

此外,AgentM1控制器的计算模块基于MQTT通信,发布话题/M1/Control/state和/M1/Control/sensor。AgentE1的监测模块订阅这些话题,获取物理装备的运行状态和融合传感数据,并基于这些真实数据驱动虚拟孪生体运动。AgentE1推理模块中的计算模块会根据虚拟孪生体的运动,计算物理传感器无法获取的传感信息,并将这些缺失信息通过话题/E1/Inference/M1/data反馈给AgentM1控制器,来增强AgentM1的感知能力。

同时,AgentE1推理模块中的计算模块完成计算后,其决策模块就可以获取较为完整的作业现场和终端物理装备的全局信息,然后通过推理与决策,既可以辅助终端决策,帮助终端物理装备解决复杂问题,又可以制定下一阶段的子任务目标。因此,利用边缘计算强大的推理能力,提高了AgentM1的决策能力。

AgentE1的控制模块会分解推理模块制定的子任务,生成行为级控制指令。这些行为级控制指令通过话题/E1/Control/M1/behavioral level command传输到AgentM1控制器。控制器的决策模块会将其转化为动作级控制指令,进而驱动执行器动作。此时,AgentE1控制指令的优先级高于AgentM1控制指令。

需要特别指出的是,通过AgentE1推理模块生成子任务、AgentE1控制模块生成行为级控制指令、AgentM1控制器生成动作级控制指令,构建了“子任务-行为级控制指令-动作级控制指令”三级控制架构,实现了装备控制权限的层级化、清晰化,避免边缘孪生系统和终端物理装备控制器的控制混乱。

AgentE1控制模块生成的行为级控制指令也会驱动其监测模块的虚拟孪生体。由真实数据驱动的虚拟孪生体和由控制指令驱动的虚拟孪生体会进行比较分析,获得虚实控制偏差。虚实控制偏差则为AgentE1推理模块提供决策参考,生成一定的补偿性控制指令,并通过话题/E1/Control/M1/compensation command传输到AgentM1控制器,以减少控制偏差,提高AgentM1的控制精度。

通过AgentM1传感器、控制器、执行器的闭环控制,AgentE1监测模块、推理模块、控制模块的闭环运行,以及控制器到监测模块、推理模块到控制器、控制模块到控制器等的数据流向,构建了双向闭环的边端虚实共生系统,全面提高了终端物理装备的感知、决策和控制能力。

3 双层分布式协同运行机制

3.1 协同运行机制概述

随着作业现场整体智能化程度的提高,通常需要多个智能装备同时运行,共同完成作业任务,这使得装备间的交互关系趋于复杂、混乱。因此,本文提出了一种双层分布式协同运行机制。

“双层”是指装备之间存在物理直接交互和虚实间接交互两种层次的交互模式。在终端层的物理直接交互模式下,终端物理装备的控制器之间直接交互数据,这主要适用于轻量数据、简单决策的交互,以及实时性要求较高的安全性指令(如防碰撞的报警和暂停指令等)的交互等。在边缘层的虚实间接交互模式下,通过装备的边缘孪生系统之间共享复杂数据及多轮协商决策,生成全局最优的控制指令,然后间接指导终端物理装备运行,这主要适用于繁杂数据、复杂决策的交互,以及保障作业任务高效完成的任务性指令(如装备间的任务分配等)的交互等。

“分布式”是指将各智能装备视为彼此独立的节点。协同运行机制既可以在单一装备的边端虚实共生系统独立运行,又可以基于双层交互模式和其他装备建立交互关系,共享数据,协商决策,共同完成协作任务。在多装备协同运行过程中,形成了交互网络,如图3所示。

图3

图3   交互网络

Fig.3   Interactive network


双层分布式协同运行机制实现了装备间不同类型数据的分层级交互,既减轻了终端物理装备控制器的计算压力,又充分利用了作业现场的繁杂数据,增强了其决策推理能力,进而提高了装备间协同运行的效率。

3.2 具体交互流程

下面通过AgentM1和AgentM2及其边端虚实共生系统的具体交互流程,来描述双层分布式协同运行机制。交互流程如图4所示。图中,黑色箭头表示边端虚实共生系统的数据流向。

图4

图4   交互流程

Fig.4   Interactive process


首先,在终端层的物理直接交互模式下,AgentM1和AgentM2的控制器通过话题/M1/Control/M2/data和/M2/Control/M1/data直接共享简单数据,如装备在全局地图中的位置坐标等,便于分析和决策。并且,2个控制器分析和决策的结果也可以直接交互,使得AgentM1和AgentM2能快速获取彼此当前运行状态和接下来的运动趋势。

其次,在边缘层的虚实间接交互模式下,AgentE1和AgentE2的监测模块通过话题/E1/Monitor/E2/data和/E2/Monitor/E1/data共享数据,从而使得它们能够补充自身感知不足的信息,获得更为完整的全局信息。基于全局信息,AgentE1和AgentE2的推理模块开始通过话题/E1/Inference/E2/task和/E2/Inference/E1/task进行多轮协商决策,得出当前状态下2个装备协同运行的最优任务分配。经过AgentE1和AgentE2的控制模块处理后,将新的行为级控制指令下发给AgentM1和AgentM2的控制器,间接指导AgentM1和AgentM2运动。AgentM1和AgentM2分别控制自身的执行器完成相应动作,从而实现了虚实间接交互。

4 原型系统和实验验证

作者的实验室配备有探测机器人、作业机器人,其都属于四轮式机器人。机器人原型系统如图5所示。机器人搭载了激光雷达、IMU(inertial measurement unit,惯性测量单元)等传感器及Ubuntu18.04操作系统的上位机。此外,探测机器人还搭载了Azure Kinect相机和RealSense相机,以增强环境感知能力;作业机器人配备了集成视觉相机的六轴机械臂。

图5

图5   机器人原型系统

Fig.5   Prototype system of robots


为机器人各配备一台T806边缘服务器。搭建机器人各自的边端虚实共生系统,进行机器人完成协作任务的实验,来测试边端虚实共生系统、双层分布式协同运行机制的有效性。

在实验大厅有限的空间内集成了多种密集布局的设备,预留了足够的通行区域,可以满足机器人的运行需求,为系统测试提供了必要条件。

4.1 边端虚实共生系统的搭建

4.1.1 探测机器人的边端虚实共生系统

基于探测机器人的机理模型,构建终端Agent模型AgentR1。在边缘服务器中,基于Unity 3D软件构建探测机器人的边缘孪生系统AgentE1,然后基于MQTT通信搭建AgentR1控制器与AgentE1的双向通信。

1)监测模块。

AgentE1监测模块的界面如图6所示。其可实时更新探测机器人的作业信息以及各主要组成部分如激光雷达、控制主机、移动底盘的运行参数,如位姿数据、电池电量、网络延迟、电机电压、设备温度等。同时,监测模块基于这些真实数据驱动虚拟孪生体运动,也会基于控制模块生成的控制指令驱动虚拟孪生体运动。

图6

图6   AgentE1监测模块界面

Fig.6   Interface of monitoring module for AgentE1


2)推理模块。

AgentE1推理模块的界面如图7所示,其包括计算决策、底盘轨迹规划和地图重构。在计算决策中,首先计算缺失信息。根据监测模块虚拟孪生体的运动,计算物理传感器无法获取的传感信息,并将这些缺失信息发布到话题/E1/Inference/R1/Data,反馈给AgentR1控制器。然后,制定子任务。既制定独立运行的子任务,又通过订阅话题/E2/Inference/E1/task和发布话题/E1/Inference/E2/task实现AgentE1和AgentE2的协商决策及任务分配,制定协同运行的子任务,最终生成探测机器人需要完成的子任务列表。

图7

图7   AgentE1推理模块界面

Fig.7   Interface of inference module for AgentE1


边缘服务器的计算能力很强,其可以快速处理探测机器人激光雷达、Kinect相机和RealSense相机融合的点云数据,生成点云数据地图,然后与Unity 3D软件中构建的虚拟模型库中的模型进行匹配,并结合大厅平面图等先验信息,将实验大厅场景信息重构,实时动态更新全局虚拟场景。整个过程如图8所示。获取全局虚拟场景后,基于改进A*算法[26],通过底盘轨迹规划,生成全局代价地图,如图9所示。

图8

图8   全局虚拟场景构建过程

Fig.8   Global virtual scene construction process


图9

图9   全局代价地图

Fig.9   Global cost map


在底盘轨迹规划时,AgentE1推理模块根据全局代价地图中导航目标点和当前探测机器人的实际位置,以及机器人剩余电量等信息,通过分析和决策,制定最优导航路线。

3)控制模块。

AgentE1控制模块的界面如图10所示。子任务列表展示了AgenE1推理模块生成的探测机器人需要完成的一系列子任务,如导航到A点。基于AgentE1推理模块制定的最优导航路线及AgentE1控制模块分解的决策结果,将导航路线转化为一系列行为级控制指令,如机身左转40°、前进5 m等。这些行为级控制指令一方面通过发布话题/E1/Control/R1/behavioral level command下发给AgentR1控制器,并通过分析和决策,转化为动作级控制指令,如电机转速、电机转向等,控制AgentR1执行器完成相应动作,完成后AgentR1传感器再次更新数据。另一方面,这些行为级控制指令也会驱动AgentE1监测模块的孪生体运动,真实数据驱动和控制指令驱动会形成一定的虚实控制偏差,为AgentE1推理模块提供决策参考。行为级控制指令通过话题/E1/Control/R1/compensation command下发一定的补偿性控制指令,如补偿前进0.5 m等,来减小虚实控制偏差,提高AgentR1的控制精度。

图10

图10   AgentE1控制模块界面

Fig.10   Interface of control module for AgentE1


相比仅仅依赖于机器人自身传感器的传统导航方式,通过边端虚实共生系统,机器人运动到特定位置所需的时间更短,响应速度更快,导航的绝对精度更高。

4.1.2 作业机器人的边端虚实共生系统

在边缘服务器中,基于Unity 3D软件构建作业机器人的边缘孪生系统AgentE2,然后基于MQTT通信搭建作业机器人控制器与AgentE2的双向通信。

1)监测模块。

AgentE2监测模块的界面如图11所示。其可实时更新作业机器人的作业信息及其各主要组成部分如激光雷达、控制主机、机械臂、移动底盘的运行参数,如位姿数据、电池电量、网络延迟、电机电压、设备温度、机械臂末端负载和各轴角度等。同时,监测模块会基于这些真实数据驱动虚拟孪生体运动,也会基于控制模块生成的控制指令驱动虚拟孪生体运动。

图11

图11   AgentE2监测模块界面

Fig.11   Interface of monitoring module for AgentE2


2)推理模块。

AgentE2推理模块的界面如图12所示,其包括计算决策、底盘轨迹规划和机械臂轨迹规划。计算决策部分与AgentE1基本一致。在底盘轨迹规划部分,由于作业机器人仅仅装备了激光雷达,对环境感知能力不如探测机器人,因此探测机器人的AgentE1会将全局虚拟场景和全局代价地图同步共享给作业机器人AgentE2的推理模块。AgentE2不再进行该部分计算,以避免重复计算,减轻计算压力。AgentE 2直接利用全局代价地图进行轨迹规划。

图12

图12   AgentE2推理模块界面

Fig.12   Interface of inference module for AgentE2


在机械臂轨迹规划时,首先利用D-H(Denavit- Hartenberg)参数法对六自由度机械臂进行参数化建模,并进行正向运动学和逆向运动学分析。在虚拟场景中,对机械臂的各个关节与转轴配置父子关系,并确定旋转中心。然后,将机械臂需要抓取的目标物体的坐标转换到基座坐标系下。根据逆运动学求解算法,计算机械臂从当前位姿到达目标位姿所需的6个轴的转动角度。最后,通过五次多项式轨迹插值,不断更新机械臂6个轴的角度值,进而实现对机械臂的轨迹规划,如图13所示。

图13

图13   机械臂轨迹规划

Fig.13   Robotic arm trajectory planning


3)控制模块。

AgentE2控制模块的界面如图14所示。其运行原理与AgentE1的控制模块基本一致,不再赘述。

图14

图14   AgentE2控制模块界面

Fig.14   Interface of control module for AgentE2


4.2 协同作业

为了测试双层分布式协同运行机制的高效性,进行探测机器人和作业机器人协同完成作业任务的实验。设定探测机器人和作业机器人处于初始区,作业机器人需前往控制柜前,通过机械臂完成按下目标按钮的任务。机器人协同作业的现场如图15所示。

图15

图15   机器人协同作业现场

Fig.15   Site of robot collaborative operation


由于作业机器人只装备了激光雷达,其环境感知能力不足,完全通过自身硬件设备的导航只能到达控制柜前的大致位置,导航精度不高,并且由于其自身视角受限,基本无法完成通过机械臂按下特定按钮这类需要较高位置精度的作业任务。

在传统的物理机器人直接交互数据的模式下,探测机器人和作业机器人可以进一步相互协作。探测机器人配备的Kinect相机向作业机器人提供不同视角的实时高分辨率视频和点云数据,使得作业机器人能够获得较为准确的自身和目标按钮的位姿信息。但是,由于物理机器人计算能力有限,加之视频和点云数据量大,数据传输和处理速度慢、交互延迟高、协作效率低下等问题频发,导致作业机器人常常无法完成任务,而边端虚实共生系统和双层分布式协同运行机制为这一协作过程提供了有力的支持。

首先,通过探测机器人和作业机器人的边端虚实共生系统,以及4.1节中AgentE1和AgentE2共享全局虚拟场景,作业机器人借助AgentE2快速导航到控制柜前的大致位置,如图16所示。

图16

图16   作业机器人导航任务

Fig.16   Operation robot navigation task


然后,作业机器人通过物理直接交互获取探测机器人的当前位姿以及Kinect相机水平视角α和离地高度h。AgentE2推理模块根据αh值,在虚拟场景中解算出探测机器人的工作区域。该工作区域需要保证Kinect相机所采集的点云信息能够完整包括作业机器人和控制柜的位姿信息。选取最大特征点P1P2,将P1P2映射到Kinect相机高度所在的平面,则通过圆周角定理可以确定,当探测机器人的Kinect相机位置位于圆周外时,其视野范围可以满足需求,如图17(a)所示。

图17

图17   探测机器人工作区域

Fig.17   Work area of detection robot


AgentE2的推理模块任意选取图中A点作为探测机器人的导航目标点。通过AgentE1和AgentE2协商决策,制定出探测机器人的子任务为导航到A点和Kinect拍摄,作业机器人的子任务为更新局部场景、调整位姿和按下按钮。

AgentE1控制探测机器人完成导航任务,实验现场如图17(b)所示。启动Kinect相机捕获图像,获取局部作业场景的彩色图像、深度图像,并利用两者的配准关系生成点云图像;在点云图中选取图中蓝色平面为作业机器人的特征平面、绿色平面为控制柜的特征平面,分别求解两特征平面相对Kinect相机坐标系的位姿变化矩阵,并进一步求解作业机器人相对于控制柜的相对位姿矩阵;AgentE1的推理模块将这些解算后的相对位姿关系发送给AgentE2的推理模块,AgentE2基于此更新监测模块中作业机器人孪生体与控制柜虚拟模型的位姿关系,从而使这一局部作业场景的物理场景和虚拟场景实现精确匹配。局部作业场景的更新如图18所示。

图18

图18   局部作业场景更新

Fig.18   Update of localized operational scenarios


最后,AgentE2的推理模块基于监测模块的高保真虚拟场景,根据当前目标按钮位置与底盘位姿、机械臂位姿之间的关系,进行底盘调整位姿规划和机械臂轨迹规划。根据底盘轨迹规划和机械臂轨迹规划结果,AgentE2的控制模块将调整底盘位姿的子任务和按下按钮的子任务转化为行为级控制指令,最终使作业机器人成功按下目标按钮。机械臂轨迹规划结果如图19所示。

图19

图19   机械臂轨迹规划结果

Fig.19   Trajectory planning result for robotic arm


通过双层分布式协同运行机制,实现了探测机器人和作业机器人的高效协同运行,完成了在传统机器人直接交互模式下无法完成的作业任务。机器人协同作业实验证明了边端虚实共生系统和双层分布式协同运行机制在解决复杂作业问题时的有效性,其可显著提高多机器人完成协同任务的效率,为多机协同运行提供了有力支持。

5 结 论

1)本文基于装备的机理模型构建了终端物理装备Agent,来管理传感器、控制器和执行器。基于边缘计算和数字孪生,构建了边缘孪生系统Agent,其包括监测模块、推理模块和控制模块,从而设计了一种适用于各类智能化机械装备的边端虚实共生系统,实现了终端物理装备与边缘孪生系统的实时双向通信,虚实共生。借助边端虚实共生系统,可显著增强机械装备的感知能力、决策能力以及控制精度。

2)构建了“子任务-行为级控制指令-动作级控制指令”三级控制架构。边缘Agent推理模块生成子任务,边缘Agent控制模块生成行为级控制指令,终端Agent控制器生成动作级控制指令,实现了装备控制权限的清晰化,层级化,避免了控制指令的冲突和紊乱。

3)提出了一种双层分布式协同运行机制,其既可在单一装备基于边端虚实共生系统独立运行,又可通过物理直接交互和虚实间接交互两种交互模式实现多机协同运行。物理直接交互实现了终端层简单数据的快速交互,虚实间接交互通过边缘计算的强大推理能力,提高了装备作业现场分析和处理数据的能力,为完成复杂作业任务提供了有效的计算工具。两种交互模式分层级运行,实现了“决策速度”和“决策深度”的双重增强。

在未来的工作中,拟引入云-边-端协同的三级架构,利用云计算提高对大数据的分析和计算能力,进一步提高装备的决策能力。同时,将云计算和数字孪生技术相结合,以实现超前推演和系统级最优规划,实现整个智能制造系统的高效协同运行。当前,由于实验室硬件条件的限制,仅仅搭建了面向2个智能机器人的原型系统,未来拟增加终端物理装备的数量,进一步优化方案。


本文链接:https://www.zjujournals.com/gcsjxb/CN/10.3785/j.issn.1006-754X.2025.05.145

参考文献

ZHENG PWANG H HSANG Z Qet al.

Smart manufacturing systems for industry 4.0: conceptual framework, scenarios, and future perspectives

[J]. Frontiers of Mechanical Engineering, 2018132): 137-150.

[本文引用: 1]

TAO FQI Q L.

New IT driven service-oriented smart manufacturing: framework and characteristics

[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017491): 81-91.

[本文引用: 1]

袁礼伟王耀南谭浩然.

面向智能制造的自主可控工业互联网发展研究

[J]. 中国工程科学, 2025273): 38-53. doi:10.15302/j-sscae-2024.12.027

[本文引用: 1]

YUAN L WWANG Y NTAN H Ret al.

Independent and controllable industrial Internet for intelligent manufacturing

[J]. Strategic Study of CAE, 2025273): 38-53.

DOI:10.15302/j-sscae-2024.12.027      [本文引用: 1]

GUO LHE Y LWAN C Cet al.

From cloud manufacturing to cloud-edge collaborative manufacturing

[J]. Robotics and Computer-Integrated Manufacturing, 202490102790.

[本文引用: 1]

王文波张映锋顾寄南.

数据驱动的离散制造系统性能退化机理建模与预测控制方法研究

[J]. 机械工程学报, 20246016): 400-411.

[本文引用: 1]

WANG W BZHANG Y FGU J Net al.

Research on data-driven performance degradation mechanism modelling and predictive control method for discrete manufacturing system

[J]. Journal of Mechanical Engineering, 20246016): 400-411.

[本文引用: 1]

赵威王锴徐皑冬.

面向智能制造的工业机器人健康评估方法

[J]. 机器人, 2020424): 460-468.

[本文引用: 1]

ZHAO WWANG KXU A Det al.

An industrial robot health assessment method for intelligent manufacturing

[J]. Robot, 2020424): 460-468.

[本文引用: 1]

周晓天孙上张海霞.

多接入边缘计算赋能的AI质检系统任务实时调度策略

[J]. 电子与信息学报, 2024462): 662-670.

[本文引用: 1]

ZHOU X TSUN SZHANG H Xet al.

Real-time task scheduling for multi-access edge computing-enabled AI quality inspection systems

[J]. Journal of Electronics & Information Technology, 2024462): 662-670.

[本文引用: 1]

阴艳超梁珉清张万达.

基于云边协同的智能数控车间自调控系统研究与实现

[J]. 计算机集成制造系统, 2025313): 828-840.

[本文引用: 1]

YIN Y CLIANG M QZHANG W Det al.

Research and implementation of intelligent NC workshop self-regulation system based on cloud-edge collaboration

[J]. Computer Integrated Manufacturing Systems, 2025313): 828-840.

[本文引用: 1]

曹新城姚斌贺王鹏.

面向数字加工监控的边云工艺协同迁移

[J]. 西安电子科技大学学报, 2022496): 152-163.

[本文引用: 1]

CAO X CYAO BHE W Pet al.

Edge-cloud collaborative transfer of process knowledge for digital manufacturing monitoring

[J]. Journal of Xidian University, 2022496): 152-163.

[本文引用: 1]

陶飞张贺戚庆林.

数字孪生模型构建理论及应用

[J]. 计算机集成制造系统, 2021271): 1-15.

[本文引用: 1]

TAO FZHANG HQI Q Let al.

Theory of digital twin modeling and its application

[J]. Computer Integrated Manufacturing Systems, 2021271): 1-15.

[本文引用: 1]

KANG R HHU J SSHI Z Het al.

A high-precision digital twin modeling approach for the serial-parallel hybrid drilling robot in aircraft assembly

[J]. Robotics and Computer-Integrated Manufacturing, 202594102986.

[本文引用: 1]

田颖湛杨岳辰.

基于融合孪生模型的数控机床轮廓误差预测方法

[J/OL].计算机集成制造系统, 317):2392-2401.

TIAN YZHAN YYUE Cet al.

Contour error prediction method for CNC machine tools based on an integrated twin model

[J/OL]. Computer Integrated Manufacturing Systems, 317): 2392-2401.

胡炳涛钟锐锐冯毅雄.

人-信息-物理互联环境下数字车间制造能力建模与自适应调度

[J]. 机械工程学报, 2025613): 23-39.

HU B TZHONG R RFENG Y Xet al.

Digital shop floor manufacturing capability modeling and adaptive scheduling in human-cyber-physical interconnected environment

[J]. Journal of Mechanical Engineering, 2025613): 23-39.

葛世荣张帆王世博.

数字孪生智采工作面技术架构研究

[J]. 煤炭学报, 2020456): 1925-1936.

GE S RZHANG FWANG S Bet al.

Digital twin for smart coal mining workface: Technological frame and construction

[J]. Journal of China Coal Society, 2020456): 1925-1936.

薛杨刘森吕杰.

基于耦合场快速计算的核电厂主变压器数字孪生体搭建

[J]. 工程设计学报, 2024316): 716-724.

[本文引用: 1]

XUE YLIU S Jet al.

Construction of digital twin of nuclear power plant main transformer based on fast calculation of coupling field

[J]. Chinese Journal of Engineering Design, 2024316): 716-724.

[本文引用: 1]

LI W FFAN H XCAI Let al.

Digital twin-driven proactive-reactive scheduling framework for port multi-equipment under a complex uncertain environment

[J]. Simulation Modelling Practice and Theory, 2024136103011.

[本文引用: 1]

王哲丰飞郭峰.

大尺度复杂构件群体机器人协同并行制造系统集成的关键技术

[J]. 航空制造技术, 2025684): 53-66.

[本文引用: 1]

WANG ZFENG FGUO F.

Key technologies of swarm robotic cooperative parallel manufacturing system integration for large scale complex components

[J]. Aeronautical Manufacturing Technology, 2025684): 53-66.

[本文引用: 1]

段现银邵宇轩彭芳瑜.

基于数字孪生的复杂件多机器人智能加工方法

[J]. 华中科技大学学报(自然科学版), 2024526): 1-9.

[本文引用: 1]

DUAN X YSHAO Y XPENG F Yet al.

Digital twins based multi-robot intelligent machining method for complex components

[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2024526): 1-9.

[本文引用: 1]

陈璇舒亮冷玉祥.

断路器柔性装配车间数字孪生系统设计

[J]. 计算机工程与应用, 20225814): 245-257.

[本文引用: 1]

CHEN XSHU LLENG Y Xet al.

Design of digital twin system for circuit breaker flexible assembly workshop

[J]. Computer Engineering and Applications, 20225814): 245-257.

[本文引用: 1]

李松李顺王博文.

数字孪生边缘网络端到端时延优化的任务卸载与资源分配方法

[J]. 电子与信息学报, 2025473): 633-644.

[本文引用: 1]

LI SLI SWANG B Wet al.

Task offloading and resource allocation method for end-to-end delay optimization in digital twin edge networks

[J]. Journal of Electronics & Information Technology, 2025473): 633-644.

[本文引用: 1]

郑家瑜麦著学陈哲毅.

数字孪生云边网络下服务缓存与计算卸载优化

[J/OL]. 系统仿真学报, 20241-13. (2024-08-23). .

URL     [本文引用: 1]

ZHENG J YMAI Z XCHEN Z Y.

Optimization of service cache and computing unloading in digital twin cloud edge network

[J/OL]. China Industrial Economics, 20241-13. (2024-08-23). .

URL     [本文引用: 1]

马靖王译晨赵明.

基于数字孪生的生产单元可视化管控

[J]. 计算机集成制造系统, 2021275): 1256-1268.

[本文引用: 1]

MA JWANG Y CZHAO Met al.

Visualization management and control methods of production cell based on digital twin

[J]. Computer Integrated Manufacturing Systems, 2021275): 1256-1268.

[本文引用: 1]

张超周光辉肖佳诚.

数字孪生制造单元多维多尺度建模与边—云协同配置

[J]. 计算机集成制造系统, 2023292): 355-371.

[本文引用: 1]

ZHANG CZHOU G HXIAO J Cet al.

Multi-dimensional and multi-scale modeling and edge-cloud collaborative configuration method for digital twin manufacturing cell

[J]. Computer Integrated Manufacturing Systems, 2023292): 355-371.

[本文引用: 1]

陶飞马昕戚庆林.

数字孪生连接交互理论与关键技术

[J]. 计算机集成制造系统, 2023291): 1-10.

[本文引用: 1]

TAO FMA XQI Q Let al.

Theory and key technologies of digital twin connection and interaction

[J]. Computer Integrated Manufacturing Systems, 2023291): 1-10.

[本文引用: 1]

侯祥鹏兰兰陶长乐.

边缘智能与协同计算: 前沿与进展

[J]. 控制与决策, 2024397): 2385-2404.

[本文引用: 1]

HOU X PLAN LTAO C Let al.

Edge intelligence and collaborative computing: frontiers and advances

[J]. Control and Decision, 2024397): 2385-2404.

[本文引用: 1]

王学文刘曙光王雪松.

面向多人-多机复杂协作任务的煤矿XR智能运维系统

[J]. 煤炭学报, 2024494): 2124-2140.

[本文引用: 1]

WANG X WLIU S GWANG X Set al.

Research on coal mine XR intelligent operation and maintenance system for complex collaborative tasks involving multiple humans and multiple robots

[J]. Journal of China Coal Society, 2024494): 2124-2140.

[本文引用: 1]

/