浙江大学学报(工学版), 2025, 59(7): 1504-1513 doi: 10.3785/j.issn.1008-973X.2025.07.018

机械与能源工程

基于跨维度特征融合的航空发动机寿命预测

章东平,, 王大为, 何数技, 汤斯亮, 刘志勇, 刘中秋

1. 中国计量大学 信息工程学院,浙江 杭州 310018

2. 浙江大学 计算机科学与技术学院,浙江 杭州 310058

3. 浙江大学工程师学院,浙江 杭州 310015

4. 浙江中控技术股份有限公司,浙江 杭州 310053

5. 浙江中正智能科技有限公司,浙江 杭州 310052

Remaining useful life prediction of aircraft engines based on cross-dimensional feature fusion

ZHANG Dongping,, WANG Dawei, HE Shuji, TANG Siliang, LIU Zhiyong, LIU Zhongqiu

1. College of Information Engineering, China Jiliang University, Hangzhou 310018, China

2. College of Computer Science and Technology, Zhejiang University, Hangzhou 310058, China

3. Polytechnic Institute of Zhejiang University, Hangzhou 310015, China

4. Supcon Technology Limited Company, Hangzhou 310053, China

5. Miaxis Biometrics Limited Company, Hangzhou 310052, China

收稿日期: 2024-05-17  

基金资助: 浙江省重点研发计划项目(2024C01028,2024C01108,2022C01144).

Received: 2024-05-17  

Fund supported: 浙江省重点研发计划项目(2024C01028,2024C01108,2022C01144).

作者简介 About authors

章东平(1970—),男,教授,从事深度学习与设备预测性维护研究.orcid.org/0000-0001-6743-8945.E-mail:06a0303103@cjlu.edu.cn , E-mail:06a0303103@cjlu.edu.cn

摘要

针对多传感器变量数据下变工况航空发动机剩余使用寿命(RUL)预测精度低、泛化能力弱及无法充分挖掘数据特征信息的问题,提出基于跨维度多尺度卷积网络(CDMSCN)的RUL预测方法. 利用通道注意力机制建模不同传感器信号对RUL的交叉影响;构建多尺度门控卷积层,捕捉发动机操作过程中不同时间粒度的潜在故障演变模式;通过通道依赖模块挖掘隐藏的通道特征信息. 通过挖掘并整合发动机传感器数据中的多维特征,有效实现对发动机RUL的动态表征和预测. 在涡扇发动机的公开数据集上开展实验,结果表明,所提方法能够有效提高基于复杂数据集的RUL预测精度.

关键词: 航空发动机 ; 剩余使用寿命(RUL) ; 通道注意力 ; 多维特征 ; 深度学习

Abstract

To address the issues of low prediction accuracy, weak generalization ability, and insufficient feature extraction in remaining useful life (RUL) prediction under varying conditions for aircraft engines with multi-sensor variable data, a method based on cross-dimensional multi-scale convolutional network (CDMSCN) was proposed. The cross-influence of different sensor signals on RUL was modeled using a channel attention mechanism. Multi-scale gated convolutional layers were constructed to capture potential fault evolution patterns at different time granularities during engine operation. Hidden channel feature information was extracted through a channel-dependent module. By mining and integrating multi-dimensional features in the engine sensor data, the dynamic characterization and prediction of engine RUL were effectively achieved. Experiments on a public dataset of turbofan engines were carried out, and results showed that the proposed method significantly improved the prediction accuracy of RUL based on complex datasets.

Keywords: aircraft engine ; remaining useful life (RUL) ; channel attention ; multi-dimensional feature ; deep learning

PDF (1410KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

章东平, 王大为, 何数技, 汤斯亮, 刘志勇, 刘中秋. 基于跨维度特征融合的航空发动机寿命预测. 浙江大学学报(工学版)[J], 2025, 59(7): 1504-1513 doi:10.3785/j.issn.1008-973X.2025.07.018

ZHANG Dongping, WANG Dawei, HE Shuji, TANG Siliang, LIU Zhiyong, LIU Zhongqiu. Remaining useful life prediction of aircraft engines based on cross-dimensional feature fusion. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(7): 1504-1513 doi:10.3785/j.issn.1008-973X.2025.07.018

航空发动机作为飞机的关键部件,在极端苛刻的工况下必须保持高度稳定和可靠的性能,以保证飞机的安全性和运行效率[1-2]. 确保发动机能在持续高速运转中承受高温高压及强烈振动的同时维持良好状态,避免因意外故障带来的高昂维修费用,对预测航空发动机精确的剩余使用寿命(remaining useful life, RUL)至关重要. 此技术通过科学方法精确估计航空发动机在当前状态下维持预期功能直至需要进行维护或更换的时间窗口[3-4].

现有的航空发动机RUL预测技术主要划分为2个大类:基于物理模型[5-7]和基于数据驱动的方法[8-10]. 在基于物理模型的方法中,模型通常基于对系统的物理过程的理解而构建. Hong等[11]提出改进的粒子滤波方法,结合递推最小二乘算法进行在线容量估计和离线RUL预测;Xu等[12]利用Arrhenius模型和Wiener过程构建RUL预测框架,取得了良好的RUL预测精度. 这些方法得益于对系统退化的全面理解,由于航空发动机结构精密复杂,其性能演变涉及从生产制造至实际服役过程中遭遇的各种化学反应、物理变化以及气动热力交互作用,多因素交织带来的不确定性使构建精确且全面的物理模型变得非常困难[13-14]. 数据驱动的方法避免了对设备内部复杂且动态的物理失效机理的深入探究,不仅保证了预测精度,还降低了预测成本,展现出良好的模型泛化能力. 在数据驱动的方法中,基于深度学习的预测方法可以直接建模复杂非线性系统,自动挖掘数据与预测目标的深层映射. 为了提高RUL预测性能,Zhang等[15]利用基于注意力的时间卷积网络与挤压-激励机制获取不同时间步长和传感器对RUL预测任务的贡献. Jin等[16]结合可变形卷积和通道注意力机制进行健康指标预测. Liu等[17]开发出基于双重注意力机制的网络模型,有效整合信号的变量依赖性和时间信息以预测RUL. Li等[18]提出多尺度深度卷积神经网络,用以提取多尺度特征信息,从而提高RUL预测的准确性. Zhu等[19]提出基于并行多尺度卷积神经网络和Transformer串联组合的RUL预测网络,实现时间序列中不同时间步长和传感器特征的同步提取. Zhang等[20]采用双向门控循环单元来增强原始信息的隐藏时间特征,提出新型距离函数来改善注意力分布,利用注意力机制捕获传感器特征的重要性与时间依赖关系,从而提升RUL预测的精度. Lin等[21]开发出融合通道注意力和时间注意力的时间卷积网络,用于RUL预测. 以上深度学习方法有较好的发动机RUL预测效果,但仍存在局限性. 1)以往研究通常量化并利用数据中的时间动态依赖性及传感器间的相关性以优化模型预测性能,通常会忽略原始数据深层结构中隐藏特征的影响. 2)Zhang等[15-16,21-23]所提方法在衡量不同传感器对RUL预测任务的贡献时使用全局平均池化操作,往往会丢失关键的细节信息. 3)卷积神经网络处理特定时间步的表征学习能力受限于卷积核尺寸和网络深度,在处理长距离时间序列时,网络对远距离元素间的潜在关系建模能力有限.

本研究提出用于航空发动机RUL预测的跨维度多尺度卷积网络(cross-dimensional multi-scale convolutional network, CDMSCN). 1)利用通道注意力机制,有效地甄别并突出关键传感器变量的重要性. 2)提取多个时间尺度的特征并嵌入门控机制,有效揭示和整合时间序列中的局部依赖性和潜在设备退化特征. 3)融合传感器数据的变量、时间和通道多维度信息,实现模型对航空发动机RUL的精准预测.

1. 基于跨维度多尺度卷积网络的航空发动机剩余使用寿命预测方法

图1所示,本研究所提RUL预测方法整体框架主要包括数据预处理和网络预测2个部分. 预处理部分包括传感器筛选、数据归一化、时间窗口处理,预处理后的数据被输送到网络模型中,输出航空发动机的RUL预测值.

图 1

图 1   剩余使用寿命预测框架

Fig.1   Framework of remaining useful life prediction


1.1. 跨维度多尺度卷积网络的预处理

为了方便后续的数据处理和模型的快速训练收敛,对原始输入数据进行预处理,假设数据长度为M,传感器数量为s,原始输入数据表示为$ {{\boldsymbol{X}}} = \left[ {{{x}_{{1}}}{\text{,}}{{x}_{{2}}}{\text{,}} \cdots {\text{,}}{{x}_i}{\text{,}} \cdots {\text{,}}{{x}_{M}}} \right] $$ {{{\boldsymbol{x}}}_{i}} = \left[ {x_i^1{\text{,}}x_i^2{\text{,}} \cdots {\text{,}}x_i^j{\text{,}} \cdots {\text{,}}x_i^s} \right] $,其中$x_i^j$为第i个周期的第j个传感器数据. 对输入数据的每个元素$x_i^j$进行归一化处理:

$ x{_i^{j'}} = \frac{{x_i^j - x_{\min }^j}}{{x_{\max }^j - x_{\min }^j}}. $

式中:$ x_i^{j'} $$ x_i^j $的归一化值,$ x_{\max }^j $$ x_{\min }^j $分别为第j个传感器数据中的最大值和最小值. 元素归一化后,在每个时间步中使用滑动时间窗口来获取网络的输入,设N为时间窗口大小,每个时间窗口中的时间序列为$ {{{\boldsymbol{X}}}_{{\text{in}}}} \in {{\bf{R}}^{s \times N}} $.

1.2. 时间序列嵌入模块

图2所示,采用通道增强嵌入策略,通过修补相邻时间点来增强数据的局部性并聚合更多局部语义信息,在保留原始维度结构的基础上,引入额外的通道维度并映射到D维嵌入向量. 将输入时间序列的形状扩张成$ {{{\boldsymbol{X}}}_{{\text{in}}}} \in {{\bf{R}}^{s \times 1 \times N}} $,对数据进行填充操作后进一步分割为L个长度为P的片段,分割步长为S. 填充操作:通过重复$ {{{\boldsymbol{X}}}_{{\text{in}}}} $的最后一个值$ \left( {P - S} \right) $次,将重复值填充回$ {{{\boldsymbol{X}}}_{{\text{in}}}} $的末尾,保持$ L = N{\text{//S}} $,其中//为整除符号. 使用一维卷积将1个输入通道映射到D个输出通道:

图 2

图 2   时间序列嵌入模块

Fig.2   Time series embedding module


$ {{{\boldsymbol{X}}}_{{\text{emb}}}} = {\mathrm{Emb}}\;({{{\boldsymbol{X}}}_{{\text{in}}}}). $

式中:$ \text{Emb}\;(\cdot) $为时间序列嵌入处理,$ {{{\boldsymbol{X}}}_{{\text{emb}}}} \in {{\bf{R}}^{s \times D \times L}} $为嵌入处理的输出结果,其中sDL分别为变量、通道和时间维度.

1.3. 通道注意力模块

为了衡量不同传感器变量对RUL预测的贡献,提出如图3所示的通道注意力机制. 采用全局平均池化和全局标准差化生成2种空间上下文描述符:平均池化特征和标准差特征,通过实施全局平均池化获取数据在整个生命周期内的平均状态;采用全局标准差化衡量各传感器变量在不同时间点的波动程度. 这2种全局统计特征的结合能够有效保留关键的时间信息. 将这2种特征进行拼接,通过一维卷积提取更高级的特征,用于构建变量特征表示$ {X_{\text{V}}} $,过程表达式为

图 3

图 3   通道注意力模块

Fig.3   Channel attention module


$ {{{\boldsymbol{X}}}_{{\text{Avg}}}} = {\text{AvgPool}}\;({{{\boldsymbol{X}}}_{{\text{emb}}}}), $

$ {{{\boldsymbol{X}}}_{{\text{Std}}}} = {\text{StdPool}}\;({{{\boldsymbol{X}}}_{{\text{emb}}}}), $

$ {{{\boldsymbol{X}}}_{\text{V}}} = {\text{Conv1d}}\;({\mathrm{Concat}}\;({{{\boldsymbol{X}}}_{{\text{Avg}}}},{{{\boldsymbol{X}}}_{{\text{std}}}})). $

式中:$ \text{AvgPool}(\cdot) $$ \text{StdPool}(\cdot) $分别为全局平均池化和全局标准差化操作,$ {{\boldsymbol{X}}_{{\text{Avg}}}} $$ {{\boldsymbol{X}}_{{\text{Std}}}} $分别为平均池化特征和标准差特征,$ \text{Concat}\;(\cdot) $为拼接操作,$ \text{Conv1d}\;(\cdot) $为一维卷积. 对变量特征进行归一化操作后通过Sigmoid层,产生每个传感器变量的注意力权重$ {{{\boldsymbol{V}}}_{\text{a}}} $,表达式为

$ {{{\boldsymbol{V}}}_{{\mathrm{a}}}} = {\text{Sigmoid}}\left( {{\text{BN}}\left( {{{{\boldsymbol{X}}}_{V}}} \right)} \right). $

式中:$ \text{BN}(\cdot) $为批归一化操作. 将产生的权重乘以嵌入向量$ {{{\boldsymbol{X}}}_{{\text{emb}}}} $,得到捕获跨变量依赖关系的表示$ {{{\boldsymbol{X}}}^{'}} $,表达式为

$ {{{\boldsymbol{X}}}^{'}} = {{{\boldsymbol{X}}}_{{\text{emb}}}} \times {{{\boldsymbol{V}}}_{\text{a}}}. $

1.4. 多尺度时间依赖模块

将通道注意力模块的输出$ {{{\boldsymbol{X}}}^{'}} \in {{\bf{R}}^{s \times D \times L}} $合并变量维度和通道维度,得到$ {{\boldsymbol{X}}}_{t}^{'} \in {{\bf{R}}^{\left( {s \times D} \right) \times L}} $,作为多尺度时间依赖模块的输入. 多尺度时间依赖模块由2个并行的多尺度门控卷积分支组成,如图4所示. 左边分支负责输出,右边分支负责生成权重,这些权重用于控制卷积网络的信息流,筛选并丢弃无效信息,仅保留有效信息. 将这2个分支的输出相乘,提取时间维度上的关键特征信息,过程表达式为

图 4

图 4   多尺度时间依赖模块

Fig.4   Multi-scale temporal dependency module


$ {{{\boldsymbol{X}}}_{{\text{T1}}}} = \mu \left( {{{{\boldsymbol{W}}}_1} {\text{MSGC}}\left( {{{\boldsymbol{X}}}_{t}^{'}} \right)+{{{\boldsymbol{b}}}_1}} \right), $

$ {{{\boldsymbol{X}}}_{{\text{T2}}}} = \sigma \left( {{{{\boldsymbol{W}}}_2} {\text{MSGC}}\left( {{{\boldsymbol{X}}}_{t}^{'}} \right)+{{{\boldsymbol{b}}}_2}} \right), $

$ {{{\boldsymbol{X}}}_{\text{T}}} = {{{\boldsymbol{X}}}_{T1}} \otimes {{{\boldsymbol{X}}}_{{\text{T2}}}}. $

式中:$ \mu (\cdot) $$ \sigma (\cdot) $分别为tanh函数和Sigmoid函数,$ {{{\boldsymbol{W}}}_1} $$ {{{\boldsymbol{b}}}_1} $$ {{{\boldsymbol{W}}}_2} $$ {{{\boldsymbol{b}}}_2} $均为可学习的参数,$ \otimes $为逐元素相乘,$ {{{\boldsymbol{X}}}_{\text{T}}} $为多尺度时间依赖模块的输出,$ \text{MSGC}(\cdot) $为本研究提出的多尺度门控卷积操作.

多尺度门控卷积的具体操作:将输入$ {\boldsymbol{X}}_{{t}}^{'} $分别输送到3个不同大小卷积核的深度卷积[24]中,提取不同尺度的时间特征$ {{\boldsymbol{h}}_i} $(i=1,2,3). 为了最大化卷积网络对局部上下文的敏感性,引入文献[25]中的门控单元. 在多尺度卷积运算后添加门控单元,以强调局部上下文的贡献. 如图5所示,门控单元包括更新门和重置门2个部分,重置门使得网络在卷积操作后能够重新读取原始输入信息,更新门负责利用局部上下文信息来控制特征的流动量. 将深度卷积的输入$ {\boldsymbol{X}}_{{t}}^{'} $与输出$ {h_i} $作为门控单元的输入,表达式为

图 5

图 5   门控单元

Fig.5   Gating unit


$ {r_i} = \sigma \left( {{{{\boldsymbol{W}}}_{\text{r}}}{{\boldsymbol{h}}_i}+{{{\boldsymbol{V}}}_{\text{r}}}{\boldsymbol{X}}_{{t}}^{{'}}+{{{\boldsymbol{b}}}_{\text{r}}}} \right), $

$ {u_i} = \sigma \left( {{{{\boldsymbol{W}}}_{\text{u}}}{{\boldsymbol{h}}_i}+{{{\boldsymbol{V}}}_{\text{u}}}{\boldsymbol{X}}_{{t}}^{{'}}+{{{\boldsymbol{b}}}_{\text{u}}}} \right), $

$ {\boldsymbol{X}}_{ti}^{{'}} = {{\boldsymbol{h}}_i} \otimes {u_i}+{\boldsymbol{X}}_{{t}}^{{'}} \otimes {r_i}. $

式中:$ {r_i} $为重置门的输出,$ {u_i} $为更新门的输出,$ {{{\boldsymbol{W}}}_{\text{r}}} $$ {{{\boldsymbol{V}}}_{\text{r}}} $$ {{{\boldsymbol{W}}}_{\text{u}}} $$ {{{\boldsymbol{V}}}_{\text{u}}} $为可学习的权重矩阵,$ {{{\boldsymbol{b}}}_{\text{r}}} $$ {{{\boldsymbol{b}}}_{\text{u}}} $为偏置向量,$ {\boldsymbol{X}}_{{{t}}i}^{{'}} $为门控单元输出. 将每个尺度中的门控单元的输出相加,得到多尺度门控卷积的输出. 本研究采用批归一化方法对卷积层进行优化.

1.5. 通道依赖模块

在得到跨变量依赖性和跨时间依赖性后,使用2个连续的逐点组卷积[24]来捕获每个变量在通道维度上的隐藏特征表示,过程表达式为

$ {{\boldsymbol{X}}}_{\text{D}}^{'} = {\text{GeLU}}\left( {{\text{P}}{{\text{W}}_1}{\mathrm{Conv1d}}\;({{{\boldsymbol{X}}}_{\text{T}}})} \right), $

$ {{{\boldsymbol{X}}}_{\text{D}}} = {\text{P\& R}}\left( {{\text{P}}{{\text{W}}_2}{\mathrm{Conv1d}}\;({{\boldsymbol{X}}}_{\text{D}}^{'})} \right). $

式中:$ {\text{PW}}_{\text{1}}\text{Conv1d}\;(\cdot) $$ {\text{PW}}_{2}\text{Conv1d}\;(\cdot) $均为逐点组卷积,可以独立学习每个变量的新特征表示;$ \text{GeLU}(\cdot) $为非线性激活函数;$ \text{P\&R}(\cdot) $为维度变化操作;$ {{{\boldsymbol{X}}}_{\text{D}}} \in {{\bf{R}}^{s \times D \times L}} $为在每个时间步上学习每个变量的通道隐藏特征表示. 引入跳跃连接层,增强特征的可重用性,也有助于稳定网络训练和收敛. 跳跃连接表达式为

$ {{{\boldsymbol{X}}}_{\text{o}}} = {{{\boldsymbol{X}}}_{{\text{emb}}}}+f\left( {{{{\boldsymbol{X}}}_{{\text{emb}}}}} \right). $

式中:$ {{{\boldsymbol{X}}}_{\text{o}}} $为最终特征表示;$ f(\cdot) $为通道注意力模块、多尺度时间依赖模块和通道依赖模块3个子模块的功能. 在得到最终特征后,对$ {{{\boldsymbol{X}}}_{\text{o}}} $进行平坦化处理,采用由3个全连接层组成的回归器输出RUL预测值.

2. 模型验证与分析

2.1. 实验数据集

使用商用模块化航空推进系统仿真(commercial modular aero-propulsion system simulation,C-MAPSS)数据集对所提方法进行评估. 该数据集用于模拟涡扇发动机的真实退化,如图6所示为C-MAPSS开发的发动机模型的简化图,发动机的结构主要包括发动机风扇、燃烧室、低压涡轮、低压压气机、高压涡轮、高压压气机等. 该数据集包括4个子集(FD001~FD004),各子集具有不同的故障模式和运行工况,按复杂性顺序由低到高排列为FD001、FD003、FD002、FD004. 每个子集都包括训练集和测试集,如表1所示. 发动机的单个周期由多个变量时间序列组成,其中包括发动机编号、运行周期、3种操作设置以及21个传感器的测量数据. 每个训练引擎单元收集完整的、从运行到故障的周期数据,范围从健康到完全衰退. 本研究目标是以涡扇发动机的高维度传感器监测数据为输入,预测在测试集中的发动机发生故障之前的剩余运行周期数.

图 6

图 6   航空发动机示意图

Fig.6   Schematic diagram of aircraft engine


表 1   商用模块化航空推进系统仿真数据集的主要参数

Tab.1  Main parameters of commercial modular aero-propulsion system simulation dataset

子数据集FD001FD002FD003FD004
运行工况1616
故障模式1122
训练引擎数100260100249
测试引擎数100259100248

新窗口打开| 下载CSV


表2所示为C-MAPSS数据集中21个传感器的信息,这些传感器测量的数据反映从发动机启动到故障发生的整个健康状况. 根据不同传感器信号的变化趋势,这21个传感器可以分为增长型、衰退型和无明显趋势型,其中有7个传感器数据无显著变化,无法为RUL预测提供有效信息. 为此,选择剩余14个传感器数据作为输入,包括传感器编号为2~4,7~9,11-15,17,20和21.

表 2   商用模块化航空推进系统仿真数据集中的传感器信息

Tab.2  Sensor information in commercial modular aero-propulsion system simulation dataset

编号物理描述编号物理描述
1风扇进口温度12燃流量于静压比
2低压压气机出口温度13风扇修正转速
3高压压气机出口温度14修正转速
4低压涡轮出口温度15涵道比
5风扇进口压强16燃烧室油气比
6外涵道压强17抽气焓
7高压压气机出口压强18风扇转速
8实际风扇转速19风扇修正转速
9实际核心机转速20高压涡轮冷气流量
10发动机压强比21低压涡轮冷气流量
11高压压气机出口静压

新窗口打开| 下载CSV


RUL标签的有效建模会影响模型的预测精度. 为了比较不同的研究方法,采用如图7所示的分段线性退化函数来拟合发动机使用时间与RUL的关系. 在分段线性规则中,假设先前发动机的RUL在运行开始时保持不变,然后线性退化直到发生故障,基于文献[26]、[27],设定RUL最大值为125个运行周期.

图 7

图 7   剩余使用寿命的分段线性退化函数

Fig.7   Piecewise linear degradation function of remaining useful life


2.2. 评价指标

使用均方根误差RMSE和评分函数$\theta $来评估CDMSCN模型的性能.

$ {\text{RMSE = }}\sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{{\hat y}_i} - {y_i}} \right)}^2}} } . $

式中:n为测试样本数量,$ {y_i} $$ {\hat y_i} $为第$ i $个测试样本的真实RUL和预测RUL.

$ \theta = \left\{ \begin{gathered} \sum\limits_{i{\text{ = 1}}}^n {\left( {{{\text{exp}}\;{\left( - {{\left( {{{\hat y}_i} - {y_i}} \right)}}/{{{\text{13}}}}\right)}} - 1} \right),\quad{y_i} > {{\hat y}_i}}; \\ \sum\limits_{i{\text{ = 1}}}^n {\left( {{{\text{exp}}\;{({{\left( {{{\hat y}_i} - {y_i}} \right)}}/{{{\text{10}}}})}} - 1} \right),\quad\;\;\;{y_i} \leqslant {{\hat y}_i}}. \\ \end{gathered} \right. $

评分函数用来区分早期预测和延迟预测问题,对延迟预测施加更重的惩罚,延迟预测的后果通常比早期预测的后果更严重. 2个评估指标的值越低,表示模型的性能越好.

2.3. 实验分析

2.3.1. 超参数和实现细节

为了确定所提方法的最优超参数,采用网格搜索法来确定最佳的训练和模型结构配置. 在训练过程中使用Adam算法进行模型参数的优化,设置迭代次数设为100,批次大小为128,学习率为0.001,随机丢弃率为0.3,以防止过拟合. 在每个子数据集中,80%的数据被划分为训练集,20%的数据用作验证集,选取在验证集上损失最小的模型参数作为最优模型. 设定时间序列嵌入模块中分割的片段长度P=8,分割步长S=4. 网络结构超参数设置如表3所示,其中卷积运算的超参数设置为(卷积核大小、步长值、组数、输入通道数、输出通道数),回归器的超参数设置为(输入大小、输出大小).

表 3   跨维度多尺度卷积网络的超参数

Tab.3  Hyperparameters of cross-dimensional multi-scale convolutional network

网络模块网络层超参数设置
模块一卷积层1(8,4,1,1,64)
模块二卷积层2(2,1,14,14,14)
模块三深度卷积1(1,1,14×64,14×64,14×64)
模块三深度卷积2(5,1,14×64,14×64,14×64)
模块三深度卷积3(7,1,14×64,14×64,14×64)
模块四逐点组卷积1(1,1,14,14×64,14×64)
模块四逐点组卷积2(1,1,14,14×64,14×64)
回归器隐藏层1(14×64×16,14×64)
回归器隐藏层2(14×64,64)
回归器输出层(64,1)

新窗口打开| 下载CSV


2.3.2. 时间窗口的影响

在预处理中,不同大小的滑动窗口对模型预测性能会产生不同的影响. 较大的时间窗口虽包含更丰富的信息,但可能导致预测速度降低与出现过拟合现象;相反,较小的窗口由于信息不足,可能影响预测精度. 如图8所示,随着时间窗口大小的增加,所有子数据集的评价指标大致呈现下降趋势,直至窗口大小达到64时,性能开始下降. 因此,参与实验的各子数据集时间窗口大小均设定为64.

图 8

图 8   时间窗口大小对预测方法性能的影响

Fig.8   Impact of time window sizes on prediction method performance


2.3.3. 通道维度的影响

在时间序列嵌入模块中,把额外的通道维度引入数据原有的维度结构并映射到D维嵌入向量,较高的维度可以捕获更多的信息,但也可能导致过拟合. 进一步探索不同通道维度大小对模型性能的影响. 以FD001子数据集为例,实验结果如图9所示,当嵌入维度为64时,RMSE和$\theta $都表现最佳,模型性能达到最优.

图 9

图 9   通道维度大小对预测方法性能的影响

Fig.9   Impact of channel dimension sizes on prediction method performance


2.3.4. 剩余使用寿命预测结果

在C-MAPSS数据集上对所提方法进行评估,如图10所示为4个子数据集中所有测试发动机的实际RUL与预测RUL,为了更直观地比较,这些引擎单元按实际RUL降序排列. 可以看出,模型预测的RUL与实际值呈现相同的退化趋势,随着实际RUL的降低,预测的准确性和稳定性逐渐提高.

图 10

图 10   所提方法在4个子数据集中的剩余使用寿命预测结果

Fig.10   Remaining useful life prediction results of proposed method in four sub-datasets


2.4. 对比实验

在4个子数据集上将所提方法与现有的6种先进方法进行对比实验,为了减少随机性的影响,以5次实验的均值作为最终的实验结果. 6种先进方法包括1) Double-Attn[17]:利用基于通道注意力的CNN将更大的权重应用于更重要的传感器,使用Transformer将注意力集中在关键时间步的特征上,使用全连接层预测RUL. 2) CATA-TCN[21]:利用基于通道注意力和时间注意力机制的时间卷积网络的双重注意力框架,分别关注来自不同传感器和不同时间步长的更关键的信息. 3) MSDCNN-LSTM[28]:结合多尺度深度卷积神经网络和长短期记忆的混合模型提取数据中的高级空间特征和长期时间相关特征. 4)MHT[29]:基于一维卷积神经网络设计的沙漏型多尺度特征提取器,将时间序列缩放为多时间尺度进行特征融合,利用Transformer进一步从融合特征中提取特征并输出RUL. 5)ATCN[15]:将改进的自注意力机制和挤压激励机制与时间卷积网络结合,双注意力机制设计用来衡量输入数据中不同传感器和时间步长的不同贡献. 6) TATFA-Transformer[19]:采用双向门控循环单元来增强原始信息的隐藏时间特征,提出新型距离函数来改善注意力分布,利用注意力机制捕获传感器特征的重要性与时间依赖关系.

表4所示为不同预测方法的评价指标对比结果,其中加粗数据表示最优预测性能,下划线表示次优预测性能. 由表可知,所提方法在FD001、FD002、FD004子集上的性能均优于其他方法,相对于次优结果,所提方法的RMSE分别下降0.87%、6.86%和17.77%,$\theta $分别下降0.95%、15.68%和42.20%. 特别在复杂工况和故障的数据集下,所提方法的优势更明显,这表明CDMSCN从多个维度出发,不仅提取多尺度时间特征,还深入挖掘了变量依赖关系和隐藏的特征表示,有效地增强了模型的特征提取能力. 这种卓越的预测性能和在不同复杂度的子数据集上的一致优异表现,进一步验证了CDMSCN的高鲁棒性.

表 4   不同预测方法在4个子数据集中的评价指标对比结果

Tab.4  Comparison of evaluation indicators of different prediction methods in four sub-datasets

网络RMSEθ
FD001FD002FD003FD004FD001FD002FD003FD004
Double-Attn[17]12.2517.0813.3919.86198.001575.00290.001741.00
CATA-TCN[21]12.8017.6113.1621.04234.311361.23290.632303.42
MSDCNN-LSTM[28]12.9618.7011.7821.57256.591873.86211.992699.34
MHT[29]11.9213.7010.6317.73215.20746.70150.501572.00
ATCN[15]11.4815.8211.3417.80194.251210.57249.191934.86
TATFA-Transformer[19]12.2115.0711.2318.81261.501359.70210.212506.35
本研究11.3812.7611.8114.58192.40629.61218.85908.58

新窗口打开| 下载CSV


2.5. 消融实验
2.5.1. 跨维度多尺度卷积网络的性能及效果验证

为了验证CDMSCN各组成部分的必要性和有效性,如表5所示,推导出4个不同的变体:无通道注意力的变体1,采用文献[15]中挤压-激励机制的变体2,无多尺度时间依赖模块的变体3,无通道依赖模块的变体4. 所有变体的性能评价指标对比结果如表6所示,可以看出,当模型集成所有子模块时,性能达到最佳. 1)通道注意力模块的影响:在所有子数据集中,具有通道注意力模块的CDMSCN在2个评价指标上均优于去除或替换该机制的网络变体. 特别是,变体1与变体2相比,性能下降更加显著,这表明通道注意力在模型预测中的作用. 变体2的表现证明本研究提出的通道注意力机制能够有效避免在时间尺度平均化过程中丢失关键时间信息,更适合于RUL预测任务. 2)多尺度时间依赖模块的影响:缺失多尺度时间依赖模块的变体3在性能上相比变体1和变体4有显著下降,说明多尺度时间依赖模块在整体模型中的核心作用. 与变量和通道维度相比,时间维度信息对于RUL预测更为关键. 3)通道依赖模块的影响:引入通道依赖模块的CDMSCN在2个评价指标上均优于未使用该模块的变体. 通道依赖模块通过提取通道维度的特征,帮助模型更有效地识别数据中的抽象特征,显著提高了模型的泛化能力和整体性能.

表 5   跨维度多尺度卷积网络及其变体

Tab.5  Cross-dimensional multi-scale convolutional network and its variants

名称通道注意力模块多尺度时间依赖模块通道依赖模块
CDMSCN
变体1
变体2挤压-激励机制[15]
变体3
变体4

新窗口打开| 下载CSV


表 6   跨维度多尺度卷积网络及其变体的性能对比

Tab.6  Performance comparison of cross-dimensional multi-scale convolutional network and its variants

名称RMSEθ
FD001FD002FD003FD004FD001FD002FD003FD004
CDMSCN11.3812.7611.8114.58192.40629.61218.85908.58
变体112.5313.1113.3316.42212.11646.06287.311520.43
变体211.6012.9712.1215.83195.55574.42239.391167.74
变体313.4013.6413.4217.00361.93846.05352.501874.28
变体412.6213.4213.3415.31307.37730.52352.501232.79

新窗口打开| 下载CSV


从4个子集的测试集中随机选取发动机引擎单元#100、#24、#99、#235进行实时RUL预测. 如图11所示为CDMSCN与各变体的预测曲线. 可以看出,与其他变体相比,CDMSCN的预测更准确,延迟预测更少,表明该模型能够进行早期预测并减少延迟预测的影响. 在复杂的FD002和FD004子数据集上,模型预测波动较大,主要是由于这些数据集在多工况多故障模式下具有更复杂的时间序列,增加了模型提取退化特征的难度. 随着发动机运行进入后期,模型的预测精度提高,预测曲线逐渐贴近实际曲线,这得益于模型在后期阶段中可获得更多的失效退化信息,提高了预测性能.

图 11

图 11   跨维度多尺度卷积网络及其变体的剩余使用寿命预测结果

Fig.11   Remaining useful life prediction results of cross-dimensional multi-scale convolutional network and its variants


2.5.2. 通道注意力分数的可视化

以FD001子集中引擎单元#100为例,如图12所示为CDMSCN通过通道注意力机制得到的注意力分数. 图中,颜色越深表示该传感器变量的权重和重要性越高. 按照分段线性退化模型对RUL标签进行划分,展示4个不同退化阶段的注意力分数:未退化(RUL=137)、退化前期(RUL=118)、退化中期(RUL=63),以及退化后期(RUL=23). 在未退化和退化前期,编号4和13的传感器权重最高,指示编号4和13的传感器在这些阶段对RUL预测的重要性. 在退化中期,编号4和13的传感器权重开始下降,编号5和10的传感器权重开始上升. 到了退化后期,编号5和10的传感器权重变为最高,其他传感器的权重也有所变化. 这一过程证明,传感器对发动机RUL的关联程度会随着发动机性能不断退化而发生改变,体现了本研究提出的通道注意力机制的动态调整能力与良好的可解释性.

图 12

图 12   不同退化阶段的注意力分数可视化

Fig.12   Visualization of attention scores at different stages of degeneration


3. 结 语

本研究1)提出跨维度时空多尺度卷积网络的航空发动机剩余使用寿命预测方法,有效地融合了飞机发动机传感器数据的变量信息、时间信息和通道信息,实现了模型对航空发动机RUL的精准预测. 2)针对传统方法在时间维度上使用全局平均池化带来的关键时间信息丢失问题,构建通道注意力机制,动态生成各个传感器变量在RUL预测中的权重,增强模型对关键退化特征的识别和学习能力. 3)提出多尺度时间依赖模块,通过整合多尺度特征提取与门控机制,允许网络有效地捕捉到不同时间尺度下的设备退化特征,从而细化对发动机状态变化过程的理解和建模. 4)基于C-MAPSS数据集的实验验证表明,相比现有RUL预测方法,所提方法具有优异的RUL预测性能与较强的鲁棒性. 本研究采用均方误差作为网络训练的损失函数,有效提升了预测精度. 考虑到故障预测延迟可能导致严重的经济损失,未来计划进一步探索和优化损失函数(如在损失函数中引入延迟预测惩罚机制,以增强模型的早期预警能力),旨在实现在实际应用需求中更精确且可靠的 RUL 预测.

参考文献

DE PATER I, REIJNS A, MITICI M

Alarm-based predictive maintenance scheduling for aircraft engines with imperfect remaining useful life prognostics

[J]. Reliability Engineering and System Safety, 2022, 221: 108341

DOI:10.1016/j.ress.2022.108341      [本文引用: 1]

郭俊锋, 刘国华, 刘国伟

基于长序列的航空发动机剩余使用寿命预测方法

[J]. 北京航空航天大学学报, 2024, 50 (3): 774- 784

[本文引用: 1]

GUO Junfeng, LIU Guohua, LIU Guowei

Prediction method of remaining useful life of aero-engine based on long sequence

[J]. Journal of Beijing University of Aeronautics and Astronautics, 2024, 50 (3): 774- 784

[本文引用: 1]

PRAKASH O, SAMANTARAY A K

Prognosis of dynamical system components with varying degradation patterns using model–data–fusion

[J]. Reliability Engineering and System Safety, 2021, 213: 107683

DOI:10.1016/j.ress.2021.107683      [本文引用: 1]

XIANG S, QIN Y, LUO J, et al

Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction

[J]. Reliability Engineering and System Safety, 2021, 216: 107927

DOI:10.1016/j.ress.2021.107927      [本文引用: 1]

GE R, ZHAI Q, WANG H, et al

Wiener degradation models with scale-mixture normal distributed measurement errors for RUL prediction

[J]. Mechanical Systems and Signal Processing, 2022, 173: 109029

DOI:10.1016/j.ymssp.2022.109029      [本文引用: 1]

LIU K, ZOU T J, XIN M C, et al

RUL prediction based on two-phase Wiener process

[J]. Quality and Reliability Engineering International, 2022, 38 (7): 3829- 3843

DOI:10.1002/qre.3177     

WANG H, NI G, CHEN J, et al

Research on rolling bearing state health monitoring and life prediction based on PCA and Internet of Things with multi-sensor

[J]. Measurement, 2020, 157: 107657

DOI:10.1016/j.measurement.2020.107657      [本文引用: 1]

NGUYEN K T P, MEDJAHER K, GOGU C

Probabilistic deep learning methodology for uncertainty quantification of remaining useful lifetime of multi-component systems

[J]. Reliability Engineering and System Safety, 2022, 222: 108383

DOI:10.1016/j.ress.2022.108383      [本文引用: 1]

HUANG C G, YIN X, HUANG H Z, et al

An enhanced deep learning-based fusion prognostic method for RUL prediction

[J]. IEEE Transactions on Reliability, 2020, 69 (3): 1097- 1109

DOI:10.1109/TR.2019.2948705     

LIU X, LEI Y, LI N, et al

RUL prediction of machinery using convolutional-vector fusion network through multi-feature dynamic weighting

[J]. Mechanical Systems and Signal Processing, 2023, 185: 109788

DOI:10.1016/j.ymssp.2022.109788      [本文引用: 1]

HONG S, QIN C, LAI X, et al

State-of-health estimation and remaining useful life prediction for lithium-ion batteries based on an improved particle filter algorithm

[J]. Journal of Energy Storage, 2023, 64: 107179

DOI:10.1016/j.est.2023.107179      [本文引用: 1]

XU X, TANG S, YU C, et al

Remaining useful life prediction of lithium-ion batteries based on Wiener process under time-varying temperature condition

[J]. Reliability Engineering and System Safety, 2021, 214: 107675

DOI:10.1016/j.ress.2021.107675      [本文引用: 1]

CHEN Y, LIU D, DING X, et al

Variational encoding based on factorized temporal-channel fusion and feature fusion for interpretable remaining useful life prediction

[J]. Advanced Engineering Informatics, 2024, 59: 102316

DOI:10.1016/j.aei.2023.102316      [本文引用: 1]

莫仁鹏, 司小胜, 李天梅, 等

基于多尺度特征与注意力机制的轴承寿命预测

[J]. 浙江大学学报: 工学版, 2022, 56 (7): 1447- 1456

[本文引用: 1]

MO Renpeng, SI Xiaosheng, LI Tianmei, et al

Bearing life prediction based on multi-scale features and attention mechanism

[J]. Journal of Zhejiang University: Engineering Science, 2022, 56 (7): 1447- 1456

[本文引用: 1]

ZHANG Q, LIU Q, YE Q

An attention-based temporal convolutional network method for predicting remaining useful life of aero-engine

[J]. Engineering Applications of Artificial Intelligence, 2024, 127: 107241

DOI:10.1016/j.engappai.2023.107241      [本文引用: 6]

JIN R, ZHOU D, WU M, et al

An adaptive and dynamical neural network for machine remaining useful life prediction

[J]. IEEE Transactions on Industrial Informatics, 2024, 20 (2): 1093- 1102

DOI:10.1109/TII.2023.3254656      [本文引用: 2]

LIU L, SONG X, ZHOU Z

Aircraft engine remaining useful life estimation via a double attention-based data-driven architecture

[J]. Reliability Engineering and System Safety, 2022, 221: 108330

DOI:10.1016/j.ress.2022.108330      [本文引用: 3]

LI H, ZHAO W, ZHANG Y, et al

Remaining useful life prediction using multi-scale deep convolutional neural network

[J]. Applied Soft Computing, 2020, 89: 106113

DOI:10.1016/j.asoc.2020.106113      [本文引用: 1]

ZHU J, MA J, WU J

A regularized constrained two-stream convolution augmented Transformer for aircraft engine remaining useful life prediction

[J]. Engineering Applications of Artificial Intelligence, 2024, 133: 108161

DOI:10.1016/j.engappai.2024.108161      [本文引用: 3]

ZHANG Y, SU C, WU J, et al

Trend-augmented and temporal-featured Transformer network with multi-sensor signals for remaining useful life prediction

[J]. Reliability Engineering and System Safety, 2024, 241: 109662

DOI:10.1016/j.ress.2023.109662      [本文引用: 1]

LIN L, WU J, FU S, et al

Channel attention & temporal attention based temporal convolutional network: a dual attention framework for remaining useful life prediction of the aircraft engines

[J]. Advanced Engineering Informatics, 2024, 60: 102372

DOI:10.1016/j.aei.2024.102372      [本文引用: 4]

袁烨, 黄虹, 程骋, 等

基于特征注意力机制的GRU-GAN航空发动机剩余寿命预测

[J]. 中国科学: 技术科学, 2022, 52 (1): 198- 212

DOI:10.1360/SST-2021-0434     

YUAN Ye, HUANG Hong, CHENG Cheng, et al

Remaining useful life prediction of the aircraft engine based on the GRU-GAN network with a feature attention mechanism

[J]. Scientia Sinica: Technologica, 2022, 52 (1): 198- 212

DOI:10.1360/SST-2021-0434     

SONG Y, GAO S, LI Y, et al

Distributed attention-based temporal convolutional network for remaining useful life prediction

[J]. IEEE Internet of Things Journal, 2021, 8 (12): 9594- 9602

DOI:10.1109/JIOT.2020.3004452      [本文引用: 1]

CHOLLET F. Xception: deep learning with depthwise separable convolutions [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 1800–1807.

[本文引用: 2]

MO Y, WU Q, LI X, et al

Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit

[J]. Journal of Intelligent Manufacturing, 2021, 32 (7): 1997- 2006

DOI:10.1007/s10845-021-01750-x      [本文引用: 1]

XU Q, CHEN Z, WU K, et al

KDnet-RUL: a knowledge distillation framework to compress deep neural networks for machine remaining useful life prediction

[J]. IEEE Transactions on Industrial Electronics, 2022, 69 (2): 2022- 2032

DOI:10.1109/TIE.2021.3057030      [本文引用: 1]

HUANG C G, HUANG H Z, LI Y F

A bidirectional LSTM prognostics method under multiple operational conditions

[J]. IEEE Transactions on Industrial Electronics, 2019, 66 (11): 8792- 8802

DOI:10.1109/TIE.2019.2891463      [本文引用: 1]

CHEN W, LIU C, CHEN Q, et al

Multi-scale memory-enhanced method for predicting the remaining useful life of aircraft engines

[J]. Neural Computing and Applications, 2023, 35 (3): 2225- 2241

DOI:10.1007/s00521-022-07378-z      [本文引用: 2]

GUO J, LEI S, DU B

MHT: a multiscale hourglass-transformer for remaining useful life prediction of aircraft engine

[J]. Engineering Applications of Artificial Intelligence, 2024, 128: 107519

DOI:10.1016/j.engappai.2023.107519      [本文引用: 2]

/