浙江大学学报(工学版), 2019, 53(11): 2154-2162 doi: 10.3785/j.issn.1008-973X.2019.11.013

计算机技术与控制工程

基于低维约束嵌入的分布参数系统建模

周朝君,, 黄明辉, 陆新江,

Modeling for distributed parameter systems based on low-dimensional constrained embedding

ZHOU Chao-jun,, HUANG Ming-hui, LU Xin-jiang,

通讯作者: 陆新江,男,教授. orcid.org/0000-0002-5100-1092. E-mail: luxj@csu.edu.cn

收稿日期: 2018-07-30  

Received: 2018-07-30  

作者简介 About authors

周朝君(1994—),男,硕士生,从事数据建模研究.orcid.org/0000-0002-6768-3163.E-mail:jun9196@csu.edu.cn , E-mail:jun9196@csu.edu.cn

摘要

针对分布参数系统受时空耦合特性、强非线性、复杂的能量交换以及未知因素等的影响,难以精确建模的问题,提出基于数据驱动的低维约束嵌入建模方法. 以数据流形分布为基础,考虑数据局部非线性和全局非线性;通过非线性映射和流形学习方法,保证数据局部流形结构的非线性联系;约束非局部流形结构,避免数据在低维空间内发生混乱现象;采用最小二乘支持向量机建立时序模型,获得时间方向上的动态特征,并通过时空整合,重构系统完整的预测模型. 热过程的实验结果表明,所提出的方法能有效建立强非线性分布参数系统的模型,与传统方法对比,具有更强的建模性能与预测能力.

关键词: 分布参数系统 ; 强非线性 ; 流形学习 ; 核方法 ; 低维约束 ; 最小二乘支持向量机

Abstract

It is difficult to establish a precise model for the distributed parameter systems (DPSs), which is affected by spatiotemporal coupling characteristic, strong nonlinearity, complex energy exchange and unknown factors. Aiming at this problem, a data-driven based low-dimensional constrained embedding modeling method was proposed. The data local nonlinearity and the global nonlinearity were considered based on the data manifold distribution. By nonlinear mapping and manifold learning methods, the nonlinear connection of local manifold structure was guaranteed and the nonlocal manifold structure was constrained to avoid data chaos in the low-dimensional space. The least squares support vector machine (LS-SVM) was used to establish the temporal series model to obtain the dynamic features in time direction. A complete predictive model of the system was reconstructed by spatiotemporal integration. Experimental results of thermal process show that the proposed method can effectively establish a model of strongly nonlinear DPS. Compared with the traditional method, the proposed method has stronger modeling performance and predictive ability.

Keywords: distributed parameter system ; strong nonlinearity ; manifold learning ; kernel method ; low-dimensional constraint ; least squares support vector machine

PDF (1221KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

周朝君, 黄明辉, 陆新江. 基于低维约束嵌入的分布参数系统建模. 浙江大学学报(工学版)[J], 2019, 53(11): 2154-2162 doi:10.3785/j.issn.1008-973X.2019.11.013

ZHOU Chao-jun, HUANG Ming-hui, LU Xin-jiang. Modeling for distributed parameter systems based on low-dimensional constrained embedding. Journal of Zhejiang University(Engineering Science)[J], 2019, 53(11): 2154-2162 doi:10.3785/j.issn.1008-973X.2019.11.013

许多工业系统的输入输出和过程参数的状态变化除了与时间有关,还与空间位置有关[1],例如热过程、锂电池充放电过程等[2-3]. 这种系统被称为分布参数系统(distributed parameter system, DPS),一般由偏微分方程(partial differential equation, PDE)描述其动态行为[4]. 分布参数系统的输出状态是无限维的,但在工业过程中不可能设置无限个传感器获取其动态特性[5]. 输出在时间和空间上的相互联系又相互独立,无限维特性、时空耦合特性、非线性特性,以及能量交换、扰动等不确定因素,导致此类系统的精确建模面临较大的挑战.

目前,针对分布参数系统的建模,已有大量研究. 针对分布参数系统的PDE结构已知,而参数未知的情况,一般将PDE结构转化为常微分方程(ordinary differential equation, ODE),利用系统的已知条件辨识未知参数. 常用手段有谱方法[6]、格林函数法[7]以及有限差分法[8]等. 但是,在实际工业过程中,无法收集到足以描述系统PDE结构的有效信息[9]. 以ODE结构建立的系统模型,在工业过程的实时应用、控制器设计上也存在一定缺陷[10].

基于数据驱动的建模方法较适用且高效. 典型数据驱动方法的建模手段是首先获得具备空间特征的基函数. 如基于Karhunen-Loève(KL)变换[11]和基于奇异值分解(singular value decomposition, SVD)[12]的建模方法,经时空分离后获得空间基函数的主成分模型,然后采用神经网络[13]、支持向量机[14]以及模糊方法[15]、Wiener模型[16]等建立时序模型. Zhang等[17]基于主成分分析方法(principal component analysis, PCA)、混合自回归外生(autoregressive exogenous, ARX)和径向基函数(radial basis function, RBF)神经网络模型建立分布参数系统模型,取得了一定的效果. 这些方法实质上是线性降阶手段,并没有考虑系统的强非线性特性,因此只适用于线性或弱非线性系统. 近年来,非线性PCA方法[18]和时空支持向量机[19-21]被用于建立非线性的分布参数系统,取得了一定的效果. 对于强非线性的分布参数系统,基于局部线性嵌入(locally linear embedding, LLE)[22-24]算法的建模方法以数据局部线性关系来表征高维数据的非线性特性,因此具有更好的建模效果. 但是该方法不适用于局部非线性流形结构的系统,而且低维空间的非局部流形结构与局部流形结构可能重叠在一起,导致数据发生混乱,以至于无法完整保留数据的本质特征.

本研究提出基于低维约束嵌入的分布参数系统建模方法. 与传统建模方法不同,本研究通过非线性映射数据的方法,将数据的非线性关系问题转化为线性求解问题,采用流形学习方法,在保持数据局部流形结构的同时,约束数据非局部流形结构在低维嵌入的位置,避免数据产生混乱现象,从而完整地保留数据的本质特征,获得代表空间特征的基函数. 采用最小二乘支持向量机(least squares support vector machine, LS-SVM)建立系统的时序模型,通过时空整合重构完整的预测模型. 最后,通过对加热炉的热过程进行建模以验证所提出建模方法的有效性.

1. 问题描述

典型的分布参数系统可由以下偏微分方程描述:

${{\partial {{y}}} / {\partial t}} = \varLambda ({\rho _s}{{y}}) + {{Q}}(s,t) + {{F}}(s)\cdot{{u}}(t)\;.$

复杂的边界条件以及初始条件分别为

$\;\kappa {{y}}\left| {_{s = {s_0}}} \right. + v\partial y/\partial s \left| {_{s = {s_0}}} \right. + \upsilon {{{\partial ^2}{{y}}} / {\partial {s^2}}}\left| {_{s = {s_0}} = \theta (} \right.{{y}}({s_0},t)),$

${{y}}(s,t)\left| {_{t = 0} = {{{y}}_0}(s,0)\;} \right..$

式中: ${{u}}(t) = {[{u_1},{u_2},{u_3}, \cdots ]^{\rm T}}$为系统的输入信号, ${{y}} = {{y}}(s,t)$为系统在t时刻在位置s的分布输出, $\varLambda \in ({\partial / {\partial s}},{{{\partial ^2}} / {\partial {s^2}}}, \cdots )$为不同阶次的微分算子, ${\rho _s}$为在位置s处与输出相关的系数, ${{F}}(s)$为与系统输入相关的函数, ${{Q}}(s,t)$为系统由于噪声状态、能量交换产生的未知因素, $\theta ( \cdot )$为边界未知的非线性因素, $\kappa $$\nu$$\upsilon $为边界系数, ${{{y}}_0}(s,0)$为系统初始状态, ${s_0}$为系统边界位置.

根据式(1)~(3),分布参数系统的建模面临以下挑战:1)系统的输出状态具有时空耦合特性和无限维特性;2)非线性特性不仅存在于空间特征上,还存在于时间尺度方向上;3)系统状态受复杂边界条件、初始条件的影响;4)在系统中存在不可预知的因素.

根据时空分离理论,基于数据驱动的分布参数系统建模一般可以将输出分解为一系列无穷多个正交向量 $\left\{ {{\varphi _i}(s)} \right\}_{i = 1}^\infty $(空间基函数)与时间系数 $\left\{ {{\alpha _i}(t)} \right\}_{i = 1}^\infty $的组合:

$y(s,t) = \sum\limits_{i = 1}^\infty {{\alpha _i}(t){\varphi _i}(s)\;} .$

在实际工业过程中,不可能设置无穷多个传感器,因此通常用一个有限维的主成分模型替代原来的系统:

${y_n}(s,t) = \sum\limits_{i = 1}^n {{\alpha _i}(t){\varphi _i}(s)} \approx y(s,t)\;.$

目前存在的数据建模方法,如KL变换、SVD方法、LLE算法等在处理强非线性问题上均有不足. 基于KL变换和SVD方法的分布参数系统的建模过程本质上是线性处理方法,只适用于线性或弱非线性系统;基于LLE算法的建模缺乏对局部数据的非线性联系以及非局部结构的约束限制的考虑. 针对以上问题,提出新的建模方法,对于分布参数系统的模型预测控制,具有重大意义.

2. 建模策略

由于复杂的能量交换问题,如热辐射、化学反应过程等,分布参数系统具有强非线性特性,具体表现为每一时刻的数据与其邻域数据之间存在非线性联系,如图1所示. 图中,N $({{{y}}_i})$为系统在i时刻的输出 ${{{y}}_i}$的邻域构成. LLE算法利用数据局部线性重构的方法表征全局的非线性特性,但是在数据的局部流形结构中,线性相关并不能代表分布参数系统中邻域数据点之间的关系. 基于以上问题,本研究提出基于低维约束嵌入的分布参数系统建模方法,将时空数据通过非线性映射函数映射到高维的核空间内. 在高维空间内提取数据局部结构的非线性信息,通过流形学习的方法学习时空数据中的空间特征.

图 1

图 1   数据间的非线性联系

Fig.1   Nonlinear relation between data


传统的流形学习方法LLE算法只考虑数据的局部流形结构,未对数据的非局部结构进行约束,导致数据的非局部结构与局部结构在低维空间里的位置可能产生重叠. 为了克服这种现象,所提出的低维约束嵌入方法,在从高维核空间保留其局部流形结构到低维嵌入空间的同时,约束其非局部流形结构,以区分数据点的局部流形结构与非局部流形结构. 通过离散数据点的非局部流形结构,分离不同数据点的局部流形结构,避免在不同数据点间的局部流形结构可能发生的重叠现象,使数据的本质更全面地保留在低维空间中,如图2所示.

图 2

图 2   低维约束嵌入建模策略的空间基函数学习过程

Fig.2   Learning process for spatial basis functions of low-dimensional constrained embedding modeling strategy


在确定空间基函数之后,须确定低阶的时序模型. 分布参数系统的强非线性不仅体现在空间特征上,还体现在时间尺度上,所以要求时间系数的模型具有良好的非线性逼近能力. LS-SVM能逼近任意非线性系统,将非线性问题转化为线性问题,对于建立非线性的时间模型具有独特优势.

基于时空模型的分解整合过程,提出基于低维约束嵌入的时空建模方法,总建模框架如图3所示,关键点如下:1)通过非线性投影函数,在高维空间内根据局部流形结构约束以及非局部流形结构约束,获取数据的低维嵌入,通过数据组合得到能代表分布参数系统强非线性的空间基函数 $\left\{ {{{ \varphi} _i}(s)} \right\}_{i = 1}^n$;2)基于所得到的空间基函数,采用LS-SVM方法训练时序模型,辨识相关的模型参数,建立时间系数模型 ${ {\alpha}}(t) = {[{\alpha_1}(t),{\alpha_2}(t),\cdots]^{\rm T}}$,由此获取时间系数模型的动态特征;3)整合空间基函数以及时间系数并进行重构,得到完整的时空预测模型.

图 3

图 3   低维约束嵌入方法的时空建模框架

Fig.3   Spatiotemporal modeling framework of low-dimensional constrained embedding method


基于数据驱动的低维约束嵌入建模方法,既保持了数据局部流形结构的非线性联系,还约束了低维空间下的局部流形结构与非局部流形结构,因此该方法能保留数据的全局流形结构,有效地建立强非线性的分布参数系统模型.

2.1. 空间特征学习

将原始的时空数据通过非线性映射函数 ${{\phi}} $,映射到高维的核空间内,因此数据训练集从 $\left\{ {{{{y}}_i}} \right\}_{i = 1}^L$转化成 $\left\{ {{{\phi}} ({{ y}_i})} \right\}_{i = 1}^L$L为训练集长度. 高维空间内任意2个时刻数据之间距离的表达式为

$\begin{split} {d_{jl}} = &{\rm dist}\;({{\phi}} ({{ y}_j}),{{\phi}} ({{ y}_l})) = {\left( {{{\left\| {{{\phi}} ({{ y}_j}) - {{\phi}} ({{ y}_l})} \right\|}^2}} \right)^{1/2}} =\\ & {\left( {{K_{jj}} - 2{K_{jl}} + {K_{ll}}} \right)^{1/2}}\;, \end{split} $

${K_{jl}} = K({{y}_j},{{y}_l}) = {{\phi}} {({{ y}_j})^{\rm T}}{{\phi}} ({{ y}_l})\;.$

式中: ${ y}_i$$t = t_i$时不同s对应的 ${ y}(s,t)$所组成的向量.

通过KNN方法计算 ${{\phi}} ({{ y}_j})$k个最近邻域点,将k个邻域点通过线性组合重构 ${{\phi}} ({{ y}_j})$,即

${{\phi}} ({{ y}_j}) = \sum\limits_{l = 1}^k {{{{\omega}} _{jl}}{{\phi}} ({{ y}_l})} .$

式中: ${\omega _{jl}}$${{\phi}} ({{ y}_l})$关于 ${{\phi}} ({{ y}_j})$的重构权重. 若 ${{\phi}} ({{ y}_l})$不是 ${{\phi}} ({{ y}_j})$的邻域构成,对应的 ${\omega _{jl}}$=0, ${{W}} = \left\{ {{\omega _{jl}}} \right\}_{j = 1,l = 1}^{L,k}$可以扩展成稀疏矩阵. 优化权重的求解可以通过最小化重构误差得到:

$\!\left. {\begin{gathered} \min \;\;\varepsilon ({{{W}}_j}) \!= \!{\sum\limits_{j = 1}^L {\left\| {{{\phi}} ({{ y}_j}) - \sum\limits_{l = 1}^k {{\omega _{jl}}{{\phi}} ({{ y}_l})} } \right\|} ^2} \!=\! {{W}}_j^{\rm T}{{ C}^j}{{{W}}_j} ;\\ {\rm s.t.}\;\;\;\sum\limits_{l = 1}^k {{\omega _{jl}} = 1} \;. \\ \end{gathered} } \right\}\!\!\!$

式中: ${ C}^j $为关于 ${{\phi}} ({{y}_j})$的局部协方差矩阵.

$\begin{split} & { C}_{rc}^j = {({{\phi}} ({{ y}_j}) - {{\phi}} ({{ y}_r}))^{\rm T}}({{\phi}} ({{ y}_j}) - {{\phi}} ({{ y}_c})) =\\ & \qquad {K_{jj}} - {K_{jr}} - {K_{jc}} + {K_{rc}}; \; r,c = 1,2, \cdots ,k\;. \end{split} $

设拉格朗日乘子为 $\chi $,建立拉格朗日乘子方程:

$L({\chi _j},{{{W}}_j}) = {{W}}_j^{\rm T}{{ C}^j}{{{W}}_j} + {\chi _j}({{W}}_j^{\rm T}{{ e}_1} - 1)\;.$

式中, ${ e}_1=[1,1,\cdots]^{\rm T} $. 对未知变量进行求导并令其为零,得到:

$\left. \begin{aligned} & {{\partial L} / {\partial {\chi _j}}} = {{W}}_j^{\rm T}{{{e}}_1} - 1 = 0, \\ & {{{\partial L} / {\partial {{{W}}_j}}} = 2{{{W}}_j}{{ C}^j} + {\chi _j}{{{e}}_1} = 0\;.} \end{aligned} \right\}$

可解出:

${{{W}}_j} = \frac{{{({{{C}}^j})}^{ - 1}}{{{e}}_1}} {{{{e}}_1}^{\rm T}{{({{{C}}^j})}^{ - 1}}{{{e}}_1}}.$

映射前后的高维 ${{\phi}} ({{ y}_j})$和低维 ${{{Y}}_j}$,将继续保持相同的局部流形结构. 此时的优化策略为

$\min \;\;{\varepsilon _1}({{Y}}) = {\sum\limits_{j = 1}^L {\left\| {{{{Y}}_j} - \sum\limits_{l = 1}^k {{\omega _{jl}}{{{Y}}_l}} } \right\|} ^2}\;\;.$

可以进行如下化简:

$\begin{split} \min \;{\varepsilon _1}({{Y}}) =& {\sum\limits_{j = 1}^L {\left\| {{{{Y}}_j} - \sum\limits_{l = 1}^k {{\omega _{jl}}{{{Y}}_l}} } \right\|} ^2} =\\& {\sum\limits_{j = 1}^L {\left\| {{{Y}}{{{I}}_j} - {{Y}}{{{W}}_j}} \right\|} ^2} = {\rm trace}\;({{YM}}{{{Y}}^{\rm T}})\;. \end{split} $

式中: ${{I}}$为单位矩阵, ${{M}} = {({{I}} - {{W}})^{\rm T}}({{I}} - {{W}})$.

式(14)的优化方程保证了从高维核空间到低维嵌入转化时的数据局部流形结构. 基于非局部流形结构的约束,通过最大化数据与其非局部结构之间的距离来实现,建立以下约束方程:

$\max \;\;{\varepsilon _2}({{Y}}) = \;{\sum\limits_{i = 1}^L {\sum\limits_{j = k + 1}^L {({{{Y}}_i} - {{{Y}}_j})^2} } }\;.$

定义 ${{V}}$为关于 ${{W}}$的矩阵:

$V_{ij}^k = \left\{ {\begin{array}{*{20}{c}} {0,\;\;\;\;\;\;\;\;{{{Y}}_j} \in {N}({{{Y}}_i})}; \\ {1,\;\;\;\;\;\;\;\;{{{Y}}_j} \notin {N}({{{Y}}_i})} . \end{array}} \right.$

式(16)可以改写为:

${\varepsilon _2}({{Y}}) = {\sum\limits_{i = 1}^L {\sum\limits_{j = 1}^L {({{{Y}}_i} - {{{Y}}_j})^2} } }{V_{ij}}\;.$

定义 ${{D}}$为对角矩阵:

${D_{ii}} = \sum\limits_{i = 1}^L {{V_{ij}}} + \sum\limits_{j = 1}^L {{V_{ij}}} \;\;.$

化简式(16),可以得到:

${\varepsilon _2}({{Y}}) = {\sum\limits_{i = 1}^L {\sum\limits_{j = 1}^L {({{{Y}}_i} - {{{Y}}_j})^2} } }{V_{ij}} ={\rm trace}\;({{Y}}{{{L}}_{{k}}}{{{Y}}^{\rm T}}),$

${{{L}}_{{k}}} = {{D}} - 2{ V}.$

基于目标优化方程式(15)、(20),构建局部以及非局部约束的总优化方程:

$\min \;\;\varepsilon ({{Y}}) ={\rm trace}\; \left[ {\left({{{YM}}{{{Y}}^{\rm T}}}\right) \bigg/ \left({{{Y}}{{{L}}_{{k}}}{{{Y}}^{\rm T}}}\right)} \right].$

进行求导可得:

$\begin{split}{{{\rm d}(\varepsilon ({{Y}}))} / {{\rm d}{{Y}}}} =& 2{{MY}}{({{Y}}{{{L}}_{{k}}}{{{Y}}^{\rm T}})^{ - 1}} - 2{\rm trace}\; \left({{{YM}}{{{Y}}^{\rm T}}}\right)\bigg/\\[-3pt] & \left({{{Y}}{{{L}}_{{k}}}{{{Y}}}}\right)^{\rm T}\left({{{Y}}{{{L}}_{{k}}}{{{Y}}^{\rm{T}}}}\right)^{\rm -1}{{{L}}_{k}}{{Y}}.\end{split}$

令其导数为零:

$\begin{gathered} {{MY}} = {\rm trace}\; \frac{{{YM}}{{{Y}}^{\rm T}}} {{{Y}}{{{L}}_{{k}}}{{{Y}}^{\rm T}} }{{{L}}_{{k}}}{{Y}} = \varepsilon ({{Y}}){{{L}}_{{k}}}{{Y}} = \lambda {{{L}}_{{k}}}{{Y}}\;. \end{gathered} $

考虑了分布参数系统数据结构中局部与非局部关系的优化目标(式(22)),可以转化为求解式(24)的广义特征值特征向量问题,即低维输出 ${{Y}}$为式(24)中除0特征值之外的其余n个最小特征值对应的特征向量.

维度n可通过以下公式确定:

${\lambda _{n + 1}}/{\lambda _n} = o(\xi )\;.$

式中: $\xi = {\lambda _1}/{\lambda _{n + 1}}$,为很小的值; $\lambda_n $为特征值.

通过低维嵌入与时空数据的线性重构,可以得到空间基函数:

${{ \varphi} _i}(s) = \sum\limits_{j = 1}^L {{Y_{ij}}} {{ y}_j}\;;\;\;i = 1,2, \cdots ,n\;.$

式中: ${{\varphi }_{i}}\left( s \right) $为不同s对应的 ${{\varphi }_{i}}\left( s \right) $所组成的向量.

2.2. 时序模型建立

在获取空间基函数之后,时间系数模型 $\left\{ {{\alpha _i}({t_j})} \right\}_{j = 1,\;i = 1}^{L,n}$可通过将时空输出 ${{y}}(s,t)$投影到空间基函数 ${{\varphi }}(s)$上实现:

${\alpha _i}({t_j}) = \left\langle {{\varphi _i}(s),{{y}}(s,{t_j})} \right\rangle \;;\;\;i = 1,2, \cdots ,n.$

式中: $\left\langle {\; \cdot , \cdot \;} \right\rangle $代表内积计算.

采取LS-SVM训练数据 $\left\{ {{\alpha _i}({t_j})} \right\}_{j = 1,i = 1}^{L,n}$,以获取系统的时间模型. 训练数据的拟合函数表达式为

${{\alpha }}({t_j}) = {{\omega }}_{\rm{s}}^{\rm T}\psi ({{z}}({t_j})) + {{ b}_{\rm{s}}}.$

式中: ${ z}(t_j) $为LS-SVM的输入,经LS-SVM处理后得到 $\psi({ z}(t_j)) $${\omega _{\rm{s}}}$${{ b}_{\rm{s}}}$分别为权重系数和偏置项,其优化目标为

$\left. {\begin{gathered} \min \;J({{{\omega }}_{\rm{s}}},{ e}) = \frac{1}{2}{{\omega }}_{{\rm{s}}}^{\rm T}{{{\omega }}_{{\rm{s}}}} + \frac{C}{2}\sum\limits_{j = 1}^L {{{{e}}_j}^2} ;\\[-2pt] {\rm s.t.}\;\;{{\alpha }}({t_j}) = {{\omega }}_{\rm{s}}^{\rm T}\psi ({{z}}({t_j})) + {{ b}_{\rm{s}}} + {{ e}_j}\;,\;j = 1, \cdots ,L. \\ \end{gathered}} \right\}\!\!\!\! $

其中,C为惩罚因子,e为建模误差.

根据分布参数系统性质,LS-SVM的模型输出 ${{\alpha }}({t_j}) = {[{\alpha _1}({t_j}),{\alpha _2}({t_j}), \cdots ,{\alpha _n}({t_j})]^{\rm T}}$不仅与其前p个时刻的系统输出有关,还与前q个时刻的系统输入有关. 所以定义时间模型的输入为

$ {{z}}({t_j}) = {[{{\alpha }}({t_{j - 1}}), \cdots ,{{\alpha }}({t_{j - p}}),{{U}}({t_j}),{{U}}({t_{j - 1}}), \cdots ,{{U}}({t_{j - q}})]^{\rm T}}\;.$

式中: ${{U}}({t_j}) = {[{u_1}({t_j}),{u_2}({t_j}), \cdots ,{u_m}({t_j})]^{\rm T}}$为系统的输入,m为系统输入信号的个数.

建立拉格朗日方程:

$\begin{split} L({{{\beta }}_{\rm{s}}},{{ b}_{\rm{s}}}) =& \frac{1}{2}{{\omega }}_{{\rm{s}}}^{\rm T}{{{\omega }}_{{\rm{s}}}} + \frac{C}{2}\sum\limits_{j = 1}^L {{{ e}_j}^2} + \\[-6pt] &\sum\limits_{j = 1}^L {{\beta _{\rm{s}j}}} ({{\omega }}_{{\rm{s}}}^{\rm T}{ \psi} ({{z}}({t_j})) + {{ b}_{\rm{s}}} + {{ e}_j} - {{\alpha }}({t_j})). \end{split} $

式中: ${{{\beta}} _{\rm s}}$为拉格朗日乘子, ${\beta _{{\rm s}j}}$为其第j个分量. 经求导后优化方程转化为

$\left[ {\begin{array}{*{20}{c}} {\bf 0}&{{{e}}_1^{\rm T}} \\ {{{{e}}_1}}&{{{{K}}_{{\rm s}}} + {C^{ - 1}}{{I}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{{ b}_{\rm s}}} \\ {{\beta _{\rm s}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\bf 0} \\ {{{\alpha }}({t_j})} \end{array}} \right]\;.$

其中,核函数矩阵表达式为

${{{K}}_{{\rm s}}} = \left[ {\begin{array}{*{20}{c}} {k({{z}}({t_1}),{{z}}({t_1}))}& \cdots &{k({{z}}({t_L}),{{z}}({t_1}))} \\ \vdots & & \vdots \\ {k({{z}}({t_1}),{{z}}({t_L}))}& \cdots &{k({{z}}({t_L}),{{z}}({t_L}))} \end{array}} \right]\;.$

通过求解式(32),求出 ${{{\beta}} _{\rm s}}$${{ b}_{\rm s}}$,得到最终的时间系数预测模型:

${{\hat \alpha }}({t_j}) = \sum\limits_{i = 1}^L {{\beta _{{\rm s}i}}} k({{z}}({t_i}),{{z}}({t_j})) + {{ b}_{\rm{s}}}.$

通过整合空间基函数(式(26))和时间系数模型(式(34)),得到最终的可以代表强非线性分布参数系统的时空预测模型:

${{\hat y}}(s,{t_j}) = \sum\limits_{i = 1}^n {{\varphi _i}} (s){\hat \alpha _i}({t_j})\;.$

3. 实验验证

通过对加热炉的热过程进行建模验证上述方法的有效性. 加热炉的热过程是典型的分布参数系统,为了实现对温度的精准控制,建立精确模型十分重要. 加热炉的外观如图4所示,由加热区域和控制区构成. 在加热区域的上、下、左、右4个方向上布置着4个加热电偶,每个电偶由电压独立驱动. 在实验过程中利用计算机控制信号的输入,通过温度传感器收集反馈的数据. 位于加热区域的12个温度传感器的位置分布如图5所示.

图 4

图 4   加热炉构成示意图

Fig.4   Schematic diagram of composition of heating furnace


图 5

图 5   12个温度传感器的位置分布

Fig.5   Position distribution of twelve temperature sensors


以随机信号作为系统输入,采样间隔为30 s,共采集来自12个传感器的1 204组实验数据. 如图6所示为控制信号 ${u_3}$的幅值. 为了验证模型的有效性,将12组时空数据分为2组:s3s6作为系统未训练的位置点,验证模型在未训练位置的预测性能;其余位置的前600组数据用作训练,后604组数据用作测试以验证模型在时序方向上的预测能力.

图 6

图 6   输入信号 ${u_3}$的幅值

Fig.6   Amplitude of input signal ${u_3}$


根据所提出的建模方法,将模型的维度降至5阶. 如图7所示为未训练点s3s6和训练点s8s11的实际温度与模型温度的对比. 图中,θ0为温度. 如图8所示为模型预测值与真实值的相对误差. 图中,s为传感器位置,RE为相对误差. 可以看出,本研究所提出的方法具有较强的建模预测能力.

图 7

图 7   不同位置处模型预测值与真实值的温度对比

Fig.7   Temperature contrast between model predictive value and real value in different positions


图 8

图 8   模型预测与真实值的相对误差

Fig.8   Relative error between model predictive and real values


为了更好地验证模型性能,采取基于KL变换和LLE算法的建模方法作为对比. 对于以上的建模方法,在获取空间基函数后,也采用LS-SVM进行时序动态建模,以均方根误差(root mean square error,RMSE)作为模型性能指标:

${\rm RMSE} = \left({\frac{1}{{NL}}{{\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^L {\left| {{ e}(x,t)} \right|^2} } }}}\right)^{1/2}.$

式中:NL分别为矩阵 ${ e}(x,t) $的行数、列数.

表1所示为基于3种建模方法的训练误差与测试误差的RMSE,如表2所示为3种方法在未训练位置点的温度预测能力. 可以看出,与KL变换和LLE算法对比,所提出的方法具有更高的建模精度与预测能力.

表 1   3种方法下模型的均方根误差

Tab.1  Root mean square errors of model by three methods

建模方法 建模误差 测试误差
KL 1.177 7 1.267 5
LLE 0.276 1 0.736 1
本研究方法 0.114 2 0.584 0

新窗口打开| 下载CSV


表 2   3种方法下未训练点的均方根误差

Tab.2  Root mean square errors of untrained points modeling by three methods

建模方法 RMSE
s3 s6
KL 2.361 4 0.744 6
LLE 0.631 9 0.643 7
本研究方法 0.457 1 0.562 8

新窗口打开| 下载CSV


4. 结 语

基于分布参数系统数据局部与非局部的优化问题,提出基于低维约束嵌入的建模方法. 考虑到空间特征的非线性,利用非线性映射和流形学习方法,保持空间特征的局部非线性与全局非线性联系;基于对数据非局部结构的优化,通过最大化样本与其非局部结构的距离,约束其在低维空间的位置,避免不同数据局部流形结构之间发生混乱现象,获得更切合于分布参数系统的空间基函数;采用LS-SVM建立时序方向上的非线性动态行为,通过时空整合完成强非线性分布参数系统的建模.

针对空间特征的非线性问题,传统建模方法存在一定的局限性. 低维约束嵌入方法除了考虑上述的因素,还优化数据非局部结构,相较于传统建模方法,从理论上具有更强的建模能力. 实验结果表明,所提出的方法能有效建立强非线性分布参数系统的模型,具备较好的模型预测性能. 与基于KL变换和LLE算法的建模方法相比,所提出的建模方法精度更高、预测更准确. 所提出的方法认为采集到的所有数据均有效,并未考虑到噪声的处理,但实际上,分布参数系统中噪声是普遍存在的. 因此,分布参数系统中噪声的预处理,是未来重要的研究方向之一.

参考文献

DONG J, WANG Q, WANG M, et al

Data-driven quality monitoring techniques for distributed parameter systems with application to hot-rolled strip laminar cooling process

[J]. IEEE Access, 2018, 6: 16646- 16654

DOI:10.1109/ACCESS.2018.2812919      [本文引用: 1]

AGUILAR-LEAL O, FUENTES-AGUILAR R Q, CHAIREZ I, et al

Distributed parameter system identification using finite element differential neural networks

[J]. Applied Soft Computing, 2016, 43: 633- 642

DOI:10.1016/j.asoc.2016.01.004      [本文引用: 1]

PANCHAL S, DINCER I, AGELIN-CHAAB M, et al

Thermal modeling and validation of temperature distributions in aprismatic lithium-ion battery at different discharge rates and varying boundary conditions

[J]. Applied Thermal Engineering, 2016, 96: 190- 199

DOI:10.1016/j.applthermaleng.2015.11.019      [本文引用: 1]

WANG J W, WU H N

Exponential pointwise stabilization of semi-linear parabolic distributed parameter systems via the Takagi-Sugeno fuzzy PDE model

[J]. IEEE Transactions on Fuzzy Systems, 2016, 26 (1): 155- 173

[本文引用: 1]

ALESSANDRI A, GAGGERO M, ZOPPOLI R

Feedback optimal control of distributed parameter systems by using finite-dimensional approximation schemes

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23 (6): 984- 996

DOI:10.1109/TNNLS.2012.2192748      [本文引用: 1]

DENG H, LI H X, CHEN G R

Spectral-approximation-based intelligent modeling for distributed thermal processes

[J]. IEEE Transactions on Control Systems Technology, 2005, 13 (5): 686- 700

DOI:10.1109/TCST.2005.847329      [本文引用: 1]

BARONI S, GIANNOZZI P, TESTA A

Green's-function approach to linear response in solids

[J]. Physical Review Letters, 1987, 58 (18): 1861- 1864

DOI:10.1103/PhysRevLett.58.1861      [本文引用: 1]

MITCHELL A R, GRIFFITHS D F. The finite difference method in partial differential equations [M]. London: Wiley, 1980.

[本文引用: 1]

LUO B, HUANG T W, WU H N, et al

Data-driven H infinity control for nonlinear distributed parameter systems

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26 (11): 2949- 2961

DOI:10.1109/TNNLS.2015.2461023      [本文引用: 1]

JIANG M, DENG H

Improved empirical eigenfunctions based model reduction for nonlinear distributed parameter systems

[J]. Industrial and Engineering Chemistry Research, 2013, 52 (2): 934- 940

DOI:10.1021/ie301179e      [本文引用: 1]

PARK H M, CHO D H

The use of the Karhunen-Loève decomposition for the modeling of distributed parameter systems

[J]. Chemical Engineering Science, 1996, 51 (1): 81- 98

DOI:10.1016/0009-2509(95)00230-8      [本文引用: 1]

GAY D H, RAY W H

Identification and control of distributed parameter systems by means of the singular value decomposition

[J]. Chemical Engineering Science, 1995, 50 (10): 1519- 1539

DOI:10.1016/0009-2509(95)00017-Y      [本文引用: 1]

ZHAO Z J, WANG X G, ZHANG C L, et al

Neural network based boundary control of a vibrating string system with input deadzone

[J]. Neurocomputing, 2018, 275: 1021- 1027

DOI:10.1016/j.neucom.2017.09.050      [本文引用: 1]

董辉, 傅鹤林, 冷伍明

支持向量机的时间序列回归与预测

[J]. 系统仿真学报, 2006, 18 (7): 1785- 1788

DOI:10.3969/j.issn.1004-731X.2006.07.014      [本文引用: 1]

DONG Hui, FU He-lin, LENG Wu-ming

Time series regression and prediction of support vector machine

[J]. Journal of System Simulation, 2006, 18 (7): 1785- 1788

DOI:10.3969/j.issn.1004-731X.2006.07.014      [本文引用: 1]

WANG J W, WU H N, YU Y, et al

Mixed H2/H fuzzy proportional-spatial integral control design for a class of nonlinear distributed parameter systems

[J]. Fuzzy Sets and Systems, 2017, 306: 26- 47

DOI:10.1016/j.fss.2016.01.004      [本文引用: 1]

QI C K, LI H X

A Karhunen-Loève decomposition based Wiener modeling approach for nonlinear distributed parameter processes

[J]. Industrial and Engineering Chemistry Research, 2008, 47 (12): 4184- 4192

DOI:10.1021/ie0710869      [本文引用: 1]

ZHANG R D, TAO J L, LU R Q, et al

Decoupled ARX and RBF neural network modeling using PCA and GA optimization for nonlinear distributed parameter systems

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29 (2): 457- 469

DOI:10.1109/TNNLS.2016.2631481      [本文引用: 1]

QI C K, LI H X

Nonlinear dimension reduction based neural modeling for distributed parameter processes

[J]. Chemical Engineering Science, 2009, 64 (19): 4164- 4170

DOI:10.1016/j.ces.2009.06.053      [本文引用: 1]

LU X J, ZOU W, HUANG M H

Robust spatiotemporal LS-SVM modeling for nonlinear distributed parameter system with disturbance

[J]. IEEE Transactions on Industrial Electronics, 2017, 64 (10): 8003- 8012

[本文引用: 1]

LU X J, ZOU W, HUANG M H

A novel spatiotemporal LS-SVM method for complex distributed parameter systems with applications to curing thermal process

[J]. IEEE Transactions on Industrial Informatics, 2016, 12 (3): 1156- 1165

LU X J, YIN F, HUANG M H

Online spatiotemporal LS-SVM modeling approach for time-vary distributed parameter processes

[J]. Industrial and Engineering Chemistry Research, 2017, 56 (25): 7314- 7321

DOI:10.1021/acs.iecr.7b00984      [本文引用: 1]

ROWEIS S, SAUL L

Nonlinear dimensionality reduction by locally linear embedding

[J]. Science, 2000, 290 (5500): 2323- 2326

[本文引用: 1]

MIAO A M , GE Z Q, SONG Z H, et al

Nonlocal structure constrained neighborhood preserving embedding model and its application for fault detection

[J]. Chemometrics and Intelligent Laboratory Systems, 2015, 142: 184- 196

XU K K, LI H X, YANG H D

Local properties embedding based nonlinear spatiotemporal modeling for Lithiumion battery thermal process

[J]. IEEE Transactions on Industrial Electronics, 2018, 65 (12): 9767- 9776

DOI:10.1109/TIE.2018.2818645      [本文引用: 1]

/