浙江大学学报(工学版), 2023, 57(11): 2160-2169 doi: 10.3785/j.issn.1008-973X.2023.11.003

计算机技术

基于物理信息神经网络的Burgers-Fisher方程求解方法

徐健,, 朱海龙,, 朱江乐, 李春忠

安徽财经大学 统计与应用数学学院,安徽 蚌埠 233030

Solution approach of Burgers-Fisher equation based on physics-informed neural networks

XU Jian,, ZHU Hai-long,, ZHU Jiang-le, LI Chun-zhong

School of Statistics and Applied Mathematics, Anhui University of Finance and Economics, Bengbu 233030, China

通讯作者: 朱海龙,男,教授,博士. orcid.org/0000-0002-6228-2571. E-mail: hai-long-zhu@163.com

收稿日期: 2023-01-31  

基金资助: 国家自然科学基金资助项目(72131006,71971001,71803001);安徽省教育厅高校自然科学研究重点资助项目(KJ2021A0473,KJ2021A0481,2022AH050608)

Received: 2023-01-31  

Fund supported: 国家自然科学基金资助项目(72131006,71971001,71803001);安徽省教育厅高校自然科学研究重点资助项目(KJ2021A0473,KJ2021A0481,2022AH050608)

作者简介 About authors

徐健(1982—),男,讲师,博士,从事智能系统与数据科学研究.orcid.org/0000-0003-1472-5910.E-mail:jianx1982@vip.163.com , E-mail:jianx1982@vip.163.com

摘要

为了探索基于物理信息的神经网络(PINN)求解微分方程时,物理信息在训练神经网络中的作用,提出将物理信息分为规律信息和数值信息2类,以阐释PINN求解微分方程的逻辑,以及物理信息的数据驱动方式和神经网络可解释性.设计基于2类信息的神经网络综合损失函数,并从训练采样和训练强度2方面建立信息的训练平衡度,从而利用PINN求解Burgers-Fisher方程. 实验表明,PINN能够获得较好的方程求解精度和稳定性;在求解方程的神经网络训练中,Burgers-Fisher方程的数值信息比规律信息能更好地促进神经网络逼近方程解;随着训练采样和迭代次数的增加,以及2类信息的平衡,神经网络训练效果得到提高;增加神经网络规模可以提高方程求解精度,但也增加了网络训练迭代时间,在固定训练时间下并非神经网络规模越大效果越好.

关键词: Burgers-Fisher方程 ; 基于物理信息的神经网络 ; 规律信息 ; 数值信息 ; 数据驱动 ; 可解释性 ; 训练平衡度

Abstract

Physical information was divided into rule information and numerical information, in order to explore the role of physical information in training neural network when solving differential equations with physics-informed neural network (PINN). The logic of PINN for solving differential equations was explained, as well as the data-driven approach of physical information and neural network interpretability. Synthetic loss function of neural network was designed based on the two types of information, and the training balance degree was established from the aspects of training sampling and training intensity. The experiment of solving the Burgers-Fisher equation by PINN showed that PINN can obtain good solution accuracy and stability. In the training of neural networks for solving the equation, numerical information of the Burgers-Fisher equation can better promote neural network to approximate the equation solution than rule information. The training effect of neural network was improved with the increase of training sampling, training epoch, and the balance between the two types of information. In addition, the solving accuracy of the equation was improved with the increasing of the scale of neural network, but the training time of each epoch was also increased. In a fixed training time, it is not true that the larger scale of the neural network, the better the effect.

Keywords: Burgers-Fisher equation ; physics-informed neural network ; regularity information ; numerical information ; data-driven ; interpretability ; training balance

PDF (1371KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

徐健, 朱海龙, 朱江乐, 李春忠. 基于物理信息神经网络的Burgers-Fisher方程求解方法. 浙江大学学报(工学版)[J], 2023, 57(11): 2160-2169 doi:10.3785/j.issn.1008-973X.2023.11.003

XU Jian, ZHU Hai-long, ZHU Jiang-le, LI Chun-zhong. Solution approach of Burgers-Fisher equation based on physics-informed neural networks. Journal of Zhejiang University(Engineering Science)[J], 2023, 57(11): 2160-2169 doi:10.3785/j.issn.1008-973X.2023.11.003

随着以数据为载体的智能时代的到来,数据驱动方法已经成功应用于多种科学和工程研究领域[1]. 这些领域的很多问题都可以被描述为某种微分方程模型,通常求解这些方程有理论解析解和数值逼近解2种思路. 然而,通过直接的理论推导获得解析解往往会因模型的复杂性而很难进行,如果对模型方程进行简化又会导致求解不够精确. 数值逼近的求解方法,则需要构造各种类型的解结构进行拟合,方程的求解结果也往往会受到这些构造方法特性的制约,特别是在逆问题、复杂几何和高维空间等问题上面临着较多挑战[2].

如果可以从微分方程自身的特征出发,将表现方程特征的先验物理信息,以数据驱动的方式融合进求解微分方程的神经网络的训练中,促使神经网络逼近相应的方程特征,从而得到能够描述这些先验物理信息的微分方程解. 这种求解微分方程的思路更加简单和直接,避免了模型简化和复杂构造带来的理论和误差问题,也提供了对方程物理信息的量化与认知.

基于物理信息的神经网络(physics-informed neural networks, PINN)是由Raissi等[3]在原有人工神经网络求解微分方程基础上拓展出的深度学习算法框架. PINN是由数据驱动的用于解决有监督学习任务的神经网络,能够在遵循训练数据样本分布规律的同时,得到符合微分方程所描述物理特征的方程解,从而适用于探索各类由微分方程表达的物理问题[4]. PINN相比于传统的神经网络,能够融合微分方程和物理问题的先验知识,在减少样本训练和提高模型泛化能力的同时,为神经网络提供某种程度的可解释性,从而在一定程度上打破神经网络的黑箱效应.

近年来,由于PINN具有计算速度快,精度高,仅从数据角度出发就可以利用神经网络直接拟合物理问题的优点,发展非常迅速,也为微分方程的数值求解开辟了一条新的途径. 很多学者利用PINN对一些偏微分方程(partial differential equation,PDE)进行了研究,Lu等[5]描述了PINN求解PDE的一般性步骤. Lin等[6]设计了两阶段PINN,在第2阶段将守恒量测量引入均方差损失中,结合第1阶段的PINN来训练神经网络,从而模拟Sawada-Kotera和Boussinesq-Burgers可积方程的局域波解. Lin等[7]还研究了基于非线性PDE解的初始和边界数据,利用Miura变换和PINN获得演化方程的数据驱动解,从而克服了基于隐式表达式求解的困难,并在KdV-mKdV方程的实验中发现了新的局部化波解:散焦mKdV方程的kink-bell类型解. Miao等[8]将PINN应用于高维系统,以解决具有2N+1个超平面边界的N+1维初始边界问题,并应用在2+1维可积Kadomtsev-Petviashvili(KP)方程和3+1维约化KP方程中,再现了这些可积系统的经典解. Pu等[9]从神经元局部自适应激活函数和L2范数的参数正则化2个角度来改进PINN,并在Yajima-Oikawa(YO)系统的正向问题中恢复了3种不同初始边值条件下的矢量流氓波(RW),还利用不同噪声强度的训练数据研究了YO系统的反向问题.

目前,PINN的研究多关注将数学特性和数学方法加持到求解PDE的过程中,对PINN中物理信息如何影响神经网络训练的分析较少,对求解PDE时PINN的微观表现,以及影响PINN工程化应用的神经网络规模在迭代次数和时间上对求解效果影响的讨论也较少. 本研究通过将方程的物理信息分为规律信息和数值信息2类,来分析从“physics-informed, PI”到“neural networks , NN”的数据驱动过程,给出PINN求解PDE的可解释性,并探索这2种信息对PINN求解PDE的影响. 同时,利用PINN求解Burgers-Fisher方程,在数值实验中分析PINN求解方程的微观和宏观误差与求解稳定性,以及2类信息对刻画方程的神经网络训练的影响,讨论神经网络规模在迭代次数和时间上对求解方程效果的影响.

1. 数学方程模型

微分方程可以描述众多科学和工程领域的物理问题,一些经典的方程已经成为相关问题的基础解决理论和分析方法. Burgers-Fisher方程可以描述各类反应系统,如对流传导和扩散传播中的非线性特征等,因此已经在物理、化学、生物、金融和社会学领域有了广泛的应用,具有较高的科学研究和工程应用价值[10]. 广义Burgers-Fisher方程被描述为如下形式的控制方程[11]

$ {u_t}+\alpha {u^\delta }{u_x} - {u_{xx}} = \beta u\left( {1 - {u^\delta }} \right). $

式中:x为空间变量, $ x \in \left[ {0,1.0} \right] $t为时间变量, $ t \geqslant 0 $;该方程描述了反应系统中的耗散转移和平流协调; $ u $为关于 $ x $$ t $的函数; $ {u_t} $$ u $关于 $ t $的一阶导数,刻画了物理量的时间变化率; $ {u_x} $$ {u_{xx}} $分别表示 $ u $关于 $ x $的一阶和二阶导数,描绘了物理量在不同位置的差异程度和变化情况;参数 $ \alpha $$ \;\beta $$ \delta $为具体常数. 不同的 $ \alpha $$ \;\beta $$ \delta $数值情况可以表达不同类型的方程,例如,当 $ \delta = 1 $$ \alpha = 0 $$\; \beta = 0 $$ \alpha = \beta = 0 $时,式(1)分别为Fisher方程、Burgers方程和线性扩散方程,因此对广义Burgers-Fisher方程的研究是非常有意义的. 很多研究已经从理论上给出了方程解析解[12-13],具体形式如下:

$ {u_{{\rm{Exa}}}}\left( {x,t} \right) = {\left[ {\frac{1}{2}+\frac{1}{2}\tanh\; \left( {{a_1}\left( {x - {a_2}t} \right)} \right)} \right]^{{1}/{\delta }}}. $

式(1)概括了方程描述的物理量 $ u $须遵循的整体形态,即当 $ x \in \left[ {0,1.0} \right] $$ t \geqslant 0 $时,变量 $ x $$ t $的二元函数 $ u $体现了式(1)表现的方程规律,是方程的内部条件物理信息. 当 $ t = 0 $时,可以得到方程的初始条件物理信息;当 $ x = 0 $$ 1.0 $时,则体现了方程的边界条件物理信息. 以上各类信息表达式如下:

$ u\left( {x,0} \right) = {\left[ {\frac{1}{2}+\frac{1}{2}\tanh \;\left( {{a_1}x} \right)} \right]^{{1}/{\delta }}}, $

$ u\left( {0,t} \right) = {\left[ {\frac{1}{2} - \frac{1}{2}\tanh \;\left( {{a_1}{a_2}t} \right)} \right]^{{1}/{\delta }}}, $

$ u\left( {1.0,t} \right) = {\left[ {\frac{1}{2}+\frac{1}{2}\tanh\; \left( {{a_1}\left( {1 - {a_2}t} \right)} \right)} \right]^{{1}/{\delta }}}. $

式中: $ {a_1} = \dfrac{{ - \alpha \delta }}{{2\left( {1+\delta } \right)}} $$ {a_2} = \dfrac{\alpha }{{1+\delta }}+\dfrac{{\beta \left( {1+\delta } \right)}}{\alpha } $.

2. 求解Burgers-Fisher方程相关方法

除了从理论上得到广义Burgers-Fisher方程的解析解(式(2))外,很多文献也都给出了各种数值求解方法,例如传统求解PDE的各种谱方法,包括Javidi[14]提出的谱配置法、Zhao等[15]提出的伪谱法、Golbabai等[16]提出的谱域分解法等. 近年来,也有很多学者提出各种求解方程的数值方法,Alotaibi等[17]利用改进的Adomian分解法(Adomian decomposition method,ADM)和同伦摄动法(Homotopy perturbation method,HPM)结合Yang变换来研究和分析广义Burgers-Fisher方程. 潘悦悦等[10]基于交替分段技术,将古典显式格式与隐式格式和Crank-Nicolson(C-N)格式恰当组合,提出求解Burgers-Fisher方程的改进交替分段Crank-Nicolson(improved alternate segment C-N,IASC-N)并行差分方法,并从理论上分析了IASC-N并行差分解的存在唯一性、稳定性和收敛性. 赵国忠等[18]构造了一类局部间断Petrov-Galerkin方法求解Burgers-Fisher方程,并针对2个特殊的案例进行包括稳定性在内的数值分析. Singa等[19]将四阶B样条配置方法应用在Burgers-Fisher方程的数值求解中,并证明了这种方法的收敛性,以及利用傅里叶级数分析了这种数值求解方法的稳定性.

传统的谱方法和有限差分方法都须对方程进行离散化和区域剖分,其他的数值求解方法也都要利用数学理论和设计特殊的结构来拟合微分方程,求解过程相对较复杂. PINN目前虽然在计算精度方面还不如一些传统的算法,但是可以直接从方程的特征入手,将物理信息通过采样的方式数据化,来驱动训练神经网络,从而有效地避免方程中的各类数学构造带来的复杂性,对解决高维问题和反问题有较大的优势,而且求解效率相对于传统算法也具有一定的优势. 因此,本研究以Burgers-Fisher方程为例,采用PINN建立数值化求解方程的神经网络,通过采样方程的物理信息数据来训练该神经网络逼近方程的解,并进一步探索不同的方程物理信息对神经网络训练的影响,以及神经网络规模对方程求解的影响.

3. 基于物理信息的神经网络求解方法

3.1. PINN求解过程及解释性

科学和工程领域的物理问题,可以抽象成以各类条件的先验物理信息为特征表现形式的微分方程,通过采样可以获得相应数据信息. PINN基于这些数据信息,以数据驱动的方式训练神经网络,以此将这些物理信息融合进神经网络中,得到微分方程的数值解[20]. 因此,PINN将微分方程的求解问题转换为训练神经网络逼近方程物理信息的优化问题,并在一定程度上解释了神经网络的物理意义[21],整体思路如图1所示.

图 1

图 1   PINN求解物理问题的示意图

Fig.1   Schematic of PINN dealing with physical problems


本研究认为PINN包含了物理信息“PI”和神经网络“NN”,体现了可认知和可测量2个方面. 可认知表现为方程的物理信息提供了神经网络需要逼近的目标,从而为神经网络提供了可解释性;可测量则是指对物理信息的数值化测度,即通过模拟、计算和实验等方式获得体现方程物理信息的数据,最终以数据驱动方式训练神经网络实现从“NN”向“PI”的逼近. 具体逻辑关系如图2所示.

图 2

图 2   PINN求解PDE的逻辑解释

Fig.2   Logical explanation of solving PDE with PINN


PDE的物理信息可以分为规律信息和数值信息2类,具体表现为描述微分方程特征的内部条件、初始条件和边界条件,以及方程的某些特殊条件. 规律信息是方程解的隐式表达,如由式(1)表示的方程内部条件或者其他体现方程规律的特殊条件,数值信息是方程解的显式表达,如由式(3)~(5)表示的方程初始条件、边界条件或者实验观测结果体现的特殊数值条件. 通过在这些规律信息和数值信息上的采样获得带有这些信息的数据,以拟合方程解的规律和数值为目标,进行数据驱动训练神经网络,使得神经网络逼近PDE的这些物理信息,从而获得体现PDE解的神经网络,最终利用这个神经网络来近似计算PDE的所有数值解.

方程的规律信息和数值信息是实现神经网络逼近方程物理信息的依据,可以通过设置不同的训练采样平衡度和训练强度平衡度,来控制这2种信息对神经网络训练的影响. 数据采样平衡度体现为在这2类信息上的不同采样规模,训练强度平衡度体现为这2类信息对训练神经网络的影响权重之比.

3.2. PINN求解Burgers-Fisher方程

根据以上论述,基于Lu等[5]提出的一般性PINN求解PDE的步骤,Burgers-Fisher方程求解过程可以表现为如图3所示. 将方程的物理信息分为由式(1)体现的方程内部条件规律信息,以及由式(3)~(5)体现的方程初始条件和边界条件数值信息. 构建一个在参数空间 $ \varTheta $下的神经网络来描述方程的解,通过将这个解的结果与2种信息结合来计算神经网络拟合物理信息的损失. 即在训练采样平衡度下获得不同条件的训练数据,依据训练强度平衡度构建基于不同条件的综合信息损失,通过多次训练迭代实现神经网络逼近方程的物理信息,从而得到在神经网络参数空间 $ \varTheta $下使得综合信息损失最小的Burgers-Fisher方程解 $ u\left( {x,t\left| \theta \right.} \right) $$ \theta \in \varTheta $,即最贴近方程物理信息的神经网络. 因此,这种将方程的规律信息和数值信息融合到神经网络中的方式,部分提供了神经网络的可解释性,也就是神经网络的综合信息损失体现为方程2种信息的满足程度,也就是神经网络能够逼近方程物理信息的程度.

图 3

图 3   PINN求解Burgers-Fisher方程过程示意图

Fig.3   Schematic of PINN solving Burgers-Fisher equation


整个过程具体表现如下. 创建2阶段的神经网络,在第1阶段设计由方程的2个变量 $ x $$ t $作为输入,以方程解 $ u\left( {x,t\left| \theta \right.} \right) $作为输出,在参数空间 $ \varTheta $下的神经网络. 第2阶段利用方程解 $ u\left( {x,t\left| \theta \right.} \right) $结合方程的2类物理信息:规律信息(内部条件)和数值信息(初始条件、边界条件),构建基于不同条件的神经网络综合信息损失函数 $ L\left( {\theta \left| \omega , \tau \right.} \right) $

$ \begin{split} L\left( {\theta \left| \omega , \tau \right.} \right) =\;& {\omega _{\text{I}}}\sum\nolimits_{{\tau _{\text{I}}}} {{L_{\text{I}}}} +{\omega _{{\text{Ini}}}}\sum\nolimits_{{\tau _{{\text{Ini}}}}} {{L_{{\text{Ini}}}}}+ \\ \;&{\omega _{{\text{B0}}}}\sum\nolimits_{{\tau _{{\text{B0}}}}} {{L_{{\text{B0}}}}} +{\omega _{{\text{B1}}}}\sum\nolimits_{{\tau _{{\text{B1}}}}} {{L_{{\text{B1}}}}} . \end{split} $

其中,

$\left.\begin{aligned} &{L_{\text{I}}} = {u_t}+\alpha {u^\delta }{u_x} - {u_{xx}} - \beta u\left( {1 - {u^\delta }} \right), \\ &{L_{{\text{Ini}}}} = u\left( {x,0} \right) - {\left[ {\frac{1}{2}+\frac{1}{2}\tanh \;\left( {{a_1}x} \right)} \right]^{{1}/{\delta }}}, \\ &{L_{{\text{B0}}}} = u\left( {0,t} \right) - {\left[ {\frac{1}{2} - \frac{1}{2}\tanh \;\left( {{a_1}{a_2}t} \right)} \right]^{{1}/{\delta }}},\\ & {L_{{\text{B1}}}} = u\left( {1.0,t} \right) - {\left[ {\frac{1}{2}+\frac{1}{2}\tanh\; \left( {{a_1}\left( {1 - {a_2}t} \right)} \right)} \right]^{{1}/{\delta }}}. \end{aligned}\right\}$

式中: $ {L_{\text{I}}} $$ {L_{{\text{Ini}}}} $$ {L_{{\text{B0}}}} $$ {L_{{\text{B1}}}} $分别为方程的内部条件信息损失、 $ t = 0 $时的初始条件信息损失、 $ x = 0 $时的边界条件信息损失和 $ x = 1.0 $时的边界条件信息损失; $ {\omega _{\text{I}}} $$ {\omega _{{\text{Ini}}}} $$ {\omega _{{\text{B0}}}} $$ {\omega _{{\text{B1}}}} $为这些条件信息损失对神经网络综合信息损失的影响权重,体现了不同条件的训练强度平衡度;一阶微分 $ {u_t} $$ {u_x} $,二阶微分 $ {u_{xx}} $,以及零阶微分 $ u $自身,都可以在神经网络反向传播时,通过相应训练数据 $ \tau $(包括内部条件训练数据 $ {\tau _{\text{I}}} $、初始条件训练数据 $ {\tau _{{\text{Ini}}}} $、2种边界条件训练数据 $ {\tau _{{\text{B0}}}} $$ {\tau _{{\text{B1}}}} $)的梯度计算获得.

在物理信息上采样获得的训练数据 $ \tau $,可以将方程的规律信息和数值信息数据化,体现了不同条件的训练采样平衡度. 以此训练神经网络得到使得综合信息损失函数 $ L\left( {\theta \left| \omega \right.} \right) $达到最小的最优参数 $ {\theta ^*} = \arg \min\; \left\{ {L\left( {\theta \left| \omega \right.} \right)} \right\} $,从而获得用神经网络体现的逼近方程物理信息的微分方程解 $ u\left( {x,t\left| {{\theta ^*}} \right.} \right) $.

综上所述,PINN求解Burgers-Fisher方程的具体步骤如下.

1)设置各类参数创建一个在参数空间 $ \varTheta $下描述方程解 $ u\left( {x,t\left| {\theta \in \varTheta } \right.} \right) $的神经网络;

2)综合方程的内部条件规律信息,初始条件和边界条件数值信息,依据训练强度平衡度,设置不同条件信息损失的影响权重,构建神经网络的综合信息损失函数 $ L\left( {\theta \left| {\omega ,\tau } \right.} \right) $

3)依据训练采样平衡度,在方程内部条件、初始条件和边界条件上进行数据采样,获得相应训练数据 $ {\tau _{\text{I}}} $$ {\tau _{{\text{Ini}}}} $$ {\tau _{{\text{B0}}}} $$ {\tau _{{\text{B1}}}} $

4)利用步骤3)的采样数据训练神经网络,获得实现步骤2)中综合信息损失函数最小化的参数 $ {\theta ^*} $,从而得到微分方程解 $ u\left( {x,t\left| {{\theta ^*}} \right.} \right) $.

4. 数值实验

在Windows 11系统下,基于PyTorch深度学习框架编写实验代码脚本,在处理器为Core i7-10700K,16 G内存的硬件条件下的Visual Studio Code 1.77.1上运行以下实验.

4.1. 不同方程参数的求解测试

为了验证PINN求解Burgers-Fisher方程的具体效果,依照已有文献设置方程的参数为情况1( $ \alpha = \beta = 0.1 $$ \delta = 1.0 $)和情况2( $ \alpha = \beta = 0.5 $$ \delta = 2.0 $[11]. 构造4个隐藏中间层、每层50个神经元的神经网络,采用tanh作为激活函数[3],设置各种条件的信息损失权重为1.0,即让规律信息和数值信息在训练强度上达到平衡.

在神经网络训练阶段,在方程内部条件( $ x \in \left( {0,1.0} \right) $$ t \in \left( {0,10.0} \right) $)上随机采样3000个训练数据坐标,分别在初始条件( $ t = 0 $)和2个边界条件( $ x = 0 $$ x = 1.0 $)上随机采样1000个训练数据坐标,让规律信息与数值信息在训练采样上也达到平衡. 设置神经网络的训练迭代次数为1000,对2种参数情况下的Burgers-Fisher方程进行神经网络训练.

在神经网络测试阶段,进行网格化采样(分别在 $ x \in \left[ {0,1.0} \right] $$ t \in \left[ {0,10.0} \right] $上等间距 $ \Delta x = 0.1 $$ \Delta t = 1.0 $)获得测试数据坐标. 利用训练得到的神经网络计算在这些坐标上的方程解的预测值,与式(2)得到的方程解的精确值进行对比. 首先,选取网格对角线上的测试数据坐标进行对比,如表1所示. 表中, $ {R_{{\text{Pre}}}} $$ {R_{{\text{Exa}}}} $$ {E_{{\text{Abs}}}} $分别表示方程解的预测值、精确值和两者的绝对误差. 可以看出,在2种参数情况下,这些特殊测试数据上的预测值和精确值的绝对误差较小,说明预测值和精确值较接近. 其次,总体上所有测试数据在参数情况1和参数情况2下的预测绝对误差均值分别为1.6683×10−3和4.9834×10−4,标准差分别为1.6286×10−3和5.2241×10−4,说明PINN在网格化采样坐标上可以较好地求解方程,解的稳定性也较高.

表 1   网格采样中对角线数据坐标的预测结果

Tab.1  Prediction results of diagonal data coordinates in grid sampling

$ x $ $ t $ 参数情况1 参数情况2
$ {R_{{\text{Pre}}}} $/10−1 $ {R_{{\text{Exa}}}} $/10−1 $ {E_{{\text{Abs}}}} $/10−3 $ {R_{{\text{Pre}}}} $/10−1 $ {R_{{\text{Exa}}}} $/10−1 $ {E_{{\text{Abs}}}} $/10−4
0.0 0.0 4.9957 5.0000 0.4296 7.0735 7.0711 2.4521
0.1 1.0 5.2330 5.2436 1.0540 8.5860 8.5756 10.3780
0.2 2.0 5.4697 5.4860 1.6249 9.4012 9.4095 8.2731
0.3 3.0 5.7092 5.7261 1.6925 9.7709 9.7750 4.0752
0.4 4.0 5.9568 5.9628 0.6045 9.9170 9.9172 0.2986
0.5 5.0 6.2043 6.1952 0.9111 9.9715 9.9700 1.5283
0.6 6.0 6.4406 6.4222 1.8459 9.9921 9.9892 2.9022
0.7 7.0 6.6602 6.6430 1.7280 10.0000 9.9961 3.8970
0.8 8.0 6.8613 6.8568 0.4469 10.0030 9.9986 3.9810
0.9 9.0 7.0435 7.0630 1.9533 10.0020 9.9995 2.7907
1.0 10.0 7.2075 7.2611 5.3639 10.0000 9.9998 0.2772

新窗口打开| 下载CSV


为了绘制方程的图像,采用已有文献的2种方程参数设置[11],在 $ x \in \left[ {0,1.0} \right] $$ t \in \left[ {0,20.0} \right] $内等均距获取测试数据坐标,利用上面训练得到的神经网络计算方程解如图4所示,与文献得到的图形一致. 因此,PINN在这2种方程参数情况下,训练得到的神经网络都可以较好地逼近方程的精确解.

图 4

图 4   2种参数情况下的方程解的三维曲面图

Fig.4   Three-dimensional surface of equation solution on two cases


4.2. 不同迭代次数的求解测试

为了考察神经网络训练迭代次数对PINN求解方程的影响. 设置方程参数为 $ \alpha = \beta = 0.1 $$ \delta = 2.0 $,在 $ x \in \left[ {0,1.0} \right] $$ t \in \left[ {0,20.0} \right] $的方程内部条件、初始条件和边界条件上分别进行规模分别为3000、1000、1000、1000的随机训练数据采样,以及相同规模的随机测试数据采样,设置与4.1节相同的神经网络参数. 随着神经网络训练迭代次数 $ e $的变化,测试数据坐标上解的预测值与精确值的绝对误差的最大值 $ {E_{{\text{Max}}}} $、最小值 $ {E_{{\text{Min}}}} $、均值 $ {E_{{\text{Mea}}}} $和标准差 $ {E_{{\text{Sta}}}} $变化趋势如图5所示. 可以看出,随着神经网络训练迭代次数的增加,PINN求解方程的效果会越来越好,这种效果的提升在训练初期较快,但随着训练次数逐渐增加提升会越来越小. 具体表现为,在宏观上所有测试数据的预测绝对误差的均值随着训练次数增加是在降低的,而由绝对误差的标准差体现的预测稳定性也是提高的,但幅度都在减少. 在微观上所有测试数据的绝对误差最大值和最小值总体上也呈现随迭代次数增加而减少的趋势,但预测误差最小值在个别地方出现了微小上升,这是由于测试样本在较小数值时出现的波动,并不影响总体上PINN的预测精度和稳定性随迭代次数增加而提高的结论.

图 5

图 5   绝对误差随神经网络训练迭代次数的变化

Fig.5   Change of absolute error with number of epochs of neural network training


4.3. 不同神经网络规模的求解测试

为了考察神经网络规模对PINN求解方程的影响,采用与4.2节相同的方程参数,以及训练和测试数据生成策略. 网络规模 $ {S_{{\text{Net}}}} $由不同的隐藏层数和每层上的神经元个数刻画,例如 $ {S_{{\text{Net}}}} $为“L2N40”表示2个隐藏层,每层40个神经元. 分别设置神经网络中间隐藏层数为2、4、6和神经元个数为10、20、40共9种网络规模[3],设定神经网络训练迭代次数为1000,统计测试数据的预测值与精确解的绝对误差情况,以及训练时间 $ {T_{{\text{Tim}}}} $表2所示. 可以看出,在同等层数条件下,随着神经元个数的增加,或者同等神经元个数条件下,随着网络层数的增加,宏观上的预测值与精确值的绝对误差均值和标准差都在下降. 微观上所有测试数据的绝对误差最大值和最小值,总体上也是随着神经网络规模的增加而下降的. 说明增加神经网络的复杂度可以提高方程解的预测精度和稳定性,即更高维的神经网络可以更好地拟合方程.

表 2   固定迭代次数下预测值绝对误差随神经网络规模变化的描述性统计

Tab.2  Descriptive statistic of absolute error of predicted values with scale of neural networks under a fixed epoch

$ {S_{{\text{Net}}}} $ $ {E_{{\text{Max}}}} $/10−2 $ {E_{{\text{Min}}}} $/10−6 $ {E_{{\text{Mea}}}} $/10−3 $ {E_{{\text{Sta}}}} $/10−3 $ {T_{{\text{Tim}}}} $/101
L2N10 1.7252 1.5875 5.0858 3.6818 0.8563
L2N20 1.1476 0.5662 2.6179 2.1679 1.0698
L2N40 0.9774 0.5504 1.8555 1.6741 1.2882
L4N10 0.7521 0.5027 2.2651 1.6853 1.2023
L4N20 0.6586 0.3417 1.5532 1.2726 1.5605
L4N40 0.4815 0.3338 1.1123 0.9160 2.2252
L6N10 0.4890 0.3775 1.3585 1.0056 1.6617
L6N20 0.3286 0.1570 0.7378 0.6244 2.1818
L6N40 0.3082 0.1371 0.6828 0.5584 3.0004

新窗口打开| 下载CSV


从神经网络的训练时间来看,网络复杂度的增加虽然可以提升方程的求解精度和稳定性,但是也增加了训练时间. 在一些工程应用领域,神经网络的训练时间是重要的考虑指标. 因此,本研究固定神经网络训练时间为10 s,来对比不同网络规模下的求解效果和网络训练次数 $ {T_{{\text{Num}}}} $,如表3所示. 可以看出,当固定神经网络训练时间时,在同等网络层数和神经元个数条件下,随着神经网络维度的增加,宏观上的预测值与精确值的绝对误差均值和标准差不是一直降低的,说明预测的精度和稳定性并非一直增加. 在微观上绝对误差最大值和最小值也显示出相同的结果. 这是因为越高维度的神经网络复杂性越高,训练速度就越慢,在同等时间下训练次数就越少(见表3的训练次数),根据4.2节的结论,迭代次数越少,预测的精度和稳定性越低.

表 3   固定训练时间下预测值绝对误差随神经网络规模变化的描述性统计

Tab.3  Descriptive statistic of absolute error of predicted values with scale of neural networks under a fixed training time

$ {S_{{\text{Net}}}} $ $ {E_{{\text{Max}}}} $/10−2 $ {E_{{\text{Min}}}} $/10−6 $ {E_{{\text{Mea}}}} $/10−3 $ {E_{{\text{Sta}}}} $/10−3 $ {T_{{\text{Num}}}} $/102
L2N10 1.3816 1.5199 4.0196 2.9153 11.7200
L2N20 1.3958 1.1166 3.0385 2.5699 9.3000
L2N40 1.2500 0.9080 2.9150 2.3720 6.6600
L4N10 1.0755 0.8524 3.3827 2.4212 8.4700
L4N20 0.8338 0.8027 2.3934 1.7815 6.7100
L4N40 0.9156 0.6179 2.4211 1.8794 5.0600
L6N10 0.8874 1.3987 2.8323 2.0030 6.2000
L6N20 0.6949 0.5106 2.2007 1.5836 4.8400
L6N40 0.8039 0.7987 2.1866 1.6607 3.5000

新窗口打开| 下载CSV


总结来说,神经网络规模的增加可以提高求解效果,但在须考虑训练时间的工程应用中,神经网络规模的提升又会减少训练次数,从而降低求解效果. 因此,在确定的训练时间下,如何选择合适的神经网络规模来提高方程求解效果,就存在需要优化博弈的选择,这是一个值得探索的方向.

4.4. 不同规律信息与数值信息平衡度的求解测试

为了考察不同的规律信息与数值信息平衡度对PINN求解方程的影响,设置具有4个隐藏层、每层20个神经元的神经网络,并采用与4.2节相同的方程参数,固定每次神经网络的训练迭代的次数为1000次.

根据3.1节的论述,方程的物理信息分为规律信息和数值信息,而这2种信息对神经网络训练的控制,又是通过训练采样平衡度和训练强度平衡度来体现的.

对于训练采样平衡度 $ {B_{{\text{Sam}}}} $,在体现方程规律信息的内部条件上分别随机生成3000、6000、9000个训练采样数据,结合在体现方程数值信息的1个初始条件和2个边界条件上分别随机生成的1000、2000和3000个训练采样数据,共得到9种不同规模的训练数据采样. 例如, $ {B_{{\text{Sam}}}} $为“6-2”表示在内部条件上进行6000个随机采样,在边界条件和初始条件上都进行2000个随机采样.

为了全面分析2种信息对求解方程的影响,对体现规律信息的方程内部( $ x \in \left( {0,1.0} \right) $$ t \in \left( 0, 20.0 \right) $上随机生成3000个测试数据)、体现数值信息的方程边缘(在边界条件和初始条件上都随机生成1000个测试数据)、体现2类信息的方程整体(前面方程内部和方程边缘获取的所有测试数据)都进行测试,统计测试数据的预测值与精确值的绝对误差的相关情况,如表4所示. 可以看出,只采用方程的规律信息,即只利用方程的内部采样数据来训练神经网络,从而预测处于方程内部和方程边缘的解是完全不可行的. 同时采用方程的规律信息和数值信息进行神经网络训练,不论在方程内部、方程边缘还是方程整体,得到的预测结果在同等采样数据规模下都是最好的. 这是因为Burgers-Fisher方程内部函数值波动较小,而神经网络如果不借助 $ x = 0 $$ x = 1.0 $的2个边界条件的数值信息,会陷入方程的零解情况. 说明边缘的数值信息对于PINN求解Burgers-Fisher方程是非常重要的,结合规律信息和数值信息来指导神经网络训练,可以更好地得到逼近方程物理信息的神经网络. 另外,也可以发现如果只采用方程的数值信息,即只利用方程的边界条件、初始条件的采样数据来训练神经网络,得到的结果也可以实现对方程解的预测. 而且如果只求解方程的边缘位置,这种只进行边缘采样得到数值信息来训练的神经网络反而有时能得到更好的结果. 另外,值得说明的是,随着采样规模的增加,不论是只采用规律信息还是数值信息,或者两者的结合都能够提高神经网络求解方程的效果,这是因为更多的数据采样提供了神经网络更多的方程信息.

表 4   不同训练采样平衡度下预测值绝对误差的描述性统计

Tab.4  Descriptive statistic of absolute error of predicted values with different training sampling balance

$ {B_{{\text{Sam}}}} $ 方程内部 方程边缘 方程整体
$ {E_{{\text{Mea}}}} $/10−3 $ {E_{{\text{Sta}}}} $/10−3 $ {E_{{\text{Mea}}}} $/10−3 $ {E_{{\text{Sta}}}} $/10−3 $ {E_{{\text{Mea}}}} $/10−3 $ {E_{{\text{Sta}}}} $/10−3
3-0 907.00 82.20 838.00 118.00 872.00 107.00
0-1 2.63 2.30 1.75 1.54 2.19 2.04
3-1 1.59 1.22 1.56 1.36 1.57 1.30
6-0 907.00 82.90 839.00 118.00 873.00 108.00
0-2 2.50 2.07 1.65 1.47 2.08 1.88
6-2 1.55 1.19 1.56 1.35 1.55 1.28
9-0 904.00 82.20 836.00 118.00 870.00 107.00
0-3 2.35 1.98 1.50 1.19 1.92 1.72
9-3 1.41 1.09 1.47 1.25 1.44 1.18

新窗口打开| 下载CSV


对于训练强度平衡度 $ {B_{{\text{Int}}}} $,在方程的内部条件、2个边界条件、1个初始条件上分别随机采样6000、2000、2000和2000个数据样本. 即在训练采样达到平衡的前提下,设置7种规律信息和数值信息的训练强度平衡度,例如, $ {B_{{\text{Int}}}} $为“10∶1”表示在训练神经网络时,体现方程规律信息的内部条件训练权重 $ {\omega _{\text{I}}} = 10 $,而 $ {\omega _{{\text{Ini}}}} $$ {\omega _{{\text{B0}}}} $$ {\omega _{{\text{B1}}}} $体现方程数值信息的边界和初始条件训练权重都为1. 同样采用前面的参数设置和测试数据进行实验,统计在这7种训练强度平衡度下,训练得到的神经网络在方程内部、方程边缘和方程整体上的预测值与精确值的绝对误差情况,如表5所示. 可以看出,与1∶1的规律信息和数值信息平衡状态相比,增加规律信息的训练强度,所得到的神经网络一开始在方程内部、边缘和整体上都提高了求解精度和稳定性,但随着强度的继续增加,规律信息越来越多占据神经网络训练的主要部分,训练效果反而越来越差,这与表4中只对规律信息采样来训练神经网络得到的结论是一致的. 另外,增加数值信息强度的神经网络训练,也呈现出类似的实验效果,即方程的求解精度和稳定性随着单方面信息强度的增加呈现先提高后降低的情况,这也从训练强度的角度验证了表4体现的相关结论. 说明规律信息和数值信息的训练强度需要达到平衡才能得到最好的求解效果,在表5中这种平衡表现为1∶50的平衡度.

表 5   不同训练强度平衡度下预测值绝对误差的描述性统计

Tab.5  Descriptive statistic of absolute error of predicted values with different training intensity balance

$ {B_{{\text{Int}}}} $ 方程内部 方程边缘 方程整体
$ {E_{{\text{Mea}}}} $/10−4 $ {E_{{\text{Sta}}}} $/10−4 $ {E_{{\text{Mea}}}} $/10−4 $ {E_{{\text{Sta}}}} $/10−4 $ {E_{{\text{Mea}}}} $/10−4 $ {E_{{\text{Sta}}}} $/10−4
1∶1 8.44 3.78 7.12 4.10 7.78 4.01
10∶1 7.73 3.43 8.11 4.43 7.92 5.14
1∶10 8.67 5.33 6.81 4.74 7.74 5.14
50∶1 7.27 2.42 6.41 3.20 6.84 2.93
1∶50 5.45 1.63 4.66 1.68 5.05 1.77
100∶1 13.00 4.06 11.10 5.45 1.20 4.95
1∶100 7.97 2.57 5.92 2.12 6.95 2.69

新窗口打开| 下载CSV


由于Burgers-Fisher方程的内部较为平整,没有复杂的规律变化,因此方程初始条件和边界条件的数值信息会对神经网络的训练起到更大的促进作用,但如果是求解方程内部有更多变化的微分方程时,规律信息则会起到更大的作用.

综上,在采用PINN求解微分方程时,要使用适当的微分方程规律信息和数值信息平衡度来训练神经网络,这种平衡度可以从训练采样和训练强度2种角度来实现,并根据所要求解的方程类型,进行具体设置.

5. 结 论

(1)从偏微分方程的物理信息数据驱动和神经网络可解释性的角度,阐释了PINN从“PI”到“NN”的求解过程.

(2)将PDE的物理信息分为微分方程的隐式规律信息和显示数值信息2类,并从训练采样平衡度和训练强度平衡度2个方面,设计神经网络的训练采样方式,以及构建神经网络的综合信息损失函数,从而控制2类信息对神经网络训练的影响.

(3)提供了Burgers-Fisher方程利用PINN进行数值求解方法,通过数值实验发现, PINN不论在微观上的方程解的最大误差和最小误差,还是宏观上的方程解的误差均值和标准差上都体现了较好的求解精度和稳定性;随着迭代次数的增加,PINN求解方程的效果会越来越好;虽然神经网络规模的增加可以提高方程解的求解效果,但是也增加了每次训练的时间,因此固定训练时间下的神经网络规模存在最优博弈选择. 只用规律信息训练神经网络无法实现对Burgers-Fisher方程的求解,而加入数值信息训练的神经网络可以较好地求解方程. 规律信息和数值信息可以通过训练采样和设置训练强度进行平衡. 当这2种信息达到一定的平衡度时,训练得到的神经网络求解方程的效果最好.

有待进一步研究的问题如下:

(1)依据微分方程的不同类型物理信息以及求解位置来设置规律信息和数值信息的平衡度,以达到更好的神经网络训练.

(2)在一些工程应用领域,在确定的神经网络训练时间下,如何设置PINN的神经网络规模,以权衡由网络复杂度提升带来的求解精度提高和由训练次数减少带来的求解精度降低.

(3)由于微分方程的复杂性,很多方程存在多解或者零解,如何利用PINN求解多解问题和避免零解带来的干扰.

(4)由于现实中很多物理问题可以通过实验之类的方法获得测量数据,如何将这些特殊条件下的数值信息融入神经网络的训练.

(5)由于现实中的工程问题往往规模较大,而PINN方法的主要限制之一是其高维优化的高计算成本,虽然该问题可以通过采用域分解方法[22]进行处理,但是如何提高PINN对大型问题的求解效率也是值得研究的.

参考文献

王意存, 邢江宽, 罗坤, 等

基于物理信息神经网络的燃烧化学微分方程求解

[J]. 浙江大学学报: 工学版, 2022, 56 (10): 1375- 1383

[本文引用: 1]

WANG Yi-cun, XING Jiang-kuan, LUO Kun, et al

Solving combustion chemical differential equations via physics-informed neural network

[J]. Journal of Zhejiang University: Engineering Science, 2022, 56 (10): 1375- 1383

[本文引用: 1]

AMES W F. Numerical methods for partial differential equations [M]. [s. l. ]: Academic press, 1992.

[本文引用: 1]

RAISSI M, PERDIKARIS P, KARNIADAKIS G E

Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations

[J]. Journal of Computational Physics, 2019, 378: 686- 707

DOI:10.1016/j.jcp.2018.10.045      [本文引用: 3]

李野, 陈松灿

基于物理信息的神经网络: 最新进展与展望

[J]. 计算机科学, 2022, 49 (4): 254- 262

DOI:10.11896/jsjkx.210500158      [本文引用: 1]

LI Ye, CHEN Song-can

Physics-informed neural networks: recent advances and prospects

[J]. Computer Science, 2022, 49 (4): 254- 262

DOI:10.11896/jsjkx.210500158      [本文引用: 1]

LU L, MENG X, MAO Z, et al

DeepXDE: a deep learning library for solving differential equations

[J]. SIAM Review, 2021, 63 (1): 208- 228

DOI:10.1137/19M1274067      [本文引用: 2]

LIN S, CHEN Y

A two-stage physics-informed neural network method based on conserved quantities and applications in localized wave solutions

[J]. Journal of Computational Physics, 2022, 457: 111053

DOI:10.1016/j.jcp.2022.111053      [本文引用: 1]

LIN S, CHEN Y

Physics-informed neural network methods based on Miura transformations and discovery of new localized wave solutions

[J]. Physica D: Nonlinear Phenomena, 2023, 445: 133629

DOI:10.1016/j.physd.2022.133629      [本文引用: 1]

MIAO Z W, CHEN Y

Physics-informed neural networks method in high-dimensional integrable systems

[J]. Modern Physics Letters B, 2022, 36 (1): 2150531

DOI:10.1142/S021798492150531X      [本文引用: 1]

PU J C, CHEN Y

Data-driven forward-inverse problems for Yajima–Oikawa system using deep learning with parameter regularization

[J]. Communications in Nonlinear Science and Numerical Simulation, 2023, 118: 107051

DOI:10.1016/j.cnsns.2022.107051      [本文引用: 1]

潘悦悦, 吴立飞, 杨晓忠

Burgers-Fisher方程改进的交替分段Crank-Nicolson并行差分方法

[J]. 高校应用数学学报A辑, 2021, 36 (2): 193- 207

DOI:10.13299/j.cnki.amjcu.002168      [本文引用: 2]

PAN Yue-yue, WU Li-fei, YANG Xiao-zhong

The improved alternating segment Crank-Nicolson parallel difference method for Burgers-Fisher equation

[J]. Applied Mathematics A Journal of Chinese Universities: Ser. A, 2021, 36 (2): 193- 207

DOI:10.13299/j.cnki.amjcu.002168      [本文引用: 2]

KUMAR S, SAHA RAY S

Numerical treatment for Burgers-Fisher and generalized Burgers-Fisher equations

[J]. Mathematical Sciences, 2021, 15 (1): 21- 28

DOI:10.1007/s40096-020-00356-3      [本文引用: 3]

ISMAIL H N, RASLAN K, ABD RABBOH A A

Adomian decomposition method for Burger’s-Huxley and Burger’s-Fisher equations

[J]. Applied Mathematics and Computation, 2004, 159 (1): 291- 301

DOI:10.1016/j.amc.2003.10.050      [本文引用: 1]

RASHIDI M, GANJI D, DINARVAND S

Explicit analytical solutions of the generalized Burger and Burger-Fisher equations by homotopy perturbation method

[J]. Numerical Methods for Partial Differential Equations, 2009, 25 (2): 409- 417

DOI:10.1002/num.20350      [本文引用: 1]

JAVIDI M

Spectral collocation method for the solution of the generalized Burger-Fisher equation

[J]. Applied Mathematics and Computation, 2006, 174 (1): 345- 352

DOI:10.1016/j.amc.2005.04.084      [本文引用: 1]

ZHAO T G, LI C, ZANG Z L, et al

Chebyshev-Legendre pseudo-spectral method for the generalised Burgers-Fisher equation

[J]. Applied Mathematical Modelling, 2012, 36 (3): 1046- 1056

DOI:10.1016/j.apm.2011.07.059      [本文引用: 1]

GOLBABAI A, JAVIDI M

A spectral domain decomposition approach for the generalized Burger's-Fisher equation

[J]. Chaos Solitons and Fractals, 2009, 39 (1): 385- 392

DOI:10.1016/j.chaos.2007.04.013      [本文引用: 1]

ALOTAIBI B M, SHAH R S, NONLAOPON K, et al

Investigation of the time-fractional generalized Burgers-Fisher equation via novel techniques

[J]. Symmetry-Basel, 2023, 15 (1): 108

[本文引用: 1]

赵国忠, 郭怀民, 郭鹏云, 等

求解广义Burgers-Huxley方程和广义Burgers-Fisher方程的一类局部间断Petrov-Galerkin方法研究(英文)

[J]. 高等学校计算数学学报, 2020, 42 (3): 193- 208

[本文引用: 1]

ZHAO Guo-zhong, GUO Huai-min, GUO Peng-yun, et al

A local discontinuous Petrov-Galerkin method for the generalized Burgers-Huxley equation and Burgers-Fisher equation

[J]. Numerical Mathematics: A Journal of Chinese Universities, 2020, 42 (3): 193- 208

[本文引用: 1]

SINGH A, DAHIYA S, SINGH S P

A fourth-order B-spline collocation method for nonlinear Burgers-Fisher equation

[J]. Mathematical Sciences, 2020, 14 (1): 75- 85

DOI:10.1007/s40096-019-00317-5      [本文引用: 1]

JAGTAP A D, KAWAGUCHI K, EM KARNIADAKIS G

Locally adaptive activation functions with slope recovery for deep and physics-informed neural networks

[J]. Proceedings of the Royal Society A: Mathematical Physical and Engineering Sciences, 2020, 476 (2239): 20200334

DOI:10.1098/rspa.2020.0334      [本文引用: 1]

VON RUEDEN L, MAYER S, BECKH K, et al

Informed machine learning: a taxonomy and survey of integrating prior knowledge into learning systems

[J]. IEEE Transactions on Knowledge and Data Engineering, 2021, 35 (1): 614- 633

[本文引用: 1]

JAGTAP A D, KHARAZMI E, KARNIADAKIS G E

Conservative physics-informed neural networks on discrete domains for conservation laws: applications to forward and inverse problems

[J]. Computer Methods in Applied Mechanics and Engineering, 2020, 365: 113028

DOI:10.1016/j.cma.2020.113028      [本文引用: 1]

/