浙江大学学报(工学版), 2019, 53(11): 2118-2128 doi: 10.3785/j.issn.1008-973X.2019.11.009

计算机技术与控制工程

基于条件边界平衡生成对抗网络的河流表面流速估测

王万良,, 杨胜兰, 赵燕伟, 李卓蓉

Estimation of river surface flow velocity based on conditional boundary equilibrium generative adversarial network

WANG Wan-liang,, YANG Sheng-lan, ZHAO Yan-wei, LI Zhuo-rong

收稿日期: 2018-09-20  

Received: 2018-09-20  

作者简介 About authors

王万良(1957—),男,教授,博导,从事大数据与深度学习研究.orcid.org/0000-0002-1552-5075.E-mail:wwl@zjut.edu.cn , E-mail:wwl@zjut.edu.cn

摘要

针对不同流速类类间差异小而造成的分类困难问题,提出条件边界平衡生成对抗网络和多特征融合的卷积分类网络,分别进行流速图像的生成和分类. 为了达到数据增强效果,引入标签机制和验证模块实现相应类别图像数据的拟合与生成;为了加强图像不同纹理特征信息对流速估测的影响,引入多特征融合机制对所有真实样本和生成伪样本进行特征提取和流速识别,实现对差异性较小的图像的分类. 将该方法应用于实际的河流表面流速估测,结果表明,在图像生成模块中,引入的标签信息和验证机制在一定程度上能强制引导模型的数据生成方向;在图像识别模块中,引入的多特征融合机制使所提出方法相较于其他方法,在差异性较小的水流图像的识别上更具鲁棒性.

关键词: 流速估测 ; 生成式对抗网络 ; 特征融合 ; 流速类别 ; 图像验证

Abstract

Aiming at the difficulty in image classification due to the high similarity between different flow speeds, a conditional boundary equilibrium generative adversarial network and a convolutional classification network based on the multi-feature fusion were proposed to realize the generation and the classification of flow velocity images, respectively. A labeling mechanism and a verification module were introduced to realize the fitting and generation of corresponding category images, in order to achieve data enhancement. To enhance the impact of different texture features on velocity estimation, a multi-feature fusion layer was introduced to realize the feature extraction and the flow velocity recognition so as to realize the classification for images with small differences. The proposed method was applied to the actual river surface velocity estimation. Results demonstrate that the added tag information and the verification module can guide the data generation of corresponding class to a certain extent in the image generation module. Compared with other methods, the multi-feature fusion mechanism makes the proposed classifier more robust in identifying flow velocity images with small differences.

Keywords: flow rate estimation ; generative adversarial network ; feature fusion ; velocity category ; image verification

PDF (1959KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

王万良, 杨胜兰, 赵燕伟, 李卓蓉. 基于条件边界平衡生成对抗网络的河流表面流速估测. 浙江大学学报(工学版)[J], 2019, 53(11): 2118-2128 doi:10.3785/j.issn.1008-973X.2019.11.009

WANG Wan-liang, YANG Sheng-lan, ZHAO Yan-wei, LI Zhuo-rong. Estimation of river surface flow velocity based on conditional boundary equilibrium generative adversarial network. Journal of Zhejiang University(Engineering Science)[J], 2019, 53(11): 2118-2128 doi:10.3785/j.issn.1008-973X.2019.11.009

水电站和水库作为水利工程的重要环节,在防洪抗灾、供水供电、生态调节[1]等方面发挥着重要作用. 由于地势和季节气候的影响[2],河流的表面流速往往能在不同程度上反映当前水情变化. 在洪涝高发期[3],河流流速通常为平常时期的数倍之多,最大流速为8~12 m/s. 因此,河流的流速测定对于水库水电群自然灾害的预警、水电资源的合理调配管理[4]、水库群生态平衡和水电站联合优化调度[5]都至关重要.

近年来,学者提出多种非接触式测量方法,例如手持雷达技术[6]、可长期监测水文的微波雷达测速仪[7]等,利用电磁波回波产生的多普勒频移与水流流速的相关性计算河流表层流速. Hou等[8]提出用于观测二维河流流动模式的超高频雷达系统,取得了较好的量化结果. 另外,基于多普勒效应的激光多普勒测速仪(laser doppler velocimetry, LDV)[9]利用运动颗粒散射光的多普勒频移量得到水流流速. 为了获得瞬时全流场速度分布信息,Fujita等[10]提出粒子图像测速技术(particle image velocimetry, PIV),利用测量空间与像平面的映射关系,通过记录像平面内前后2帧示踪粒子的运动轨迹得到瞬时流体速度. 阮晓东等 [11]将粒子图像技术应用于两相流测量中. Meselhe等 [12]在PIV基础上发展的大尺度粒子图像测速技术也取得显著成效. 但是,在大多非接触式测量方法中,须抛撒合适的示踪粒子以间接测定流场图像中水流的运动规律,须考虑粒子的跟随性影响,并且在粒子的选择上须考虑形状大小、经济环保、适用性强等多种要求. 为了缓解上述矛盾,学者逐渐重视利用机器视觉等新型计算机技术的测速方法.

随着科技水平和计算机硬件性能的大幅提高,许多学者尝试利用机器学习方法对水流图像进行识别检测,且一些方法已被广泛应用于流速识别中. 在利用流行的机器学习方法处理数据时,大多须设计相应的特征提取器,从原始数据中提取出不同的特征向量以作识别. Tauro等[13]提出将非线性流行学习应用于无监督流体流速的特征表示,并首次尝试利用数据降维和纹理特征提取的方法实现对河流表面流速的描绘,寻找河流纹理特征与流速的隐式映射关系. 王万良等[14]提出基于压缩感知的流速识别方法,利用图像分析监测的方式得到河流表面流速大致范围. 陈金鹏等[15]提出基于机器视觉的水流速度场测量方法,通过计算被动示踪体在水流场中物质的量浓度和空间导数达到流速检测的目的. Shaban等[16]将机器学习方法应用于气液双相管道的体积流量监测,利用主成分分析法与独立成分分析法对概率密度函数和功率谱密度进行降维并提取特征,通过神经网络准确建立相位流速与独立特征之间的映射关系. 以上机器学习方法主要针对小规模数据集,且在一定程度上依赖设计人员对分类系统的研究认知水平,特征的选择会在极大程度上影响分类效果.

在部分监控场景下,例如野外偏远地区无人值守的河道等,对流速的精度要求不高,仅须确定流速范围即流速分级以分析某特定河道的水文变化规律,或应对流速异常的突发性暴涨或断流. 受文献[13]的启发,结合深度学习的特征自学习[17]思想,本研究引入多特征融合的卷积神经网络(convolutional neural network, CNN)实现不同流速级下水流表面纹理特征的自动提取与流速分类,能在一定程度上缓解因水流纹理特征差异性不明显造成的分类困难问题. 另外,为了增强该分类网络的泛化性能,提出基于条件引导的边界平衡生成对抗网络(conditional boundary equilibrium generative adversarial network, CBEGAN)以生成伪水流样本,并增加验证机制以保证生成图像的可靠性,丰富水流图像的细节特征.

1. 基于CBEGAN的图像生成

Goodfellow等[18]将博弈论思想应用于模型拟合,提出对抗训练框架模型,即生成式对抗网络(generative adversarial network, GAN),对高维数据进行隐式建模,GAN现被广泛用于解决无监督和半监督学习任务[19-21]. 原始模型如图1所示,由生成器和判别器组成,通过引入零和博弈的概念,不断对抗训练使得生成器和判别器达到收敛状态.

图 1

图 1   生成式对抗网络的结构框图

Fig.1   Structure diagram of generative adversarial networks


系统利用纳什均衡理念[22],将采样于均匀噪声信号的数据z作为生成器的输入,经由生成器将其映射到某一新数据空间得到G(z),再与真实数据x一同传入判别器. 判别器给出该输入数据隶属于真实数据的置信度,通常为[0,1.0]内的标量数据,并将输出向前反馈以调节模型权重. 如此循环,直至判别器无法准确区分输入数据为真实样本还是生成样本时,该模型达到收敛. 其整体优化函数V(D,G)的表达式为

$\begin{split} \mathop {\min }\limits_{ G} \mathop {\max }\limits_D \;V(D,{ G}) = {{\rm E}_{{ x}\sim {p_{\rm d}}({ x})}}\lg\; D({ x}) + \\ {{\rm E}_{{ z}\sim {p_{\rm n}}({ z})}}\lg\; (1 - D({ G}({ z}))). \end{split} $

式中:pd(x)为真实数据分布,pn(z)为均匀噪声分布,D(x)为样本x被判别器认为是真实样本的概率,D(G(z))为噪声z经生成器映射到新数据空间后再被判别器判别为真实样本的概率. 生成器致力于生成D(G(z))接近于1的样本以欺骗判别器,而判别器致力于将D(x)识别为1,同时将D(G(z))识别为0,因此两者构成极大极小博弈.

1.1. 基于标签信息的图像生成

GAN最大的优势是无须对图像分布预先建模,而是直接对原始数据采样学习纹理特征,这在某种程度上能更真实地逼近原始真实数据. 受Berthelot等[23]的启发,将条件信息[24]加入边界平衡网络,通过对应的类别信息引导生成网络的图像输出. 为了尽量缓解直接采样引起的训练自由度过大的问题,在生成器输入端加入n维标签信息y,与均匀采样所得的m维噪声z拼接,引导生成对应类别的图像,在判别器端将真实样本x和标签信息y一同输入,其优化过程与原始GAN相似,目标函数表示式为

$\begin{split} \mathop {\min }\limits_{ G} \mathop {\max }\limits_D \;V(D,{ G}) = {{\rm E}_{{ x}\sim {p_{\rm d}}({ x})}}\lg \;D({ x}|{ y}) + \\ {{\rm E}_{{ z}\sim {p_{\rm n}}({ z})}}\lg\; (1 - D({ G}({ z|y}))). \end{split} $

式中:D(x|y)为在标签y条件下判别器判别输入图像来自真实样本的概率,D(G(z|y))为带有标签信息的数据样本经生成器映射后再被判别器判别为真实样本的概率. 生成器致力于最小化V(D,G)而判别器致力于最大化V(D,G),以此通过y引导网络生成相应类别的图像. G(z)选择解码器(decoder)结构,D(x)选择自编码器(auto-coder)结构,流程图分别如图23所示.

图 2

图 2   生成器结构示意图

Fig.2   Schematic diagram of generator structure


图 3

图 3   判别器的结构示意图

Fig.3   Schematic diagram of discriminator structure


生成器和判别器均由多层卷积层、上采样层(或降采样层)和全连接层构成. 为了保证在减少网络参数量的同时保持模型原有表现力,选用2个核大小为3×3的卷积层串联以提取输入图像的特征,选用指数线性单元(exponential linear unit, ELU)作为激活函数,步幅大小为1. 在每2个卷积层后增加一层2×2的最近邻上采样层,经上采样后特征图大小翻倍而通道数量不变. 将生成器中64维噪声信号与5维流速类别标签拼接,继而传入输出维度为1 204的全连接层. 再次将标签信息拼接并传入卷积层进行特征提取,得到64个8×8的特征图,再将特征图传入上采样层,以此类推,输出64×64×3的特征表示至判别器.

判别器的结构与自编码器类似,由编码器和解码器组成,通过解码与编码得到输入数据的某种压缩表示. 当该表示方式经解码器后能得到与输入图像一致的重构图像,或者重构误差达到最小,认为该表示方式是输入数据的某种特征,即该自编码器已经学习到特征与所属类别的隐性映射关系. 自编码器是自监督算法,能从输入的图像中自动学习不同纹理特征和表示方式,将其变式作为判别器的构成,相较于原始GAN能达到更稳定的图像性能. 在将编码器的输出传入解码器的同时,也将该输出传入类别验证模块,以判定经编码后的生成样本的可靠性,并通过计算损失函数反馈至生成器,以优化图像的生成.

在损失函数方面引入像素级重构误差[25]

${\rm Loss}\;({ s}) = |{{ s}} - { D}({{ s}}){|^l};\;l \in 1,2.$

式中: ${\left| \cdot \right|^{{l}}} $表示l1或者l2范数;s为通过该自编码器的样本,在本研究中为真实样本或者由生成器采样所得到的生成伪样本.

不同于其他GAN框架的损失函数构造,在训练过程中,生成器致力于最小化生成图像的重构误差,而判别器致力于最小化真实图像的重构误差. 引入推土机距离(earth-mover distance)[25]拟合自编码器的损失分布:

$W({\mu _1},{\mu _2}){\rm{ }} = {\rm{ }}\mathop {\rm inf}\limits_{\gamma \in {\varGamma} ({\mu _1},{\mu _2})} {{\rm E}_{({{ x}_1},{{ x}_2}) \sim \gamma }}|{{ x}_1} - {{ x}_2}|.$

式中:x1x2为2个样本,μ1为经过自编码器之后真实数据的损失分布,μ2为经过自编码器之后生成数据的损失分布,Γμ1, μ2)为μ1μ2所有可能的联合分布的集合. 推土机距离在很大程度上解决了原始GAN框架训练不稳定以及梯度消失等问题,使得2种分布的支撑集在重叠较少甚至没有时,依然能量化反映上述2种分布之间的距离.

1.2. 生成图像验证机制

GAN网络生成图像质量存在不稳定性,为了准确验证经由生成器生成样本的所属类别,在D中加入验证模块,并与判别器共用编码器结构,以对编码提取的图像特征进行分类识别. 神经网络对输入的数值进行非线性处理并将所得结果输出至Softmax层以计算输入数据的所属类别概率.

对于其中某个输出样本,属于对应流速类别i的概率为

${{y_i} = {{\rm e}^{{a_i}}}}\left/{\sum\limits_{k = 1}^C {{{\rm e}^{{a_k}}}}}\right. ;\;\forall i \in 1, \cdots, C.$

式中:C为要预测的标签类别数;全连接网络输出为 ${a_1}$, ${a_2}$, $ \cdots $, ${a_C}$,经Softmax层处理得到C维向量,即该生成样本的概率分布.

对所有生成样本,使用交叉熵作为损失函数:

${L_{\rm g}} = - \sum\limits_{k = 1}^n {\sum\limits_{i = 1}^C {{t_{ki}}\lg \;{y_{ki}}} } .$

式中: ${t_{ki}}$为样本k属于真实类别的概率, ${y_{ki}}$为样本k被模型判别为类别i的概率,n为样本个数.

对生成器生成的伪样本进行流速类别的分类,能在一定程度上验证该图像生成方法的可靠性,为网络训练以及扩充不同类别的数据集提供强制性约束和引导.

2. 基于特征融合的分类网络

图像分类的传统方法是特征描述及检测,当输入图片维度较大时,通常网络的隐层节点数和隐层数量均较大,在利用传统的人工神经网络时往往须对海量参数进行调优. 卷积神经网络凭借其权值共享[26]以及局部连接等特点,能减少网络模型的参数量,提高模型训练的运算效率.

卷积神经网络通常由输入层、卷积层、池化层(即下采样层)、全连接层和输出层等多种网络结构组成. CNN通过将卷积层与池化层交替堆叠以实现对输入图像的不同特征的提取,其中低层卷积层提取抽象细节,例如图像的边缘、线条等信息,高层提取高级特征,例如具体语义信息等,再将所得特征传入分类网络以获得图像的具体分类结果. 近年来,随着CPU等硬件性能的大幅提高和训练数据集的日益完备,例如AlexNet[27]、ResNet[28]、VGG-Net[29]等多种优良的卷积网络扩展模型被不断提出,人工特征提取困难的问题得到了有效解决.

2.1. 多特征融合

传统的CNN利用从底层到高层的方法将学习到的深层特征信息作为对输入图像进行分类的依据,而未直接使用浅层卷积获得的纹理特征. 考虑到不同类别的图像表面纹理差异性较小,例如水流、植物图像等,若要对类间差异较小的图像进行准确区分,分类器须学习更多细节纹理信息.

为此,本研究引入特征融合方法,将多个卷积中间层的特征图融合,在正常使用深层卷积得到的数据语义信息的情况下,多次利用浅层卷积得到的局部细节特征强化特征信息,以实现更高准确率的分类. 每个卷积层的输出均为一组大小一致的多通道特征图,且随着卷积层数的增加,输出特征图尺寸变小. 为了融合不同层级的特征图,采用最近邻插值法对尺寸较小的特征图进行上采样操作,再将调整过大小的多尺度特征图拼接,以实现多特征融合.

2.2. 基于融合网络的分类器模型

图4所示,对VGG-16 [29]进行调整,并将其应用于图像识别中. 该分类模型包含1个输入层,5个卷积处理单元,每个单元中包含2~3个卷积层以及单个池化层,2个全连接层,1个Dropout层以及1个特征融合层. 引入特征融合机制,对卷积层C5_2和卷积层C5_3输出的水流特征图进行2倍上采样,再与卷积层C4_2、卷积层C4_3输出的特征图进行融合构成特征融合层. 该网络主要利用3×3的小卷积核堆叠以增加模型深度. 添加的多个线性修正单元(rectified linear units, ReLU),在一定程度上能减小分类识别过程中的计算复杂度并缓解过拟合问题. 在对网络进行训练之前,将1.1节中生成的多类图像与真实样本混合,随机抽取70%的数据用作训练集,余下的部分用作测试集. 在分类网络的全连接层之后加入Dropout机制,以缓解训练过程中的过拟合问题.

图 4

图 4   分类网络结构示意图

Fig.4   Schematic diagram of classification network structure


在该方法中,对抗网络起到数据增强作用,其生成的带类别标签的伪样本作为输入数据集的一部分混合至分类网络中进行训练,丰富了图像细节信息;引入的特征融合机制加强了底层特征对于分类决策的影响,有利于细节特征差异性较小的图像的识别,使其在测试集与训练集存在较大误差时依然具有准确的识别效果. 与其他卷积分类网络相比,该方法拥有更强的鲁棒性.

3. 河流表面流速估测算法

由于河流表面流速变化的连续性,高清摄像头所截取的到不同流速范围的水流图像表面纹理差异度较低. 为了提高分类网络的鲁棒性,将所提出的基于CBEGAN的图像生成及分类模型应用于河流表面流速分类中. 该模型主要由基于CBEGAN的水流图像生成模块和基于特征融合的流速识别模块组成. 如图5所示为所提出的基于CBEGAN的河流表面流速估测模型的整体算法框架示意图. 图中,z为输入的均匀噪声采样信号,c为水流流速标签信息,Gz,c)为经由生成器训练的生成水流样本,x为真实水流样本,Class_AE_G为经由判别器重构的生成样本类别,D(x)为判别器的重构样本矩阵. 该框架可分为2个模块. 1)水流图像生成模块. 根据河流表面波纹所代表的流速特征,引入水流流速类别信息作为先验条件,根据流速范围设置不同流速类别,利用生成对抗网络对水流数据集进行训练. 同时引入生成图像验证模块,对经由生成网络的水流图像进行初步分类识别,以验证生成图像的可靠性. 2)流速识别模块. 引入特征融合机制,将不同层级河流表面流速特征图拼接融合,提高分类网络对差异性较小的水流流速的识别准确率. 将经由水流图像生成模型生成的水流样本同真实样本混合,在一定程度上能增强分类网络的鲁棒性和泛化能力,实现数据增强效果和非接触式水流流速估测的目标,提高不同情况下算法的识别率.

图 5

图 5   基于CBEGAN的水流流速估测方法框架图

Fig.5   Framework diagram of flow velocity estimation based on CBEGAN


以九宫梯级水电站为例,总体实施步骤如下. 1)通过水流图像采集方法对九宫梯级水电站群的河流进行定时定点拍摄,记录当前时刻的河道中央、两岸流速以及平均流速,并对所得图像进行等大小的裁剪等预处理. 2)将步骤1)采集所得的小块水流数据与其流速区间一一对应,存储为真实数据样本. 根据第1章的算法,选择均匀噪声信号传入生成器以生成水流伪样本,同时将真实样本与生成样本混合拼接,传入判别器进行对抗训练. 3)利用与判别器共用结构的分类器对生成水流样本进行流速类别分析,优化损失函数,寻找最优模型权重,验证生成水流图像的可靠性. 4)通过CBEGAN网络生成清晰可分辨的水流图像,将生成图片与原始图片随机混合,并以7∶3的比例划分训练集与测试集. 5)将训练集输入第2章提出的分类器中进行训练,以判别输入水流图像的流速类别,利用测试集测试该分类器的识别效率. 在测试过程中,对输入水流图像同样进行等大小的裁剪,并对每个小块通过分类网络后的输出结果进行加权平均,以估测当前时刻的水流流速.

4. 实验分析

4.1. 实验对象

九宫梯级水电站位于湖北省通山县,拥有8座梯级电站、13台机组,总装机容量为5 505 kW,控制性蓄水工程为一天门水库(小1型),海拔为1 220 m,另有杨蕗水库(小1型)和下大坪水库(小2型)联合参与调度. 所在河道为界牌河,隶属于宝石河二级支流. 所在流域年平均降雨量为1 800~2 000 mm,由于季风影响,雨量变化大且不稳定. 雨水多集中在五、六、七月,而且多系暴雨,易致山洪,伏秋降雨少,易现伏旱. 对该流域的各支流流速进行实时监测对于水电群调度有重要意义.

4.2. 水流图像采集

水流图像主要利用分布于界牌河道两岸的高清摄像装置拍摄采集. 该河道每个水电站均配置了高清摄像装置以及无线传输设备. 具体流速监测实施方案示意图如图6所示. 将高清摄像头按照固定间距装设在沿途的建筑物上,并以尽量平行于水面的角度对河流图像以60帧/s的速率进行采集,同时记录采集时刻的其他相关信息,例如天气、地理、具体流速等.

图 6

图 6   流速监测实施方案示意图

Fig.6   Schematic diagram of flow velocity measurement


水流图片的采集过程主要分为3个部分:视频采集模块、无线数据传输模块以及中心监控管理平台. 1)视频采集模块,利用网络高清智能球摄像头捕捉视频信号;2)数据传输模块,通过无线网络将采集的视频传送到中心监控管理平台,传送方式为联通的CDMA网络;3)中心监控管理平台,调度中心是一台拥有公网IP的服务器. 对于长期处于在线模式的监控终端,存在2种访问方法,一种是按需查询当前记录的图像状况,另一种是自动记录并更新监控点的图像变化. 在得到各个不同时期的河流表面视频后即可通过中心监控管理平台逐帧截取水流图片.

天然河道中央位置流速较快,两侧由于受到河岸摩擦流速较慢,因此,为了实现对河流表面的流速分级估测,在样本采集过程中除了记录当前时刻特定位置的平均流速数据之外,还会记录当前时刻中央位置与两侧位置的流速大小作为比对. 在图片采集完成之后通过视频处理软件对每座梯级电站摄取到的视频进行逐帧截取. 对于每座电站分别选择1 000张图像,共计选取8 000张无明显遮挡的水流图片作为训练集. 根据得到的所有流速数据量和数据值跨度选定分级间隔,再对河流流速图像进行等大小的裁剪,并且根据采集过程中流速标签的大小对属于相同流速区间的水流图像进行归类. 在流速分级时以0.5 m/s作为流速分辨率,将0~2.5 m/s分为5个流速区间.

4.3. 水流图像预处理与实验参数说明

对4.2节所拍摄到的视频进行逐帧提取与预处理操作,其中主要包括多角度旋转、伽马变换等,模拟真实自然环境中不同光线造成的明暗变化,并调整大小至64像素×64像素.

实验环境为天阔W580-G20服务器,处理器为E5-2600V3,运行平台为Tensorflow 1.3,并且安装Slim库、Opencv库等以简化代码冗余度. 图像生成模块结构如1.1节所示,生成器采用解码器结构,判别器采用自编码器结构,激活函数选择指数线性单元. 优化算法为Adam优化,其中生成器和判别器的初始学习率为0.000 08,batch-size设置为8,变量γ = 0.5,变量λk=0.001. 流速识别模块结构如2.2节所示,在全连接层前添加特征融合方法,以实现对差异性较小的不同水流流速的区分. 选用Adam优化算法,初始学习率设置为0.001,Dropout设为0.5.

4.3.1. 光线变化与Gamma变换

考虑到水流图像受光线影响较显著,引入Gamma变换以模拟不同光照场景下的明暗变化:

${ y} = c{{ x}^\gamma }.$

式中:x为须调整的原始图像,y为经Gamma变换后的图像,c为常数. 当变量 $\gamma $>1时,拉伸图像灰度分布直方图,使其往高灰度方向延展;当 $\gamma $<1时反之.

4.3.2. 对比度增强与直方图均衡化

部分水流图像受大幅波纹等影响,会造成局部对比度过小,网络学习到的特征不明显的问题,其像素大多集中于部分灰度级,因此,加入直方图均衡化(histogram equalization, HE),并将均衡化结果添加到HSV色彩空间中的明度通道,以调整流体图像对比度. 表达式如下:

${S_k}{\rm{ = }}\sum\limits_{i = 0}^k {{n_i}/N,\;k = 0,1,\cdots,L - 1.} $

式中: ${S_k}$为经HE变换后的灰度级累积概率密度,L为最大灰度级, ${n_i}$为第i个灰度级出现的个数,N为像素总个数.

4.3.3. 水流图像预处理对比结果

以直方图均衡化为例,对输入图片进行预处理以增强水流图片对比度,处理结果如图7所示. 图中,第1行为RGB颜色空间的原图,第2行为经直方图均衡化处理后由HSV转换到RGB颜色空间的输出图片. 从2行结构可以看出,经处理后水流图像基本保留原图结构的完整信息,并具有强烈对比度. 图(a)、(b)和图(c)、(d)分别为正常流速状态下和存在明显水花状态下的水流图像,可以看出,当水流遇到冲击、阻挡时产生的波纹振动强烈,拍摄所得图像失去较多结构信息,而直方图均衡化处理可在较大程度上还原波纹信息,具有更丰富的细节特征和梯度信息,有助于后期网络训练.

图 7

图 7   经预处理的水流图片

Fig.7   Water image after pretreatment


4.4. 基于CBEGAN的水流生成图像结果分析
4.4.1. 不同预处理的水流生成图像比较

首先对输入水流图片进行归一化处理,同时对输入端的流速类别数据进行独热编码. 使用如图23所示的网络结构作为对抗模型的生成器和判别器. 在经过对抗网络训练后,将得到的生成水流样本与真实水流样本混合,输入到如图4所示的流速分类模型中进行识别分类. 如图89所示分别为未经直方图均衡化和经直方图均衡化后,不同迭代次数下生成模块所生成的不同类别水流图像.

图 8

图 8   未经直方图均衡化的水流生成图片

Fig.8   Generated images of water without histogram equalization


图 9

图 9   经直方图均衡化后的水流生成图片

Fig.9   Generated images of water with histogram equalization


图8(a)为传入生成器训练的batch图片,图8(b)(c)(d)分别为第3 000、8 000、12 000次的迭代结果,可以看出,未经直方图均衡化的水流图像的对比度差异较小,在梯度传播时生成器能学习到的信息量较小,生成的水流图片内容虽有变化,但生成质量一般.

图9(a)为真实水流样本,图9(b)为经直方图均衡化后的水流输入样本,图9(c)~(g)分别为数据集在第3 000、6 000、9 000、12 000、15 000次迭代训练时生成的水流图像,可以看出,随着迭代次数的增加,经过判别器和生成器的对抗训练,生成水流的图像逐渐清晰,纹理等细节特征在训练中出现细微变化,并且经过直方图均衡化后对抗网络的图像生成质量明显提高.

4.4.2. 水流生成图像可靠性分析

在判别器的编码模块输出端后接softmax层,对生成网络生成的水流样本进行类别分类,以验证对抗网络的生成数据质量和类别标签引入效果. 准确率P为数据集中被正确分类的样本个数占总样本个数的比例,其值随迭代次数I变化的曲线如图10(a)所示;式(6)计算得出的类别标签损失函数Lg随迭代次数(Iterations)变化的曲线如图10(b)所示. 可以看出,在训练初期由于训练不平衡,生成器生成的水流图像质量不稳定,损失函数较大,震荡曲线是由Mini_batch的更新方式引起的,随着迭代次数的增加,对抗网络总体趋势逐渐趋向稳定,生成的水流图像被正确分类的概率逐渐提高并趋向平衡. 在网络收敛时均值为0.95的准确率表明,在标签信息的引导下对抗网络生成相应类别的水流图像的概率较大.

图 10

图 10   水流生成样本的准确率及类别标签损失函数分析

Fig.10   Accuracy of water flow generated samples and analysis of category label loss function


4.5. 基于特征融合的流速分类识别效果分析

将对抗网络生成的样本与真实样本混合,利用迁移学习对VGG-16模型进行调整,对不同层级的水流特征图进行上采样等操作以调整至相同尺寸,融合浅层细节纹理特征和深层语义特征,一同传入全连接层. 将基于特征融合的分类网络与传统未做特征融合的VGG-16分类模型作比较,除特征融合层以外,其他网络结构均与VGG-16一致,对训练过程的数据输入均进行归一化处理,记录每一次迭代的识别准确率P和类别标签的损失函数Lg. 实验结果如图11(a)(b)所示. 实验结果表明,在相同迭代次数下,所提分类模型的识别准确率相较于VGG-16有所提高,收敛之后的损失函数有所降低,模型在第800次左右开始趋于收敛,可见特征融合方法对于差异性较小的图像的识别具有一定增强作用.

图 11

图 11   所提模型与VGG-16的性能比较

Fig.11   Performance comparison of proposed model and VGG-16


从原始数据集外选取未经分类网络训练的A~E类水流样本作为新测试数据集,其中类别以流速量级V为分类标准,并将不含流速标签的图像裁剪后输入所提出的分类网络中进行流速估测,经前向传播后的各类梯度计算结果W表1所示,取输出值最大的类别作为该小块流速估测结果,加权平均得到当前流速量级. 如表1所示,测试图像的预测分类值与其实际流速Va量级较吻合,所提流速估测模型能一定程度上完成对水流数据的流速分级任务.

表 1   不同流速量级下的流速估测结果

Tab.1  Flow rate estimation at different flow rates

Va/(m∙s−1 W 流速估测结果
A:V=0~0.5 m/s B:V=0.5~1.0 m/s C:V=1.0~1.5 m/s D:V=1.5~2.0 m/s E:V=2.0~2.5 m/s
0.3 3.672 1.477 −0.097 −6.042 −6.034 A
0.8 −3.348 8.604 −1.979 −5.569 −12.128 B
1.2 −3.839 3.303 15.051 0.236 −1.108 C
1.8 −14.221 −7.087 −5.498 3.204 0.674 D
2.3 −21.496 −15.273 6.009 10.042 13.874 E

新窗口打开| 下载CSV


在不同的流速分辨率下,将所提流速估测模型与其他非接触式模式识别方法进行比较,结果如表2所示. 表中,所列方法均在同一数据集上进行验证,流速分辨率V0=0.2、0.5、0.8 m/s. 表2中支持向量机(support vector machine,SVM)的核函数为径向基函数;BP神经网络采用3-32-64-1024-5的网络结构,优化器为Adam,学习率设置为0.000 1,迭代次数为10 000;稀疏表示分类器(sparse representation classifier,SRC)[30]和抗噪性正则化编码分类器(regularized robust coding, RRC)[31]选用的子空间维数为40. 由表中信息可知,在同一流速分辨率下,加入特征融合机制的分类模型,对于细节差异性较小的水流图像的识别任务具有一定的鲁棒性. 随着流速分辨率精度的提高,在相同样本集的前提下,训练样本量减少,对流速纹理细节特征的学习要求更高,流速估测准确率有下降趋势.

表 2   不同流速分辨率下的多种识别方法的准确率对比

Tab.2  Accuracy comparison of multiple recognition methods at different flow rate resolutions

识别方法 P/%
V0=0.2 m/s V0=0.5 m/s V0=0.8 m/s
BP神经网络 63.91 71.33 72.11
SVM 67.63 73.34 76.71
SRC(40维) 52.82 54.17 55.32
RRC(40维) 63.36 65.33 65.97
VGG-16 79.68 81.27 84.12
基于CBEGAN的流速识别算法 86.79 90.38 91.67

新窗口打开| 下载CSV


5. 结 语

通过对水流表面纹理与流速之间的映射关系进行研究,提出基于CBEGAN的河流表面流速估测方法,并将所提算法应用于非接触式水流流速检测. 与非接触式测量技术对比,本研究所提方法的优势在于:1)避免了测量过程中选择和抛撒示踪粒子的复杂程序,同时缓解了部分手工设计特征困难的问题;2)在多变的天然环境中,仅利用户外装配完成的高清摄像装置和控制室中的主计算机即可以实现在无人值守情况下对流速的长期监测,避免工作人员的潜在危险和测量设备的潜在损伤,减少人力、设备等成本资源.

实验结果表明,加入标签信息的GAN在一定程序上能学习到更多的类别纹理信息,从而增强数据集,提高实际分类网络鲁棒性;引入特征融合机制的卷积网络能有效地对相近水流图像进行分类识别,相较于其他算法能在一定程度上提高识别率. 所提算法在针对特征数量较少的河流纹理识别时仍存在诸多挑战,例如识别率和流速分辨率不足,以及自然环境中光线、遮挡物对拍摄到图像的清晰度有影响甚至对流速测量造成干扰,改善以上不足是下一步的研究计划.

参考文献

尚淑丽, 顾正华, 赵世凯, 等

基于模糊逻辑的水电工程生态效应综合评价

[J]. 浙江大学学报:工学版, 2014, 48 (9): 1603- 1609

[本文引用: 1]

SHANG Shu-li, GU Zheng-hua, ZHAO Shi-kai, et al

Comprehensive evaluation of ecological effects of hydropower projects based on fuzzy logic

[J]. Journal of Zhejiang University: Engineering Science, 2014, 48 (9): 1603- 1609

[本文引用: 1]

周李智, 王万良, 徐新黎, 等

基于生态惩罚的混联梯级小水电群优化调度

[J]. 水力发电学报, 2015, 34 (7): 45- 56

[本文引用: 1]

ZHOU Li-zhi, WANG Wan-liang, XU Xin-li, et al

Optimal scheduling of hybrid cascade hydropower groups based on ecological penalty

[J]. Journal of Hydroelectric Engineering, 2015, 34 (7): 45- 56

[本文引用: 1]

鲍鑫, 贺治国, 王振宇, 等

台风暴雨影响区溃坝洪灾淹没损失评估

[J]. 浙江大学学报: 工学版, 2012, 46 (9): 1638- 1646

[本文引用: 1]

BAO Xin, HE Zhi-guo, WANG Zhen-yu, et al

Evaluation of flooding damage caused by dam flood in typhoon storm-affected area

[J]. Journal of Zhejiang University: Engineering Science, 2012, 46 (9): 1638- 1646

[本文引用: 1]

吴俊, 丁甡奇, 余葵, 等

光电非接触式表面流速测量

[J]. 光学精密工程, 2010, 18 (2): 349- 356

[本文引用: 1]

WU Jun, DING Shen-qi, YU Kui, et al

Photoelectric non-contact surface velocity measurement

[J]. Optics and Precision Engineering, 2010, 18 (2): 349- 356

[本文引用: 1]

李笠. 考虑生态因素的小水电优化调度算法研究[D].杭州: 浙江工业大学, 2014.

[本文引用: 1]

LI Li. Research on small hydropower optimal scheduling algorithm considering ecological factors [D]. Hangzhou: Zhejiang University of Technology, 2014.

[本文引用: 1]

FULTON J, JH O N, OSTROWSKI J, et al

Measuring real-time streamflow using emerging technologies: radar, hydroacoustics, and the probability concept

[J]. Journal of Hydrology, 2008, 357 (1): 1- 10

[本文引用: 1]

COSTA J E, CHENG R T, HAENI F P, et al

Use of radars to monitor stream discharge by noncontact methods

[J]. Water Resources Research, 2006, 42 (7): 887- 896

[本文引用: 1]

HOU Y, WEN B, YANG Y, et al

Two-dimensional river flow patterns observed with a pair of UHF radar system

[J]. International Journal of Antennas and Propagation, 2017, 4792324

[本文引用: 1]

MONIN A S, YAGLOM A M. Statistical fluid mechanics, volume Ⅱ: mechanics of turbulence [M]. New York: Courier Corporation, 2007.

[本文引用: 1]

FUJITA I, KOMURA S

Application of video image analysis for measurements of river-surface flows

[J]. Proceedings of Hydraulic Engineering, 1994, 38: 733- 738

DOI:10.2208/prohe.38.733      [本文引用: 1]

阮晓东, 刘志皓, 瞿建武

粒子图像测速技术在两相流测量中的应用研究

[J]. 浙江大学学报:工学版, 2005, 39 (6): 785- 788

[本文引用: 1]

RUAN Xiao-dong, LIU Zhi-hao, QU Jian-wu

Application of particle image velocimetry in two-phase flow measurement

[J]. Journal of Zhejiang University: Engineering Science, 2005, 39 (6): 785- 788

[本文引用: 1]

MESELHE E A, MUSTE M, PEEVA T

Large scale particle image velocimetry for low velocity and shallow water flows

[J]. Journal of Hydraulic Engineering, 2004, 130 (9): 937- 940

DOI:10.1061/(ASCE)0733-9429(2004)130:9(937)      [本文引用: 1]

TAURO F, GRIMALDI S, PORFIRI M

Unraveling flow patterns through nonlinear manifold learning

[J]. Plos One, 2014, 9 (3): e91131

DOI:10.1371/journal.pone.0091131      [本文引用: 2]

王万良, 邱虹, 郑建炜

基于压缩感知图像分析的河流表面流速估计方法

[J]. 水力发电学报, 2018, 37 (5): 69- 79

DOI:10.11660/slfdxb.20180507      [本文引用: 1]

WANG Wan-liang, QIU Hong, ZHENG Jian-wei

Estimation method of river surface velocity based on compressed sensing image analysis

[J]. Journal of Hydroelectric Engineering, 2018, 37 (5): 69- 79

DOI:10.11660/slfdxb.20180507      [本文引用: 1]

陈金鹏, 李贵山, 李双科, 等

基于机器视觉的流体速度量化研究

[J]. 自动化仪表, 2012, 33 (12): 5- 9

DOI:10.3969/j.issn.1000-0380.2012.12.002      [本文引用: 1]

CHEN Jin-peng, LI Gui-shan, LI Shuang-ke, et al

Quantitative study of fluid velocity based on machine vision

[J]. Automation Instrumentation, 2012, 33 (12): 5- 9

DOI:10.3969/j.issn.1000-0380.2012.12.002      [本文引用: 1]

SHABAN H, TAVOULARIS S

Measurement of gas and liquid flow rates in two-phase pipe flows by the application of machine learning techniques to differential pressure signals

[J]. International Journal of Multiphase Flow, 2014, 67: 106- 117

DOI:10.1016/j.ijmultiphaseflow.2014.08.012      [本文引用: 1]

王万良, 人工智能及其应用: 第三版 [M]. 北京: 高等教育出版社, 2016.

[本文引用: 1]

GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets [C]// Advances in Neural Information Processing Systems. Montreal: ACM, 2014: 2672-2680.

[本文引用: 1]

CRESWELL A, WHITE T, DUMOULIN V, et al

Generative adversarial networks: an overview

[J]. IEEE Signal Processing Magazine, 2018, 35 (1): 53- 65

DOI:10.1109/MSP.2017.2765202      [本文引用: 1]

王坤峰, 苟超, 段艳杰, 等

生成式对抗网络GAN的研究进展与展望

[J]. 自动化学报, 2017, 43 (3): 321- 332

WANG Kun-feng, GOU Chao, DUAN Yan-jie, et al

Research progress and prospects of generative anti-network GAN

[J]. Acta Automatica Sinica, 2017, 43 (3): 321- 332

王万良, 李卓蓉

生成式对抗网络研究进展

[J]. 通信学报, 2018, 39 (2): 135- 149

DOI:10.3969/j.issn.1001-2400.2018.02.023      [本文引用: 1]

WANG Wan-liang, LI Zhuo-rong

Research progress of generating countermeasure networks

[J]. Journal on Communications, 2018, 39 (2): 135- 149

DOI:10.3969/j.issn.1001-2400.2018.02.023      [本文引用: 1]

RATLIFF L J, BURDEN S A, SASTRY S S. Characterization and computation of local Nash equilibria in continuous games [C]// Communication, Control, and Computing. Monticello: IEEE, 2013: 917-924.

[本文引用: 1]

BERTHELOT D, SCHUMM T, METZ L. BEGAN: boundary equilibrium generative adversarial networks [EB/OL]. (2017-05-31). https://arxiv.org/abs/1703.10717.

[本文引用: 1]

MIRZA M, OSINDERO S. Conditional generative adversarial nets [EB/OL]. (2014-11-06). http://arxiv.org/abs/1411.1784.

[本文引用: 1]

ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein GAN [EB/OL]. (2017-12-06). https://arxiv.org/abs/1701.07875

[本文引用: 2]

LECUN Y, BENGIO Y

Convolutional networks for images, speech, and time series

[J]. Handbook of Brain Theory and Neural Networks, 1995, 3361 (10):

[本文引用: 1]

KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// International Conference on Neural Information Processing Systems. Lake Tahoe: ACM, 2012, 25(2): 1097-1105.

[本文引用: 1]

HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.

[本文引用: 1]

SIMONYAN K, ZISSERMAN A

Very deep convolutional networks for large-scale image recognition

[J]. Computer Science, 2014, 1 (2): 3

[本文引用: 2]

WRIGHT J, YANG A Y, GANESH A, et al

Robust face recognition via sparse representation

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31 (2): 210- 227

DOI:10.1109/TPAMI.2008.79      [本文引用: 1]

YANG M, ZHANG L, YANG J, et al

Regularized robust coding for face recognition

[J]. IEEE Transactions on Image Processing, 2012, 22 (5): 1753- 1766

[本文引用: 1]

/