浙江大学学报(工学版), 2020, 54(4): 684-693 doi: 10.3785/j.issn.1008-973X.2020.04.007

计算机技术、信息工程

基于生成对抗网络的太阳能电池缺陷增强方法

刘坤,, 文熙, 黄闽茗, 杨欣欣, 毛经坤

Solar cell defect enhancement method based on generative adversarial network

LIU Kun,, WEN Xi, HUANG Min-ming, YANG Xin-xin, MAO Jing-kun

收稿日期: 2019-11-10  

Received: 2019-11-10  

作者简介 About authors

刘坤(1980─),女,副教授,从事机器视觉与智能控制研究.orcid.org/0000-0003-0774-3635.E-mail:liukun@hebut.edu.cn , E-mail:liukun@hebut.edu.cn

摘要

为了解决太阳能电池样本不均衡问题,提出负样本引导生成对抗网络的太阳能电池缺陷样本增强方法. 通过在生成对抗模型中引入大量负样本和增加负样本引导损失,促进模型对正样本特征的表达,提升生成样本的多样性;设计自适应的权值约束方法,平衡生成器和判别器的表达能力,提升生成样本的质量. 实验结果表明,在太阳能电池电致发光(EL)缺陷数据集上,提出方法的生成质量和检测精度优于深度卷积生成对抗网络(DCGAN)、梯度惩罚Wasserstein距离生成对抗网络(WGAN-GP)和一阶导数生成对抗网络(FOGAN);该方法的F测度较DCGAN、WGAN-GP和FOGAN分别最高提升了10%、8%和5%,具有较好的数据增强性能. 在带钢表面缺陷数据集及DAGM 2007公共数据集上,提出方法的性能优于DCGAN、WGAN-GP和FOGAN,具有一定的泛化能力.

关键词: 样本不均衡 ; 数据增强 ; 生成对抗网络(GAN) ; 太阳能电池 ; 负样本引导

Abstract

A solar cells defect sample enhancement method which is negative sample-guided generative adversarial network was proposed in order to solve the problem of sample imbalance of solar cells. The representation ability of positive samples features was promoted and the diversity of generated samples was improved by introducing many negative samples and mixing negative sample guidance loss in the generative adversarial network. An adaptive weight constraint method was designed to balance the representation ability of generators and discriminators, and the quality of generated samples was improved. The experimental results show that the proposed method outperforms deep convolutional generative adversarial network (DCGAN), Wasserstein generative adversarial network-gradient penalty (WGAN-GP) and first-order generative adversarial network (FOGAN) in generation quality and detection accuracy on electroluminescence (EL) defect data sets of solar cells. F-measure of the method was 10%, 8% and 5% higher than DCGAN, WGAN-GP and FOGAN respectively, which showed better data enhancement performance. The performance of the proposed method is better than DCGAN, WGAN-GP and FOGAN on strip steel surface defect dataset and DAGM 2007 public dataset, which shows certain generalization ability.

Keywords: data imbalance ; data enhancement ; generative adversarial network (GAN) ; solar cell ; negative sample guidance

PDF (2002KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

刘坤, 文熙, 黄闽茗, 杨欣欣, 毛经坤. 基于生成对抗网络的太阳能电池缺陷增强方法. 浙江大学学报(工学版)[J], 2020, 54(4): 684-693 doi:10.3785/j.issn.1008-973X.2020.04.007

LIU Kun, WEN Xi, HUANG Min-ming, YANG Xin-xin, MAO Jing-kun. Solar cell defect enhancement method based on generative adversarial network. Journal of Zhejiang University(Engineering Science)[J], 2020, 54(4): 684-693 doi:10.3785/j.issn.1008-973X.2020.04.007

随着太阳能的广泛利用,太阳能电池产业得到迅猛发展. 由于工艺、生产环境等因素,导致太阳能电池存在不同类别的缺陷,大大降低太阳能电池的转换效率和使用寿命,太阳能电池缺陷检测[1]成为生产过程中的重要环节. 电致发光[2](electroluminescence,EL)技术能够让太阳能电池的内部缺陷在红外相机下成像,促进了太阳电池缺陷检测技术的发展. 在现有的太阳能电池缺陷检测技术中,传统人工特征[3]设计方法是主要的检测手段,但这些检测方法对数据挖掘不充分,导致检测精度低. 近年来,通过深度学习方法[4]自动充分提取数据特征,大幅度提升了太阳能电池缺陷的检测精度. 实际生产中出现的太阳能电池缺陷具有稀疏性,使得缺陷样本和正常样本极不均衡,这样的数据用于深度学习方法训练易导致过拟合现象[5].

解决过拟合的方法之一是通过数据增强方法对不均衡样本进行样本数量扩充. 传统的图像数据增强[6]方法通过对已知样本进行旋转、平移、翻转、对比度变换及加入噪声等方法来增加已知数据集的数量,这些方法局限在已知数据的特征空间范围,使其不能对具有复杂纹理背景的样本的特征进行充分的表示. 近年来,基于生成对抗网络[7](generative adversarial network,GAN)的数据增强方法被提出,它通过学习能够生成与训练样本具有相似分布的数据,为现有数据增强技术提供潜在且有价值的补充[8]. 研究者们通过对行人检测数据[9]、SAR数据[10]、医学数据[11]及文本数据[12]等进行增强,使得基于GAN的数据增强方法得到广泛的应用和推广.

本文为了解决太阳能电池缺陷样本和正常样本不均衡问题,提出负样本引导的生成对抗网络(negative sample guided generative adversarial network,NSGGAN)模型,将太阳能电池缺陷样本作为正样本,非缺陷样本为负样本. 通过引入太阳能电池负样本,在判别器的损失函数中增加负样本的引导损失项,有效增强对正样本特征的表达,提升生成样本的多样性;自适应的判别器权值约束方法对训练过程中的判别器权值系数进行自适应范围控制,使得模型更好地平衡生成器和判别器之间的表达能力,提高生成样本的质量.

1. 相关工作

GAN由Goodfellow等[7]提出,原理来自于零和博弈. 它由生成器 $G$和判别器 $D$构成博弈双方,生成器 $G$可以看作能够捕捉样本分布的数据产生器,能够将服从某一分布(高斯分布或均匀分布)的噪声 $z$,通过神经网络的拟合生成类似训练样本的逼真样本 $G(z)$;判别器 $D$是一个二分类器,用于判断输入样本的真假. 对于生成对抗网络的训练,实质上是训练一个判别器 $D$,使得判别器 $D$能够准确判别出输入的真实样本和生成样本的真假;训练一个生成器 $G$,生成与真实样本具有相似分布的数据,干扰判别器对输入样本的真假判别. 生成对抗网络的生成器损失函数 ${L_G}$和判别器损失函数 ${L_D}$如下:

${L_G} = {E_{z\sim{P_z}(z)}}[\log\; (D(G(z)))],$

${L_D} \!=\! {E_{x\sim{P_x}(x)}}[\log \;(D(x))]{\rm{ + }}{E_{z\sim{P_z}(z)}}[\log \;(1 \!-\! D(G(z)))].$

式中: ${P_z}$为服从均匀分布或高斯分布的随机噪声, ${P_x}$为真实样本的分布, $E[ \bullet ]$表示期望算子.

GAN对于真实样本的分布具有极强的模拟能力,在数据增强方面具有巨大的潜力,相继有各领域的研究学者们用GAN进行数据增强,并取得一定的研究成果. 通常基于GAN的数据增强方法是将待增强数据作为GAN的训练数据,通过训练GAN模型,使得模型中的生成器能够生成类似于待增强数据分布的样本. Wang等[13]利用WGAN对不均衡的计算机断层扫描图像——肺结节图像进行过采样,以增加样本数据中少样本类的数量,提升CNN的分类精度;Han等[14]利用DCGAN和WGAN对多序列脑磁共振图像进行生成,可以同时针对序列中的几张图进行处理,提高诊断可靠性;Rezaei等[15]针对医学图像中的数据不均衡问题,利用CGAN对数据的真假反馈学习医学图像的特征表达;同时通过精炼网络对生成样本进行提炼得到增强的数据,降低检测过程中对非病症数据的误检率.

受以上研究学者的启发,本文致力于将GAN应用于太阳能电池缺陷数据增强. 太阳能电池缺陷通过红外相机进行采集,与非缺陷样本数据数量相差很大,导致太阳能电池缺陷数据与非缺陷数据存在数据不均衡性. 不同于Rezaei等[15]使用条件生成对抗网络和精炼网络的数据增强方式,本文利用非缺陷样本引导网络训练,生成新的缺陷样本数据,从而实现太阳能电池缺陷数据的数据增强.

2. NSGGAN

本文的NSGGAN模型结构如图1所示. 图中, ${x_{\rm p}}$表示正样本,即太阳能电池缺陷样本; ${x_{\rm n}}$表示负样本,即太阳能电池非缺陷样本. 将服从均匀分布的随机噪声 $z$输入具有反卷积结构的生成器 $G$中,输出生成样本 $G(z)$;将 ${x_{\rm p}}$${x_{\rm n}}$$G(z)$同时输入到具有卷积结构的判别器 $D$中,分别对每个样本的真假属性进行判断. 在NSGGAN中,判别器 $D$的目的是将 ${x_{\rm p}}$判别为真的概率为1,将 ${x_{\rm n}}$和生成样本判别为假的概率为1;生成器 $G$的目的是用来“迷惑”判别器 $D$,使得判别器 $D$能够判断 ${x_{\rm p}}$$G(z)$的属性为真的概率约为0.5;通过对抗训练,生成器能够生成判别器无法判别出真假的假样本 $G(z)$,生成的假样本 $G(z)$用于扩充正样本集.

图 1

图 1   NSGGAN模型结构

Fig.1   Model structure of NSG-GA


介绍引入负样本引导后的模型损失函数以及平衡生成器和判别器的自适应权值约束方法.

2.1. 模型损失函数

提出的NSGGAN模型不需要在生成器 $G$中生成负样本 ${x_{\rm n}}$,所以生成器 $G$的损失函数中没有与负样本 ${x_{\rm n}}$相关的损失函数. 判别器 $D$希望 ${x_{\rm n}}$$G(z)$的判别结果都为假,因此在判别器损失函数中加入负样本引导损失项 ${L_{{\rm {NSG}}_D}}$

${L_{{\rm {NSG}}_D}} = {E_{{x_n}\sim{P_n}({x_n})}}[\log\; (1 - D({x_n}))].$

式中: ${P_n}$为负样本 ${x_n}$的分布.

${L_{{\rm {NSG}}_D}}$使得负样本 ${x_n}$在判别器 $D$中的输出概率逼近0,有利于判别器 $D$准确区分 ${x_{\rm p}}$${x_{ n}}$,从而为生成器提供有效的梯度更新,促进模型生成高质量、高多样性的逼真样本. 生成器损失 ${L_{{\rm {NSGGAN}}_G}}$和加入 ${L_{{\rm {NSG}}_D}}$后的判别器损失函数 ${L_{{\rm {NSGGAN}}_D}}$如下:

${L_{{\rm {NSGGAN}}_G}} = {E_{z\sim{P_z}(z)}}[\log\; (D(G(z)))],\quad\quad\quad\quad$

$\begin{aligned} {L_{{\rm {NSGGAN}}_D}} = &{E_{{x_{\rm p}}\sim{P_{\rm p}}({x_{\rm p}})}}[\log\; (D({x_{\rm p}}))]{\rm{ }}+\\ &{E_{z\sim{P_z}(z)}}[\log \;(1 - D(G(z)))] + {L_{{\rm {NSG}}_D}}. \end{aligned}$

式中: ${P_z}$为高斯分布, ${P_{\rm p}}$为正样本的分布.

本文的判别器中包含 ${L_{{\rm {NSG}}_D}}$,因此判别器能够将负样本进行有效区分,从而为生成器提供有利于正样本特征表示的梯度更新,有利于提升生成样本特征和正样本的特征的相似度. 如图2所示,对负样本、正样本、DCGAN[16]生成样本以及NSGGAN生成样本特征进行可视化. 可以看出,加入 ${x_{\rm n}}$引导获得的特征比未加入负样本引导获得的特征更接近正样本的特征,表明加入负样本的引导有利于提升模型对正样本特征的表示能力,使得生成样本的特征更接近正样本特征.

图 2

图 2   不同样本的特征可视化

Fig.2   Feature visualization of different samples


2.2. 自适应权值约束

传统的GAN训练过程不稳定,无法有效生成逼真样本,通常使用正则化方法[17]约束模型的权值参数来解决该问题. Arjovsky等[18]利用权值裁剪的方法,将判别器的权值约束在一个紧凑的空间,使得模型收敛更快,生成样本的质量更高. 传统GAN判别器 $D$权值约束为

${{\rm {clip}}_D} = {\rm {clip}}\;({\theta _D},[ - c,c]).$

式中: ${\theta _D}$为判别器权值参数, ${\rm {clip}}\;({\theta _D},[ - c,c])$表示将 ${\theta _D}$约束在 ${\rm{[}} - c,c{\rm{]}}$.

将判别器参数限制在一个固定的范围是为了平衡对抗过程中生成器与判别器的表示能力,该方法的难点是参数 $c$的选择相对困难,当参数 $c$的取值较大时,判别器具有更敏感的判别能力,在训练后期,导致模型产生不必要的梯度更新;参数 $c$的取值较小会导致判别器权值过度被约束,过度的约束将削弱判别器对于真假样本的区分能力,使得模型的收敛速度变慢,影响生成数据的质量.

提出自适应权值约束方法,自适应地调节模型对判别器权值的约束范围,平衡判别器和生成器的特征表达能力,自适应权值约束为

$\left.\begin{array}{l} {{\rm {adaptive\_clip}}_D} = {\rm {clip}}\;({\theta _D},[ - c/\alpha ,c/\alpha ]), \\ {\rm{ }}\alpha = {\rm {clip}}\;({\rm{|}}D({x_{\rm{sam\_p}}}) - D(G({z_{\rm{sam}}}))|,[0.1,1]). \\ \end{array}\right\} $

式中: ${\theta _D}$为判别器权值参数; ${x_{\rm{sam\_p}}}$${z_{\rm{sam}}}$分别为正样本 ${x_{\rm p}}$和随机噪声 $z$的采样; $c$=0.01; $\alpha $为自适应影响因子,取值为 $[0.1,1]$. $\alpha $参数根据生成样本和正样本的判别器得分进行自适应调节,在该调节过程的前期,生成样本和正样本的得分相差较大, $\alpha $将变大,从而使得 ${\theta _D}$的范围浮动较小,促进模型更快地收敛. 随着模型的进一步训练,生成样本和正样本的判别器得分差值越来越小,为判别器参数 ${\theta _D}$提供相对较大的范围,提高了模型生成数据的质量.

3. 实验分析

3.1. 模型参数选择

为了证明NSGGAN的有效性,通过实验对比DCGAN[16]、WGAN-GP[19]和FOGAN[20]3种模型的生成样本质量和数据增强效果. 各对比方法的模型结构均基于DCGAN的模型结构,其中生成器的输入为100维服从均匀分布的噪声,输出为64×64像素的图像;判别器输入为64×64像素的图像,输出是判别为真实样本的概率. DCGAN模型、WGAN-GP模型、FOGAN模型以及提出的NSGGAN模型使用相同的实验参数:使用Adm作为优化器,学习率为0.000 1,一阶衰减指数为0.5,批量输入图像为16,训练的周期为18 000.

为了量化GAN模型的数据增强性能,将增强后的数据输入CNN进行分类,对比增强前、后的分类指标. 使用的CNN分类模型为LeNet-5模型的变体,将原模型的sigmoid激活函数改为Relu函数,并在激活函数之前加入批量标准化层,全连接层的dropout率为0.5. CNN分类模型的训练参数如下:优化器Adam,学习率为0.000 1,一阶衰减指数为0.5,训练迭代8 000次.

3.2. 性能评估指标

3.2.1. 生成质量评价指标

使用Shmelkov等[21]的3种生成质量评估指标:最大均值差异(MMD)、Wasserstein距离(WD)和最近邻留一法(1-NN)的分类精度p1-NN,对GAN生成样本的质量进行评估. 最大均值差异定义为

$\begin{split} & {\rm{MM}}{{\rm{D}}^2}\left( {{P_{\rm r}},{P_{\rm g}}} \right) =\\ & {E_{({x_{\rm r}},x'_{\rm r})\sim{P_{\rm r}},({x_{\rm g}},x'_{\rm g})\sim{P_{\rm g}}}}[k({x_{\rm r}},x'_{\rm r}) - 2k({x_{\rm r}},{x_{\rm g}}) + k({x_{\rm g}},x'_{\rm g})]. \end{split}$

MMD用于度量在某一核函数 $k( \cdot )$(一般使用各向同性高斯核函数)下分布 ${P_{\rm r}}$和分布 ${P_{\rm g}}$的差异性,给定来自 ${P_{\rm r}}$${P_{\rm g}}$的2组样本,使用有限样本的期望值近似计算2个分布的经验最大均值差异. MMD越低表示 ${P_{\rm r}}$${P_{\rm g}}$更接近,即生成样本更逼真.

分布 ${P_{\rm r}}$和分布 ${P_{\rm g}}$的Wasserstein距离(WD)定义为

${\rm{WD}}({P_{\rm r}},{P_{\rm g}}) = \begin{array}{*{20}{c}} {\inf } \\ {\gamma \in \varGamma ({P_{\rm r}},{P_{\rm g}})} \end{array}{E_{({x^{\rm r}},{x^{\rm g}})\sim\gamma }}[d({x^{\rm r}},{x^{\rm g}})].$

式中: $\varGamma ({P_{\rm r}},{P_{\rm g}})$为边缘分布 ${P_{\rm r}}$${P_{\rm g}}$的联合分布, $d({x^{\rm r}},{x^{\rm g}})$为2个样本之间的欧式距离. 对于密度为 ${p_{\rm r}}$${p_{\rm g}}$的离散分布,WD的优化方案为

$\!\!\left.\begin{array}{l} {\rm{WD}}({p_{\rm r}},{p_{\rm g}}) = {\min _{\omega \in {{\bf{R}}^{n \times m}}}}\sum\nolimits_{i = 1}^n {\sum\nolimits_{j = 1}^m {{\omega _{ij}}d(x_i^{\rm r},x_j^{\rm g})} }; \\ {\rm {s.t.}}\sum\nolimits_{j = 1}^m {{\omega _{ij}}} = {p_r}(x_i^{\rm r}){\rm{ }}\forall i,\;\sum\nolimits_{i = 1}^n {{\omega _{ij}}} = {p_{\rm g}}(x_j^{\rm g}){\rm{ }}\forall j. \\ \end{array}\right\} $

WD越小表示2个分布更相似,即生成质量更接近真实样本.

最近邻留一法是将总样本数N中抽取1个样本作为验证,其余样本作为训练,直至所有样本均被用于验证. 1-NN分类精度用于评估2个分布的相似程度,精度为0~1.0. 给定2类样本 ${s_{\rm r}}\sim{P_{\rm r}}$${s_{\rm g}}\sim{P_{\rm g}}$,当 ${s_{\rm r}} = {s_{\rm g}}$时,此时的1-NN精度为0,表示2类样本为同一组样本;当2个分布匹配时,2类样本特征相似,此时 ${\rm{|}}{s_{\rm r}}{\rm{|}} = {\rm{|}}{s_{\rm g}}{\rm{|}}$${s_{\rm r}} \ne {s_{\rm g}}$p1-NN约为0.5;当p1-NN<0.5时,表示GAN对训练样本过拟合.

3.2.2. CNN分类模型评价指标

使用F测度F(F-measure)评估数据增强前、后CNN分类模型的性能,以此来评估对比方法的数据增强性能. F定义如下:

${F} = \frac{{2 P R}}{{P + R}}.$

式中: $P$$R$分别为正样本的分类精度和召回率,

$P= \frac{\rm{TP}}{\rm{TP + FP}},$

$ R= \frac{\rm {TP}}{\rm {TP + FN}}, $

其中 ${\rm {TP}}$表示实际标签为正样本、预测为正样本的数目, ${\rm {FN}}$表示实际标签为负样本、预测为正样本的数目, ${\rm {FP}}$表示实际标签为负样本、预测结果为正样本的数目. F越高,表示CNN分类模型性能越好,对应的数据增强方法越好.

3.3. 太阳能电池EL缺陷生成质量及增强效果评估

本文的太阳能电池EL数据集包括100张带有隐裂缺陷和1 000张非缺陷的太阳能电池EL灰度图像,图像大小为1 024×1 024像素. 将太阳能电池EL数据统一裁剪成64×64像素的图片,缺陷样本共300张,非缺陷样本共36 000张. 如图3所示为太阳能电池EL数据裁剪后的缺陷样本和非缺陷样本.

图 3

图 3   太阳能电池EL数据

Fig.3   EL image samples of solar cells


3.3.1. 引导样本规模的影响分析

在太阳能电池EL缺陷数据增强效果评估之前,将F作为选择负样本规模的评价指标,对NSGGAN所需引导样本(负样本)的规模进行实验分析. 分别选取20、50、100和200个正样本(缺陷样本)以及不同数量的负样本(正常样本),训练NSGGAN. CNN分类器的训练集为使用预训练的NSGGAN生成10 000个正样本和随机从样本集中选取的10 000个负样本,测试集为剩余的100个正样本和6 000个负样本,实验记录并计算在不同情况下的F,结果如图4所示. 图中,ns分别为负样本数和正样本数.

图 4

图 4   不同数量负样本引导的F-measure曲线

Fig.4   F-measure curves of different numbers of negative samples


图4可以看出,训练集中引导负样本数量的增加,F曲线呈上升趋势;由此可见,引导负样本越多,提出的NSGGAN模型数据增强效果越好. 当负样本数目一定时,随着正样本数的增多,F越大,表明该方法在正样本数越多的情况下,效果越好.

3.3.2. 生成质量评价

利用DCGAN、WGAN-GP、FOGAN和NSGGAN对太阳能电池EL缺陷数据进行生成,生成图像的结果如图5所示. 可以看出,利用各种比较的模型均能够生成视觉上与正样本相似的图像.

图 5

图 5   DCGAN、WGAN-GP、FOGAN和NSGGAN生成太阳能电池EL缺陷样本

Fig.5   Generated EL image samples of solar cells by DCGAN,WGAN-GP,FOGAN and NSGGAN


为了对各模型生成质量进行评估,设定引导负样本的数量为30 000,分别使用正样本为20、50、100、200,训练DCGAN、WGAN-GP、FOGAN和NSGGAN模型生成缺陷样本,计算生成样本的MMD、WD和p1-NN. 使用CPICS-LBP特征[22]作为该评估模型生成质量时使用的特征,各模型的生成质量评价指标如表1所示,较好的结果加粗显示.

表 1   各模型在太阳能电池EL缺陷数据上的生成质量

Tab.1  Generated quality of each model on solar cell EL dataset

方法 s p1-NN MMD WD
DCGAN 20 0.81 0.35 4.3
DCGAN 50 0.79 0.33 4.0
DCGAN 100 0.76 0.31 3.8
DCGAN 200 0.75 0.30 3.6
WGAN-GP 20 0.73 0.32 4.2
WGAN-GP 50 0.73 0.31 3.9
WGAN-GP 100 0.72 0.28 3.7
WGAN-GP 200 0.69 0.27 3.5
FOGAN 20 0.68 0.29 3.8
FOGAN 50 0.65 0.25 3.4
FOGAN 100 0.61 0.20 3.1
FOGAN 200 0.58 0.18 2.9
NSGGAN 20 0.53 0.20 3.3
NSGGAN 50 0.53 0.18 3.2
NSGGAN 100 0.53 0.17 3.1
NSGGAN 200 0.52 0.15 2.8

新窗口打开| 下载CSV


在生成质量评价指标中,WD和MMD越小,说明生成质量越高;在p1-NN≥0.5的情况下,越接近0.5表示生成质量越好. 从表1可以看出,当正样本数量相同时,FOGAN的各生成质量指标较DCGAN和WGAN-GP小,p1-NN均未低于0.5,因此FOGAN比DCGAN和WGAN-GP具有更好的生成质量. 当正样本数一定时,NSGGAN比FOGAN的指标更小,具有更好的生成质量,因此提出的负样本引导的GAN模型在生成样本的质量上具有一定的竞争力.

3.3.3. 数据增强性能评价

为了评价NSGGAN模型对太阳能电池EL缺陷的数据增强效果,设置s为20、50、100、200,样本集如表2所示,将没有数据增强、传统的旋转和翻转的增强方法、DCGAN增强方法、WGAN-GP增强方法、FOGAN增强方法及提出的NSGGAN增强方法的数据作为训练CNN分类模型的正样本,测试计算每种方法的F,结果如图6所示.

表 2   太阳能电池EL样本集

Tab.2  Samples sets of solar cell EL image

方法 GAN训练集 CNN训练集 CNN测试集
s n s n s n
没有数据增强 s 10 000 300−s 6 000
传统数据增强方法 s 10 000 10 000 300−s 6 000
DCGAN增强方法 s 10 000 10 000 300−s 6 000
WGAN-GP增强方法 s 10 000 10 000 300−s 6 000
FOGAN增强方法 s 10 000 10 000 300−s 6 000
NSGGAN增强方法 s 20 000 10 000 10 000 300−s 6 000

新窗口打开| 下载CSV


图 6

图 6   不同数量正样本下各方法在太阳能电池EL数据集的F测度曲线

Fig.6   F-measure curves of solar cell EL dataset for different methods under different positive samples


图6可以看出,随着正样本数目的增加,各方法的F的差距变小,这表明随着正样本数量的增加,CNN获得更好的分类效果. 当正样本数量相同时,基于GAN增强相比于传统方法具有更好的增强效果;利用提出的NSGGAN获得的F均高于DCGAN、WGAN-GP和FOGAN方法. 特别地,当正样本数量为20时,NSGGAN数据增强后的F为0.96,相较于未增强方法的F提升15%,相较于DCGAN、WGAN-GP和FOGAN分别提升10%、8%和5%. 由此可得,相比于其他比较的方法,NSGGAN具有更突出的数据增强的性能.

3.3.4. 模型改进的有效性验证

为了验证提出的负样本引导和自适应权值约束的有效性,在太阳能电池EL缺陷数据集上对比DCGAN、加入负样本引导的DCGAN(DCGAN+NSG)、加入传统的权值裁剪的DCGAN(DCGAN+clip)、加入自适应权值裁剪方法的DCGAN(DCGAN+adaptive_clip)、加入负样本引导与传统权值裁剪方法的DCGAN(DCGAN + NSG + clip)以及加入负样本引导与自适应权值约束的DCGAN(NSGGAN)等方法的生成质量指标和F. 其中,用于训练各对比模型的正样本为20个,负样本为20 000个;CNN分类模型的训练集包括增强后的10 000个正样本以及从数据集中抽取的10 000个负样本;测试集为280个正样本和6 000个负样本. 实验结果如表34所示,最好结果由粗体显示.

表 3   各方法在太阳能电池EL数据集的F测度

Tab.3  F-measure index of each method on solar cell EL dataset

对比方法 F
DCGAN 0.85
DCGAN + NSG 0.89
DCGAN + clip 0.91
DCGAN + adaptive_clip 0.92
DCGAN+NSG + clip 0.93
NSGGAN 0.96

新窗口打开| 下载CSV


表 4   各方法在太阳能电池EL缺陷数据集上的生成质量

Tab.4  Generated quality of each method on solar cell EL defect dataset

对比方法 p1-NN MMD WD
DCGAN 0.81 0.35 4.3
DCGAN + NSG 0.75 0.29 3.8
DCGAN + clip 0.74 0.27 3.5
DCGAN +adaptive_clip 0.71 0.25 3.5
DCGAN + NSG+ clip 0.69 0.22 3.3
NSGGAN 0.53 0.18 3.1

新窗口打开| 下载CSV


表34可以看出,利用DCGAN-NSG的方法获得的F-measure和生成质量指标均优于DCGAN,表明提出的负样本引导策略的有效性. DCGAN+clip的F-measure和各类生成质量指标优于DCGAN,这体现了对判别器的权值约束有利于提升模型的生成质量. DCGAN+ adaptive_clip的F-measure和各类生成质量指标均优于DCGAN+ clip,说明对判别器权值约束的改进是有效的. NSGGAN的F-measure和各类生成质量指标优于其他各种比较的方法,由此可见,对于太阳能电池EL缺陷数据集,本文在DCGAN上提出的负样本引导策略和判别器权值约束策略是有效的.

3.4. NSGGAN在其他数据集上的性能评估

除太阳能电池EL数据集外,在带钢表面缺陷数据集[23]和DAGM2007[24]公共织物数据集上对提出的NSGGAN作了进一步验证. 其中表面缺陷数据集包含400个带钢缺陷数据及14 000张非缺陷数据,大小为64×64像素的灰度图像;DAGM2007数据集为各种均质纹理下的布匹数据库,该数据为6类无缺陷布匹数据1 000张及各类相应的6类缺陷各600张,大小为512×512像素的灰度图片. 选取类别1缺陷样本,裁剪大小为64×64像素,包括700张缺陷样本和20 000张非缺陷样本. 在2个数据集上分别随机选择缺陷样本各20个作为正样本,非缺陷样本各80%作为负样本训练DCGAN、WGAN-GP、FOGAN和NSGGAN,各模型生成样本如图7所示. 可以看出,DCGAN、WGAN-GP和NSGGAN 3种模型均能够生成与原始样本相似的图像,但FOGAN生成的2类样本在视觉上没有其他3种方法好,且生成的DAGM2007数据纹理不连续. 生成结果表明,当样本量极少时,DCGAN、WGAN-GP和NSGGAN较FOGAN具有更强的泛化能力.

图 7

图 7   DCGAN、WGAN-GP、FOGAN和NSGGAN生成的样本

Fig.7   Generated samples by DCGAN,WGAN-GP,FOGAN and NSGGAN


为了评估提出的NSGGAN模型在其他数据集上的性能,在带钢表面缺陷数据集和DAGM2007中选择20、50、100和200个正样本进行训练. 特别地,NSGGAN分别在2个数据集中随机选择90%负样本作为训练集. 通过实验分别测试p1-NN、MMD、WD,实验结果如表56所示,最好结果由粗体显示.

表 5   各模型在带钢表面缺陷数据集上的生成质量

Tab.5  Generated quality of each model on strip steel surface defect dataset

方法 s p1-NN MMD WD
DCGAN 20 0.83 0.42 5.1
DCGAN 50 0.80 0.40 4.9
DCGAN 100 0.78 0.37 4.5
DCGAN 200 0.76 0.36 4.3
WGAN-GP 20 0.78 0.41 4.7
WGAN-GP 50 0.76 0.40 4.5
WGAN-GP 100 0.75 0.39 4.4
WGAN-GP 200 0.73 0.36 4.2
FOGAN 20 0.85 0.46 5.3
FOGAN 50 0.74 0.42 4.8
FOGAN 100 0.70 0.37 4.3
FOGAN 200 0.67 0.35 4.0
NSGGAN 20 0.59 0.28 3.6
NSGGAN 50 0.58 0.27 3.5
NSGGAN 100 0.58 0.24 3.2
NSGGAN 200 0.55 0.23 3.0

新窗口打开| 下载CSV


表 6   各模型在DAGM2007数据集上的生成质量

Tab.6  Generated quality of each model on DAGM2007 dataset

方法 s p1-NN MMD WD
DCGAN 20 0.88 0.53 5.4
DCGAN 50 0.87 0.51 5.2
DCGAN 100 0.85 0.50 5.5
DCGAN 200 0.83 0.47 4.8
WGAN-GP 20 0.85 0.51 4.9
WGAN-GP 50 0.83 0.47 4.6
WGAN-GP 100 0.82 0.45 4.5
WGAN-GP 200 0.80 0.44 4.3
FOGAN 20 0.90 0.56 5.8
FOGAN 50 0.86 0.50 5.5
FOGAN 100 0.83 0.46 5.0
FOGAN 200 0.78 0.43 4.5
NSGGAN 20 0.75 0.46 4.4
NSGGAN 50 0.73 0.43 4.2
NSGGAN 100 0.70 0.42 4.0
NSGGAN 200 0.68 0.40 3.9

新窗口打开| 下载CSV


表56可知,在2个数据集中,随着正样本数的增加,4种模型的生成质量指标渐渐向各指标的最优值靠近. 当正样本数相同时,提出的NSGGAN模型的p1-NN不低于0.5,且比其他模型更靠近0.5;NSGGAN模型的MMD、WD较DCGAN模型、WGAN-GP模型和FOGAN模型更小. 当正样本数一定时,NSGGAN模型在2个数据集上的生成质量评价指标均优于DCGAN模型、WGAN-GP模型和FOGAN的生成质量评价指标. 由此可见,提出的NSGGAN相较于DCGAN、WGAN-GP和FOGAN在带钢表面缺陷数据集和DAGM2007数据集上表现出更高的生成质量.

在2个数据集上分别测试没有数据增强、传统的旋转和翻转的增强方法、DCGAN增强方法、WGAN-GP增强方法、FOGAN增强方法以及本文提出的NSGGAN增强方法在不同正样本数目情况下的F,结果如图8所示.

图 8

图 8   不同数量正样本下不同方法的F测度曲线

Fig.8   F-measure curves of different methods under different numbers of positive samples


图8可以看出,不管是带钢表面缺陷数据集,还是DAGM2007数据集,在相同正样本数下,数据增强方法的F均高于没有进行数据增强的方法;基于GAN数据增强方法的F均高于传统数据增强方法. 在正样本数从20增加到200的过程中,各对比模型的F均逐渐上升. 当正样本数相同时,NSGGAN的F优于其他5种方法. 由此可见,提出的NSGGAN方法在各数据集上,较其他比较方法都表现出了更好的F曲线.

综上所述,提出的NSGGAN模型在其他数据集上表现出良好的生成质量及分类精度,具有一定的泛化能力.

4. 结 语

针对太阳能电池EL缺陷数据不均衡带来的过拟合问题,本文提出基于负样本引导的NSGGAN的数据增强方法. 负样本引导的策略可以有效提升模型对正样本特征的表达能力,增加模型生成样本的多样性;利用自适应的权值约束的方法对判别器的权值进行自适应调整,平衡生成器和判别器的能力,使得模型训练过程更加稳定,进一步提升模型生成样本的质量.

通过实验结果证明,本文提出的NSGGAN模型能够有效提升模型的生成质量和多样性;在太阳能电池EL数据集上,相较于DCGAN、WGAN-GP、和FOGAN有一定的竞争力. NSGGAN在带钢表面缺陷数据集和DAGM2007数据集上的验证结果优于其他对比的方法,表明NSGGAN具有一定的泛化能力. NSGGAN可以用于工业生产过程中的缺陷数据增强,利用与缺陷数据同源的正常数据和少量缺陷数据对少量缺陷数据进行增强,能够有效提升深度学习模型的分类精度.

参考文献

TSAI D M, LI G N, LI W C, et al

Defect detection in multi-crystal solar cells using clustering with uniformity measures

[J]. Advanced Engineering Informatics, 2015, 29 (3): 419- 430

DOI:10.1016/j.aei.2015.01.014      [本文引用: 1]

林剑春, 杨爱军, 沈熠辉

电致发光缺陷检测仪的成像性能评估

[J]. 光学 精密工程, 2017, 25 (6): 1418- 1424

DOI:10.3788/OPE.20172506.1418      [本文引用: 1]

LIN Jian-chun, YANG Ai-jun, SHEN Yi-hui

Evaluation of imaging performance for electroluminescence defect detector

[J]. Optics and Precision Engineering, 2017, 25 (6): 1418- 1424

DOI:10.3788/OPE.20172506.1418      [本文引用: 1]

TSAI D M, LIN M C

Machine-vision-based identify-cation for wafer tracking in solar cell manufacturing

[J]. Robotics and Computer Integrated Manufacturing, 2013, 29 (5): 312- 321

DOI:10.1016/j.rcim.2013.01.009      [本文引用: 1]

夏英, 李刘杰, 张旭, 等

基于层次聚类的不平衡数据加权过采样方法

[J]. 计算机科学, 2019, 46 (4): 28- 33

[本文引用: 1]

XIA Ying, LI Liu-jie, ZHANG Xu, et al

Weighted oversampling method based on hierarchical clustering for unbalanced data

[J]. Computer Science, 2019, 46 (4): 28- 33

[本文引用: 1]

王宪保, 李洁, 姚明海, 等

基于深度学习的太阳能电池片表面缺陷检测方法

[J]. 模式识别与人工智能, 2014, 27 (6): 517- 523

[本文引用: 1]

WANG Xian-bao, LI Jie, YAO Ming-hai, et al

Solar cells surface defects detection based on deep learning

[J]. Pattern Recognition and Artificial Intelligence, 2014, 27 (6): 517- 523

[本文引用: 1]

SHI J J, PING W, PEI Y J, et al. Research on data augmentation for image classification based on convolution neural networks [C] // 2017 Chinese Automation Congress. Beijing: IEEE, 2017: 4165- 4170.

[本文引用: 1]

GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets [C] // Advances in Neural Information Processing Systems. Montréal: MIT Press, 2014: 2672-2680.

[本文引用: 2]

SANDFORT V, YAN K, PICKHARDT P J, et al

Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks

[J]. Scientific Reports, 2019, 9 (1): 1- 9

DOI:10.1038/s41598-018-37186-2      [本文引用: 1]

ZHONG Z, ZHENG L, ZHENG Z, et al. Camera style adaptation for person re-identification [C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Utah: IEEE, 2018: 5157-5166.

[本文引用: 1]

LIU L, PAN Z, QIU X, et al. SAR target classification with cycle-gan transferred simulated samples [C] // 2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018: 4411-4414.

[本文引用: 1]

LI Z, WANG Y, YU J. Reconstruction of thin-slice medical images using generative adversarial network [C] // International Workshop on Machine Learning in Medical Imaging. Berlin: Springer, 2017: 325-333.

[本文引用: 1]

GUAN J, LI R, YU S, et al. Generation of synthetic electronic medical record text [C] // 2018 IEEE International Conference on Bioinformatics and Biomedicine. Madrid: IEEE, 2018: 374-380.

[本文引用: 1]

WANG Q, ZHOU X, WANG C, et al

WGAN-based synthetic minority over-sampling technique: improving semantic fine-grained classification for lung nodules in CT images

[J]. IEEE Access, 2019, 7 (1): 18450- 18463

[本文引用: 1]

HAN C, HAYASHI H, RUNDO L, et al. GAN-based synthetic brain MR image generation [C] // 2018 IEEE 15th International Symposium on Biomedical Imaging. Washington: IEEE, 2018: 734-738.

[本文引用: 1]

REZAEI M, YANG H, HARMUTH K, et al. Conditional generative adversarial refinement networks for unbalanced medical image semantic segmentation [C] // 2019 IEEE Winter Conference on Applications of Computer Vision. Washington: IEEE, 2019: 1836-1845.

[本文引用: 2]

FANG W, ZHANG F, SHENG V S, et al

A method for improving CNN-based image recognition using DCGAN

[J]. Computers Materials and Continua, 2018, 57 (1): 167- 178

[本文引用: 2]

LIN T, HU Z, GUO X. Sparsemax and relaxed wasserstein for topic sparsity [C] // Proceedings of the 12th ACM International Conference on Web Search and Data Mining. Melbourne: ACM, 2019: 141-149.

[本文引用: 1]

ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein generative adversarial networks [C] // Proceedings of the 34th International Conference on Machine Learning. Sydney: ACM, 2017: 214-223.

[本文引用: 1]

GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of Wasserstein GANs [C] // Advances in Neural Information Processing Systems. Long Beach: MIT Press, 2017: 5767-5777.

[本文引用: 1]

SEWARD C, UNTERTHINER T, BERGMANN U, et al

First order generative adversarial networks

[J]. Proceedings of the 35th International Conference on Machine Learning, 2018, 80 (1): 4567- 4576

[本文引用: 1]

SHMELKOV K, SCHMID C, ALAHARI K. How good is my GAN [C]// Proceedings of the European Conference on Computer Vision. Munich: Springer, 2018: 213-229.

[本文引用: 1]

SU B Y, CHEN H Y, ZHU Y, et al

Classification of manufacturing defects in multicrystalline solar cells with novel feature descriptor

[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68 (12): 4675- 4688

DOI:10.1109/TIM.2019.2900961      [本文引用: 1]

WANG H Y, ZHANG J W, TIAN Y, et al

A simple guidance template-based defect detection method for strip steel surfaces

[J]. IEEE Transactions on Industrial Informatics, 2018, 15 (5): 2798- 2809

[本文引用: 1]

WANG T, CHEN Y, QIAO M, et al

A fast and robust convolutional neural network-based defect detection model in product quality control

[J]. The International Journal of Advanced Manufacturing Technology, 2018, 94 (9-12): 3465- 3471

DOI:10.1007/s00170-017-0882-0      [本文引用: 1]

/