浙江大学学报(工学版), 2022, 56(4): 727-735 doi: 10.3785/j.issn.1008-973X.2022.04.012

计算机技术、信息工程

基于Cycle-GAN和改进DPN网络的乳腺癌病理图像分类

张雪芹,, 李天任

华东理工大学 信息科学与工程学院,上海 200000

Breast cancer pathological image classification based on Cycle-GAN and improved DPN network

ZHANG Xue-qin,, LI Tian-ren

School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200000, China

收稿日期: 2021-05-20  

Received: 2021-05-20  

作者简介 About authors

张雪芹(1972—),女,教授,从事计算机视觉与信息安全的研究.orcid.org/0000-0001-7020-1033.E-mail:zxq@ecust.edu.com , E-mail:zxq@ecust.edu.com

摘要

针对病理图像染色不均匀及良恶性难以鉴别的问题,提出基于Cycle-GAN和改进的双路径网络(DPN)的算法框架. 利用Cycle-GAN进行颜色归一化处理,解决因病理图像染色不均匀导致的检测模型精度偏低问题,通过对图像进行重叠切片,基于DPN网络采用增加小卷积、反卷积和注意力机制,增强模型对病理图像纹理特征的分类能力. 在BreaKHis数据集上的实验结果表明,所提算法有效提高了乳腺癌病理图像良恶性分类的准确性.

关键词: 乳腺癌病理图像分类 ; 深度学习 ; Cycle-GAN网络 ; 双路径网络(DPN) ; 注意力机制

Abstract

An algorithm framework based on cycle-consistent adversarial network (Cycle-GAN) and improved dual path network (DPN) was proposed aiming at the uneven staining of pathological images and the difficulty in distinguishing between benign and malignant. Cycle-GAN was used for color normalization in order to solve the problem of low accuracy of the detection model caused by uneven staining of pathological images. The mechanism of adding small convolution, deconvolution and attention was adopted based on the DPN network by overlapping and slicing the image. The model’s ability to classify pathological image texture features was enhanced. The experimental results on the BreaKHis dataset show that the proposed algorithm effectively improves the accuracy of the classification of benign and malignant breast cancer pathological images.

Keywords: breast cancer pathological image classification ; deep learning ; Cycle-GAN network ; dual path network (DPN) ; attention mechanism

PDF (1177KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张雪芹, 李天任. 基于Cycle-GAN和改进DPN网络的乳腺癌病理图像分类. 浙江大学学报(工学版)[J], 2022, 56(4): 727-735 doi:10.3785/j.issn.1008-973X.2022.04.012

ZHANG Xue-qin, LI Tian-ren. Breast cancer pathological image classification based on Cycle-GAN and improved DPN network. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(4): 727-735 doi:10.3785/j.issn.1008-973X.2022.04.012

乳腺组织病理检查是诊断乳腺疾病的最权威标准[1]. 传统辅助诊断通过边缘检测的方法分割细胞核[2],以辅助病理医生诊断. 基于机器学习的方法,如支持向量机[3]、随机森林[4],一般采用人工提取的特征进行建模和分类[5-6]. 病理图像往往存在较大的差异性[7],特征提取依赖于很强的专业知识,难以提取完备,因而分类精度较低. 深度学习方法能够克服人工提取特征的局限性,自动抽取复杂的非线性特征,在病理图像的分类中逐步得到广泛应用[8]. 在BreakHis数据集上,Spanhol等[9]基于AlexNet模型,结合最大融合方法进行分类,患者级别和图像级别的分类准确度分别为90%和85.6%. Bayramoglu等[10]训练了2个CNN(convolutional neural network)网络,单任务CNN模型用于预测乳腺癌肿瘤的良恶性,多任务CNN用来预测恶性子类,在患者级别上的二分类和四分类准确率分别为83.25%和82.13%. 何雪英等[11]基于GoogLeNet,引入微调学习机制,在患者级别上二分类准确率平均为91%. 明涛等[12]提出多尺度通道重校准模型msSE-ResNet(multi-scale channel squeeze-and-excitation),良恶性分类精度为88.87%. 邹文凯等[13]提出BN-Inception(batch normalization-inception)模型,在训练时不区分放大倍数,在40×病理图片上的分类准确率为87.79%. Nahid等[14]使用频域信息提取特征,利用长短期记忆神经网络(long short term memory,LSTM)及门控循环单元(gated recurrent unit, GRU)进行分类,分类准确率为93.01%. 这些研究证明了基于深度学习方法进行病理图像分类的有效性.

不同批次病理图像往往存在染色不一致的问题,采用这些样本训练分类模型会导致分类精度下降. 病理图像的纹理特征比较复杂,语义信息较弱,需要提取更多的中、低级特征才能提高分类精度. 针对上述问题,本文提出基于Cycle-GAN和改进的DPN网络的算法,采用基于Cycle-GAN的颜色归一化方法,减少染色问题对分类精度的影响. 采用DPN网络进行特征自动提取和分类,引入小卷积、反卷积层和注意力机制等改进措施,结合基于置信率和投票机制的判别策略,提高图像分类的准确率.

1. 相关工作

1.1. Cycle-GAN网络结构

生成对抗网络(generative adversarial network,GAN)[15]目前在图像生成方面已得到广泛应用. 基本结构含有生成器和判别器,通过生成器和判别器的博弈,不断优化损失函数,生成与真实数据十分相似的伪数据. Zhu等[16]提出的Cycle-GAN是在GAN的基础上发展的环形网络结构,可以实现无配对图像之间的风格迁移,在保证生成图像颜色改变的同时保证与原始图像的细节特征保持一致.

Cycle-GAN由2个生成器和2个判别器构成,Cycle-GAN的模型结构如图1所示. 其中,生成器 $G$用来从X域生成Y域风格的图像,生成器 $F$将生成的Y域图像还原为X域图像. 判别器 ${D_X}$用于使生成器 $G$生成的图像尽可能接近Y域风格的图像,判别器 ${D_Y}$用于使生成器 $F$生成的图像尽可能接近原来X域的原始图像,从而保证图像风格迁移时,不仅有风格从X域到Y域的改变,而且原来X域原图像的特征依然存在.

图 1

图 1   Cycle-GAN模型

Fig.1   Cycle-GAN networks structure


Cycle-GAN总体训练的损失函数由以下3部分组成. 1)X域GAN的损失: ${L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right)$,其中判别器为 ${{D_X}}$,生成器为 $F$. 2)Y域GAN的损失: ${L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right)$,其中判别器为 ${D_Y}$,生成器为 $G$. 3)重构误差: ${L_{{\rm{cyc}}}} = L_{{\rm{cyc}}}^x + L_{{\rm{cyc}}}^y$.

Cycle-GAN的总损失为

$ \begin{split} L(G,F,{{D_X}},{{D_Y}}) =& {L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right) + \\ & {L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right) + \lambda {L_{{\rm{cyc}}}}(G,F). \end{split} $

式中: $\lambda $为权重系数.

1) ${L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right).$

将原始X域切片a输入生成器 $G$,生成具有Y域颜色特征的切片a' ,判别器 ${{D_Y}}$判断切片a' 是否属于Y域. X域GAN的损失为

$ \begin{aligned} {L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right){\text{ = }}&{E_{{\boldsymbol{y}} \sim {\rm{pdata}}\left( {\boldsymbol{y}} \right)}}[{\log _2} {{D_Y}}(y)]{\rm{ + }}\\&{E_{{\boldsymbol{x}} \sim {\rm{pdata}}\left( {\boldsymbol{x}} \right)}}[{\log _2}(1 - {D_Y}(G(x)))].\end{aligned} $

式中: $G$表示从X域到Y域的生成器,G(x)为生成的Y域假样本, ${E_{{\boldsymbol{y}} \sim {\rm{pdata}}({\boldsymbol{y}})}}$${E_{{\boldsymbol{x}} \sim {\rm{pdata}}({\boldsymbol{x}})}}$分别表示在Y域和X域取期望值. 生成器 $G$的目标是将 ${L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right)$最小化,判别器 ${{D_Y}}$的目标是将其最大化,因此目标函数为

$ \mathop {\min }\limits_G \mathop {\max }\limits_{D_Y} {L_{{\rm{GAN}}}}\left( {G,{D_Y},X,Y} \right). $

2) ${L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right).$

原始Y域切片b输入至生成器 $F$,生成具有X域颜色特征的切片b' ,判别器判断 ${{D_X}}$切片b'是否属于X域. Y域GAN的损失为

$ \begin{split} {L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right){\text{ = }}&{E_{{\boldsymbol{x}} \sim {\rm{pdata}}\left( {\boldsymbol{x}} \right)}}[{\log _2} {{D_X}}({\boldsymbol{x}})]{\text{ + }} \\ & {E_{{\boldsymbol{y}} \sim {\rm{pdata}}\left( {\boldsymbol{y}} \right)}}[{\log _2} (1 - {{D_X}}(F({\boldsymbol{y}})))]. \end{split} $

式中: $F$表示从Y域到X域的生成器, ${{D_X}}$为判别器,F(y)为生成的X域假样本. 生成器F的目标是将 ${L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right)$最小化,判别器 ${{D_X}}$的目标是将其最大化,因此目标函数为

$ \mathop {\min }\limits_F \mathop {\max }\limits_{{{D_X}}} {L_{{\rm{GAN}}}}\left( {F,{D_X},Y,X} \right). $

3) ${L_{{\rm{cyc}}}}(G,F).$

在理想情况下,X域原始切片aX域还原切片a'' 应该完全相同,但事实上aa'' 存在差异,把切片a与切片a'' 的差别计为 $L_{{\rm{cyc}}}^x$. Y域原始切片bY域还原切片b'' 的差别计为 $L_{{\rm{cyc}}}^y$. Cycle-GAN的重构误差 ${L_{{\rm{cyc}}}}$

$ \begin{split} {L_{{\rm{cyc}}}}(G,F)=& {E_{{\boldsymbol{x}} \sim {\rm{pdata}}\left( {\boldsymbol{x}} \right)}}\left[ {\parallel F(G({\boldsymbol{x}}))-{\boldsymbol{x}}{\parallel _1}} \right]+\\ & {E_{{\boldsymbol{y}} \sim {\rm{pdata}}\left( {\boldsymbol{y}} \right)}}[\parallel G(F({\boldsymbol{y}})) - {\boldsymbol{y}}{\parallel _{\rm{1}}}]. \end{split} $

式中: $F({{\boldsymbol{y}}})$为生成的X域假样本, $G({\boldsymbol{x}})$为生成的Y域假样本. 通过L1范数的形式,衡量生成样本与真实样本之间的误差.

1.2. DPN68网络结构

DPN是基于ResNeXt和DenseNet[17]提出的双路径结构网络. 它融合了ResNeXt和DenseNet的优点,将每一层的输出从相加改为相并联,实现了每一层都能直接得到之前所有层的输出,使得模型对特征的利用更加充分.

DPN68网络结构如图2所示,经过 3×3的卷积操作,再通过3×3的最大池化操作,进入block操作(图2中[ ]的内容). 其中,×3表示循环3个该参数的block,G指的是ResNeXt的一个block中分了多少条路径(即group的数目),+16表示DenseNet中的一个block中每次增加的通道数. 原始DPN68网络经过conv3、conv4、conv5之后,采用softmax进行多分类.

图 2

图 2   DPN68网络结构

Fig.2   DPN68 network structure


DPN网络的block结构如图3所示,上方路径为ResNeXt通道,下方路径为DenseNet通道. 上、下2条通道相加之后进行3×3的卷积、1×1的维度变换. 将输出分离,上方路径与上方路径的原输入进行合并操作,下方路径与下方路径的原输入进行合并操作,于是构成DPN网络的一个block.

图 3

图 3   DPN网络block结构

Fig.3   Block structure in DPN network


1.3. 注意力模型

注意力机制源于对人类视觉的研究. 人类在生活中为了合理分配有限的视觉信息处理资源,需要选择特定部分来重点关注. 在神经网络中,可以通过添加注意力层,给输入图像的不同部分分配不同的权重[18],提高良恶性分类精度. 注意力层的结构如图4所示.

图 4

图 4   注意力层结构

Fig.4   Attention mechanism structure


添加注意力层是通过3个分别名为Squeeze、Excitation和Scale的操作实现的[19].

1)Squeeze操作. Squeeze操作通过全局池化(global pooling)操作,使每个通道实现特征压缩. 通道数量C保持不变,使得原大小为H×W×C的特征图尺寸变为1×1×C. 公式如下:

$ {{z}_{C}} = {{F}_{{\rm{sq}}}}({\boldsymbol{u}}_{{C}}) = \frac{1}{{H{{ \times }}W}}\sum\nolimits_{{i} = 1}^H {\sum\nolimits_{j = 1}^W {u_{{C}}}(i,j).} $

式中: ${u_{{C}}}(i,j)$为经过反卷积操作输出的二维矩阵第i行第j列的元素.

2)Excitation操作. Excitation操作通过全连接层将特征维度降低到原来的1/n,再经过ReLu函数激活后,通过全连接层还原为原来的通道数量C,利用sigmoid函数生成归一化权重 ${s_C}$.

$ {s_C} = {{{F}}_{{\rm{ex}}}}({{z}_{{C}}},{\boldsymbol{W}}_1,{\boldsymbol{W}}_2) =\sigma ({{\boldsymbol{W}}_2}\delta ({{\boldsymbol{W}}_{\rm{1}}}{z_{{C}}})). $

式中:0< $s_C$<1.0; $\sigma$表示sigmoid函数; $\delta$表示Relu函数,输出为正; ${{\boldsymbol{W}}_{1}}$${{\boldsymbol{W}}_{2}}$分别为2个全连接层的权重矩阵.

3)Scale操作. Scale操作通过将归一化权重 ${{s}_{C}}$加权到每个通道的特征上,即通道输入乘以权重系数,从而引入注意力机制,为不同维度的特征分配不同的权重. 加权过程的公式如下:

$ {F_{{\rm{scale}}}}({{\boldsymbol{u}}_C},{s_C}) = {s_C}{{\boldsymbol{u}}_C}. $

2. 算法描述

为了更好地提高病理图像分类的准确率,提出基于Cycle-GAN和DPN网络的乳腺癌病理图像分类模型结构,如图5所示.

图 5

图 5   基于Cycle-GAN和DPN网络的乳腺癌病理图像分类模型

Fig.5   Breast cancer pathological image classification model based on Cycle-GAN and DPN network


Cycle-GAN网络是用来进行病理图像的颜色归一化,即将不同颜色的病理图像转为相同颜色,减少颜色对分类的影响. DPN网络采用加入注意力机制的68层DPN网络模型,增强了对病理图像的分类能力.

1)对BreakHis数据集中原始大小为700×460像素的病理图像进行重叠切片处理. 将每一张原始图像转为12张大小为224×224像素的病理图像切片.

2)根据数据集中病理图像的颜色不同,选出一种目标颜色,基于Cycle-GAN网络将其余颜色图像均转为目标颜色,实现颜色归一化.

3)针对不均衡数据问题对其进行数据增强. 通过翻转、旋转、微调亮度和对比度等方法进行数据扩充[20],使得良性切片个数与恶性切片个数达到基本平衡.

4)在DPN68网络的基础上进行改进,通过增加小卷积、反卷积并引入注意力机制,提高分类准确率.

2.1. 基于Cycle-GAN的病理图像颜色归一化

由于不同医生在给病理图像染色时的剂量不同,容易造成病理图像的染色颜色深浅不一,特别是不同时期的病理图片,差异很大,如图6的原始切片a和原始切片b. 若使用染色不同的病理图像训练建模,则会导致模型精度下降,因此对病理图像进行颜色归一化处理是必要的.

图 6

图 6   Cycle-GAN病理图像颜色归一化模型

Fig.6   Cycle-GAN pathological image color normalization model


Cycle-GAN中生成器 $G$$F$的构造相同,均由编码器、转换器和解码器3个部分组成. 判别器 ${{D_X}}$和判别器 ${{D_Y}}$的构造相同,由5层卷积神经网络构成.

将数据集中的病理图像切片按照颜色分类,将其中一类作为Y域图像(目标颜色图像),其余颜色类别作为X域图像. 基于Cycle-GAN的病理图像颜色归一化模型框架如图6所示,输入为X域切片,输出为生成的Y域切片a'.

图6所示,输入的X域切片a通过生成器 $G$生成具有Y域染色特征的切片a',生成器 $G$通过和判别器 ${{D_Y}}$不断博弈,使得生成切片 ${\boldsymbol{a}}'$颜色尽可能接近Y域. 之后输入至生成器 $F$,生成一张X域染色的还原切片a'',理论上还原切片和原始切片应该完全相同,它们之间的误差即为 ${L_{{\rm{cyc}}}}$. 通过不断优化 ${L_{{\rm{cyc}}}}$,保证颜色转换时纹理特征的不变. 从Y域到X域也是同理,如图6的内圈结构所示.

经过训练的Cycle-GAN模型可以针对输入的不同颜色的原始切片,对其进行颜色归一化,同时保持纹理特征不变. 将所有病理图像切片进行颜色归一化之后,可以避免分类结果受到因染色不均匀而产生的影响.

2.2. 改进的DPN68-A病理图像分类模型

提出的改进的DPN68-A网络结构如图7所示. 改进网络在conv1层添加了1×1小卷积,在原始的DPN-68网络中引入了反卷积层和注意力层.

图 7

图 7   DPN68-A网络结构

Fig.7   DPN68-A network structure


在病理图像分类中,区别于人、植物和动物等图像分类任务需要提取高级特征进行分类,由于病理图像的纹理特征比较复杂,采用神经网络提取病理图像的中、低级特征更有利于分类. 在卷积神经网络中,卷积核的大小影响特征图中单个节点的感受野大小,卷积核越大,单个节点对应的感受野越大,提取的特征越抽象,越难聚焦到图像中的细节特征. 提出在conv1层采用1×1小卷积,对原始图像进行变换,得到新的图像;通过后接Relu激活函数,在保持特征图(feature map)尺寸不变的前提下,为前一层的学习表示添加非线性激励,从而允许网络学习更复杂的非线性表达,提高泛化能力,减少过拟合. 从原始图像中提取更多的纹理特征,增强了神经网络的表达能力.

考虑输入图像经过卷积神经网络后提取的特征图尺寸通常较小,反卷积操作可以放大特征图,有助于后接分类器更好地做出判断,因此在conv5之后加入反卷积层.

由于病理图像的良恶性病区别的重点不同,需要为不同的特征分配不同的分类权重,在模型中引入注意力机制. 通过注意力层的Squeeze、Excitation和Scale 3个操作,可以将归一化权重 ${s_C}$加权到反卷积层的输出的每个通道的特征上,实现在分类时为血管、腺体、细胞核等重要特征分配更多的分类权重,为气泡这类不太重要的特征分配较少的分类权重.

2.3. 判别策略

当以图像切片为分类单元时,采用置信率和多数投票相结合的判别策略. 整合多张切片的分类结果,得出该幅图像的最终分类结果,提高网络对病理图像的分类准确率.

对于每一张病理图像的 $k$张切片,设分类为恶性的切片数量为 ${k_{{\rm{nm}}}}$,置信率之和为 ${\rm{CRM}}$;分类为良性的切片数量为 ${k_{{\rm{nb}}}}$,置信率之和为 ${\rm{CRB}}$. 最终的分类结果T

$T{\rm{\; = \;}}\left\{ {\begin{array}{*{20}{c}} {1},&{k_{\rm{nb}} > k/2};\\ {0,}&{k_{{\rm{nm}}} > k/2}. \end{array}} \right. $

取切片中占多数的结果为该患者的最终结果. 若分类结果中的良性切片数量等于恶性切片数量,则取置信率之和较大者作为该张图像的最终分类结果.

$ T = \left\{ {\begin{array}{*{20}{c}} {1},&{{\rm{CRB}} > {\rm{CRM}}};\\ {0,}&{{\rm{CRM}} > {\rm{CRB}}}. \end{array}} \right.$

2.4. 算法流程

提出的基于Cycle-GAN和改进的DPN68-A网络的乳腺癌病理图像分类算法如下.

1)将原始乳腺癌病理图像(700×460像素)进行重叠切片处理,每一张病理图像对应12张大小为224×224像素的病理图像切片.

2)在病理图像切片中挑出2种不同颜色的病理图像切片,其中X域图像为不同颜色的病理图像切片,Y域图像全部为目标颜色的病理图像切片.

3)训练Cycle-GAN模型,使模型可以将不同输入的病理图像切片都输出为同一颜色. 将所有数据进行颜色归一化处理.

4)训练和优化DPN68-A网络.

5) 测试阶段采用多数投票和置信率相结合的融合策略,将12张切片的分类结果对应于一张图像.

6)输出该图像的良恶性分类结果.

3. 实验结果与分析

3.1. 实验环境及评价指标

3.1.1. 实验环境

实验使用的硬件设备如下: 处理器为 Intel Core i7-9750H@2.6 GHz; 内存为 16 GB; 系统为64位Window10 操作系统,运行环境为python 3.6,GPU 类型为NVIDIA GeForce GTX 1660 Ti,硬盘大小为 1 TB.

3.1.2. 数据集及数据处理

使用的数据集为乳腺癌病理图像数据集BreaKHis,该数据集共有来自82名乳腺病患者的7909张标注的乳腺癌病理图像. 数据形式为RGB三通道的700×460像素的图像,共计24位颜色,其中每个通道各8位. 不同放大倍数的良、恶性肿瘤图像的具体分布如表1所示. 表中,A为放大倍数, ${N_{{{\rm{ib}}}}}$${N_{{{\rm{im}}}}}$分别为良性图像和恶性图像的数量, ${N_{\rm{i}}} $为图像总数量. 其中良性图像共计2 480张,恶性肿瘤图像5 429张. 每张图像都有40×、100×、200×和400× 4个不同的放大倍数. 其中40倍下的图像数量为1 995张,100倍下的图像数量为2081张,200倍下的图像数量为2 013张,400倍下的图像数量为1 820张.

表 1   不同放大倍数的良、恶性肿瘤图像的数量

Tab.1  Number of benign and malignant tumor images with different magnification

A Nib Nim Ni
40 625 1370 1995
100 644 1437 2081
200 623 1390 2013
400 588 1232 1820

新窗口打开| 下载CSV


由于神经网络要求的输入图像大小为224×224像素,对乳腺癌病理图像进行切片分割处理. 考虑许多乳腺癌病理图像中都含有大量气泡,图像显示为白色,如果使用无重叠切割方式,分类时容易将这类白色区域占较大比例的切片图像误认为是正常图像,降低分类的准确率. 将每一幅700×460像素的图像都切割为12幅224×224像素的图像切片,如图8所示,通过重叠切割的方式,对不同视野下的相同病变区域进行重复预测,避免上述情况的误检.

图 8

图 8   病理图像重叠切割

Fig.8   Overlapping cutting of pathological images


在BreaKHis数据集中,恶性病人数量和恶性图像数量都远多于良性. 不同病人的图像数量不同,不同病类之间的图像数量差距很大. 为了均衡数据,对40×切片图像进行扩充. 扩充方法有旋转、翻转及微调对比度等.

在目前的研究中,通常有2种建立数据集的方式:不隔离患者划分数据集和隔离患者划分数据集. 前者不考虑患者,将病理图像数据随机分为训练集和测试集,这样会导致某一患者的病理图像可能同时存在于训练集和测试集中,该类方法的模型分类精度通常较高,但在具体的临床中应用价值有限. 后者在划分时隔离患者,保证训练数据和测试数据在患者层面上完全独立,这样建立的分类模型具有更好的实际应用价值. 采用隔离患者,并按三折划分处理.

将扩充后的数据集按照患者随机分为Data1、Data2和Data3,3个数据集中的病理图像切片数量如表2所示. 表中, ${N_{\rm{b}}}$${N_{\rm{m}}}$分别为良性切片和恶性切片的数量,N为切片总数量. 为了保证模型的临床可用性,训练集的病人图像不会出现在测试集中,即训练集和测试集中患者样本无交叉. 模型检测结果为3次检测的平均值,即第1次训练时将Data1和Data2合并,将患者根据7∶3的比例划分为训练集和验证集,以Data3的病人图像作为测试集. 第2次和第3次以此类推.

表 2   40倍下扩充后三折数据集中良、恶性切片的具体分布

Tab.2  Specific distribution of benign and malignant sections in expanded trifold dataset at 40×

数据集 Nb Nm N
Data1 23856 22632 46488
Data2 16656 22248 38904
Data3 17856 20880 38736

新窗口打开| 下载CSV


3.1.3. 评价标准

从患者级别和图像级别2个方面,评价模型的分类性能.

1)图像级别准确率为

$ I = \frac{{{N_{\rm{r}}}}}{{{N_{{\rm{all}}}}}}. $

式中: ${{N_{{\rm{all}}}}}$为验证集和测试集中病理图像的数量, ${{N_{\rm{r}}}}$为被正确分类的图像数量.

误检率为

$ {\rm{FPR}} = \frac{{{\rm{FP}}}}{{{\rm{FP}} + {\rm{TN}}}} = \frac{{{\rm{FP}}}}{{N_{\rm{b}}}}. $

漏检率为

$ {\rm{FNR}} = \frac{{{\rm{FN}}}}{{{\rm{TP}} + {\rm{FN}}}} = \frac{{{\rm{FN}}}}{{N_{\rm{m}}}}. $

召回率为

$ {\rm{Recall}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} = \frac{{{\rm{TP}}}}{{N_{\rm{m}}}}. $

精确率为

$ {\rm{Precision}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}}. $

式中: ${\rm{TP}}$为正确分类的恶性切片数量, ${\rm{FN}}$为错误分类的恶性切片数量, ${\rm{TN}}$为正确分类的良性切片数量, ${\rm{FP}}$为错误分类的良性切片数量.

F1-score为

$ {\rm{F}}{{\rm{1}}}{\text{-}}{\rm{score}} = \frac{{2 \times {\rm{Precision}} \times {\rm{Recall}}}}{{{\rm{Precision}} + {\rm{Recall}}}}. $

2)患者级别准确率为

$ R = \frac{\displaystyle\sum {P_{\rm{S}}}}{{N_{\rm{p}}}}. $

式中:PS为每位患者的分类准确率, ${P_{\rm{S}}} = {{N_{{\rm{rp}}}}}/{{N_{{\rm{np}}}}}$,其中 ${N}_{{\rm{np}}}$为每位患者病理图像的数量, ${{N}_{{\rm{rp}}}}$为每位患者被正确分类的图像数量; $\displaystyle\sum {P_{\rm{S}}}$为所有患者的分类准确率之和; ${N_{\rm{p}}}$为患者总数量.

3.2. 实验及结果分析
3.2.1. 实验1:颜色归一化对比实验

该实验用于验证所提颜色归一化方法的有效性,对比2种不同的颜色归一化方法的效果.

颜色归一化对比实验在病理图像40×数据集中,随机选取300张良性图像与300张恶性图像作为实验数据. 按照7∶3构造训练集和测试集,训练集和测试集中患者样本无交叉. 通过实验,对比不进行颜色归一化处理、采用Vahadane方法进行归一化处理[21]以及采用Cycle-GAN模型进行归一化处理对检测精度的影响. 检测模型采用本文所提的DPN68-A,基于ImageNet-5K预训练后进行参数微调. 使用预训练参数迁移学习迭代100次,计算最终的准确率作为评价指标. 实验结果如表3所示.

表 3   不同归一化方法下良恶性分类准确率对比

Tab.3  Comparison of accuracy of benign and malignant classification under different normalization methods

%
方法 FPR FNR Recall Precision F1-score I
无归一化 24.4 8.9 90.0 78.64 83.94 83.33
Vahadane法归一化 13.3 4.4 95.5 87.76 91.47 91.11
Cycle-GAN归一化 10.0 3.3 96.7 90.63 93.56 93.33

新窗口打开| 下载CSV


从实验结果可见,在病理图像进行颜色归一化后,分类准确率有了明显的提升,说明颜色不均匀对于深度学习模型进行病理图像的分类有一定的影响,原因是归一化以后排除了不同颜色对分类结果的干扰. 使用Cycle-GAN模型处理的数据分类准确率比不采用归一化方法提升了10%,误检率降低了14.4%,漏检率降低了5.6%,精确率提高了11.99%,召回率提高了6.7%,F1-score提高了9.62%. 与Vahadane方法相比,分类准确率提升了2.22%,误检率降低了3.3%,漏检率降低了1.1%,精确率提高了2.87%,召回率提高了1.2%,F1-score提高了2.09%. 可见,本文所提的基于Cycle-GAN的病理图像颜色归一化方法是有效的.

3.2.2. 实验2:不同CNN模型对比实验

为了验证不同CNN模型的有效性,将GoogLeNet、VGG16、ResNet34、ResNet101和AlexNet进行对比实验. 实验基于Data1、Data2和Data3开展,结果如表4所示.

表 4   不同CNN模型图像级别和患者级别准确率对比结果

Tab.4  Comparison of accuracy of image level and patient level of different CNN models

%
模型 FPR FNR I R
VGG16 36.48 9.78 81.85 82.68
AlexNet 31.84 11.53 82.11 84.68
GoogLeNet 30.72 10.00 83.51 85.49
ResNet34 19.50 9.60 87.27 90.89
ResNet101 22.88 8.90 86.67 89.18

新窗口打开| 下载CSV


从实验结果可以看出,基于残差结构的ResNet34、ResNet101模型无论是在图像级别还是患者级别上,分类准确率都明显高于VGG16、AlexNet和GoogLeNet. 其中表现最好的ResNet34网络的图像级别准确率比VGG16提升了5.42%,误检率降低了16.98%,漏检率降低了0.18%,患者级别分类准确率提升了8.21%. 与网络层数更深的ResNet101网络相比,图像级别分类准确率提升了0.6%,患者级别分类准确率提升了1.71%. 残差结构更适用于病理图像的分类,但网络层数越多,不一定表现越好.

3.2.3. 实验3:DPN68网络改进消融性实验

该实验用于验证所提DPN68-A模型的有效性. 实验采用消融实验的形式,分别对比原始DPN68网络和DPN68网络中添加小卷积以及DPN68添加小卷积、反卷积层和注意力层的结果. 实验基于Data1、Data2和Data3开展,结果如表5所示. 表中,AUC为ROC曲线下的面积.

表 5   DPN68网络改进分类准确率的对比结果

Tab.5  Comparison results of improved classification accuracy of DPN68 network %

网络 FPR FNR Recall Precision F1-score I R AUC
DPN68 12.30 6.7 93.28 94.04 93.66 91.33 92.76 93.36
DPN68+小卷积 10.40 6.5 93.50 95.17 94.33 92.28 93.72 93.50
DPN68-A 7.04 6.2 93.80 96.69 95.22 93.53 94.68 94.72

新窗口打开| 下载CSV


从实验结果可见,添加小卷积层的DPN68网络与原始DPN68网络相比,患者级别分类准确率提升了0.96%,图像级别分类准确率提升了0.95%,误检率降低了1.9%,漏检率降低了0.2%. 改进后的DPN68-A模型与DPN68网络相比,在患者级别分类准确率上有1.92%的提升,在图像级别分类率上有2.2%的提升,且误检率降低了5.26%,漏检率降低了0.5%. 可见,改进模型不管在患者级别还是图像级别的分类准确率都有较大的提升,有效地提高了分类模型的性能. ROC曲线图如图9所示. 改进后的DPN68-A模型的AUC指标比DPN网络提高了1.36%.

图 9

图 9   ROC曲线图

Fig.9   ROC curves of networks


3.2.4. 实验4:DPN68-A模型与不同深度学习方法的对比实验

为了进一步证明所提出的DPN68-A的性能,与PFTAS + SVM[3]和PFTAS+RF方法[4]、AlexNet方法[9]、Single-task CNN方法[10]、改进的深度卷积神经网络模型[11](这里命名为He)、多尺度重校准模型[12](这里命名为Ming)、BN-Inception分类模型[13] (这里命名为Zhou)以及LSTM+GRU分类模型[14]进行对比,在患者级别上的准确率结果如图10所示.

图 10

图 10   DPN68-A与其他分类算法的患者级别准确率对比结果

Fig.10   Comparison results of patient level accuracy between DPN68-A and other classification algorithms


从对比结果可以看出,在患者级别上,本文方法的检测精度优于其他机器学习和深度学习算法. 本文算法较PFTAS + SVM和PFTAS + RF算法有13.08%和12.88%的提升,较He算法有3.68%的提升,较Ming算法有5.81%的提升,较Zhou算法有6.89%的提升,较LSTM+GRU有1.67%的提升.

3.2.5. 实验5:DPN68-A在所有放大倍数下的测试实验

为了证明提出的DPN68-A模型在其他放大倍数下同样适用,分别对100×、200×和400×数据进行颜色归一化处理. 训练模型并测试分类准确率,实验结果如表6所示.

表 6   DPN68-A在所有放大倍数下测试结果

Tab.6  DPN68-A results at all magnification

A FPR/% FNR/% Recall/% Precision/% F1-score/% I/% R/%
40 7.04 6.20 93.80 96.69 95.22 93.53 94.68
100 7.05 4.28 95.72 97.60 96.65 94.70 94.51
200 8.02 4.70 95.30 96.73 96.01 93.34 94.35
400 7.33 5.06 94.94 97.15 96.03 94.31 94.72

新窗口打开| 下载CSV


根据实验结果可以看出,DPN68-A对多种放大倍数的病理图像有很好的检测效果,在临床阶段能够更好地辅助病理医生综合不同倍数的图像对病人进行诊断.

4. 结 语

本文针对乳腺癌病理图像高精度检测问题,提出基于Cycle-GAN的病理图像切片颜色归一化方法,减少了染色不均衡对病理图像分类的影响. 提出采用DPN网络建立检测模型,通过在DPN的网络结构中增加1×1的小卷积,增强网络的非线性表达能力,更好地捕捉病理图像的纹理特征. 通过添加反卷积层和注意力机制,使得模型对中级特征更好地分配权重,提高网络对乳腺病理图像的分类准确率. 提出结合置信率和投票机制的判别策略,提高患者级别病变的分类准确率. 实验证明,提出的DPN68-A网络对乳腺病理图像的良恶性分类具有较好的效果,具有一定的临床应用价值. 在未来,将结合分割网络,在正确分类出恶性图像的基础上,将恶性区域准确标注,实现更精准的临床辅助判断.

参考文献

CHEN W, ZHENG R, BAADE P, et al

Cancer Statistics in China, 2015

[J]. CA: A Cancer Journal for Clinicians, 2016, 66 (2): 115- 132

DOI:10.3322/caac.21338      [本文引用: 1]

KOWAL M, FILIPCZUK P, OBUCHOWICZ A, et al

Computer-aided diagnosis of breast cancer based on fine needle biopsy microscopic images

[J]. Computers in Biology and Medicine, 2013, 43 (10): 1563- 1572

DOI:10.1016/j.compbiomed.2013.08.003      [本文引用: 1]

ISABEL G, POLONIA A, SARMIENTO A, et al

Automatic classification of tissue malignancy for breast carcinoma diagnosis

[J]. Computers in Biology and Medicine, 2018, 96: 41- 51

DOI:10.1016/j.compbiomed.2018.03.003      [本文引用: 2]

ABDULLAH-AL N, YINAN K

Histopathological breast-image classification using concatenated R-G-B histogram information

[J]. Annals of Data Science, 2019, 6 (3): 513- 529

DOI:10.1007/s40745-018-0162-3      [本文引用: 2]

WANG P, HU X, LI Y, et al

Automatic cell nuclei segmentation and classification of breast cancer histopathology images

[J]. Signal Processing, 2016, 122: 1- 13

DOI:10.1016/j.sigpro.2015.11.011      [本文引用: 1]

SPANHOL F, OLIVEIRA L, PETITJEAN C, et al

A dataset for breast cancer histopathological image classification

[J]. IEEE Transactions on Biomedical Engineering, 2016, 63 (7): 1455- 1462

DOI:10.1109/TBME.2015.2496264      [本文引用: 1]

VETA M, PLUIM J, VAN D, et al

Breast cancer histopathology image analysis: a rcview

[J]. IEEE Transactions on Biomedical Engineering, 2014, 61 (5): 1400- 1411

DOI:10.1109/TBME.2014.2303852      [本文引用: 1]

SHEN D, WU G, SUK H

Deep learning in medical image analysis

[J]. Annual Review of Biomedical Engineering, 2017, 19 (1): 221- 248

DOI:10.1146/annurev-bioeng-071516-044442      [本文引用: 1]

SPANHOL F, OLIVEIRA L, PETITJEAN C, et al. Breast cancer histopathological image classification using convolutional neural networks [C]// Proceedings of 2016 International Joint Conference on Neural Networks. Vancouver: IEEE, 2016: 2560-2567.

[本文引用: 2]

BAYRAMOGLU N, KANNALA J, JANNE H. Deep learning for magnification independent breast cancer histopathology image classification [C]// Proceedings of International Conference on Pattern Recognition. Cancun: IEEE, 2016: 2441-2446.

[本文引用: 2]

何雪英, 韩忠义, 魏本征

基于深度学习的乳腺癌病理图像自动分类

[J]. 计算机工程与应用, 2018, 54 (12): 121- 125

DOI:10.3778/j.issn.1002-8331.1701-0392      [本文引用: 2]

HE Xue-ying, HAN Zhong-yi, WEI Ben-zheng

Breast cancer histopathological image auto-classification using deep learning

[J]. Computer Engineering and Applications, 2018, 54 (12): 121- 125

DOI:10.3778/j.issn.1002-8331.1701-0392      [本文引用: 2]

明涛, 王丹, 郭继昌, 等

基于多尺度通道重校准的乳腺癌病理图像分类

[J]. 浙江大学学报:工学版, 2020, 54 (7): 1289- 1297

[本文引用: 2]

MING Tao, WANG Dan, GUO Ji-chang, et al

Breast cancer histopathological image classification using multi-scale channel squeeze-and-excitation model

[J]. Journal of Zhejiang University: Engineering Science, 2020, 54 (7): 1289- 1297

[本文引用: 2]

邹文凯, 陆慧娟, 叶敏超, 等

基于卷积神经网络的乳腺癌组织病理图像分类

[J]. 计算机工程与设计, 2020, 41 (6): 1749- 1754

[本文引用: 2]

ZOU Wen-kai, LU Hui-juan, YE Min-chao, et al

Breast cancer histopathological image classification using convolutional neural network

[J]. Computer Engineering and Design, 2020, 41 (6): 1749- 1754

[本文引用: 2]

NAHID A, MEHRABI M, KONG Y. Frequency-domain information along with LSTM and GRU methods for histopathological breast-image classification [C]//International Symposium on Signal Processing and Information Technology. Bilbao: IEEE, 2017: 410-415.

[本文引用: 2]

GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks [C]// Advances in Neural Information Processing Systems. Montreal: MIT Press, 2014: 2672-2680.

[本文引用: 1]

ZHU J, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks [C]// International Conference On Computer Vision. Venice: IEEE, 2017: 2242-2251.

[本文引用: 1]

HUANG G, LIU Z, LAURENS V, et al. Densely connected convolutional networks [C]// Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2261-2269.

[本文引用: 1]

CHEN Y, LI J, XIAO H, et al. Dual path networks [C]// Conference on Neural Information Processing Systems. Long Beach: IEEE, 2017: 1-9.

[本文引用: 1]

JIE H, LI S, GANG S, et al

Squeeze-and-excitation networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42 (99): 2011- 2023

[本文引用: 1]

SHORTEN C, KHOSHGOFTAAR T

A survey on image data augmentation for deep learning

[J]. Journal of Big Data, 2019, 6 (1): 1- 48

DOI:10.1186/s40537-018-0162-3      [本文引用: 1]

VAHADANE A, PENG T, ALBARQOUNI S, et al. Structure-preserved color normalization for histological images [C]// International Symposium on Biomedical Imaging. New York: IEEE, 2015: 1012-1015.

[本文引用: 1]

/