近年来，深度学习方法在图像分类、图像分割与目标检测^[1-3]等任务中得到了广泛的应用. 医学图像病灶分割作为图像智能分析和理解的关键技术之一，可以为临床诊断和治疗提供重要的辅助信息，逐渐成为视觉领域内的热点问题. 相较于自然图像，医学图像存在病灶区域尺度变换大、形状不规则、边界模糊等特点，具有更高的复杂性. 随着卷积神经网络模型^[4-5]与视觉Transformer方法^[6-7]的不断提出，医学图像分割已经在脑、乳腺、心脏等器官上得到广泛应用^[8-9].

相较于其他脏器病灶，乳腺癌微钙化簇具有目标较小，病灶与背景腺体之间极为相似的特点，分割任务难度较大. 此外，乳腺癌微钙化簇病灶常采用全数字化乳腺X线摄影(full field digital mammography，FFDM)与数字乳腺断层摄影(digital breast tomosynthesis，DBT) 2类成像方式. 不同成像方式有着各自的诊断优势，临床诊断需要专业医生结合多源图像信息完成最终病灶判断. 断层成像与普通成像相结合的诊疗方式，与诸多脏器病灶诊断过程具有共性. 考虑到微钙化簇病灶分割任务难度较大，且现有分割模型研究未曾对其多源数据信息进行有效整合，本研究以该任务为例进行方法阐述.

当前，在乳腺癌微钙化簇病灶检测任务中，国内外学者大多针对单一FFDM或DBT数据进行计算机辅助检测方法研究. 如曹霖等^[10]提出一种适用于致密型乳腺X线图像的直接对比双侧视图信息的计算机辅助检测方法，首先通过建立含有乳房区域的坐标系，利用乳腺的病理性质提取可疑区域，然后以梯度图像的局部三元模式特征作为主要依据进行图像分类. 王磊等^[11]提出一种基于二维粒子的FFDM图像钙化点检测方法，以二维粒子为单位进行可疑区域的提取，并改进了经典的Fast Marching算法进行图像检测. Loizidou等^[12]用时间序列对FFDM图像做差，并提出一种自动乳腺微小钙化检测技术，首先对同一乳房在相邻时间内的FFDM图像进行相减，经过预处理后，利用机器学习方法进行特征提取，实现病灶判别与良性恶性分类. 以上方法均只针对单一FFDM数据，FFDM自身成像存在缺陷，图像规模小包含较多重叠组织，难以识别病灶具体形状与大小，但其对病灶的位置信息特征具有较高的敏感度，因此可以用于病灶的定位. 另外，Bernard等^[13]提出一种切片图像重建的方法，通过墨西哥草帽小波变换来增强图像对比度，以提升模型对病灶的特征识别率；Wei等^[14]利用信噪比增强方法增强病灶，并运用多通道响应方法与迭代阈值自适应方法，提高病灶检测准确率；Jeong等^[15]利用多尺度双边滤波与海森矩阵对钙化进行增强，然后使用邻域连通区域生长算法与随机森林分类器完成病灶检测. 以上方法仅针对DBT数据源，利用DBT成像技术对乳腺进行切片断层摄影，可以获得清晰病灶形状，但其成像数目多,分辨率大，对病灶的定位耗时耗力. 另外，针对DBT的检测方法，目标都设定为未经区域筛选的完整图像，DBT的数据规模较FFDM有近百倍的提升，导致模型检测效率不足. 因此，如何充分利用各异源数据优势，建立高效、高精度的医学图像分割模型，成为亟待解决的问题.

本研究提出基于多源信息融合的医学图像分割方法，基于Yolov4网络构建针对病人FFDM图像的候选区域定位结构，然后利用候选区域信息对DBT图像进行预处理后再将其输入基于残差结构的改进U-Net网络进行病灶分割，最后利用基于序贯相似性判别的断层分割结果融合策略实现对病灶的自动化诊断.

本研究提出的基于多源信息融合的医学图像分割方法，主要包括4部分：基于Yolov4的区域候选网络、基于小波变换的DBT图像预处理、基于残差结构的改进U-Net分割网络以及基于序贯相似性判别的断层分割结果融合策略，方法总框图如图1所示.

为了防止因图像细节不足导致的漏诊、误诊，医学诊断图像通常具有较高的分辨率，以还原细节特征. 但是过大的分辨率会显著影响深度学习模型的特征提取效率. 针对这一问题，有学者提出运用均匀子块分割方法来分割图像^[16]，但图像分割过程会导致病灶信息碎片化，降低病灶判断准确率. 本研究基于Yolov4^[17]网络构建针对病人FFDM图像的候选区域定位结构，定位结果用于裁剪同一病人的DBT数据可疑区域，以解决DBT图像分辨率过大的问题.

预处理操作利用区域候选网络产出的病灶定位信息对病人DBT图像进行区域裁剪，以缩减待检测图像规模；对裁剪后的图像进行对比度增强，增大微钙化簇与周围腺体的对比度，突出微钙化簇特征信息.

本研究裁剪操作基于乳腺FFDM图像检出的可疑区域，具体操作如下：以候选网络输出的检出框中心点D_(i,j)作为DBT图像裁剪中心，裁剪出320×320像素区域I_k. 病人一个体位存在多张DBT图像数据，因DBT数据的位置信息具有基本不变性，对同一病人同一体位可以进行相同位置的裁剪操作. 由此可以得到该体位下以D_(i,j)作为裁剪中心的图像集合 $ I = \{ {I_k}\} ,k = 1,2,3, \cdots ,n $，其中k为当前图像在DBT卷中的序号，n为该卷图像的数量.

DBT图像对细节要求高，图像整体的分辨率较大，易导致在训练与检测过程中占用大量的内存，降低网络检测效率与准确率. 本研究结合FFDM数据的定位信息完成DBT图像裁剪，解决图像分辨率过大的问题，同时裁剪后的320×320像素图象比原图像更加适用于小感受野的U-Net网络.

在DBT图像经过裁剪后，裁剪区域腺体背景与待检测微钙化簇的特征具有一定相似性，两者对比度不明显，极大增加了人工读片与计算机检测的难度，因此须寻找合适的图像处理方法进行图像增强，加大对比度以区分两者特征差异. 有文献^[16]提出结合形态学对图像进行增强，该方法提高了微钙化簇与腺体的对比度，但腐蚀、膨胀、开操作等形态学方法抹除了一定的细节特征，不利于对微小病灶的判断. 本研究采用小波变换中的伽马变换对预处理后的图像集合I进行增强变换，增强效果前后对比如图2所示. 伽马变换G通过非线性变换，拉伸图像中灰度较高的微钙化簇区域，压缩灰度较低的腺体背景，以达到区分两者的目的，其像素映射关系如下：

(1) $ s=c r^{\gamma}. $

式中：r为灰度图像的输入值；s为经过伽马变换之后的输出；c为灰度缩放系数；γ 为伽马因子，用于控制缩放程度. 将经过裁剪与伽马变换的图像集合 $ Q=\left\{G({I}_{k})\right\},k=1,2,3,\cdots ,n $，作为后续网络的输入.

U-Net网络在2015年被提出，该网络是一种全卷积神经网络^[18]，网络结构由2条对称的上采样下采样路径组成. 下采样过程通过卷积与池化操作，获取高层次语义特征信息，上采样过程通过卷积与反卷积操作获得目标定位信息. 2条路径中语义特征经过剪切后，通过Skip-Concatenate连接实现图像语义特征与位置特征融合，从而提高多维度特征信息识别的敏感度.

近几年，U-Net模型因其出色的分割效果被广泛应用于医学图像领域，如肠息肉分割^[19]、细胞分割^[18]. 然而，传统的U-Net网络所采用的池化操作在处理数据时，无法避免图像细节特征的丢失. 同时，随着网络层数的增加，易出现梯度消失问题，降低模型分割的精确性.

为了解决U-Net网络中上述问题，本研究对网络进行了相应的改进. 改进后的网络结构如图3所示，网络仍保持上下采样的U型结构，并保留了Skip-Concatenate在上下文之间的连接. 针对梯度消失问题，利用残差结构取代原网络中的卷积层. 在引入残差结构前，网络须拟合输入与输出的映射关系，残差结构引进前、后，输入与输出的映射表达式如下:

(2) $ F^{\prime}({x})=H(x), $

(3) $ F^{\prime}({x})=H^{\prime}(x)+x .$

式中：x表示输入， $ F^{\prime}({x}) $表示网络的输出,H(x)、 $H^{\prime}(x) $分别为引入残差结构前、后输入与输出之间的映射函数.

若输出与输入之间接近恒等变换，网络梯度难以有效向前反馈，模型参数无法更新，最终导致网络分割效果下降. 残差结构输出如式(3)所示，其输出为映射函数与原输入x之和，当输入与输出之间为恒等映射，梯度信息仍能有效向前反馈. 残差结构避免梯度消失情况的发生，解决随着网络深度的加深，网络梯度无法传递，模型参数无法更新的问题^[20].

传统U-Net网络采用最大池化操作来进行下采样，该操作选取图像局部接受域中像素最大值作为区域特征，以达到缩减图像维度的目的. 但微钙化簇病灶区域目标较小，最大池化操作极易丢失病灶细节特征，从而导致模型分割准确率不足. 针对该问题，本研究运用相同尺度的卷积操作取代原网络中最大池化操作^[21]，卷积操作为接受域中各个像素点分配权重，利用像素值与权重的加权和作为区域特征，在缩减图像维度的同时，可保留图像细节特征.

原U-Net网络模型的损失函数为分类交叉熵损失，针对本研究任务内容，损失形式如下：

(4) $ L_{{{\rm{BCE}}}}=-\frac{1}{N}\left[T_{i} \sum_{i=1}^{N} p_{i}+\left(1-T_{i}\right) \sum_{i=1}^{N}\left(1-p_{i}\right)\right] .$

式中：N为图像的像素总数； T_i为第i个像素的真实标签，T_i=0，1，其中1表示病灶区域，0表示背景区域； p_i为当前像素点标记为钙化的概率.

在语义分割任务中，分类交叉熵损失为每个像素点分配概率，但微钙化簇病灶区域相较于背景区域占比较小，两者像素点数目严重不平衡. 在网络中运用分类交叉熵损失会导致模型倾向于预测占比更大的背景区域，降低模型对微钙化簇特征的敏感性. 另外，分类交叉熵损失在构建过程中没有考虑到各样本预测难易程度与训练权重匹配问题，对所有的输入样本均给予同样的训练权重，训练效率不足. 在微钙化簇检测任务中，对于较难分辨的微钙化簇样本应增加其权重，对易分辨的样本应降低分配的权重，这样的分配机制能使模型更加关注困难与错分的样本，从而增加模型训练效率.

为了解决上述问题，本研究提出一种权衡正负与难易样本的损失函数(unify loss)，该函数整合focal loss 与dice loss函数，并引入权重系数 $\;\beta $来调节2类函数在训练过程中的比重，以获得最佳分类效果. 函数表达式如下：

(5) $ L_{{\rm{u n i f y}}}=1-\frac{2 \displaystyle \sum_{i=1}^N p_i^{\prime} T_i}{\displaystyle \sum_{i=1}^N p_i^{\prime} \displaystyle \sum_{i=1}^N T_i}+\beta \frac{1}{N}\left[\displaystyle \sum_{i=1}^N T_i\left(1-p_i^{\prime}\right)^2 \lg\; p_i^{\prime}\right]. $

式中: $ p_{i}^{\prime} $为当前像素点标记为病灶的概率； $\;\beta $为权重系数，实验阶段设定为0.8.

DBT数据相邻切片之间存在相关性，在医学诊断中须综合断层片间与片内信息对微钙化病灶进行判断. 本研究对裁剪后DBT可疑区域利用改进后的U-Net网络进行病灶分割，输出结果为各个切片的独立结果，没有充分利用片间信息. 因此，为了综合断层数据片间与片内分割信息，本研究提出一种乳腺断层数据结果融合策略，具体流程如下.

1) 通过改进的U-Net网络，得到各独立DBT图像分割结果 $ {U_i} = M({Q_i}),i = 1,2,3, \cdots , n $，其中M为改进的U-net网络模型，i为当前图像在DBT中的编号.

2) 在分割结果中，定义分割区域为f，当 $ f \geqslant 10 \times 10 $像素时记为有效分割. 当DBT数据中同一volume有效分割结果大于1时，计算各分割结果

中心欧氏距离：

(6) $ D = [ {{{({y_i} - {y_j})}^2}+{{({x_i} - {x_j})}^2}}]^{1/2} ;\;i \ne j. $

式中：x、y为分割区域中心点横纵坐标，i、j为对应编号. 若距离小于10则认定为同一病灶分割结果，划分为同一集合.

3) 去除volume中只存在单个分割结果的集合. DBT成像相邻切片之间的厚度为1 mm，而微钙化簇病灶尺寸往往大于1 mm. 因此在一个volume中，相同部位的病灶检出次数应大于1.

4) 遍历剩余集合，若集合非空则输出集合中DBT数据中有效分割结果的开始层数与终止层数.

本研究所使用的DBT数据与FFDM数据均由浙江大学第一附属医院提供，数据集1中含有80例病人的DBT及FFDM图像，DBT影像均由同一数字乳腺断层设备拍摄，每一层切片厚度为1 mm，单个病人的DBT数据中包含多个体位的断层影像，图像数目从60到300不等，图像大小为1996×2457像素. FFDM数据中每个病人包含左右2个乳房CC位与MLO位2种体位摄片，图像分辨率同为1996×2457像素. 数据集2中包含549幅由医生确认包含微钙化簇病灶的FFDM图像.

本研究选取数据集2中429幅FFDM图像作为区域候选网络的训练集，120幅作为测试集; 选取数据集1中60例病人的DBT断层图像作为改进后U-Net网络的训练集，20例作为测试集，各例病人FFDM与DBT图像均含有钙化与正常样本. 选取数据集1中20例病人的FFDM与DBT图像作为多源数据融合方法的测试集.

实验采用真阳性率(true positive rate，TPR)、假阳性率(false positive rate，FPR)、准确率(precision，Pr)、Dice指数(DCS)、精度(accuracy，ACC)作为评价指标. 各评价指标表达式如下：

(7) $ {\text{TPR}} = \frac{{{\text{TP}}}}{{{\text{TP+FN}}}} \times 100\text{%} \text{，} $

(8) $ {\text{FPR}} = \frac{{{\text{FP}}}}{{{\text{TN+FP}}}} \times 100\text{%} \text{，} $

(9) $ {\rm{Pr}} = \frac{{{\text{TP}}}}{{{\text{TP+FP}}}} \times 100\text{%} \text{，} $

(10) $ {\text{DCS}} = \frac{{2{\text{TP}}}}{{2{\text{TP}}+{\text{FP}}+{\text{FN}}}} \text{，} $

(11) $ {\text{ACC}} = \frac{{{\text{TP}}+{\text{TN}}}}{{{\text{TP}}+{\text{FP}}+{\text{TN}}+{\text{FN}}}} \times 100\text{%} . $

式中：真阳性(true positive，TP)为正确判断含有微钙化簇的样本数，假阴性(false negative，FN)为将含有微钙化簇判断为正常的样本数，假阳性(false positive，FP)为将不含有微钙化簇判断为含有微钙化簇的样本数，真阴性(true negative，TN)为正确判断不含有微钙化簇的样本数.

模型性能评估分为3部分进行：基于Yolov4的区域候选网络性能评估、基于残差结构的改进U-Net网络模型性能评估、基于多源信息融合的医学图像分割方法性能评估.

针对乳腺筛查中的FFDM数据，利用Yolov4网络对其进行微钙化簇检测，实验利用20例病人的FFDM数据作为测试样本，对检出结果利用TPR、FPR、Pr、DCS与ACC评价指标进行性能分析. 实验分别对比Yolov4网络预测置信度阈值为0.1~0.5中5个阈值下网络对微钙化簇的检测性能，检测结果如表1所示. 训练过程中各阈值设定下网络训练参数相同：batch size设置为4; 初始学习率为0.001并使用SGDR算法进行学习率调整; 设置epoch=100.

Yolov4网络对于FFDM数据的检测结果表明，当检出置信度阈值设定为0.1时，TPR为99.53%，模型对真阳性样本检出效果较好，但模型的FPR为48.85%，检出结果中包含大量假阳性样本. 对比实验结果，随着阈值的提高，模型的TPR下降明显，当阈值设定为0.2时，TPR下降为83.33%，大量的微钙化簇病灶区域未被检出. 在医疗诊断过程中，要求检出结果要尽可能覆盖全部真阳性样本，即要求TPR尽可能靠近100%，若TPR指标较低，表明诊断过程存在较高的误诊与漏诊率，方法没有实际应用价值. 以往对于FFDM数据的计算机辅助诊断方法中，提高检出的TPR往往须以牺牲FPR为代价，模型在尽可能检出病灶区域的同时，提高了假阳性样本的输出，大量假阳性样本须医生在诊断时进行人工筛选，降低了诊断效率.

对于DBT数据，采用改进后的U-Net网络进行病灶分割. 利用FFDM的可疑病灶区域对病人DBT数据进行裁剪，裁剪后的DBT图像作为网络的输入. 为了控制可疑区域数量，且尽可能获得所有真阳性样本的可疑区域，最终将区域候选网络的检出阈值设置为0.1. 利用候选网络检出的可疑区域进行DBT数据裁剪的操作，大幅缩减了待测图像规模，相比以往针对DBT数据的分割任务，提高了分割效率.

改进U-Net网络训练参数如下：Batch size设置为3；初始学习率为10⁻⁵，并采用RMSProp算法进行优化；最大epoch设置为150；分割网络的输出概率阈值设定为0.5.

在对改进U-Net网络进行性能评价时，将20个病人的DBT数据以5人为一组，划分为4个数据集进行测试. 如表2、3所示分别为改进前、后U-Net网络对DBT数据中可疑区域的分割结果.

对比网络改进前后的分割结果，在划分的4个数据集中，改进后的网络相较于未改进网络在各项指标上都有一定程度的提升. 本研究U-Net模型在4个数据集上平均真阳性率为97.31%，相较于未改进网络提升7.75%. 在验证改进后U-Net网络对假阳性样本的筛选性能时，本研究U-Net网络的FPR为0.92%，比传统U-Net网络下降了15.89%，表明本研究方法在腺体与微钙化簇的特征判断上具有优势. 对比分割结果的ACC，本研究方法对于DBT数据可疑区域的分割效果较U-Net网络提升13.5%，提升效果明显. 以上实验结果表明,改进U-Net模型对DBT数据中可疑区域有更好的分割结果，利用该网络进行样本重筛选，可以有效降低假阳性样本数量.

如图4所示为4例针对DBT数据网络改进前后的分割效果图. 图中前2例样本包含微钙化簇病灶区域，改进U-Net网络可以准确分割病灶，但传统U-Net网络模型无法有效完成病灶分割. 在第3例样本中，图像包含乳腺轮廓区域，U-Net将该区域错误识别为微钙化簇，而改进网络可以正确区分其与微钙化簇之间的特征区别. 在第4个案例中，图像中存在一处明显钙化区域和一处亮度较高的腺体区域，U-Net网络将该处钙化与腺体均识别为微钙化簇病灶，而改进后的网络可以准确完成真阳性样本的分割.

对于基于多源信息融合的医学图像分割方法有效性的验证，实验以20例病人的FFDM数据作为区域候选网络的输入，候选网络输出病灶可疑区域后，利用上述20例病人DBT数据对可疑区域进行重筛选最终完成对病灶的判断. 实验以独立病灶作为计数单位，计算TP、FP、TN等评价指标. 将本研究方法与传统机器学习方法、深度学习方法进行对比. 其中传统机器学习方法采用基于Adaboost-决策树算法^[22]的微钙化簇检测方法(true- and false-positive detections of breast microcalcifications based on Adaboost-decision tree algorithm ，AB-DT). 深度学习方法采用结合判别式深度置信网络的乳腺癌钙化区域检测方法^[16](detection of mi-crocalcification clusters regions in mammograms combining discriminative deep belief networks ，DDBNs). 本研究多源信息融合的医学图像分割法与上述方法检测结果如表4所示.

分析表中4类方法结果，Yolov4方法通过设置较低的检出阈值，20例病人病灶均被检出，获得最高99.12%的TPR，但该设置使得方法的FPR上升为47.76%，方法在检出微钙化簇区域时产生大量的假阳性输出. DDBNs方法的真阳性率为90.31%，较Yolov4方法下降8.81%，但在假阳性率指标较Yolov4方法下降32.05%，该方法精度、准确率与Dice指数也均优于Yolov4模型，但其整体精度与真阳性病灶检出率有待提高. AB-DT方法采用决策树来完成对微钙化簇与背景的判断，在数据集上ACC为91.75%，优于上述2类方法，但对真阳性样本识别率不足，真阳性率为90.35%，漏检率过高，难以满足实际应用要求. 针对Yolov4低输出阈值设定时假阳性率较高的问题，本研究利用DBT数据对其可疑区域进行重筛选，提出多源信息融合的医学图像分割方法. 在乳腺微钙化簇数据集中得到98.52%的真阳性率与10.45%的假阳性率，较Yolov4方法在TPR上下降0.60%，对假阳性样本的筛选效果较Yolov4提升37.31%，在精度、准确度以及Dice指指数上，本研究方法均获得最优结果. 此外，为了验证本研究断层结果融合策略的有效性，在联合检测方法_L中不再使用基于序贯相似性判别的断层分割结果融合策略，结果FPR为16.25%，较未删减方法性能下降明显. 以上结果表明，本研究多源信息融合方法融合FFDM与DBT数据优势，在确保真阳性率处于较高水平的同时，有效减少假阳性样本输出，具有实际应用价值.

实验还选取数据集中一个病人的CC位FFDM与DBT图像进行实例演示，如图5所示为该病历的实例图. 图5(a)中包含经区域候选网络检出的可疑区域， 图5(b)为DBT数据中分割出的包含微钙化簇病灶的断层切片，图5(c)为在FFDM上标记的结果. 该病人CC位一共包含40张DBT图像，网络分割出10张包含微钙化簇病灶的切片，并根据基于序贯相似性判别的断层分割结果融合策略判断病灶区域. 方法输出DBT图像中包含微钙化簇病灶的对应序号，并将病灶区域在FFDM图像上进行标记.

本研究提出一种基于多源信息融合的医学图像分割方法，方法充分考虑医学断层图像与普通图像成像方式的差异性与共性，结合2种图像的多源数据特征，利用其特征互信息与结构相似性，有效提升检测任务的真阳性率、降低假阳性率. 实验结果表明，在乳腺癌微钙化簇检测任务中，本研究方法取得了较好的结果. 这种联合断层图像与普通图像的检测模式，可以为医学图像诊疗智能化提供一种全新的解决方案.

本研究仅针对图像中微钙化簇病灶的有无进行判别，未形成对疾病的系统性分级诊断. 为此后续将继续优化医学图像中多源信息的融合策略，进一步研究病灶区域的分级策略实现医学图像病灶区域良恶性的分类.