en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
参考文献 1
赵海英,贾耕云,潘志庚. 文化计算方法与应用综述[J]. 计算机系统应用,2016,25(6):1-8.Doi:10.15888/j.cnki.csa.005206
ZHAOH Y, JIAG Y, PANZ G. Review on the methods and applications in cultural computing[J]. Computer Systems & Applications, 2016, 25(6):1-8.Doi:10.15888/j.cnki.csa.005206
参考文献 2
赵海英,徐正光,张彩明. 一类新疆民族风格的织物图案生成方法[J]. 图学学报,2012,33(2):1-8.doi:10.3969/j.issn.1003-0158.2012.02.001
ZHAOH Y, XUZ G, ZHANGC M. A method for generating fabric pattern with Xinjiang ethnic style[J]. Journal of Graphics, 2012, 33(2):1-8.Doi:10.3969/j.issn.1003-0158.2012.02.001
参考文献 3
SOILLEP. 形态学图像分析原理与应用[M]. 北京:高等教育出版社,2008.
SOILLEP. Principle and Application of Morphological Image Analysis[M]. Beijing:Higher Education Press, 2008.
参考文献 4
张桂梅,周明明,马珂. 基于彩色模型的重构标记分水岭分割算法[J]. 中国图象图形学报,2012,17(5):641-647.Doi:10.11834/jig.20120506
ZHANGG M, ZHOUM M, MA K. Image segmentation algorithm for reconstruction labeling watershed in color space[J]. Journal of Image and Graphics, 2012, 17(5):641-647.Doi:10.11834/jig.20120506
参考文献 5
YADAVA K, ROY R, RAJKUMAR, et al. Thresholding and morphological based segmentation techniques for medical images[C]// International Conference on Recent Advances and Innovations in Engineering. Jaipur:IEEE, 2017:1-5.Doi:10.1109/icraie.2016.7939573
参考文献 6
KRISHNAMURTHYS, NARASIMHANG, RENGASAMYU. Lung nodule growth measurement and prediction using auto cluster seed K-means morphological segmentation and shape variance analysis[J]. International Journal of Biomedical Engineering & Technology, 2017, 24(1): 53-71.Doi:10.1504/ijbet.2017.083818
参考文献 7
KASSM, WITKINA, TERZOPOULOSD. Snakes: Active contour models[J]. International Journal of Computer Vision, 1988, 1(4): 321-331.Doi:10.1007/bf00133570
参考文献 8
MALLADIR, SETHIANJ, VEMURIB C. Shape modeling with front propagation: A level set approach[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1995, 17(2): 158-175.Doi:10.1109/34.368173
参考文献 9
CASELLESV, CATTÉF, COLLT, et al. A geometric model for active contours in image processing[J]. Numerische Mathematik, 1993, 66(1): 1-31.Doi:10.1007/BF01385685
参考文献 10
李培华,张田文. 主动轮廓线模型(蛇模型)综述[J]. 软件学报,2000,11(6):751-757.
LIP H, ZHANGT W. Review on active contour model (snake model)[J]. Journal of Software, 2000, 11(6):751-757.
参考文献 11
KIM W, KIM C. Active contours driven by the salient edge energy model[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1667-1673.
参考文献 12
XIEX H, MIRMEHDIM. MAC: magnetostatic active contour model[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2008, 30(4): 632-646.Doi:10.1109/tpami.2007.70737
参考文献 13
MUMFORDD, SHAHJ. Optimal approximations by piecewise smooth functions and associated variational problems[J]. Communications on Pure & Applied Mathematics, 1989, 42(5): 577-685.Doi:10.1002/cpa.3160420503
参考文献 14
LIC M, KAO C Y, GOREJ C, et al. Minimization of region-scalable fitting energy for image segmentation[J]. IEEE Transactions on Image Processing, 2008, 17(10): 1940-1949.Doi:10.1109/tip.2008.2002304
参考文献 15
LIC M, HUANGR, DINGZ H, et al. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2007-2016.Ddoi:10.1109/tip.2011.2146190
参考文献 16
HEC J, WANGY, CHENQ. Active contours driven by weighted region-scalable fitting energy based on local entropy[J]. Signal Processing, 2012, 92(2): 587-600.Doi:10.1016/j.sigpro.2011.09.004
参考文献 17
张明慧,卢振泰,张娟,等. 基于多图谱活动轮廓模型的脑部图像分割[J]. 计算机学报,2016,39(7):1490-1500.
ZHANGM H, LOUZ T, ZHANGJ, et al. Brain image segmentation based on multiple atlas active contour model[J]. Chinese Journal of Computers, 2016, 39(7): 1490-1500.
参考文献 18
CHANT F, VESEL A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2):266-277.Doi:10.1109/83.902291
参考文献 19
李中国,闫镔,曾磊,等. 结合形状先验的水平集印刷电路板CT图像分割方法[J]. 计算机辅助设计与图形学学报,2016,28(4):597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009
LIZ G, YANB, ZENGL, et al. PCB CT image segmentation based on level set with shape prior[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(4): 597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009
参考文献 20
刘涛,张大龙,周秦武,等. 一种新颖的快速水平集初始化方法[J]. 中国图象图形学报,2010,15(5):775-781.Doi:10.11834/jig.20100510
LIUT, ZHANGD L, ZHOUQ W, et al. A novel fast level set initialization method[J]. Journal of Image and Graphics, 2010, 15(5):775-781.Doi:10.11834/jig.20100510
参考文献 21
LONGJ, SHELHAMERE, DARRELLT. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:IEEE, 2015.Doi:10.1109/cvpr.2015.7298965
参考文献 22
CHENL C, PAPANDREOUG, KOKKINOSI, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40(4):834-848.Doi:10.1109/tpami.2017.2699184
参考文献 23
AKHTARN, MIANA. Threat of adversarial attacks on deep learning in computer vision: A survey[J]. IEEE Access, 2018, 40(6): 14410-14430.
参考文献 24
ZHANGY H, QIUZ F, YAOT, et al. Fully convolutional adaptation networks for semantic segmentation[C]//2018 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. Salt Lake City:IEEE,2018: 6810-6818.Doi:10.1109/cvpr.2018.00712
参考文献 25
MEHTAS, RASTEGARIM, CASPIA, et al. Espnet: Efficient spatial pyramid of dilated convolutions for semantic segmentation[C]//Proceedings of the European Conference on Computer Vision. Munich:Springer,2018: 561-580.Doi:10.1007/978-3-030-01249-6_34
参考文献 26
OTSUN. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.Doi:10.1109/tsmc.1979.4310076
参考文献 27
CHANGF, CHENC J. A component-labeling algorithm using contour tracing technique[C]//SeventhInternational Conference on Document Analysis and Recognition. Edinburgh:IEEE,2003: 741-745.Doi:10.1109/icdar.2003.1227760
参考文献 28
VINCENTL, SOILLEP. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(6): 583-598. Doi:10.1109/34.87344
参考文献 29
GULSHANV, ROTHERC, CRIMINISIA, et al. Geodesic star convexity for interactive image segmentation[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010: 3129-3136.Doi:10.1109/cvpr.2010.5540073
参考文献 30
ROTHERC, KOLMOGOROVV, BLAKEA. “GrabCut”: Interactive foreground extraction using iterated graph cuts[J]. Transactions on Graphics, 2004, 23(3): 309-314.
目录 contents

    摘要

    对民族服饰图案进行自动分割以提取图案纹样元素,是民族服饰图案素材库构建急需解决的难题。通过融合形态学连通域标记和CV模型(MCC-CV),提出了一种民族服饰图案自动分割方法,首先对民族服饰图案进行预处理,然后采用形态学连通域标记算法获得待分割目标的位置和大致轮廓信息,对CV模型进行初始化,最后通过CV模型对不同分割目标进行边缘追踪,以实现民族服饰图案纹样元素的自动分割。实验表明,融合形态学连通域和CV模型的民族服饰图案纹样元素自动分割方法在边界召回率(BR)为0.5时,分割准确率为60%,与其他自动分割算法相比,该算法更为有效,满足了民族服饰图案素材库建设对图案纹样元素分割的基本要求。

    Abstract

    A automatic segmentation of national costume patterns to extract the pattern elements is an urgent problem to be solved in the construction of the national costume pattern material library. In this paper, we propose an automatic segmentation method by incorporating morphology connected component labeling and CV model (MCC-CV). Firstly, we carry out the image preprocessing on national dress patterns. Then,the location of the target pattern is obtained by using the morphology connected component labeling ,which serves as the initial contour of the CV model. Finally, the automatic segmentation of national costume pattern elements is realized by detecting the edge of the pattern gene using the CV model. Experimental results show that the accuracy of MCC-CV model is 60% under the premise boundary recall 0.5, which satisfies the basic requirements for the national costume pattern material library construction.

    民族服饰图案是在特定地域和文化环境中形成的,蕴含了本民族文化的固有本质属性和内在联系,是民族精神追求和本地习俗的高度概括与抽象,是人们对美好愿望的象[1]。蕴含本民族特定寓意的图案纹样元素通过一定形式的组合形成独具风格的民族服饰图[2]。图1是彝族“一枝独秀刺绣”背心图案,由中心纹样(图案纹样①)和4个角隅纹样(图案纹样②)构成,图案纹样①蕴含了美丽、热情、豪放、勇敢之意,而图案纹样②以黑为底色,象征着大地,是孕育各种动物和植物的母体。

    图1
                            民族服饰图案

    图1 民族服饰图案

    Fig. 1 National costume pattern

    如何自动提取民族服饰图案纹样元素,为设计师和研究者提供基础数据,分割算法是其最为核心的关键问题。由于不同问题对分割颗粒度的要求不尽相同,目前尚无一种通用分割算法能同时满足不同的分割需求,因此,需要针对不同问题设计不同的分割算法。如图2所示,经典的形态学连通域(MCC)算法可以较好地分割图2方框④中的较小图案纹样元素,但无法完整分割图2方框③中的图案纹样元素(图2是通过连通域(MCC)算法对图1进行标记后形成的标记图)。如何完整分割服饰图案纹样元素(如图2方框①和方框②中的子图),是构建传统民族服饰图案纹样元素库的关键一步,也是急需解决的难题。因此,须设计一种分割算法,在分割民族服饰图案中较小的图案纹样元素的同时,也能分割完整的图案纹样元素。

    图2
                            MCC算法标记图

    图2 MCC算法标记图

    Fig. 2 MCC labeled schematic

  • 1 相关工作

    数学形态学由集合论发展而来,利用算子进行图像分析,关注的是图像形[3],形态学理论通常与其他方法相结合才能完成更准确的分割。张桂梅[4]将形态学与分水岭变换相结合,完成图像的分割。YADAV[5]通过将形态学算子和阈值法相结合,完成了对医学图像的分割。KRISHNAMURTHY[6]通过将K-means引入形态学,实现了对肺结节影像的分割。

    活动轮廓模[7]是一类独特的图像分割模型,其基本思路是通过演化一条曲线,在约束条件下,曲线朝着内法线方向移动,最终在目标的边界停[8]。由于活动轮廓具有其他分割算法不具有的许多优点,在过去的几十年中,国内外学者提出了多种基于活动轮廓的图像分割方[9,10],并取得了较大进展。活动轮廓模型依据模型演化形式的差异,分为基于边缘的模[7,9,11,12]和基于区域的模[13,14,15,16,17]。CHAN[18]提出的无边缘活动轮廓(简称CV模型)是一种基于区域的活动轮廓模型,具有分割结果对初始轮廓位置和大小不敏感、计算简单和局部自适应性等优点,可应用于不同的图像分割。但CV模型曲线演化位置需要人工进行初始化,是一种交互分割算法。已有学者将形态学和CV相结合,进行了不同领域的图像分割,文献[19]将形态学和CV模型相结合,实现了对印刷电路板CT影像图像的分割,刘涛[20]采用形态学方法提取边界,得到了目标的CV模型初始化曲线,但只实现了单一目标的分割。

    近年来,机器学习特别是深度学习在图像分割上取得了长足的发[21],出现了大量优秀的图像分割算[22,23],特别在大样本数据上取得了已有传统算法无法比拟的效[24],但代价是需要对大量手工标注的像素级Groundtruth进行模型训[25],导致该类算法无法直接应用于少样本数据。而民族服饰图案彼此差异较大,图案中纹样元素丰富,有监督的图像分割算法难以取得理想效果。

    为实现对民族服饰图案中蕴含深厚文化内涵的图案纹样元素的自动分割,本文在深入分析形态学连通域标记和CV模型(MCC-CV)的基础上,提出了用形态学连通域标记(MCC)法确定民族服饰图案纹样元素的位置与轮廓信息,以进行CV模型的初始化,然后再利用CV模型进行曲线演化分割的民族服饰图案纹样元素自动分割(MCC-CV)。

  • 2 基于MCC-CV模型的自动分割算法

    首先,对原真彩色服饰图案进行去噪、Otsu二值[26]以及灰度化处理等操作;然后,对目标图案进行形态学连通域标记,获取目标子图初始轮廓位置;最后,在灰度图案上对不同子图逐次进行CV模型边缘追踪,完成民族服饰图案的自动分割。算法流程如图3所示。

    图3
                            算法流程图

    图3 算法流程图

    Fig. 3 Algorithm flow chart

    算法从二值化图案A中搜索某个连通分量,单个连通分量提取公式为

    Xk=Xk-1BˆA,k=1,2,,
    (1)

    其中,A为目标,B为结构元,Xk为每次迭代的结果,X0为连通域标记的初始位置,当Xk=Xk-1时,迭代结束。通过对形态学处理结果的反复迭代:腐蚀—彩色标记—膨胀—提取不同标记块的交点(即新增边缘点),逐一完成对不同块的标记。

    二值化图案A通过连通域标记后,形成色彩标记图CC中的不同颜色标记块Yi在原图案中对应一个待分割子图Ωi,其中i=1,2,,n,表示经过形态学连通域标记的待分割子图的个数。标记块Yi给出了待分割子图Ωi的大致空间位置和大小,因此可以作为CV模型演化的初始轮廓。

    对于某个待分割子图Ω,演化曲线C可以将基元Ω对应的灰度图案Ix,y分为前景Ωf和背景Ωb,分别用CfCb表示前景Ωf和背景Ωb区域内像素的灰度值,CV模型的能量函数定义为

    ECVC=ECV-ΩfC+ECV-ΩbC=ΩfI-Cf2dxdy+ΩbI-Cb2dxdy
    (2)

    当演化曲线处于图案纹样元素边缘时,式(2)取得最小值,ECVC=0。在式(2)中加入曲线长度和面积能量约束项,则CV模型能量泛函的表达式为

    ECVC,Cf,Cb=μLC+νSC+λ1ΩfI-Cf2dxdy+λ2ΩbI-Cb2dxdy
    (3)

    式(3)中,LC表示演化曲线C的长度,SC表示曲线C内部的面积,μνλ1λ2分别为相应能量项的权值。ECVC,Cf,Cb中,前2项为内部约束,在演化进程中保持曲线平滑,后2项为外部约束,在演化进程中取得曲线逼近图案纹样元素边缘。用水平集φ隐含表达演化曲线C,于是CV模型水平集形式能量泛函表达式可改写为

    ECVφ,Cf,Cb=μΩH'φφdxdy+νΩHφdxdy+λ1ΩI-Cf2Hφdxdy+λ2ΩI-Cb21-Hφdxdy,
    (4)

    式(4)中,HφH'φ为Heaviside函数和Dirac函数的正则近似表示,其表达式为:

    Hφ=121+1πarctanφε,
    (5)
    H'φ=1π·εε2+φ2,
    (6)

    其中,ε为进行数学运算时选取的一个小正数。依据变分原理和梯度下降原理求解式(4),得到其偏微分方程:

    xt=H'φμdivδδ-ν-H'φ-λ11-Cb2+λ21-Cf2,
    (7)

    其中,CbCf的计算式为

    Cf=ΩIx,yHφdxdyΩHφdxdy,Cb=ΩIx,y1-HφdxdyΩ1-Hφdxdy
    (8)
  • 3 仿真实验与分析

    3.1 MCC-CV算法分割过程对比分析CV模型进行轮廓演化的初始位置由形态学连通域标记(MCC)区域确定,为方便实验对比,在原服饰图案中提取MCC标记区域对应的子图(记为IgMC)与CV模型分割得到的子图(IgCV)进行对比。其中图4(a)为IgMC子图,可以看出,IgMC是残缺不完整的,这是由在二值化过程中部分区域背景和前景区分错误造成的。 通过获取IgMc子图的位置与轮廓信息初始化CV模型,经CV模型曲线演化扩展,可以分割出IgMc对应的完整IgCV子图,如图4(b)所示。

    图4
                            连通域不完整分割经CV模型修复

    图4 连通域不完整分割经CV模型修复

    Fig. 4 CV model repair the incomplete segmentation

    部分民族服饰图案中比较独立、前背景差异较大、连通性较好的子图,二值化过程中,子图保持了较为完整的边缘与轮廓信息,MCC运算后得到的IgMC子图保持了视觉上的完整性。这类子图通过CV模型曲线演化后得到2种分割结果:CV模型对MCC标记模块进行曲线演化,分割出的IgCV子图是对IgMC子图的扩展,如图5所示;CV模型对MCC标记模块进行曲线演化,分割出的IgCV子图与IgMC子图保持了视觉上的一致性,如图6所示。

    图5
                            连通域分割合理CV模型扩展分割

    图5 连通域分割合理CV模型扩展分割

    Fig. 5 CV model extension segmentation

    图6
                            连通域分割与CV模型相同分割

    图6 连通域分割与CV模型相同分割

    Fig. 6 The connected domain has the same partition as CV

    3.2 MCC-CV与其他分割算法对比分析为了对比本文算法的分割效果,引入两类常用或与本文相关的分割算法进行对比实验。第1类为3种自动分割算法:包括otsu阈值分割算[26]、C-Labeling分割算[27]和Watersheds分割算[28];第2类为3种交互分割算法:包括Geodesic分割算[29]、Grabcut分割算[30]和Snakes分割算[9]。实验结果如图7所示,第1列为民族服饰图案原图,左边给出了图案分辨率信息。第2列为原图的Ground Truth。第3列为C-abeling算法分割子图,大部分是欠分割子图,与Ground Truth有较大差距。第4列为Watersheds分割子图,分割效果较C-labeling算法有了较大改善,但依然存在过分割和欠分割子图现象。第5列为Grabcut算法分割子图,其结果最接近Ground Truth,在视觉效果上也优于其他算法,但Grabcut是一种交互分割算法,分割过程是在人工交互下完成的,部分甚至需要经多次人工交互才能得到较为满意的分割结果。第6列为本文算法MCC-CV的分割子图,由于该算法是通过形态学连通域标记(MCC)法确定民族服饰图案中图案纹样元素的位置和轮廓信息来实现CV模型的初始化,然后再利用CV模型曲线演化实现民族服饰图案纹样元素的自动分割,相较于实验对比算法,该算法分割效果有了较大改善,得到了较为完整的服饰图案纹样。

    图7
                            不同算法分割结果视觉效果对比图

    图7 不同算法分割结果视觉效果对比图

    Fig. 7 Visual effect contrast of different segmentation results

    在上述分析的基础上,本文进一步引入边界召回率(boundary recall,简称BR)来客观评价分割结果。分割s的边界召回率定义为

    BRs=pBgIminqBsp-q<εAreaBg,
    (9)

    其中,BgBs分别为图案基元边界真值和算法生成边界的集合。I·为指示函数,若算法生成的基元边界像素位于真值边界像素ε范围内,则返回1;否则返回0,Areas表示集合s的面积。

    分割准确率P(Precision)定义如下:

    P=NumaNumm,
    (10)

    其中,Numm表示在一幅民族服饰图案中人工分割出的所有子图数量。Numa表示在同一幅民族服饰图案中不同分割算法分割出的子图满足某一给定边界召回率BR时的子图数量。BR一定时,P越大,表明算法分割出的满足该BR子图的数量越多,效果越好。

    为了分析本文算法的性能,选用了不同复杂程度的多幅民族服饰图案,分别采用7种算法进行分割,计算各分割子图与Ground Truth的BR,统计各算法在不同BR下的分割子图数量Numa,计算得到P,实验结果如图8所示。可以看出,总体上交互分割算法的性能优于自动分割算法,但本文算法的性能介于交互分割和自动分割算法,并且接近于交互分割算法。虽然,Geodesic算法和Grabcut算法的分割效果表现最优,但需要交互,尤其针对复杂图像,交互次数会增加。

    图8
                            不同算法的客观评价结果(ε=3)

    图8 不同算法的客观评价结果(ε=3)

    Fig. 8 Objective evaluation results of different algorithms(ε=3)

    本文算法MCC-CV在Snakes算法的基础上实现自动分割,分割效果明显优于其他自动分割算法。实验结果表明,在满足0.5的BR下,本文算法的分割准确率为60%,而另外3类自动分割算法平均分割准确率在20%以下,本文算法分割准确率较Clabel自动分割算法19.7%的分割准确率提升了40%;在满足0.7的BR下,本文算法分割准确率在50%以上,而其他自动分割算法平均分割准确率已降至10%以下。

  • 4 结 论

    图像分割技术是计算机视觉领域的重点和难点,目前尚无一种通用分割算法能同时满足不同的分割需求,一般需要针对不同问题设计不同的分割算法,常常还需进行人工交互。为提高民族服饰图案素材库的构建效率,减轻手工分割的工作量,提出了基于MCC-CV模型的民族服饰图案纹样元素分割算法,通过算法的实现,将其应用于民族服饰图案纹样元素的自动分割。实验结果表明,本文算法在满足0.5的BR下为60%,相较其他自动分割算法,分割准确率提升了40%,已能满足民族服饰图案素材库建设对图案分割的基本要求。

    本文提出的MCC-CV分割算法有效提高了民族服饰图案素材库的构建效率,但距离在较高边界召回率的情况下实现有较高的分割准确率的自动分割算法还有一定的差距,未来研究将着眼于建立子图数量参数与预期分割子图数量之间的映射关系,及如何准确获取目标子图在原图像中的位置信息和轮廓信息。

  • 参考文献(References)

    • 1

      赵海英,贾耕云,潘志庚. 文化计算方法与应用综述[J]. 计算机系统应用,2016,25(6):1-8.Doi:10.15888/j.cnki.csa.005206

      ZHAO H Y, JIA G Y, PAN Z G. Review on the methods and applications in cultural computing[J]. Computer Systems & Applications, 2016, 25(6):1-8.Doi:10.15888/j.cnki.csa.005206

    • 2

      赵海英,徐正光,张彩明. 一类新疆民族风格的织物图案生成方法[J]. 图学学报,2012,33(2):1-8.doi:10.3969/j.issn.1003-0158.2012.02.001

      ZHAO H Y, XU Z G, ZHANG C M. A method for generating fabric pattern with Xinjiang ethnic style[J]. Journal of Graphics, 2012, 33(2):1-8.Doi:10.3969/j.issn.1003-0158.2012.02.001

    • 3

      SOILLE P. 形态学图像分析原理与应用[M]. 北京:高等教育出版社,2008.

      SOILLE P. Principle and Application of Morphological Image Analysis[M]. Beijing:Higher Education Press, 2008.

    • 4

      张桂梅,周明明,马珂. 基于彩色模型的重构标记分水岭分割算法[J]. 中国图象图形学报,2012,17(5):641-647.Doi:10.11834/jig.20120506

      ZHANG G M, ZHOU M M, MA K. Image segmentation algorithm for reconstruction labeling watershed in color space[J]. Journal of Image and Graphics, 2012, 17(5):641-647.Doi:10.11834/jig.20120506

    • 5

      YADAV A K, ROY R, RAJKUMAR, et al. Thresholding and morphological based segmentation techniques for medical images[C]// International Conference on Recent Advances and Innovations in Engineering. Jaipur:IEEE, 2017:1-5.Doi:10.1109/icraie.2016.7939573

    • 6

      KRISHNAMURTHY S, NARASIMHAN G, RENGASAMY U. Lung nodule growth measurement and prediction using auto cluster seed K-means morphological segmentation and shape variance analysis[J]. International Journal of Biomedical Engineering & Technology, 2017, 24(1): 53-71.Doi:10.1504/ijbet.2017.083818

    • 7

      KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models[J]. International Journal of Computer Vision, 1988, 1(4): 321-331.Doi:10.1007/bf00133570

    • 8

      MALLADI R, SETHIAN J, VEMURI B C. Shape modeling with front propagation: A level set approach[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1995, 17(2): 158-175.Doi:10.1109/34.368173

    • 9

      CASELLES V, CATTÉ F, COLL T, et al. A geometric model for active contours in image processing[J]. Numerische Mathematik, 1993, 66(1): 1-31.Doi:10.1007/BF01385685

    • 10

      李培华,张田文. 主动轮廓线模型(蛇模型)综述[J]. 软件学报,2000,11(6):751-757.

      LI P H, ZHANG T W. Review on active contour model (snake model)[J]. Journal of Software, 2000, 11(6):751-757.

    • 11

      KIM W, KIM C. Active contours driven by the salient edge energy model[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1667-1673.

    • 12

      XIE X H, MIRMEHDI M. MAC: magnetostatic active contour model[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2008, 30(4): 632-646.Doi:10.1109/tpami.2007.70737

    • 13

      MUMFORD D, SHAH J. Optimal approximations by piecewise smooth functions and associated variational problems[J]. Communications on Pure & Applied Mathematics, 1989, 42(5): 577-685.Doi:10.1002/cpa.3160420503

    • 14

      LI C M, KAO C Y, GORE J C, et al. Minimization of region-scalable fitting energy for image segmentation[J]. IEEE Transactions on Image Processing, 2008, 17(10): 1940-1949.Doi:10.1109/tip.2008.2002304

    • 15

      LI C M, HUANG R, DING Z H, et al. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2007-2016.Ddoi:10.1109/tip.2011.2146190

    • 16

      HE C J, WANG Y, CHEN Q. Active contours driven by weighted region-scalable fitting energy based on local entropy[J]. Signal Processing, 2012, 92(2): 587-600.Doi:10.1016/j.sigpro.2011.09.004

    • 17

      张明慧,卢振泰,张娟,等. 基于多图谱活动轮廓模型的脑部图像分割[J]. 计算机学报,2016,39(7):1490-1500.

      ZHANG M H, LOU Z T, ZHANG J, et al. Brain image segmentation based on multiple atlas active contour model[J]. Chinese Journal of Computers, 2016, 39(7): 1490-1500.

    • 18

      CHAN T F, VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2):266-277.Doi:10.1109/83.902291

    • 19

      李中国,闫镔,曾磊,等. 结合形状先验的水平集印刷电路板CT图像分割方法[J]. 计算机辅助设计与图形学学报,2016,28(4):597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009

      LI Z G, YAN B, ZENG L, et al. PCB CT image segmentation based on level set with shape prior[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(4): 597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009

    • 20

      刘涛,张大龙,周秦武,等. 一种新颖的快速水平集初始化方法[J]. 中国图象图形学报,2010,15(5):775-781.Doi:10.11834/jig.20100510

      LIU T, ZHANG D L, ZHOU Q W, et al. A novel fast level set initialization method[J]. Journal of Image and Graphics, 2010, 15(5):775-781.Doi:10.11834/jig.20100510

    • 21

      LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:IEEE, 2015.Doi:10.1109/cvpr.2015.7298965

    • 22

      CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40(4):834-848.Doi:10.1109/tpami.2017.2699184

    • 23

      AKHTAR N, MIAN A. Threat of adversarial attacks on deep learning in computer vision: A survey[J]. IEEE Access, 2018, 40(6): 14410-14430.

    • 24

      ZHANG Y H, QIU Z F, YAO T, et al. Fully convolutional adaptation networks for semantic segmentation[C]//2018 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. Salt Lake City:IEEE,2018: 6810-6818.Doi:10.1109/cvpr.2018.00712

    • 25

      MEHTA S, RASTEGARI M, CASPI A, et al. Espnet: Efficient spatial pyramid of dilated convolutions for semantic segmentation[C]//Proceedings of the European Conference on Computer Vision. Munich:Springer,2018: 561-580.Doi:10.1007/978-3-030-01249-6_34

    • 26

      OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.Doi:10.1109/tsmc.1979.4310076

    • 27

      CHANG F, CHEN C J. A component-labeling algorithm using contour tracing technique[C]//SeventhInternational Conference on Document Analysis and Recognition. Edinburgh:IEEE,2003: 741-745.Doi:10.1109/icdar.2003.1227760

    • 28

      VINCENT L, SOILLE P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(6): 583-598. Doi:10.1109/34.87344

    • 29

      GULSHAN V, ROTHER C, CRIMINISI A, et al. Geodesic star convexity for interactive image segmentation[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010: 3129-3136.Doi:10.1109/cvpr.2010.5540073

    • 30

      ROTHER C, KOLMOGOROV V, BLAKE A. “GrabCut”: Interactive foreground extraction using iterated graph cuts[J]. Transactions on Graphics, 2004, 23(3): 309-314.

侯小刚

机 构:北京邮电大学 网络技术研究院,北京 100876

Affiliation:Institute of Network Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China

作者简介:侯小刚(1984—),ORCID: http://orcid.org/0000-0001-6912-873X,男,博士研究生,主要从事数字图像处理等相关研究.

陈洪

机 构:北京邮电大学 计算机学院,北京 100876

Affiliation:School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China

赵海英

机 构:北京邮电大学 计算机学院,北京 100876

Affiliation:School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China

1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F001.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F002.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F003.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F004.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F005.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F006.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F007.jpg
1008-9497-2019-46-3-288/alternativeImage/0944ecfc-61db-4782-aa84-1245b2810b32-F008.jpg

图1 民族服饰图案

Fig. 1 National costume pattern

图2 MCC算法标记图

Fig. 2 MCC labeled schematic

图3 算法流程图

Fig. 3 Algorithm flow chart

图4 连通域不完整分割经CV模型修复

Fig. 4 CV model repair the incomplete segmentation

图5 连通域分割合理CV模型扩展分割

Fig. 5 CV model extension segmentation

图6 连通域分割与CV模型相同分割

Fig. 6 The connected domain has the same partition as CV

图7 不同算法分割结果视觉效果对比图

Fig. 7 Visual effect contrast of different segmentation results

图8 不同算法的客观评价结果(ε=3)

Fig. 8 Objective evaluation results of different algorithms(ε=3)

image /

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

  • 参考文献(References)

    • 1

      赵海英,贾耕云,潘志庚. 文化计算方法与应用综述[J]. 计算机系统应用,2016,25(6):1-8.Doi:10.15888/j.cnki.csa.005206

      ZHAO H Y, JIA G Y, PAN Z G. Review on the methods and applications in cultural computing[J]. Computer Systems & Applications, 2016, 25(6):1-8.Doi:10.15888/j.cnki.csa.005206

    • 2

      赵海英,徐正光,张彩明. 一类新疆民族风格的织物图案生成方法[J]. 图学学报,2012,33(2):1-8.doi:10.3969/j.issn.1003-0158.2012.02.001

      ZHAO H Y, XU Z G, ZHANG C M. A method for generating fabric pattern with Xinjiang ethnic style[J]. Journal of Graphics, 2012, 33(2):1-8.Doi:10.3969/j.issn.1003-0158.2012.02.001

    • 3

      SOILLE P. 形态学图像分析原理与应用[M]. 北京:高等教育出版社,2008.

      SOILLE P. Principle and Application of Morphological Image Analysis[M]. Beijing:Higher Education Press, 2008.

    • 4

      张桂梅,周明明,马珂. 基于彩色模型的重构标记分水岭分割算法[J]. 中国图象图形学报,2012,17(5):641-647.Doi:10.11834/jig.20120506

      ZHANG G M, ZHOU M M, MA K. Image segmentation algorithm for reconstruction labeling watershed in color space[J]. Journal of Image and Graphics, 2012, 17(5):641-647.Doi:10.11834/jig.20120506

    • 5

      YADAV A K, ROY R, RAJKUMAR, et al. Thresholding and morphological based segmentation techniques for medical images[C]// International Conference on Recent Advances and Innovations in Engineering. Jaipur:IEEE, 2017:1-5.Doi:10.1109/icraie.2016.7939573

    • 6

      KRISHNAMURTHY S, NARASIMHAN G, RENGASAMY U. Lung nodule growth measurement and prediction using auto cluster seed K-means morphological segmentation and shape variance analysis[J]. International Journal of Biomedical Engineering & Technology, 2017, 24(1): 53-71.Doi:10.1504/ijbet.2017.083818

    • 7

      KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models[J]. International Journal of Computer Vision, 1988, 1(4): 321-331.Doi:10.1007/bf00133570

    • 8

      MALLADI R, SETHIAN J, VEMURI B C. Shape modeling with front propagation: A level set approach[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1995, 17(2): 158-175.Doi:10.1109/34.368173

    • 9

      CASELLES V, CATTÉ F, COLL T, et al. A geometric model for active contours in image processing[J]. Numerische Mathematik, 1993, 66(1): 1-31.Doi:10.1007/BF01385685

    • 10

      李培华,张田文. 主动轮廓线模型(蛇模型)综述[J]. 软件学报,2000,11(6):751-757.

      LI P H, ZHANG T W. Review on active contour model (snake model)[J]. Journal of Software, 2000, 11(6):751-757.

    • 11

      KIM W, KIM C. Active contours driven by the salient edge energy model[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1667-1673.

    • 12

      XIE X H, MIRMEHDI M. MAC: magnetostatic active contour model[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2008, 30(4): 632-646.Doi:10.1109/tpami.2007.70737

    • 13

      MUMFORD D, SHAH J. Optimal approximations by piecewise smooth functions and associated variational problems[J]. Communications on Pure & Applied Mathematics, 1989, 42(5): 577-685.Doi:10.1002/cpa.3160420503

    • 14

      LI C M, KAO C Y, GORE J C, et al. Minimization of region-scalable fitting energy for image segmentation[J]. IEEE Transactions on Image Processing, 2008, 17(10): 1940-1949.Doi:10.1109/tip.2008.2002304

    • 15

      LI C M, HUANG R, DING Z H, et al. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2007-2016.Ddoi:10.1109/tip.2011.2146190

    • 16

      HE C J, WANG Y, CHEN Q. Active contours driven by weighted region-scalable fitting energy based on local entropy[J]. Signal Processing, 2012, 92(2): 587-600.Doi:10.1016/j.sigpro.2011.09.004

    • 17

      张明慧,卢振泰,张娟,等. 基于多图谱活动轮廓模型的脑部图像分割[J]. 计算机学报,2016,39(7):1490-1500.

      ZHANG M H, LOU Z T, ZHANG J, et al. Brain image segmentation based on multiple atlas active contour model[J]. Chinese Journal of Computers, 2016, 39(7): 1490-1500.

    • 18

      CHAN T F, VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2):266-277.Doi:10.1109/83.902291

    • 19

      李中国,闫镔,曾磊,等. 结合形状先验的水平集印刷电路板CT图像分割方法[J]. 计算机辅助设计与图形学学报,2016,28(4):597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009

      LI Z G, YAN B, ZENG L, et al. PCB CT image segmentation based on level set with shape prior[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(4): 597-605.Doi:10.3969/j.issn.1003-9775.2016.04.009

    • 20

      刘涛,张大龙,周秦武,等. 一种新颖的快速水平集初始化方法[J]. 中国图象图形学报,2010,15(5):775-781.Doi:10.11834/jig.20100510

      LIU T, ZHANG D L, ZHOU Q W, et al. A novel fast level set initialization method[J]. Journal of Image and Graphics, 2010, 15(5):775-781.Doi:10.11834/jig.20100510

    • 21

      LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:IEEE, 2015.Doi:10.1109/cvpr.2015.7298965

    • 22

      CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40(4):834-848.Doi:10.1109/tpami.2017.2699184

    • 23

      AKHTAR N, MIAN A. Threat of adversarial attacks on deep learning in computer vision: A survey[J]. IEEE Access, 2018, 40(6): 14410-14430.

    • 24

      ZHANG Y H, QIU Z F, YAO T, et al. Fully convolutional adaptation networks for semantic segmentation[C]//2018 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. Salt Lake City:IEEE,2018: 6810-6818.Doi:10.1109/cvpr.2018.00712

    • 25

      MEHTA S, RASTEGARI M, CASPI A, et al. Espnet: Efficient spatial pyramid of dilated convolutions for semantic segmentation[C]//Proceedings of the European Conference on Computer Vision. Munich:Springer,2018: 561-580.Doi:10.1007/978-3-030-01249-6_34

    • 26

      OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.Doi:10.1109/tsmc.1979.4310076

    • 27

      CHANG F, CHEN C J. A component-labeling algorithm using contour tracing technique[C]//SeventhInternational Conference on Document Analysis and Recognition. Edinburgh:IEEE,2003: 741-745.Doi:10.1109/icdar.2003.1227760

    • 28

      VINCENT L, SOILLE P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(6): 583-598. Doi:10.1109/34.87344

    • 29

      GULSHAN V, ROTHER C, CRIMINISI A, et al. Geodesic star convexity for interactive image segmentation[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010: 3129-3136.Doi:10.1109/cvpr.2010.5540073

    • 30

      ROTHER C, KOLMOGOROV V, BLAKE A. “GrabCut”: Interactive foreground extraction using iterated graph cuts[J]. Transactions on Graphics, 2004, 23(3): 309-314.