基于深度学习的岩石薄片矿物自动识别方法

doi:10.3785/j.issn.1008-9497.2022.06.013

浙江大学学报（理学版）

2022, Vol. 49

Issue (6): 743-752 DOI: 10.3785/j.issn.1008-9497.2022.06.013

地球科学

基于深度学习的岩石薄片矿物自动识别方法

徐圣嘉¹,苏程¹(

),朱孔阳²,章孝灿¹

^1.浙江大学地理与空间信息研究所，浙江杭州 310027
^2.浙江大学地质研究所，浙江杭州 310027

Automatic identification of mineral in petrographic thin sections based on images using a deep learning method

Shengjia XU¹,Cheng SU¹(

),Kongyang ZHU²,Xiaocan ZHANG¹

^1.Institute for Geography & Spatial Information，School of Earth Sciences，Zhejiang University，Hangzhou 310027，China
^2.Institute of Geology，School of Earth Sciences，Zhejiang University，Hangzhou 310027，China

全文: PDF(4279 KB)

HTML( 11 )

摘要：

岩石薄片矿物识别是岩石学研究工作的基础，亦是进一步认识岩石种类、成因机理、物质运移和演化历史的基础。传统的矿物识别主要依靠光学显微镜进行人工鉴定，经济成本和时间成本较高、效率较低，且受制于专家个人经验与主观判断。随着深度学习技术的发展，计算机能从图像中自动提取更准确的语义信息，从而为岩石薄片图像的智能分析提供有效途径。提出了一种基于深度学习的岩石薄片矿物自动识别方法，利用深度卷积神经网络自动提取岩石薄片图像中不同矿物的有效特征，并对其进行语义分割与识别，综合利用单偏光与正交偏光2种光性图像实现了对矿物的自动识别。对南京大学岩石教学薄片显微图像数据集进行了矿物识别测试，结果表明，总体精度为86.7%，Kappa系数为0.818，识别结果较传统图像分类方法更准确。

关键词： 矿物识别; 岩石薄片图像; 深度学习; 语义分割

Abstract:

The identification of minerals in petrographic thin sections is essentially required in petrological research, and is a prerequisite for further understanding of rock classification, petrogenesis, material flow and evolution history. Traditional methods rely on manual identification with optical microscope, which is costly, time-consuming, and subject to expert judgment and personal experience. Following the development of deep learning technology, it is possible for computer to automatically extract more accurate semantic information from images of petrographic thin sections. This paper proposes a deep learning-based method on petrographic thin section images for automatic mineral identification, which not only utilizes the deep convolutional neural network to extract different mineral features in the images for semantic segmentation and recognition, but also takes into account the plane polarized light images and cross polarized light images for comprehensive automatic identification. Our paper used the photomicrograph dataset of rocks for petrology teaching at Nanjing University for mineral identification and achieved the overall accuracy of 86.7% and Kappa coefficient of 0.818 demonstrating the advantage of the proposed approach compared with those of the traditional image classification methods.

Key words: mineral identification petrographic thin section images deep learning semantic segmentation

收稿日期: 2021-10-08 出版日期: 2022-11-23

CLC:

P 585

基金资助: 国家重点研发计划项目(2018YFB0505002)

通讯作者: 苏程 E-mail: sc20184@zju.edu.cn

作者简介: 徐圣嘉（1996—），ORCID： https：//orcid.org/0000-0002-8873-2809，女，硕士研究生，主要从事数字图像处理研究.

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	徐圣嘉
	苏程
	朱孔阳
	章孝灿

引用本文:

徐圣嘉,苏程,朱孔阳,章孝灿. 基于深度学习的岩石薄片矿物自动识别方法[J]. 浙江大学学报（理学版）, 2022, 49(6): 743-752.

Shengjia XU,Cheng SU,Kongyang ZHU,Xiaocan ZHANG. Automatic identification of mineral in petrographic thin sections based on images using a deep learning method. Journal of Zhejiang University (Science Edition), 2022, 49(6): 743-752.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2022.06.013 或 https://www.zjujournals.com/sci/CN/Y2022/V49/I6/743

图1 基于深度学习的矿物自动识别方法结构

图2 语义分割网络结构

卷积模块名称	参数
conv1	7 $×$ 7， 64， stride=2
conv2_x	3 $×$ 3 max pool， stride=2
conv2_x	$? 1 × 1, ? 64 ? ? 3 × 3, ? 64 ? ? 1 × 1, ? 256 ?$ $× 3$
conv3_x	$? 1 × 1, ? 128 ? ? 3 × 3, ? 128 ? ? 1 × 1, ? 512 ?$ $× 4$
conv4_x	$? 1 × 1, ? 256 ? ? 3 × 3, ? 256 ? 1 × 1, ? 1 ? 024 ?$ $× 23$
conv5_x	$? 1 × 1, ? 512 ? ? 3 × 3, ? 512 ? 1 × 1, ? 2 ? 048 ?$ $×$ 3

表1 主干网络结构

图3 基于深度学习得到的单、正交偏光网络模型混淆矩阵

图4 基于最大似然法得到的单、正交偏光分类模型混淆矩阵

表2 本文深度学习方法与最大似然法的精度对比

图5 OA，Kappa系数与单偏光模型权重间的关系

图6 融合模型的混淆矩阵

表3 不同模型的精度对比

图7 火16花岗闪长岩单、正交偏光图像及矿物识别结果

1	ALIGHOLI S， KHAJAVI R， RAZMARA M. Automated mineral identification algorithm using optical properties of crystals［J］. Computers & Geosciences， 2015， 85（A）： 175-183. DOI：10.1016/j.cageo.2015.09.014 doi: 10.1016/j.cageo.2015.09.014
2	FORNACIAI A， LANDI P， ARMIENTI P. Dissolution/crystallization kinetics recorded in the 2002–2003 lavas of Stromboli （Italy）［J］. Bulletin of Volcanology， 2009， 71（6）： 631-641. DOI：10.1007/s00445-008-0249-3 doi: 10.1007/s00445-008-0249-3
3	KEULEN N， HEILBRONNER R， STÜNITZ H， et al. Grain size distributions of fault rocks： A comparison between experimentally and naturally deformed granitoids［J］. Journal of Structural Geology， 2007， 29（8）： 1282-1300. DOI：10.1016/j.jsg.2007.04.003 doi: 10.1016/j.jsg.2007.04.003
4	AUTIO J， LEPISTO L， VISA A. Image analysis and data mining in rock material research［J］. Materia， 2004（4）： 36-40.
5	JERRAM D A， CHEADLE M J， PHILPOTTS A R. Quantifying the building blocks of igneous rocks： Are clustered crystal frameworks the foundation？［J］. Journal of Petrology， 2003， 44（11）： 2033-2051. DOI：10.1093/petrology/egg069 doi: 10.1093/petrology/egg069
6	ROSS B J， FUETEN F， YASHKIR D Y. Automatic mineral identification using genetic programming［J］. Machine Vision and Applications， 2001， 13（2）： 61-69. DOI：10.1007/PL00013273 doi: 10.1007/PL00013273
7	MENGKO T R， SUSILOWATI Y， MENGKO R， et al. Digital image processing technique in rock forming minerals identification［C］// 2000 IEEE Asia-Pacific Conference on Circuits and Systems. Tianjin： IEEE， 2000. DOI：10.1109/APCCAS.2000.913531 doi: 10.1109/APCCAS.2000.913531
8	KERR P F， ROGERS A F. Optical Mineralogy［M］. 4th ed. New York： McGraw-Hill， 1977.
9	CHALMERS G R， BUSTIN R M， POWER I M. Characterization of gas shale pore systems by porosimetry， pycnometry， surface area， and field emission scanning electron microscopy/transmission electron microscopy image analyses： Examples from the Barnett， Woodford， Haynesville， Marcellus， and Doig units［J］. AAPG Bulletin， 2012， 96（6）： 1099-1119. DOI：10.1306/10171111052 doi: 10.1306/10171111052
10	GOTTLIEB P， WILKIE G， SUTHERLAND D， et al. Using quantitative electron microscopy for process mineralogy applications［J］. JOM， 2000， 52（4）： 24-25. DOI：10.1007/s11837-000-0126-9 doi: 10.1007/s11837-000-0126-9
11	GU Y. Automated scanning electron microscope based mineral liberation analysis： An introduction to JKMRC/FEI mineral liberation analyser［J］. Journal of Minerals & Materials Characterization & Engineering， 2003， 2（1）： 33-41. DOI：10.4236/jmmce.2003.21003 doi: 10.4236/jmmce.2003.21003
12	NIE J， PENG W B. Automated SEM-EDS heavy mineral analysis reveals no provenance shift between glacial loess and interglacial paleosol on the Chinese Loess Plateau［J］. Aeolian Research， 2014， 13： 71-75. DOI：10.1016/J.AEOLIA.2014.03.005 doi: 10.1016/J.AEOLIA.2014.03.005
13	RUISANCHEZ I， POTOKAR P， ZUPAN J， et al. Classification of energy dispersion X-ray spectra of mineralogical samples by artificial neural networks［J］. Journal of Chemical Information and Computer Sciences， 1996， 36（2）： 214-220. DOI：10.1021/ci950068b doi: 10.1021/ci950068b
14	SYLVESTER P J. Use of the mineral liberation analyzer （MLA） for mineralogical studies of sediments and sedimentary rocks［J］. Mineralogical Association of Canada Short Course Series， 2012， 42： 1-16.
15	JAROSEWICH E， NELEN J A， NORBERG J A. Electron microprobe reference samples for mineral analyses［J］. Smithsonian Contributions to the Earth Science， 1979， 22： 68-72. doi:10.1111/j.1751-908x.1980.tb00273.x doi: 10.1111/j.1751-908x.1980.tb00273.x
16	AKKAŞ E， AKIN L， EVREN Ç H， et al. Application of decision tree algorithm for classification and identification of natural minerals using SEM-EDS［J］. Computers & Geosciences， 2015， 80： 38-48. DOI：10.1016/j.cageo.2015.03.015 doi: 10.1016/j.cageo.2015.03.015
17	ZENG X， XIAO Y C， JI X H， et al. Mineral identification based on deep learning that combines image and MOHS hardness［J］. Minerals， 2021， 11（5）： 506. DOI：10.3390/min11050506 doi: 10.3390/min11050506
18	ALIGHOLI S， LASHKARIPOUR G R， KHAJAVI R， et al. Automatic mineral identification using color tracking［J］. Pattern Recognition， 2017， 65： 164-174. DOI：10.1016/j.patcog.2016.12.012 doi: 10.1016/j.patcog.2016.12.012
19	YESILOGLU-GULTEKIN N， KECELI A S， SEZER E A， et al. A computer program （TSecSoft） to determine mineral percentages using photographs obtained from thin sections［J］. Computers & Geosciences， 2012， 46： 310-316. DOI：10.1016/j.cageo.2012.01.001 doi: 10.1016/j.cageo.2012.01.001
20	周永章，王俊，左仁广，等. 地质领域机器学习、深度学习及实现语言［J］. 岩石学报， 2018， 34（11）： 3173-3178. ZHOU Y Z， WANG J， ZUO R G， et al. Machine learning， deep learning and Python language in field of geology［J］. Acta Petrologica Sinica， 2018， 34（11）： 3173-3178.
21	MARSCHALLINGER R. Automatic mineral classification in the macroscopic scale［J］. Computers & Geosciences， 1997， 23（1）： 119-126. DOI：10. 1016/S0098-3004（96）00074-X doi: 10. 1016/S0098-3004（96）00074-X
22	THOMPSON S， FUETEN F， BOCKUS D. Mineral identification using artificial neural networks and the rotating polarizer stage［J］. Computers & Geosciences， 2001， 27（9）： 1081-1089. DOI：10. 1016/S0098-3004（00）00153-9 doi: 10. 1016/S0098-3004（00）00153-9
23	BAYKAN N A， YILMAZ N， KANSUN G. Case study in effects of color spaces for mineral identification［J］. Scientific Research and Essays， 2010， 5（11）： 1243-1253.
24	BAYKAN N A， YILMAZ N. Mineral identification using color spaces and artificial neural networks［J］. Computers & Geosciences， 2010， 36（1）： 91-97. DOI：10.1016/j.cageo.2009.04.009 doi: 10.1016/j.cageo.2009.04.009
25	RAMIL A， LÓPEZ A J， POZO-ANTONIO J S， et al. A computer vision system for identification of granite-forming minerals based on RGB data and artificial neural networks［J］. Measurement， 2018， 117： 90-95. DOI：10.1016/j.measurement.2017.12.006 doi: 10.1016/j.measurement.2017.12.006
26	IZADI H， SADRI J， MEHRAN N. A new approach to apply texture features in minerals identification in petrographic thin sections using ANNs［C］// 8th Iranian Conference on Machine Vision and Image Processing （MVIP）. Zanjan： IEEE， 2013： 257-261. DOI：10.1109/IranianMVIP.2013.6779990 doi: 10.1109/IranianMVIP.2013.6779990
27	IZADI H， SADRI J， BAYATI M. An intelligent system for mineral identification in thin sections based on a cascade approach［J］. Computers & Geosciences， 2017， 99： 37-49. DOI：10.1016/j.cageo.2016.10.010 doi: 10.1016/j.cageo.2016.10.010
28	PEREIRA B H， de AGUIAR M S. Mineral classification using machine learning and images of microscopic rock thin section［C］// Advances in Soft Computing. Cham： Springer International Publishing， 2019： 63-76. DOI：10.1007/978-3-030-33749-0_6 doi: 10.1007/978-3-030-33749-0_6
29	MAITRE J， BOUCHARD K， BÉDARD L P. Mineral grains recognition using computer vision and machine learning［J］. Computers & Geosciences， 2019， 130： 84-93. DOI：10.1016/j.cageo.2019.05.009 doi: 10.1016/j.cageo.2019.05.009
30	RUBO R A， de CARVALHO C C， MICHELON M F， et al. Digital petrography： Mineralogy and porosity identification using machine learning algorithms in petrographic thin section images［J］. Journal of Petroleum Science & Engineering， 2019， 183： 106382. DOI：10.1016/j.petrol.2019.106382 doi: 10.1016/j.petrol.2019.106382
31	LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444. DOI：10.1038/nature14539 doi: 10.1038/nature14539
32	李彦冬，郝宗波，雷航. 卷积神经网络研究综述［J］. 计算机应用， 2016， 36（9）： 2508-2515， 2565. DOI：10.11772/j.issn.1001-9081.2016.09.2508 LI Y D， HAO Z B， LEI H. Survey of convolutional neural network［J］. Journal of Computer Applications， 2016， 36（9）： 2508-2515， 2565. DOI：10.11772/j.issn.1001-9081.2016.09.2508 doi: 10.11772/j.issn.1001-9081.2016.09.2508
33	LIU C Z， LI M C， ZHANG Y， et al. An enhanced rock mineral recognition method integrating a deep learning model and clustering algorithm［J］. Minerals， 2019， 9（9）： 516. DOI：10.3390/min9090516 doi: 10.3390/min9090516
34	KARIMPOULI S， TAHMASEBI P. Segmentation of digital rock images using deep convolutional autoencoder networks［J］. Computers & Geosciences， 2019， 126： 142-150. DOI：10.1016/j.cageo.2019.02.003 doi: 10.1016/j.cageo.2019.02.003
35	SU C， XU S J， ZHU K Y， et al. Rock classification in petrographic thin section images based on concatenated convolutional neural networks［J］. Earth Science Informatics， 2020， 13（4）： 1477-1484. DOI：10.1007/s12145-020-00505-1 doi: 10.1007/s12145-020-00505-1
36	彭伟航，白林，商世为，等. 基于改进Inception V3模型的常见矿物智能识别［J］. 地质通报， 2019， 38（12）： 2059-2066. PENG W H， BAI L， SHANG S W， et al. Common mineral intelligent recognition based on improved inception V3［J］. Geological Bulletin of China， 2019， 38（12）： 2059-2066.
37	OKADA N， MAEKAWA Y， OWADA N， et al. Automated identification of mineral types and grain size using hyperspectral imaging and deep learning for mineral processing［J］. Minerals， 2020， 10（9）： 809. DOI：10.3390/min10090809 doi: 10.3390/min10090809
38	CHEN Z H， LIU X J， YANG J J， et al. Deep learning-based method for SEM image segmentation in mineral characterization， an example from Duvernay shale samples in Western Canada Sedimentary Basin［J］. Computers & Geosciences， 2020， 138： 104450. DOI：10.1016/j.cageo.2020. 104450 doi: 10.1016/j.cageo.2020. 104450
39	谢涛. 基于深度学习的微细粒矿物识别研究［D］. 徐州：中国矿业大学， 2020. XIE T. Research on Recognition of Fine-grained Minerals Based on Deep Learning［D］. Xuzhou： China University of Mining and Technology， 2020.
40	郭艳军，周哲，林贺洵，等. 基于深度学习的智能矿物识别方法研究［J］. 地学前缘， 2020， 27（5）： 39-47. DOI：10.13745/j.esf.sf.2020.5.45 GUO Y J， ZHOU Z， LIN H X， et al. The minerals intelligence identification method based on deep learning algorithm［J］. Earth Science Frontiers， 2020， 27（5）： 39-47. DOI：10.13745/j.esf.sf. 2020.5.45 doi: 10.13745/j.esf.sf. 2020.5.45
41	KOESHIDAYATULLAH A， MORSILLI M， LEHRMANN D J， et al. Fully automated carbonate petrography using deep convolutional neural networks［J］. Marine and Petroleum Geology， 2020， 122： 104687. DOI：10.1016/j.marpetgeo.2020.104687 doi: 10.1016/j.marpetgeo.2020.104687
42	TANG D G， MILLIKEN K L， SPIKES K T. Machine learning for point counting and segmentation of arenite in thin section［J］. Marine and Petroleum Geology， 2020， 120： 104518. DOI：10.1016/j.marpetgeo.2020.104518 doi: 10.1016/j.marpetgeo.2020.104518
43	徐述腾，周永章. 基于深度学习的镜下矿石矿物的智能识别实验研究［J］. 岩石学报， 2018， 34（11）： 3244-3252. XU S T， ZHOU Y Z. Artificial intelligence identification of ore minerals under microscope based on deep learning algorithm［J］. Acta Petrologica Sinica， 2018， 34（11）： 3244-3252.
44	赖文，蒋璟鑫，邱检生，等. 南京大学岩石教学薄片显微图像数据集［J］. 中国科学数据， 2020， 5（3）： 21-33. DOI：10.11922/csdata.2020.0071.zh LAI W， JIANG J X， QIU J S， et al. A photomicrograph dataset of rocks for petrology teaching at Nanjing University［J］. China Science Data， 2020， 5（3）： 21-33.DOI：10.11922/csdata. 2020.0071.zh doi: 10.11922/csdata. 2020.0071.zh
45	CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］// European Conference on Computer Vision. Cham： Springer International Publishing， 2018： 833-851. DOI：10. 1007/978-3-030-01234-2_49 doi: 10. 1007/978-3-030-01234-2_49
46	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas： IEEE， 2016： 770-778. DOI：10.1109/CVPR.2016.90 doi: 10.1109/CVPR.2016.90
47	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）： 834-848. DOI：10.1109/TPAMI.2017.2699184 . doi: 10.1109/TPAMI.2017.2699184

[1]	刘华玲,张国祥,马俊. 图嵌入算法研究进展[J]. 浙江大学学报（理学版）, 2022, 49(4): 443-456.
[2]	钱立辉, 王斌, 郑云飞, 章佳杰, 李马丁, 于冰. 基于图像深度预测的景深视频分类算法[J]. 浙江大学学报（理学版）, 2021, 48(3): 282-288.
[3]	陈园琼, 邹北骥, 张美华, 廖望旻, 黄嘉儿, 朱承璋. 医学影像处理的深度学习可解释性研究进展[J]. 浙江大学学报（理学版）, 2021, 48(1): 18-29.
[4]	傅颖颖, 张丰, 杜震洪, 刘仁义. 融合图卷积神经网络和注意力机制的PM_2.5小时浓度多步预测[J]. 浙江大学学报（理学版）, 2021, 48(1): 74-83.
[5]	李君轶, 任涛, 陆路正. 游客情感计算的文本大数据挖掘方法比较研究[J]. 浙江大学学报（理学版）, 2020, 47(4): 507-520.
[6]	陈善雄, 王小龙, 韩旭, 刘云, 王明贵. 一种基于深度学习的古彝文识别方法[J]. 浙江大学学报（理学版）, 2019, 46(3): 261-269.
[7]	郑锐, 钱文华, 徐丹, 普园媛. 基于卷积神经网络的刺绣风格数字合成[J]. 浙江大学学报（理学版）, 2019, 46(3): 270-278.
[8]	黄婕, 张丰, 杜震洪, 刘仁义, 曹晓裴. 基于RNN-CNN集成深度学习模型的PM_2.5小时浓度预测[J]. 浙江大学学报（理学版）, 2019, 46(3): 370-379.
[9]	胡伟俭, 陈为, 冯浩哲, 张天平, 朱正茂, 潘巧明. 应用于平扫CT图像肺结节检测的深度学习方法综述[J]. 浙江大学学报（理学版）, 2017, 44(4): 379-384.

Viewed

Full text

Abstract

Cited

Shared

Discussed