圖像識別在材料研發(fā)中的應(yīng)用與展望

任姿穎，宋寶宇

（鞍鋼集團(tuán)北京研究院有限公司，北京 102211）

材料科學(xué)作為通過物質(zhì)的性質(zhì)，研究材料的制備，采用加工工藝對材料微觀結(jié)構(gòu)進(jìn)行科學(xué)合理整合應(yīng)用的一門跨學(xué)科科學(xué)，是未來科技發(fā)展的基礎(chǔ)。隨著新的工業(yè)革命時代的到來，加速材料研發(fā)進(jìn)程已經(jīng)成為材料研究者乃至全行業(yè)共同關(guān)注的目標(biāo)，如何以低成本、高可靠性獲取材料研發(fā)過程中的實驗數(shù)據(jù)也成為亟待解決的課題。數(shù)據(jù)時代的發(fā)展使得機(jī)器學(xué)習(xí)算法和大數(shù)據(jù)技術(shù)已經(jīng)逐漸結(jié)合應(yīng)用到材料研發(fā)的各個方面。例如，Kiyohara［1］研究參雜劑在晶界處的偏析行為，通過運(yùn)用數(shù)據(jù)挖掘技術(shù)和隨機(jī)樹、遺傳等機(jī)器學(xué)習(xí)算法獲得合金元素在晶界偏析的穩(wěn)定結(jié)構(gòu)。Wen等［2］通過機(jī)器學(xué)習(xí)算法輔助進(jìn)行高熵合金的Al-Co-Cr-Cu-Fe-Ni系統(tǒng)合金成分設(shè)計，并通過迭代循環(huán)和機(jī)器學(xué)習(xí)模型相結(jié)合，獲得了具有高強(qiáng)度的高熵合金成分，加快了鋼鐵材料的成分實驗進(jìn)程。Rehaman等［3］在研究高性能鋼及其熱處理過程中通過收集包含2 277個唯一條目的馬氏體與合金組成的數(shù)據(jù)庫，利用機(jī)器學(xué)習(xí)手段預(yù)測出鋼鐵材料中馬氏體初始溫度。V.Stanev等［4］通過材料的超導(dǎo)性與化學(xué)和結(jié)構(gòu)性質(zhì)之間的聯(lián)系，利用機(jī)器學(xué)習(xí)算法模型在整個無機(jī)晶體結(jié)構(gòu)數(shù)據(jù)庫（ICSD）中搜索潛在的新超導(dǎo)體，并確定了大于30種非銅酸鹽和非鐵基氧化物作為超導(dǎo)的候選材料。但是，目前關(guān)于如何更好解決材料實驗過程中的信息提取和識別的研究較少，是迫在眉睫需要解決的課題。本文從材料科學(xué)和計算機(jī)算法應(yīng)用兩個方面對材料微觀圖像識別和大數(shù)據(jù)處理技術(shù)展開討論。

1 圖像識別應(yīng)用算法的技術(shù)發(fā)展

材料組織圖像識別是指通過利用計算機(jī)對材料相關(guān)組織圖像進(jìn)行處理，理解與分析識別各種不同狀態(tài)下的目標(biāo)和對象的技術(shù)，是基于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)相關(guān)算法的實踐應(yīng)用。

1.1 基于機(jī)器學(xué)習(xí)的圖像識別技術(shù)

隨著人工智能的發(fā)展，機(jī)器算法逐步應(yīng)用在圖像識別中，常見的算法包括貝葉斯分類法、模式匹配等。貝葉斯分類法基于對不同特征進(jìn)行分類，并通過相似度判斷是否為同一類，但存在局限性，因貝葉斯分類法的前提條件是假設(shè)一個屬性值對判斷是否同類時的影響?yīng)毩⒂谄渌麑傩灾担瑢嶋H情況很難成立，所以分類過程中的準(zhǔn)確率會下降。

1.2 基于深度學(xué)習(xí)的圖像識別技術(shù)

Facebook人工智能負(fù)責(zé)人YannLeCun發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)（Cnn）促使整個計算機(jī)科學(xué)在人工智能領(lǐng)域的應(yīng)用有了新的方向。神經(jīng)網(wǎng)絡(luò)的前身是由 Mcculloch 和 Pitts［5］建立的 M-P 模型，之后Frank定義了一個感知器模型，實現(xiàn)了一個真正意義上的神經(jīng)網(wǎng)絡(luò)模型。該模型由兩層神經(jīng)元構(gòu)成，并對輸入和輸出層的兩層神經(jīng)元連接，實現(xiàn)了輸入的線性分類。圖1為神經(jīng)元結(jié)構(gòu)示意圖。圖1中，xn為第 i個神經(jīng)元的輸入；wi為權(quán)重；θi為閾值；f為函數(shù)；y為輸出。

圖1 神經(jīng)元結(jié)構(gòu)示意圖Fig.1 Schematic Diagram for Neuron Structure

隨著多層感知器模型的發(fā)展，誤差反向傳播模型（BP網(wǎng)絡(luò)）進(jìn)入機(jī)器學(xué)習(xí)研究者的視野，其包含一個輸入層、一個輸出層、一個或多個隱含層。同層網(wǎng)絡(luò)無連接，前后兩層全連接，具有高度并行性和非線性處理能力，并在正向和反向過程中不斷循環(huán)直至達(dá)到極小誤差。BP網(wǎng)絡(luò)一般分為四道程序，首先對數(shù)據(jù)進(jìn)行預(yù)處理，然后對模型構(gòu)建、優(yōu)化，最后對模型進(jìn)行評價得到較優(yōu)解。上述過程中可以通過優(yōu)化權(quán)值和閾值找到最優(yōu)解。

淺層神經(jīng)網(wǎng)絡(luò)包括誤差反向傳播模型（BP網(wǎng)絡(luò)）、徑向基神經(jīng)網(wǎng)絡(luò)（Rbf模型）、Crff模型等，存在無法解決特征維度過大，網(wǎng)絡(luò)層數(shù)過多，神經(jīng)網(wǎng)絡(luò)梯度消失過擬合不足等問題，尤其在圖像處理與識別過程中。所以基于深度學(xué)習(xí)的大規(guī)模數(shù)據(jù)集自動學(xué)習(xí)圖像特征的卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)在研究者的視野中，而圖像識別研究重點(diǎn)也逐漸轉(zhuǎn)變成優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，使計算資源占用情況得以改善，訓(xùn)練參數(shù)得到簡化從而提升整個算法的運(yùn)行效率。因其不需要對圖像進(jìn)行預(yù)處理和特征提取等相關(guān)操作，所以成為圖像識別最顯著、最常用的研究方法和手段。在處理二維圖像過程中，通過多層處理特征自動提取圖像顏色、紋理、形狀及圖像的拓?fù)浣Y(jié)構(gòu)。

卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、卷積層、激勵層、池化層、全連接層和輸出層構(gòu)成。因其具有局部感知視野，空間域或時間域上的池化和權(quán)重共享功能，在圖像識別領(lǐng)域得到了廣泛的應(yīng)用。就目前算法發(fā)展而言，卷積神經(jīng)網(wǎng)絡(luò)作為圖像識別領(lǐng)域的主流算法正在廣泛應(yīng)用于不同的領(lǐng)域。圖2為卷積神經(jīng)網(wǎng)絡(luò)示意圖。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖Fig.2 Schematic Diagram for Convolution Neural Network

在材料研究方向中，現(xiàn)階段神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于材料研究中的成分設(shè)計、工藝設(shè)計、服役性能預(yù)測、加速模擬、輔助表征等方面，極大促進(jìn)了材料研究的發(fā)展。但因材料圖像的組織復(fù)雜，可訓(xùn)練數(shù)據(jù)集過少等問題，現(xiàn)階段在圖像識別領(lǐng)域的應(yīng)用亟待突破。

2 材料組織圖像識別技術(shù)的應(yīng)用現(xiàn)狀

2.1 金相組織圖像識別研究方法

在鑄鐵金相組織識別過程中，蘭州理工大學(xué)徐健林等［6］建立球墨鑄鐵等級的評價模型并借助應(yīng)用軟件對鑄鐵金相檢驗標(biāo)準(zhǔn)的球化級別分級圖進(jìn)行了處理和分析。華中科技大學(xué)的吳雪平等［7］利用篩選法開發(fā)出鎂鋁合金半固態(tài)金相組織分析軟件可以得到固相率，在經(jīng)過顏色過濾后利用計算像素個數(shù)得到晶粒尺寸。甘肅工業(yè)大學(xué)王智平等［8］通過邊緣檢測提取算法識別圖像并運(yùn)用二值化處理圖像獲得鑄鐵金相相關(guān)組織識別結(jié)果。遼寧工程大學(xué)馮欣等［9］利用大量金屬樣本組織顯微的圖像分析所取得的特征參數(shù)與合作單位的顯微暗室成像參數(shù)進(jìn)行實驗對比，結(jié)果顯示金相組織顯微圖像分析算法對金屬晶粒特征參數(shù)測量具有較好的準(zhǔn)確率。圖像識別也可以通過對焊接接頭金相組織的定量分析實現(xiàn)按已知成分和組織預(yù)測接頭的性能，為合理選擇焊接方法、焊接材料和焊接工藝參數(shù)提供理論依據(jù)。

早期的定量金相分析只是采用人工方法如網(wǎng)格法進(jìn)行標(biāo)注，不僅誤差大、準(zhǔn)確性差而且勞動強(qiáng)度大，現(xiàn)在計算機(jī)和模式識別技術(shù)已越來越多地被應(yīng)用到焊接質(zhì)量評價上來。西安交通大學(xué)焊接研究所的王雅生等［10］利用取得的碳鋼焊縫組織石墨化顯微圖像的自動測量研究成果，針對壓力鍋爐中溫中壓機(jī)組主蒸汽管道碳鋼部件焊縫處金相組織石墨化程度的檢測問題，將數(shù)字圖像處理和模式識別技術(shù)運(yùn)用于顯微金相組織測量之中，選擇適合的算法，編程建立了一套對石墨進(jìn)行形狀表征和粒度測量的圖像檢測系統(tǒng)。

一直以來，在圖像處理領(lǐng)域不斷引入一些新理論和新算法，如張紅旗等［11］對12Cr1MoV鋼金相圖像進(jìn)行圖像識別，運(yùn)用直方圖均衡化的方法對金相圖像進(jìn)行了增強(qiáng)處理，使用中值濾波器對圖像進(jìn)行了降噪處理后，分析小波算法的降噪機(jī)理并使用，對空間域濾波和頻域濾波的效果進(jìn)行了比較，利用數(shù)學(xué)形態(tài)學(xué)的方法對圖像效果進(jìn)行改善，使得珠光體的輪廓變得平滑、清晰，使用Sobel算子、LoG算子進(jìn)行珠光體的邊緣提取，利用LoG算子對目標(biāo)物的邊緣檢測取得了比較滿意的效果。

李新城等［12］采用改進(jìn)的分水嶺方法對晶界進(jìn)行了有效提取。于洋等［13］將邊界追蹤及Freeman碼的方法應(yīng)用于金相的定量分析也取得顯著的成效。

隨著圖像識別基于神經(jīng)網(wǎng)絡(luò)的算法革新，陳丹等［14］利用BP神經(jīng)網(wǎng)絡(luò)算法對金相圖片中的粒子進(jìn)行識別，并在圖像識別的降噪預(yù)處理時運(yùn)用了區(qū)別于傳統(tǒng)二值化分割的全局和局部閾值法來進(jìn)行圖像分割。

楊根濤等［15］基于HALCON機(jī)器視覺算法對鉚釘型電觸頭線材進(jìn)行金相分析，通過提取金相圖像的共生矩陣并分析其特征向量，實現(xiàn)顆粒物形貌、尺寸、分布特征等量化分析。

賴傳濱等［16］提出了基于卷積神經(jīng)網(wǎng)絡(luò)的虛擬邊界模型，通過轉(zhuǎn)換為二分類任務(wù)，將每個圖像的中心像素點(diǎn)作為檢測模型的輸入，并將該圖像的輸出作為檢測模型的輸出類別，同時在基于鈦合金的圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練，得到了比較好的訓(xùn)練效果，但也發(fā)現(xiàn)了虛擬邊界不連續(xù)等問題。

2.2 基于金相組織結(jié)構(gòu)分析的圖像識別技術(shù)

由于材料性能和結(jié)構(gòu)之間有一定的相關(guān)性，所以人們在材料研究領(lǐng)域逐漸應(yīng)用圖像識別技術(shù)，例如，根據(jù)金屬材料金相顯微組織結(jié)構(gòu)（如圖3所示）研究其性能、成分、組織結(jié)構(gòu)、加工工藝之間的關(guān)系。而傳統(tǒng)的分析方法一般是經(jīng)驗性的定性或半定量分析，耗費(fèi)大量時間才能得到結(jié)果。

圖3 鋼鐵金相組織形貌（×500）Fig.3 Appearances of Metallurgical Structures in Iron and Steel

隨著圖像識別技術(shù)在材料科學(xué)領(lǐng)域應(yīng)用的發(fā)展，在分析晶粒感較明顯、晶粒邊界模糊、內(nèi)部晶粒塊混亂時有所突破。該技術(shù)分析金相圖像的方法有很多，包括分割算法與識別算法，前者主要有基于灰度閾值、基于邊緣檢測和基于深度學(xué)習(xí)的方法。

（1）基于灰度閾值

基于灰度閾值的分割方法大部分是通過人工經(jīng)驗值，或者通過圖像的灰度直方圖的特點(diǎn)，自適應(yīng)選取一個合適的閾值對金相圖像進(jìn)行分割。現(xiàn)階段，自適應(yīng)閾值［17］、最大類間方差（Otsu）［18］是常用的最優(yōu)閾值選擇方法。王桂棠等［19］提出了基于數(shù)字圖像處理技術(shù)的金相組織定量分析，基于直方圖均衡化和基于區(qū)域生長及數(shù)學(xué)形態(tài)學(xué)的兩種方法對金相組織進(jìn)行圖像處理。

（2）基于邊緣檢測

理想情況下，晶粒內(nèi)部強(qiáng)度是一致的，且晶粒內(nèi)部和邊界區(qū)域之間存在強(qiáng)度變化。因此，基于邊緣檢測的識別技術(shù)有望將邊界檢測為邊緣，它假設(shè)圖像中的對象有清晰的邊界，其中存在明顯的強(qiáng)度差異。

邊緣檢測方法包括 Canny 算法［20］、Sobel算法［21］、基于拉普拉斯算子［22］的邊緣檢測方法、基于高斯差分算子的DOG方法［23］等。其中DOG方法利用兩個高斯算子構(gòu)建了一個帶通濾波器，可以在去除噪聲的同時，將圖像中的平滑區(qū)也過濾掉，只剩下邊緣部分，從而達(dá)到提取邊緣的目的。此外，基于分水嶺［24-26］的方法可以用于金相圖像分割，但在分割出閉合的輪廓時，極易產(chǎn)生“過分割”的現(xiàn)象，導(dǎo)致金相晶粒過分割。

近年來，主動輪廓模型已經(jīng)廣泛應(yīng)用于圖像分割領(lǐng)域中，代表性的是傳統(tǒng)的CV模型及其變形模型［27-29］，由于主動輪廓方法是利用圖像拓?fù)浣Y(jié)構(gòu)的變化對圖像進(jìn)行邊緣檢測，該方法迭代次數(shù)多，運(yùn)行時間較長。 Heilbronner［30］開發(fā)了一種縮短時間自動檢測晶界的方法，該方法能夠捕捉特定視場的多幅圖像，使用梯度濾波器從每個圖像中檢測重要邊界，這些界限最終都結(jié)合在一起，但是它可能無法提供閉合輪廓。該方法與不同圖像的配準(zhǔn)有關(guān)，因此存在復(fù)雜性。上述邊緣分割法均是基于圖像全局的邊緣檢測方法，然而對于某些金相圖像，例如由多個不規(guī)則顆粒及其邊界構(gòu)成的晶粒圖像，基于全局的邊緣檢測算法并不適用，這時需要根據(jù)每個晶粒的局部特征對其邊緣進(jìn)行檢測，從而達(dá)到分離每個晶粒的目的。在大部分基于局部的分割方法中，基于超像素的圖像分割法適用性最廣。超像素是由一系列位置相鄰且顏色、亮度、紋理等特征像素相近的像素點(diǎn)組成的小像素塊區(qū)域，大多保留了進(jìn)一步圖像分割的有效信息，且一般不會破壞圖像中物體的邊界信息。

（3）基于機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)方法是通過提取出圖像中微觀組織的特征信息（包括紋理、灰度值、空間關(guān)系、角點(diǎn)和形態(tài)），利用可學(xué)習(xí)的分類器做出決策。例如，Papa等［31］使用分類器 Optimum Path Forest（OPF）提取紋理和灰度值來獲得鑄鐵中的石墨晶粒；Bulgarevich等［32］利用快速隨機(jī)森林自動分割鐵素體、珠光體、貝氏體和馬氏體微觀結(jié)構(gòu)；Azimi等［33］利用全卷積神經(jīng)網(wǎng)絡(luò)（FCNN）和最大投票方案來實現(xiàn)圖像像素級分割；Choudhury等［34］將分水嶺與卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合，實現(xiàn)了鋼中相的識別；Mingchun Li等［35］提出一種基于多任務(wù)學(xué)習(xí)的更豐富的卷積特征（RCF）體系結(jié)構(gòu)檢測晶界和分割金相圖像。

分布不規(guī)則的金相圖像由于標(biāo)注難，晶粒小，且缺少紋理信息，邊界模糊等，可學(xué)習(xí)的內(nèi)容相對較少，無法直接使用基于學(xué)習(xí)的方法進(jìn)行分割。

3 存在的問題與展望

由于材料復(fù)雜的顯微組織結(jié)構(gòu)甚至原子結(jié)構(gòu)，很難判斷其組織與材料性能、表征特點(diǎn)的關(guān)系，要通過大量的實驗和相關(guān)經(jīng)驗來判斷。為了縮短實驗周期，更合理地指導(dǎo)實驗方向并判斷材料的組織結(jié)構(gòu)，將機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)等算法與大數(shù)據(jù)技術(shù)相結(jié)合勢在必行。更先進(jìn)的算法手段對材料微觀組織識別并建立相關(guān)組織和功能特性的研究尤為重要，其中金相圖像識別和定量分析在推動和促進(jìn)材料科學(xué)高效化發(fā)展具有重要作用。如何更好地響應(yīng)國家提出的，材料大數(shù)據(jù)時代建立有效完善的材料圖像性能數(shù)據(jù)庫，為之后更好的材料產(chǎn)品研發(fā)作準(zhǔn)備，是未來發(fā)展的新方向。未來材料圖像識別軟件也將朝著智能化、自動化、完善化、高清化的方向發(fā)展，材料研究也將步入一個嶄新的時代。

4 結(jié)語

圖像識別技術(shù)主要通過研究照片中的微觀結(jié)構(gòu)和力學(xué)性能之間對應(yīng)的關(guān)系，有助于根據(jù)已知成分和組織結(jié)構(gòu)對材料的力學(xué)性能進(jìn)行預(yù)測。利用計算機(jī)圖像識別技術(shù)自動分析材料的結(jié)構(gòu)性能關(guān)系研究，既能加速材料研發(fā)進(jìn)程，又能推動材料科學(xué)發(fā)展，而其中一個亟待解決的問題便是材料圖像的準(zhǔn)確自動分割，由于材料的金相組織特殊，更好結(jié)合機(jī)器學(xué)習(xí)技術(shù)與大數(shù)據(jù)技術(shù)，將材料圖像組織與性能相結(jié)合，利用圖像識別技術(shù)得到更真實精準(zhǔn)的結(jié)論，突破材料組織圖像圖片少、較難獲得復(fù)雜組織等困難的壁壘是現(xiàn)階段亟待解決的問題。