基于圖像增強技術(shù)的鋼鐵材料微觀組織圖像識別的研究

于金鑫，李欣健，王翠萍，徐 勇，劉興軍,3

(1.廈門大學(xué) 材料學(xué)院和福建省材料基因工程重點實驗室，廈門 361000；2.哈爾濱工業(yè)大學(xué)(深圳)計算機科學(xué)與技術(shù)學(xué)院，深圳 518000；3.哈爾濱工業(yè)大學(xué)(深圳)材料基因與大數(shù)據(jù)研究院，深圳 518000)

0 引言

近年來，機器學(xué)習(xí)與數(shù)據(jù)挖掘技術(shù)已經(jīng)逐漸應(yīng)用于材料學(xué)研究中[1-3]。利用機器學(xué)習(xí)技術(shù)，可以基于材料數(shù)據(jù)建立描述材料成分-工藝-微觀組織-性能間定量關(guān)系的數(shù)學(xué)模型，之后使用模型可以實現(xiàn)高通量的材料性能預(yù)測，加速材料設(shè)計[4-5]。目前，已經(jīng)有人使用此方法對壓電材料、熱電材料、非晶玻璃等功能材料[6-8]進行了設(shè)計工作并取得了一定成果。需要注意的是，以上工作在進行材料設(shè)計時并沒有考慮各個影響因素對材料微觀組織的影響。

成分和加工工藝的不同會使材料的微觀組織發(fā)生明顯變化。以鋼鐵為例，在不同條件下可能形成多種微觀組織，如珠光體、鐵素體、滲碳體、奧氏體、萊氏體，這給組織的識別提高了難度。此外，在研究種需要對各個組織進行較為精確的分類并對其進行定量分析，采用傳統(tǒng)的人工識別可能會需要較多的時間。因此，目前急需尋找新的方法進行微觀組織的鑒定工作。

圖像識別技術(shù)目前已經(jīng)被廣泛應(yīng)用與各個行業(yè)中，如人臉識別、文字識別、圖像增強等領(lǐng)域[9]。然而，目前圖像識別技術(shù)在材料學(xué)領(lǐng)域的研究并不多，這是因為圖像處理技術(shù)往往對數(shù)據(jù)的數(shù)量有較高的要求；以當(dāng)前流行的深度學(xué)習(xí)為例，數(shù)據(jù)的數(shù)量級往往在萬級、十萬級甚至更高，在材料研究中單個實驗室想要獲得如此多的數(shù)據(jù)是很困難的。為了彌補數(shù)據(jù)量的不足，往往需要從文獻中提取，然而文獻中的圖片質(zhì)量層次不齊，為建立高精度的模型帶來難度。

針對以上問題，本文嘗試采用圖像處理技術(shù)對文獻中收集到的低分辨率鋼鐵組織照片進行處理，提高數(shù)據(jù)質(zhì)量。再采用多種機器學(xué)習(xí)算法對其進行數(shù)據(jù)挖掘，以建立具有高精度的鋼鐵微觀組織識別分類模型，為提升材料設(shè)計的進展提供相應(yīng)基礎(chǔ)工作。

1 研究方法

1.1 數(shù)據(jù)

本文的數(shù)據(jù)集共包含76張圖片，圖像的大小不等，最小的只有251×171像素，最大的有800×551像素，數(shù)據(jù)集的來源主要是通過實驗獲得，還有一些是通過書籍和論文中摘取。數(shù)據(jù)集共包含奧氏體組織照片16張、貝氏體9張、萊氏體6張、馬氏體16張、鐵素體6張、魏氏組織7張、珠光體16張共7個大類，其中馬氏體包含了板條狀馬氏體7張和針狀馬氏體9張、珠光體包含了片狀珠光體7張和粒狀珠光體9張。

1.2 圖像增強算法及特征提取算法

本文使用的原始圖像質(zhì)量較差，如果直接采用機器學(xué)習(xí)算法對圖片數(shù)據(jù)集進行數(shù)據(jù)挖掘難以獲得具有高精度的分類模型。因此，本文首先采用圖像增強技術(shù)提高圖像質(zhì)量，之后采用圖像特征提取技術(shù)獲得最能代表圖像信息的特征。

1.2.1 直方圖均衡化

直方圖均衡化實質(zhì)上是對圖像的灰度直方圖進行非線性拉伸，將圖像的灰度值r變換為s，使拉伸變換后的灰度直方圖在灰度范圍內(nèi)均勻分布，灰度直方圖變得平滑化[10]。本文中使用以下的映射函數(shù)，將圖像的灰度直方圖進行直方圖均衡化處理。

(1)

式中，k=0,1,2,3,…,n-1，rk是第k個灰度級的像素值，Sk是經(jīng)過直方圖均衡化后的第k個灰度級的像素值，Pr(r)是指r的概率密度函數(shù)，nj表示灰度級為j的像素的數(shù)量，n表示數(shù)字圖像中像素的總數(shù)。

1.2.2 圖像去噪

本文采用同態(tài)濾波方法進行圖像去噪。同態(tài)濾波方法既可以去掉圖像的乘性噪聲，也可以增加對比度以及標(biāo)準(zhǔn)化亮度，達到圖像增強的目的[11]。通過使用高頻濾波器H(u,v)，可以去除圖像的乘性噪聲，達到圖像增強的目的。本文中使用Gaussian高通濾波器，即:

(2)

式中，D0表示通帶的半徑，D(u,v)表示到頻譜中心的歐氏距離，其計算公式如下：

(3)

1.2.3 圖像線性變換

灰度線性變換被稱為圖像的點運算，是數(shù)字圖像處理中容易實現(xiàn)而且效果較好的空間域圖像增強技術(shù)，其對于像素的運算是基于圖像的當(dāng)前像素以及灰度變換函數(shù)[12]?；叶染€性變換可以改善圖像畫質(zhì)，使圖像的顯示效果更加清晰。其灰度變換是將圖像中所有的像素點按照灰度變化函數(shù)進行線性變換，該線性變換函數(shù)為：

I(s)=k·I(r)+b

(4)

式中，I(s)表示變換后的圖像灰度像素值，I(r)表示變換前的圖像，k表示線性變換的斜率，b表示線性變換函數(shù)的截距。

1.2.4 圖像銳化

在對圖像進行了去噪等處理后，圖像將平滑化，會出現(xiàn)圖像邊緣或者圖像輪廓模糊的情況。為了減少這類不利效果對圖像的影響，需要使用圖像的銳化技術(shù)，使圖像邊緣、輪廓以及圖像中的細(xì)節(jié)變得更加清晰[13]。

本文中使用空域濾波法進行圖像銳化[14]?？沼驗V波是基于鄰域處理的增強方法，直接在圖像所在的二維空間進行處理，即對每一個像素的灰度值進行處理。采用的像素點(i,j)新灰度值的運算方式g(i,j)為：

g(i,j)=|f(i-1,j-1)+f(i-1,j+1)+

f(i,j)+f(i+1,j-1)+f(i+1,j+1)|

(5)

式中，f為對應(yīng)像素點的原灰度值。

1.2.5 圖像特征提取特征

紋理特征是數(shù)字圖像的全局特征，它能夠反映數(shù)字圖像緩慢變化或者周期性變化的組織排列屬性[15]。不同類型鋼鐵顯微組織圖像具有區(qū)別明顯的紋理，因此，使用紋理特征作為圖像的分類依據(jù)。本文中所使用的紋理特征包括：數(shù)字圖像的灰度值平均值、灰度值方差、平滑度、三階矩、一致性、熵、灰度共生矩陣能量的均值與方差、灰度共生矩陣熵的均值與方差、灰度共生矩陣慣性矩的均值與方差、灰度共生矩陣相關(guān)性的均值與方差共計14個特征。

1.3 機器學(xué)習(xí)分類算法

本文中采用目前機器學(xué)習(xí)的三種主流分類算法：隨機森林(Random Forest, RF)、支持向量機(Support Vector Machine, SVM)和集成樹(Ensemble Tree, ET)進行建模，采用精度更高的算法建立分類器。本文中所有機器學(xué)習(xí)分類算法的計算均采用Matlab R2016a完成，采用“RF_Class_C”構(gòu)建隨機森林模型，采用“l(fā)ibsvm”構(gòu)建支持向量機模型，采用Matlab內(nèi)嵌的“ensemble”構(gòu)建集成樹模型。

1.3.1 隨機森林算法

隨機森林算法是集成學(xué)習(xí)的一種[16]。集成學(xué)習(xí)[17]的核心思想是為了解決單個模型或者某一組參數(shù)的模型所固有的缺陷，將多個模型整合起來，彌補缺陷，避免模型的局限性。隨機森林使用的就是集成學(xué)習(xí)的思想將多個決策樹整合起來變成森林最終預(yù)測結(jié)果。隨機森林算法的基礎(chǔ)是決策樹[18]。運用決策樹進行分類的算法稱為決策樹分類算法[19]，決策樹作為一種弱分類器，采取的是單一的分類決策模式，所以存在很多缺點，比如：過度擬合、分類規(guī)則復(fù)雜、只能得到局部最優(yōu)解等。為了避免決策樹的一系列問題，通過將決策樹和集成學(xué)習(xí)的思想合并，使用多個決策樹組合就得到了隨機森林算法。本文中選取的決策樹數(shù)量為500，其他參數(shù)保持默認(rèn)。

1.3.2 支持向量機

支持向量機是一類按監(jiān)督學(xué)習(xí)方式對數(shù)據(jù)進行二元分類的廣義線性分類器，核心是將些線性不可分的問題轉(zhuǎn)化為非線性可分，即在特征空間中建立超曲面將正類和負(fù)類分開。SVM使用的非線性函數(shù)可以將非線性可分問題從原始的特征空間映射至更高維的希爾伯特空間，從而轉(zhuǎn)化為線性可分問題。SVM可以通過核方法進行非線性分類，是常見的核學(xué)習(xí)方法之一。SVM最常用的核包括線性核、多項式核、徑向基函數(shù)核、Sigmoid核。本文中選取徑向基函數(shù)核作為核函數(shù)，其他參數(shù)保持默認(rèn)。

1.3.3 集成樹

集成樹模型也是一種集成學(xué)習(xí)方法，是基于提升(boosting)思想建立的一種算法。其核心是利用一個基礎(chǔ)算法進行預(yù)測，然后在后續(xù)的其他算法中利用前面算法的結(jié)果，重點處理錯誤數(shù)據(jù)，從而不斷的減少錯誤率，使用幾種簡單的弱算法來達到很強大的組合算法。集成樹模型是以決策樹模型為基礎(chǔ)，通過提升把決策樹提升為強學(xué)習(xí)算法的模型。目前常用的提升方法有Adaboost、Gradient Boosting、XGBoost等。本文中選取Adaboost，決策樹數(shù)量為500，其他參數(shù)保持默認(rèn)。

2 結(jié)果與討論

2.1 圖像增強方法對組織分類的影響

本文分別采用線性變換、去噪和銳化增強算法對圖片進行圖像增強處理。圖1是采用不同算法之后的圖像與原始圖像的對比。可以發(fā)現(xiàn)經(jīng)過圖像增強算法處理后，與原圖像相比處理過的圖像的組織紋路更為清晰，圖紙?zhí)卣鞲鼮橥怀?。為了確認(rèn)各個方法對模型精度的提升程度，對使用不同圖像增強算法處理獲得后的數(shù)據(jù)集進行數(shù)據(jù)挖掘，以選擇具有更高精度的方法提取圖片特征，進行下一步的圖像分類工作。

圖1 不同圖像增強算法的處理效果

首先采用采用直方圖均衡化方法對所有圖像進行處理；之后采用不同圖像增強策略對原始圖像進行質(zhì)量提升。采用的策略有：①去噪；②去噪+線性變換；③去噪加銳化;④去噪+線性變換+銳化。應(yīng)用適用性較為廣泛的隨機森林算法對不同增強策略生成的圖像特征進行數(shù)據(jù)挖掘，建立組織分類器。通過對比不同分類器的精度對各個策略進行評估。

圖2是采用不同圖像增強策略建立的組織分類器的精度?？梢园l(fā)現(xiàn)，基于原始數(shù)據(jù)采用隨機森林算法建立的組織分類器的精度為84%，而除了采用去噪+銳化的策略之外，其他策略均可以提高模型精度。其中，采用去噪+線性變換+銳化的圖像增強策略對模型的精度提高最為顯著。

2.2 機器學(xué)習(xí)算法對組織分類的影響

通過2.1節(jié)的討論，可以發(fā)現(xiàn)對圖像進行去噪、線性變化和銳化后再提取的特征在建模時具有最高精度。因此在本節(jié)中，采用多種機器學(xué)習(xí)分類算法對此類特征進行數(shù)據(jù)挖掘，建立組織分類器。

圖3為三種分類器的精度對比，由圖可見，隨機森林的精度是最高的，達到了89.34%，而集成樹和支持向量機的精度分別有82.67%與80%。因此，采用精度最高的隨機森林算法建立鋼鐵組織分類器。

圖3 隨機森林、集成樹和支持向量機的分類效果

2.3 隨機森林算法效果分析

為了更好的表示隨機森林的分類效果，采用主成分分析方法(PCA)將原始的14維特征壓縮至3維。主成分分析方法是一種統(tǒng)計方法，通過正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量，轉(zhuǎn)換后的這組變量叫主成分。在將14維特征壓縮至3維后，重新計算了模型的精度。結(jié)果發(fā)現(xiàn)精度并沒有降低，因此，3維的分類結(jié)果可以較好地代表14維的分類結(jié)果。

圖4為用PCA將特征維度壓縮至3維的隨機森林分類效果示意圖。圖中九種顏色代表了九種組織；圓形為模型正確分類數(shù)據(jù)，星形為錯誤分類數(shù)據(jù)?？梢园l(fā)現(xiàn)，組織分類器可以較為準(zhǔn)確的進行組織類型的分類判斷。圖4中大部分同一種類組織數(shù)據(jù)分布較為集中，如紅色的奧氏體數(shù)據(jù)。這說明此類數(shù)據(jù)具有較高的特征相似度。然而部分?jǐn)?shù)據(jù)的分布比較散亂，如棕色的萊氏體數(shù)據(jù)。這說明模型目前對此類組織的識別效果不是很理想，這可能是因為目前的數(shù)據(jù)集中此類數(shù)據(jù)較少，無法提取更為明顯的分類特征造成的。在今后的工作中，通過增加數(shù)據(jù)樣本，可能會改善模型的分類效果。

圖4 用主成分分析方法將特征維度壓縮至3維的隨機森林分類效果示意圖

3 結(jié)論

本文通過使用圖像增強技術(shù)和模式識別技術(shù)，對鋼鐵的微觀組織圖片進行了圖像處理和建立分類器的工作。通過使用將直方圖均衡化、圖像去燥、圖像線性變化、圖像銳化結(jié)合的圖像增強策略，顯著提高了微觀組織識別的精度?；陔S機森林算法的分類算法的精度最高，使用計算機分類，可以較為快速、準(zhǔn)確的識別鋼鐵組織。此方法有望為材料設(shè)計提供有益的指導(dǎo)信息。