基于深度學(xué)習(xí)的虛擬邊界檢測(cè)方法

賴傳濱，韓越興,2，顧 輝，王 冰

(1.上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200444； 2.上海大學(xué) 上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院，上海 200444；3.上海大學(xué) 材料基因組工程研究院，上海 200444； 4.上海大學(xué) 材料科學(xué)與工程學(xué)院，上海 200444)(*通信作者電子郵箱hanyuexing@gmail.com)

0 引言

材料的性能和結(jié)構(gòu)之間有著密不可分的關(guān)系。研究這層關(guān)系，有助于通過(guò)材料的已知成分和組織結(jié)構(gòu)對(duì)其性能進(jìn)行預(yù)測(cè)，反之亦然[1-2]。材料的微觀圖像能夠反映材料的內(nèi)部結(jié)構(gòu)信息，因此，對(duì)微觀圖像的分析是研究材料結(jié)構(gòu)特征的重要手段。傳統(tǒng)的材料圖像分析工作主要由人工完成，存在效率較低、勞動(dòng)強(qiáng)度大、準(zhǔn)確性不高的缺點(diǎn), 因此，如果能利用計(jì)算機(jī)圖像處理技術(shù)對(duì)材料圖像進(jìn)行自動(dòng)化分析，就能加速材料性能和結(jié)構(gòu)之間關(guān)系的研究，對(duì)推動(dòng)材料科學(xué)的發(fā)展具有重要意義。其中，一個(gè)至關(guān)重要的問(wèn)題便是圖像的自動(dòng)分割。計(jì)算機(jī)自動(dòng)對(duì)圖像進(jìn)行了有效、準(zhǔn)確的分割之后，才能進(jìn)一步測(cè)定圖像中不同組織結(jié)構(gòu)的各項(xiàng)數(shù)據(jù)。

邊界檢測(cè)技術(shù)是一種很常用的圖像分割手段，對(duì)于不同區(qū)域之間有著清晰實(shí)體邊界的圖像，通過(guò)邊界檢測(cè)往往能夠取得很好的分割效果; 然而，在很多圖像中，不同區(qū)域之間很有可能沒(méi)有清晰的實(shí)體邊界，這種情況在材料的微觀圖像中比較常見(jiàn)。如圖1所示, 其中，圖1(b)三張圖像中的白色線條即為不同微觀結(jié)構(gòu)區(qū)域之間的邊界，這些白色線條所標(biāo)出的邊界和傳統(tǒng)意義上的邊界不同，是沒(méi)有實(shí)體的邊界，本文稱之為“虛擬邊界”(Virtual Boundary, VB)。虛擬邊界的檢測(cè)是對(duì)這類(lèi)圖像進(jìn)行有效分割的關(guān)鍵步驟。

虛擬邊界不是簡(jiǎn)單的直線或某種特定形狀，且虛擬邊界和區(qū)域之間的界線不清晰，有的虛擬邊界甚至和區(qū)域相連通，因此很難通過(guò)現(xiàn)有的邊緣檢測(cè)技術(shù)將其準(zhǔn)確地檢測(cè)出來(lái); 另外，虛擬邊界并不僅僅存在于微觀圖像中，在很多宏觀的自然圖像中也有存在虛擬邊界的情況，實(shí)現(xiàn)虛擬邊界的準(zhǔn)確檢測(cè)也能提高計(jì)算機(jī)在處理自然圖像方面的能力, 因此，如何準(zhǔn)確地檢測(cè)出圖像中的虛擬邊界是本文研究的重點(diǎn)。

圖1 圖像中的虛擬邊界

針對(duì)圖像中虛擬邊界的檢測(cè)問(wèn)題，本文提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[3-4]的深度學(xué)習(xí)模型用以檢測(cè)虛擬邊界，稱之為“虛擬邊界網(wǎng)絡(luò)”(Virtual Boundary Net，VBN)，該模型類(lèi)似于VGGNet (Visual Geometry Group Net)[5]模型的結(jié)構(gòu)，但是要比VGGNet小很多。本文將虛擬邊界檢測(cè)任務(wù)轉(zhuǎn)換為二分類(lèi)任務(wù)，即區(qū)分每個(gè)像素屬于“虛擬邊界類(lèi)”還是“非虛擬邊界類(lèi)”。本文以圖像中的每個(gè)像素為中心取圖像塊作為檢測(cè)模型的輸入，模型輸出該圖像塊的類(lèi)別作為圖像塊中心像素的類(lèi)別。在兩種具有虛擬邊界的材料圖像上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明本文提出的檢測(cè)模型能夠達(dá)到較高的準(zhǔn)確率。

1 相關(guān)工作

邊界檢測(cè)的研究歷來(lái)已久，相關(guān)算法也有很多。邊界檢測(cè)方法的發(fā)展可分為三個(gè)階段：傳統(tǒng)的基于梯度變化的邊界檢測(cè)方法、基于人工設(shè)計(jì)特征和有監(jiān)督學(xué)習(xí)結(jié)合的邊界檢測(cè)方法以及基于深度學(xué)習(xí)的邊界檢測(cè)方法。傳統(tǒng)的基于梯度的邊界檢測(cè)方法主要有Sobel算子、高斯拉普拉斯算子(Laplacian of Gaussian, LoG)[6]、Canny算子[7]等。這類(lèi)方法主要利用邊界附近有明顯的灰度變化這一特點(diǎn)來(lái)檢測(cè)邊界，在紋理復(fù)雜的圖像上檢測(cè)效果不是很好。而人工設(shè)計(jì)特征則利用了除灰度變化之外，其他更多地表達(dá)局部紋理的特征，并結(jié)合有監(jiān)督學(xué)習(xí)方法來(lái)判斷像素是否屬于邊界，比如：Martin等[8]設(shè)計(jì)了能夠反映圖像在邊界處亮度、顏色、紋理的變化的特征，并使用支持向量機(jī)(Support Vector Machine, SVM)結(jié)合這些特征構(gòu)造了一個(gè)邊界分類(lèi)器；Dollar等[9]和Lim等[10]提出了一種名為sketch token的特征，并結(jié)合隨機(jī)森林來(lái)構(gòu)建分類(lèi)器。由于利用了更多的信息，這類(lèi)方法的檢測(cè)結(jié)果要比傳統(tǒng)基于梯度的檢測(cè)方法好很多，其效果主要受限于人工設(shè)計(jì)特征的好壞。由于深度學(xué)習(xí)能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，并且學(xué)習(xí)到的特征和傳統(tǒng)人工設(shè)計(jì)的特征相比有更強(qiáng)大的表達(dá)能力，近年來(lái)有越來(lái)越多利用深度學(xué)習(xí)進(jìn)行邊界檢測(cè)的研究，比如N4-fileds[11]、 Deepedge[12]和Deepcontour[13]等都是利用CNN來(lái)進(jìn)行邊界檢測(cè)。但是，上述邊界檢測(cè)方法針對(duì)的都是區(qū)域或物體之間實(shí)體邊界的檢測(cè)，目前還未有針對(duì)虛擬邊界進(jìn)行檢測(cè)的相關(guān)研究。

針對(duì)材料微觀圖像進(jìn)行分割的相關(guān)研究也有很多，比如：Ananyev等[14]和Lopez等[15]利用形態(tài)學(xué)濾波的方法對(duì)陶瓷圖像進(jìn)行分割；Haha等[16]使用閾值分割法提取陶瓷掃描電子顯微鏡(Scanning Electron Microscope，SEM)圖像中具有不同灰度的微觀結(jié)構(gòu)；趙曌等[17]使用譜聚類(lèi)的方法對(duì)陶瓷背散射電子成像(Back Scattered Electron imaging，BSE)圖像進(jìn)行分割，該方法對(duì)一些具有復(fù)雜紋理的陶瓷圖像也能取得較好的分割效果；Chen等[18]對(duì)分水嶺算法進(jìn)行了改進(jìn)，改善了傳統(tǒng)方法在陶瓷圖像上的過(guò)分割問(wèn)題。同樣的，以上這些方法仍然都是針對(duì)區(qū)域間有實(shí)體邊界或是區(qū)域間有高對(duì)比度的圖像, 對(duì)于圖1所示的每個(gè)區(qū)域間的界線是虛擬邊界的情況，這些方法無(wú)法進(jìn)行有效的分割。

2 數(shù)據(jù)準(zhǔn)備

為了對(duì)本文提出的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,需要準(zhǔn)備訓(xùn)練集和驗(yàn)證集。具體來(lái)說(shuō)，對(duì)于每一張圖像，首先通過(guò)人工的方法將虛擬邊界標(biāo)注出來(lái)。然后對(duì)屬于虛擬邊界的每一個(gè)像素點(diǎn)，以該像素點(diǎn)為中心，提取一個(gè)48×48大小的圖像塊，作為類(lèi)別“虛擬邊界”的樣本；對(duì)于其他不屬于虛擬邊界的像素，則以這些像素為中心提取48×48大小的圖像塊作為類(lèi)別“非虛擬邊界”的樣本。由于圖片中屬于“非虛擬邊界”的像素點(diǎn)個(gè)數(shù)通常要遠(yuǎn)遠(yuǎn)大于屬于“虛擬邊界”的像素點(diǎn)個(gè)數(shù)，這樣容易造成類(lèi)別不平衡的問(wèn)題。為此，本文對(duì)屬于“非虛擬邊界”的樣本進(jìn)行欠采樣，使得“虛擬邊界”類(lèi)別和“非虛擬邊界”類(lèi)別的樣本數(shù)量比例接近于1∶2。具體來(lái)說(shuō)，假如“非虛擬邊界”的樣本個(gè)數(shù)為sum1，“虛擬邊界”的樣本個(gè)數(shù)為sum2，則在“非虛擬邊界”樣本集中每隔?sum1/(sum2×2)」個(gè)樣本取一個(gè)樣本作為新的“非虛擬邊界”樣本集; 另外，對(duì)于處于圖像邊界附近的像素，以這些像素為中心取48×48的圖像塊會(huì)超出圖像的范圍, 對(duì)此，本文對(duì)超出范圍的部分以黑色進(jìn)行填充。圖2展示了屬于“非虛擬邊界”類(lèi)別和“虛擬邊界”類(lèi)別的樣本。

圖2 不同類(lèi)別的圖像塊

本文在實(shí)驗(yàn)中使用的數(shù)據(jù)集包含兩種材料的微觀圖片，分別是20張共晶HfB2-B4C的圖片和20張鈦合金TiAl的圖片，并分別對(duì)兩種圖片進(jìn)行處理。對(duì)于共晶HfB2-B4C的圖片，本文從前15張圖像中一共提取了797 693個(gè)圖像塊，其中90%的圖像塊用來(lái)作為訓(xùn)練集，10%的圖像塊用來(lái)作為驗(yàn)證集，并且將第16～20張圖片保留作為測(cè)試數(shù)據(jù)。對(duì)于鈦合金TiAl的圖片，本文從前15張圖像中一共提取了226 471個(gè)圖像塊，同樣將其中90%的圖像塊作為訓(xùn)練集，10%的圖像塊作為驗(yàn)證集，并將第16～20張圖像保留作為測(cè)試數(shù)據(jù)。

3 VBN的網(wǎng)絡(luò)結(jié)構(gòu)

3.1 基本定義

本文提出的深度學(xué)習(xí)模型是基于CNN以及一些改進(jìn)策略進(jìn)行構(gòu)建的，整體結(jié)構(gòu)則是參考了VGGNet模型，并對(duì)其進(jìn)行了簡(jiǎn)化。在描述模型的整體結(jié)構(gòu)之前，先給出基本的符號(hào)解釋和定義。

卷積層 卷積層對(duì)輸入的數(shù)據(jù)采用線性卷積核進(jìn)行卷積，如式(1)[19]所示：

(hk)ij=(Wk*x)ij+bk

(1)

其中:k=1,2,…,K;hk是卷積層輸出的第k個(gè)特征圖;i和j是卷積輸出的神經(jīng)元節(jié)點(diǎn)在第k個(gè)特征圖上的索引;x代表輸入數(shù)據(jù);Wk是第k個(gè)卷積核的參數(shù);bk是第k個(gè)特征圖的偏置; 符號(hào)*則代表空間二維卷積操作。

池化層 池化層是一個(gè)非線性的下采樣層，取輸入數(shù)據(jù)每個(gè)局部鄰域內(nèi)的最大值(最大池化)或平均值(平均池化)作為輸出。本文模型選擇最大池化作為池化層，最大池化能夠使特征圖對(duì)輸入數(shù)據(jù)輕微的擾動(dòng)保持一定程度的不變性。

全連接層 全連接層是經(jīng)典神經(jīng)網(wǎng)絡(luò)中每一層的組成方式，當(dāng)前層的每一個(gè)神經(jīng)元節(jié)點(diǎn)都是上一層所有神經(jīng)元節(jié)點(diǎn)輸出的線性組合，如式(2)[19]所示：

(2)

其中:ym代表第m個(gè)輸出神經(jīng)元節(jié)點(diǎn)，xl是上一層第l個(gè)節(jié)點(diǎn)的值，Wml是第ml個(gè)權(quán)重，bm是第m個(gè)輸出神經(jīng)元的偏置。

激活函數(shù) 激活函數(shù)的引入為深度神經(jīng)網(wǎng)絡(luò)添加了非線性因素，使得模型能夠解決更復(fù)雜的非線性問(wèn)題。常用的激活函數(shù)有sigmoid函數(shù)和線性整流單元(Rectified Linear Unit，ReLU)。本文模型采用ReLU作為激活函數(shù)，其函數(shù)為f(x)=max(0,x)。ReLU激活函數(shù)和sigmoid激活函數(shù)相比，能有效避免梯度爆炸和梯度消失。

分類(lèi)層 分類(lèi)層通常是整個(gè)網(wǎng)絡(luò)的最后一層，計(jì)算輸入的數(shù)據(jù)屬于每個(gè)類(lèi)別的概率。本文采用softmax函數(shù)作為提出模型的分類(lèi)層。對(duì)于輸入向量X，其屬于第j類(lèi)的概率P由softmax函數(shù)計(jì)算得到：

(3)

其中:n是類(lèi)別數(shù)，Wj和bj分別是權(quán)重和偏置。

損失函數(shù) 損失函數(shù)用來(lái)在訓(xùn)練模型過(guò)程中衡量預(yù)測(cè)值和真實(shí)值之間的差距。本文模型采用交叉熵作為損失函數(shù)，其定義如式(4)所示：

(4)

其中:q(x)為輸入x的真實(shí)概率分布，p(x)為模型對(duì)輸入x進(jìn)行預(yù)測(cè)的概率分布。交叉熵越小說(shuō)明p(x)和q(x)越接近，這也是整個(gè)訓(xùn)練過(guò)程的優(yōu)化目標(biāo)。

dropout[20]dropout是訓(xùn)練模型過(guò)程中采用的一種訓(xùn)練策略，通過(guò)在訓(xùn)練過(guò)程中隨機(jī)忽略一部分神經(jīng)元節(jié)點(diǎn)及其對(duì)應(yīng)的參數(shù)來(lái)提升整個(gè)模型的泛化能力。在具體訓(xùn)練中可以通過(guò)調(diào)整dropout率，即每個(gè)神經(jīng)元被保留的概率來(lái)實(shí)現(xiàn)。

Adam優(yōu)化算法 Adam算法[21]和傳統(tǒng)的隨機(jī)梯度下降不同，能自適應(yīng)地為每個(gè)權(quán)重選擇不同的學(xué)習(xí)率，收斂速度更快，能有效地改善局部最優(yōu)問(wèn)題。

3.2 網(wǎng)絡(luò)整體結(jié)構(gòu)

圖3展示了本文使用的深度學(xué)習(xí)模型VBN的整個(gè)框架結(jié)構(gòu)，一共包括四個(gè)階段。首先模型的輸入是一個(gè)48×48的單通道灰度圖像塊。

第一階段包括兩個(gè)卷積層和一個(gè)池化層，每個(gè)卷積層包含64個(gè)卷積核，每個(gè)卷積核的大小為3×3，卷積步長(zhǎng)為1×1，并使用ReLU激活函數(shù)。接下來(lái)是一個(gè)最大池化層，池化模板大小為2×2，步長(zhǎng)為2×2。整個(gè)第一階段采用dropout，且dropout率設(shè)為0.25。

圖3 VBN模型的整體架構(gòu)

第二階段同樣包括兩個(gè)卷積層和一個(gè)最大池化層。此階段每個(gè)卷積層包含128個(gè)卷積核，每個(gè)卷積核大小為3×3，卷積步長(zhǎng)為1×1，采用ReLU激活函數(shù)。池化層的模板大小為2×2，步長(zhǎng)為2×2。第二階段的dropout率同樣設(shè)為0.25。

第三階段包括三個(gè)卷積層和一個(gè)最大池化層。此階段每個(gè)卷積層包含256個(gè)卷積核，每個(gè)卷積核大小為3×3，步長(zhǎng)為1×1，使用ReLU激活函數(shù)池化層模板大小為2×2，步長(zhǎng)為2×2。該階段的dropout率設(shè)為0.5。

第四階段包括三個(gè)全連接層以及最后的分類(lèi)層。三個(gè)全連接層的節(jié)點(diǎn)個(gè)數(shù)依次為128、64和32，均采用ReLU激活函數(shù)，最后的分類(lèi)層采用softmax函數(shù)。由于分類(lèi)任務(wù)為二分類(lèi)，即“虛擬邊界”類(lèi)和“非虛擬邊界”類(lèi)，所以最后的分類(lèi)層為兩個(gè)節(jié)點(diǎn)。

模型訓(xùn)練時(shí)選擇交叉熵作為損失函數(shù)，并采用Adam優(yōu)化策略進(jìn)行模型參數(shù)的更新策略。

4 實(shí)驗(yàn)與結(jié)果

本文使用第3章提出的深度學(xué)習(xí)模型分別在共晶HfB2-B4C的圖片數(shù)據(jù)和鈦合金TiAl的圖片數(shù)據(jù)上訓(xùn)練了虛擬邊界檢測(cè)模型，并且在測(cè)試數(shù)據(jù)集上驗(yàn)證了模型的檢測(cè)效果。

4.1 模型實(shí)現(xiàn)和模型訓(xùn)練

本實(shí)驗(yàn)的硬件環(huán)境為處理器Intel E5-2620 v4，主頻為2.1 GHz；顯卡為Nvidia M5000，8 GB顯存；內(nèi)存為32 GB。模型使用python2.7進(jìn)行編程實(shí)現(xiàn)，采用Keras深度學(xué)習(xí)框架，后端使用Tensorflow。

在共晶HfB2-B4C圖片數(shù)據(jù)上的訓(xùn)練過(guò)程分為兩個(gè)部分：預(yù)訓(xùn)練和正式訓(xùn)練。預(yù)訓(xùn)練使用的圖像塊樣本是從兩張具有較高辨識(shí)度虛擬邊界的圖像中提取的，一共有30 326個(gè)圖像塊，屬于第2章提到的15個(gè)圖像中的797 693個(gè)圖像塊的一部分，而正式訓(xùn)練則是在剩下的767 367個(gè)圖像塊上進(jìn)行的。預(yù)訓(xùn)練和正式訓(xùn)練分別都訓(xùn)練了10輪，但在鈦合金TiAl圖片數(shù)據(jù)上的訓(xùn)練過(guò)程則沒(méi)有預(yù)訓(xùn)練，直接在第2章提到的15張圖像中的226 471個(gè)圖像塊上訓(xùn)練了10輪。

4.2 度量標(biāo)準(zhǔn)

為了衡量模型的檢測(cè)性能，本文使用了多個(gè)度量標(biāo)準(zhǔn)：精確度、召回率、F-score。下面將簡(jiǎn)單介紹這幾個(gè)度量標(biāo)準(zhǔn)。首先引入幾個(gè)符號(hào)的定義：TP為樣本屬于類(lèi)別C，并且被預(yù)測(cè)為類(lèi)別C的個(gè)數(shù)；TN為樣本不屬于類(lèi)別C，并且沒(méi)有被預(yù)測(cè)為類(lèi)別C的個(gè)數(shù)；FP為樣本不屬于類(lèi)別C，但是被預(yù)測(cè)為類(lèi)別C的個(gè)數(shù)；FN為樣本屬于類(lèi)別C，但是沒(méi)有被預(yù)測(cè)為類(lèi)別C的個(gè)數(shù)。

下面是所用到的度量標(biāo)準(zhǔn)的說(shuō)明。

精確度(Precision)是指被預(yù)測(cè)為類(lèi)別C的樣本中，真實(shí)類(lèi)別也為類(lèi)別C的樣本占的比例：

(5)

召回率(Recall)是指被正確預(yù)測(cè)為類(lèi)別C的樣本數(shù)占類(lèi)別C樣本總數(shù)的比例：

(6)

F-score是一種將Precision和Recall結(jié)合的度量標(biāo)準(zhǔn)：

(7)

其中：β用來(lái)調(diào)整Precision占的比重，實(shí)驗(yàn)中將β設(shè)為1。可以看出，Precision和Recall的值越高，F(xiàn)-score的值也越高。

4.3 實(shí)驗(yàn)結(jié)果

對(duì)在共晶HfB2-B4C圖片數(shù)據(jù)上訓(xùn)練的模型，本文從保留的第16～20張共晶圖片中隨機(jī)選取5 000個(gè)屬于“虛擬邊界”的像素和5 000個(gè)屬于“非虛擬邊界”的像素共10 000個(gè)像素，并以這些像素為中心提取了10 000個(gè)圖像塊作為測(cè)試樣本。同樣的，對(duì)于在鈦合金TiAl的圖片數(shù)據(jù)上訓(xùn)練的模型，從保留的第16～20張鈦合金的圖片中隨機(jī)選取5 000個(gè)屬于“虛擬邊界”的像素和5 000個(gè)屬于“非虛擬邊界”的像素共10 000個(gè)像素，并以這些像素為中心提取了10 000個(gè)圖像塊作為測(cè)試樣本。這兩個(gè)模型在測(cè)試數(shù)據(jù)上的檢測(cè)結(jié)果如表1所示。圖4則展示了部分測(cè)試圖片的檢測(cè)結(jié)果。

表1 模型在兩種測(cè)試數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果

圖4 虛擬邊界檢測(cè)模型在圖像上的檢測(cè)結(jié)果

從表1可以看到，模型在兩種圖像上的平均檢測(cè)精度和平均召回率以及平均的F-score都在90%左右，檢測(cè)結(jié)果較為準(zhǔn)確。結(jié)合圖4的結(jié)果可以看出，模型在共晶HfB2-B4C圖片上的檢測(cè)精度更低的主要原因是該類(lèi)圖片有很多非常細(xì)的虛擬邊界，反映了模型在檢測(cè)細(xì)小虛擬邊界方面存在不足。圖4還反映出模型檢測(cè)的虛擬邊界存在不連續(xù)的問(wèn)題，此問(wèn)題主要存在于圖像中虛擬邊界不明顯的區(qū)域。這些問(wèn)題還有待改進(jìn)。

總之，本方法在測(cè)試圖像上都取得了較為準(zhǔn)確的檢測(cè)結(jié)果，在一定程度上解決了虛擬邊界自動(dòng)檢測(cè)的問(wèn)題，并且由于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，認(rèn)為本文方法能夠很好地適應(yīng)很大一部分圖像的虛擬邊界檢測(cè)任務(wù)。

5 結(jié)語(yǔ)

針對(duì)圖像中虛擬邊界的檢測(cè)任務(wù)，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)模型VBN，利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，實(shí)現(xiàn)虛擬邊界的準(zhǔn)確檢測(cè)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠達(dá)到較高的準(zhǔn)確度，并且適用范圍廣，是一種可行的替代人工分析的手段?？紤]到實(shí)用性，今后的工作還需考慮像素間的相似性，以對(duì)虛擬邊界的不連續(xù)問(wèn)題以及模型的檢測(cè)速度進(jìn)行優(yōu)化。