基于改進全卷積網絡的小麥圖像分割①

萬園潔, 卿粼波, 何小海, 董德良, 石 恒

1(四川大學 電子信息學院,成都 610065)

2(中儲糧成都糧食儲藏科學研究所,成都 610091)

1 引言

小麥是我國的重要糧食作物之一,也是世界三大谷物之一. 每年我國都會大量收購小麥,在收購過程中其品質的好壞會直接影響小麥的價格,因此對小麥進行評級顯得尤為重要. 目前主要依靠專業(yè)的質檢員對小麥品質進行評估,不僅工作量大,而且由于沒有統(tǒng)一的評估標準,在對小麥定級時就會存在不同程度上的分歧. 這些問題,運用機器學習中的識別分類方法可以得到有效解決. 分割作為預處理是其中的一個重要環(huán)節(jié),成為本文的研究重點.

在許多的圖像和視頻的應用中,分割都已成為不可或缺的一部分[1]. 目前比較常用的傳統(tǒng)圖像分割方法主要有： ① 基于閾值的分割方法[2]; ② 基于區(qū)域的分割方法： 基于區(qū)域分割的經典算法是區(qū)域生長[3]. 然而,區(qū)域生長的固有缺點是其往往導致過度的分割,結果易受噪聲影響; ③ 基于邊緣的分割方法[4]： 邊緣是圖像的最基本的特征之一,廣泛存在于目標與背景、目標與目標之間. 這種分割方法首要做的就是檢測邊緣,之后根據邊緣信息把前景與背景分離開來. 但是由于本文研究的小麥包括正常粒、破碎粒、生病粒、生蟲粒這些不同種類,特征也比較復雜多樣,這些都使得上述方法并不適合本文小麥圖像分割. 因為不僅不同品種的小麥之間的顏色、紋理大不相同,即使是同一類別但屬不同批次的小麥的顏色、紋理等特征也不盡相同.例如同樣是正常的麥粒,在某一批次中顏色偏黃,體型相對偏瘦長但在另一批次中可能會偏白,體型飽滿一些. 特別是生病粒,由于麥粒會有赤霉病、青霉病、白霉病等,有些麥粒不止存在一種病癥,因此直接用閾值分割、區(qū)域生長都會出現分割不準確的現象,加之采集圖片清晰度不夠(圖片會存在部分小麥陰影),這些都造成了使用邊緣流分割大多也會出現過分割的現象.目前,項目組所使用的基于模板匹配結合漫水填充的雙面聯合分割方法在一定程度上減少了過分割與欠分割現象,但是這種現象仍然存在.

近年來,深度學習已經成為機器學習領域的研究熱點,解決了許多計算機視覺方面的難題,基于此,本文提出將改進后的全卷積網絡分割方法應用于我們的分割模塊,實驗結果表明分割效果得到了明顯提升.

本文后續(xù)部分的結構如下： 第2節(jié)介紹模板匹配結合漫水填充的雙面聯合分割方法; 第3節(jié)闡述改進的全卷積網絡的分割方法; 第4節(jié)運用本文建立的小麥圖像庫進行實驗結果比較,并展示部分麥粒分割效果圖,第5節(jié)是結論.

2 基于模板匹配結合漫水填充的雙面聯合分割方法

傳統(tǒng)機器學習中小麥不完善粒分類的關鍵在于提取比較有效的特征,由于麥粒的特征不會只存在于某一面,為了能夠更加全面的提取特征,項目組對一顆小麥采取上下兩面掃描的方案同時得到上下兩張掃描圖像,并對這兩幅掃描圖像同時處理最終得到一顆小麥的上下兩幅掃描圖像,如圖1所示.

圖1 上下掃描圖像

基于模板匹配及漫水填充的雙面聯合分割方法主要包括以下幾個步驟： 1)采集同一版小麥的上下掃描圖像; 2)將下掃描圖像翻轉180度,為模板匹配[5]做準備; 3)將下掃描圖像沿著粉色框外50個像素的位置,利用漫水填充[6]進行分割,同時將上掃描圖像沿著粉色邊框外100個像素的位置,利用漫水填充算法進行分割; 4)對圖像進行濾波去噪,并使用形態(tài)學方法再次去噪; 5)再次利用漫水填充得到每顆小麥圖像的掩碼;6)得到一顆小麥的上下兩幅掩碼之后取其并集并反賦給原上下掩碼,進行分割,簡略分割流程圖如圖2所示.

圖2 模板匹配結合漫水填充的雙面聯合分割流程圖

3 改進的全卷積網絡的小麥圖像分割方法

目前項目組所使用的基于模板匹配結合漫水填充的雙面聯合分割方法在效果上雖然取得了一定的提升,但是仍然有部分小麥分割效果不好. 而且基于上述方法的分割過程比較復雜,推廣性不高,對光照的魯棒性不強. 現今,深度學習在圖像上的應用越來越成熟[7]. 因此本文提出一種運用改進的全卷積網絡對小麥圖像進行分割的方法.

3.1 全卷積神經網絡

Fully convolution neutral network即為全卷積神經網絡,以下簡稱FCN. FCN最初是由Jonathan Long等人在文獻[8]提出. 該網絡主要基于現有的AlexNet,VGGNet和GoogleNet微調得來. FCN把分割歸結為一個像素回歸問題,其目標函數為[8]：

其中p是圖像的像素點,是關于像素點p的回歸函數,損失函數用來衡量輸出與ground-truthl(p)的誤差大小,理論上模型效果越好,值越小. FCN主要由以下子網絡組成[9]：

① 卷積層： 卷積層的操作和傳統(tǒng)的滑動窗很相似,把卷積核作用于不同的區(qū)域并產生特征圖,即提取圖像特征.

② 激活層 (ReLU Layers)： ReLU 稱為激活函數,是對輸入的一種非線性映射,其函數表達式為. 這種非線性的處理可以加快訓練收斂的速度,有助于得到更好的結果.

③ 池化層： 池化一般有兩種：最大池化和平均池化.FCN使用的是最大池化. 池化層可以理解為下采樣,這樣做一方面可以縮小圖像尺寸、減少網絡參數,另一方面增強了旋轉不變性. 即一個的區(qū)域在特征圖譜上滑動,當N取值適當時可以認為該區(qū)域的最大值(最大池化)或者平均值(平均池化)可以近似表示原來的信息. 同時池化層還可以改善結果,防止過擬合.

④ 反卷積層： 卷積層的反操作,即是對上一層的輸入進行上采樣,以得到與池化層之后進行下采樣的圖片同樣的尺寸,是整個網絡的重要部分.

⑤ Softmax層： 用來計算網絡的輸出和groundtruth之間的誤差,如式(2).

上述網絡層的所有權重都是使用隨機梯度下降法[10]通過BP(反饋)來學習得到.

3.2 用于小麥圖像分割的全卷積網絡的改進

全卷積網絡原應用于具有20類目標的Pascal VOC[11]數據集. 而本文所需要的是把小麥作為目標,從背景中提取出來,如圖3所示.

圖3 小麥原圖及其分割效果圖

為了適合小麥數據集的需求,盡量少引入噪聲,因此本算法將網絡輸出改為背景和前景兩類.

具體操作過程如下： 首先根據待分割圖像設置像素待分成的類別數量N(本文為2),標簽記為label1、label2…labelN,這個參數在訓練模型之前已經設置好;假設圖片大小為H*W,則網絡最終會生成N個H*W大小的map,而map保存的值為每一個像素點屬于labeli(1＜=i＜=N)的概率值,最終通過比較得到每一個像素點在N個map里的最大值,該最大值屬于哪一個label,這個像素點就屬于哪一類別,具體如圖4所示.

另外在可視化時由于每一種label指定的物體都有對應的具體的顏色,因此在開始需要最先生成一個顏色與標簽相對應的二類映射表,如表1所示.

表1 顏色與標簽的映射表

像素label為0即為黑色部分,label為1即為白色目標區(qū)域,最終得到如圖3(b)所示結果.

如圖4所示,假如每一個方格代表一個像素點,方格內的值為該像素點屬于某label的概率值(例如左上角深灰色部分),因為0.9>0.1,所以這個像素點被判定為label 0,對照顏色標簽映射表可知,可視化時該點為黑色部分; 類似地可以得到圖中其他位置的映射結果.

圖4 圖像的可視化過程

為了方便理解,在本文中稱用自己建立的數據集對FCN-8s網絡進行微調過的網絡為WheatFCN.

即使WheatFCN取得了一定的分割效果,但是仍然存在邊界部分不光滑、內部有空洞等欠分割問題.對于卷積來講,越是底層的卷積層,感知域越小,提取的特征越局部,越詳細,包括一些重要的邊緣信息以及點、線、面等簡單的幾何形狀,而高層卷積的卷積核尺寸較大,通常是提取一些比較抽象的特征. 因此全卷積網絡采用skip-net多尺度特征提取方法,將網絡中多個中間層的特征合并,但做信息融合時并未考慮前兩層池化的輸出信息,從而造成一些重要細節(jié)信息的丟失. 為了使取得的特征更加全面,本文提出把第二層、第一層池化的輸出也融入到后面的輸入中,并且進一步實驗比較得出了只融入第二個池化層的輸出信息的網絡模型優(yōu)于同時融入前兩個池化層的網絡模型,具體的網絡結構如圖5所示.

圖5 WheatFCN+1 網絡結構

此外,為了使得到的網絡泛化能力更強,模型精度更加準確,本文還提出將Batch Normalization引入到網絡中去. BN最初是由Sergey loffe、Christian Szegedy提出來的. 文獻[12]中指出,BN層的優(yōu)勢在于： 能夠加快收斂速度,不需要再慢慢調整學習率,即使選擇的初始學習率較大也沒關系; 不用考慮過擬合中dropout、L2正則項參數的選擇問題,因為BN具有提高網絡泛化能力的特性,另外也可以提升整個模型的精度[12].

經過改進的網絡如圖5所示,便于區(qū)分,在本文中將最終使用的改進的網絡稱為WheatFCN+1,將同時融入第二池化層和第一池化層的輸出信息的網絡稱為WheatFCN+2.

4 數據集與實驗結果

4.1 準備數據集

由于沒有公開的小麥圖像數據集,因此本文自己建立了數據集. 首先,本文采集了288張如圖2所示的掃描圖像; 然后設置一個固定大小的感興趣區(qū)域在掃描圖像上滑動將其分割成圖3中A圖所示的圖像. 圖像的標簽,即ground-truth,是使用標簽制作工具lableMe勾畫出麥粒輪廓,然后再編寫代碼查找輪廓、填充輪廓,再經過微調校正得到最終的較為精準的小麥圖像標簽. 為了得到一個對不同種類的小麥諸如正常、生病、破碎、生蟲泛化能力都很強的模型,我們所建立的數據集要盡可能豐富,目前包括正常粒、生病粒、破碎粒、生蟲粒共10 000粒,其中8000粒作為訓練集,2000粒作為測試集.

4.2 實驗結果

本文實驗使用深度學習框架Caffe,實驗環(huán)境是四核Inter(R)Core(TM)i5-3475、Nvidia GTX960Ti 4G、ubuntu14.04.

首先本文用傳統(tǒng)的分割方法對不同種類的小麥進行分割,但是實驗效果出現嚴重的過分割或者欠分割現象,然后使用模板匹配結合漫水填充的雙面聯合分割方法進行實驗,效果雖有明顯提升,但仍然存在過分割或者欠分割現象,具體效果圖如圖6所示.

圖6中小麥種類從上到下分別是正常、破碎、生病、生蟲. 從圖6中可以看出閾值分割主要是出現欠分割,邊緣存在輕微的過分割,而區(qū)域生長、邊緣流大都會出現過分割現象,有些地方如邊緣等也會伴隨著欠分割. 而項目組提出來的模板匹配結合漫水填充的雙面聯合分割效果明顯較好,但是仍然存在過分割和欠分割現象.

圖6 傳統(tǒng)方法與模板匹配結合漫水填充方法比較結果

然后我們用改進的FCN網絡進行實驗,與改進前的網絡相比分割效果有明顯提升. 實驗結果如圖7所示.

圖7 改進前后的FCN網絡的分割效果對比

圖7中小麥種類從上到下分別是正常、破碎、生病、生蟲. WheatFCN+1網絡為只融入池化層2的輸出信息,WheatFCN+2網絡為同時融入池化層2和池化層1的輸出信息. 由圖7可以看出,WheatFCN網絡得到的結果不僅在內部有空洞,在邊界也有欠分割現象,而且會有明顯的鋸齒狀,不光滑. 但是WheatFCN+1網絡得到的分割圖不僅不存在欠分割現象而且邊界相對而言也比較光滑. WheatFCN+2分割效果雖然比WheatFCN要好,但是相較于WheatFCN+1網絡而言,不僅提升不大,反而出現了輕微的過分割現象,邊界也變得略粗糙. 實驗結果表明我們改進過的網絡Wheat FCN+1的分割效果最好.

而模板匹配結合漫水填充的雙面聯合分割方法雖然效果有所改善,但是依然會存在分割不理想的情況,相比較而言我們改進的網絡WheatFCN+1的分割效果更佳,基本不會出現過分割或者欠分割現象,具體實驗結果如圖8所示.

圖8 模板匹配+漫水填充方法與WheatFCN+1方法結果比較

圖8中小麥種類從上到下分別是正常、破碎、生病、生蟲. 實驗結果表明在模板匹配結合漫水填充的雙面聯合分割方法出現欠分割或者過分割的時候,WheatFCN+1卻總是可以得到比較好的分割效果.

為了更加客觀地說明本文的網絡分割效果最佳,我們采取了文獻[13]中所使用的F-measure評估方法對結果進行評估比較. 計算方法如下：

其中P是精確率,R是召回率.

在圖片分類、物體識別、信息檢索、自動翻譯等領域,P、R是兩個最基本的指標. 假設把分類中預測的標簽結果分為以下4部分：

(1)存在且被正確判定的標簽,簡稱A類;

(2)不存在且被正確判定的標簽,簡稱B類;

(3)不存在但是被錯誤判定為存在的標簽,簡稱C類;

(4)存在但是被錯誤判定為不存在的標簽,簡稱D類.

根據以上4種分類,可以由以下公式定義精確度和召回率：

而本文的分割問題完全可以歸類為像素分類問題,因此也可以用這兩個值進行評估. 但是在實際應用中這兩者在某些情況下往往是相互矛盾的,需要綜合考慮P與R,最常見的衡量指標即為F-measure,F值越大,說明分割效果越好. 其中?是權重,根據文獻[13]的說明,我們將該參數選取為0.5. 本文使用測試集小麥圖像計算了各方法的F-measure的平均值,結果如表2所示.

表2 各方法的F-measure值

由表2可以看出WheatFCN+1得到的F值對于四種不同的小麥均顯示最高,充分表明本文改進后的網絡WheatFCN+1分割效果最佳.

此外,由于我們用網絡WheatFCN+1訓練出來的模型相當于一個“黑匣子”,即只要輸入圖3 中A樣小麥圖像,就可以得到圖3 中B圖分割結果. 而且只要能保證輸入的是同一粒小麥的上下掃描圖像,那么輸出就一定是同一粒小麥的上下分割結果,無需再像模板匹配結合漫水填充的雙面聯合分割方法一樣進行上下配準、漫水填充的操作,過程更加簡便,簡略分割流程如圖9所示.

圖9 運用全卷積網絡分割的流程圖

5 結論

對于小麥圖像的分割,項目組所使用的基于模板匹配結合漫水填充的雙面聯合分割方法與傳統(tǒng)的分割方法諸如基于閾值分割、基于區(qū)域分割、基于邊緣分割相比較,效果有明顯提升,但是由于小麥情況比較復雜,因此仍然存在分割效果不佳的現象. 為了進一步改善分割效果,本文提出基于改進的全卷積網絡的分割方法,融入第二個池化層的輸出信息使得到的特征更加全面,將原來的FCN網絡的21類輸出目標改為適用于小麥的2類目標,本文還引入了Batch normalization以提高網絡的收斂速度和泛化能力. 實驗結果表明,本文提出的基于改進的全卷積網絡的語義分割方法在效果上優(yōu)于傳統(tǒng)的分割方法以及模板匹配結合漫水填充的雙面聯合分割方法,得到了更好的分割效果.

1Felzenszwalb PF,Huttenlocher DP. Efficient graph-based image segmentation. International Journal of Computer Vision,2004,59(2)： 167-181. [doi： 10.1023/B：VISI.00000 22288.19776.77]

2Chen YB,Chen OTC. Image segmentation method using thresholds automatically determined from picture contents.EURASIP Journal on Image and Video Processing,2009,(2009)： 140492.

3Adams R,Bischof L. Seeded region growing. IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(6)： 641-647. [doi： 10.1109/34.295913]

4王倩,王正勇,范艷軍,等. 基于邊緣流和區(qū)域合并的巖屑顆粒圖像分割. 四川大學學報(自然科學版),2014,51(1)：111-118.

5Olson CF. Maximum-likelihood template matching.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island,SC,USA. 2000,2.52-57.

6陳佳鑫,賈英民. 一種基于漫水填充法的實時彩色目標識別方法. 計算機仿真,2012,29(3)： 4-9.

7Badrinarayanan V,Kendall A,Cipolla R. SegNet： A deep convolutional encoder-decoder architecture for scene segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12)： 2481-2495. [doi： 10.1109/TPAMI.2016. 2644615]

8Shelhamer E,Long J,Darrell T. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4)：640-651. [doi： 10.1109/TPAMI.2016.2572683]

9Shen XY,Hertzmann A,Jia JY,et al. Automatic portrait segmentation for image stylization. Computer Graphics Forum,2016,35(2)： 93-102. [doi： 10.1111/cgf.12814]

10Kone?ny J,Liu J,Richtárik P,et al. Mini-batch semistochastic gradient descent in the proximal setting. IEEE Journal of Selected Topics in Signal Processing,2016,10(2)：242-255. [doi： 10.1109/JSTSP.2015.2505682]

11Everingham M,Van Gool L,Williams CKI,et al. The pascal visual object classes (VOC) challenge. International Journal of Computer Vision,2010,88(2)： 303-338. [doi： 10.1007/s11263-009-0275-4]

12Ioffe S,Szegedy C. Batch normalization： Accelerating deep network training by reducing internal covariate shift. arXiv：1502.03167v3,2015.

13Martin DR,Fowlkes CC,Malik J. Learning to detect natural image boundaries using local brightness,color,and texture cues. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(5)： 530-549. [doi： 10.1109/TPAMI.2004.1273918]