基于改進(jìn)全卷積網(wǎng)絡(luò)的棉田冠層圖像分割方法

劉立波，程曉龍，賴軍臣

（1.寧夏大學(xué)信息工程學(xué)院，銀川 750021；2.五家渠市農(nóng)業(yè)局，五家渠 831300）

0 引 言

利用機(jī)器視覺技術(shù)自動化監(jiān)測棉田棉花生長狀態(tài)是棉花生產(chǎn)信息化的發(fā)展趨勢，對實現(xiàn)棉田精細(xì)化管理有重要意義。其中在自然環(huán)境下將棉花冠層部分準(zhǔn)確地分割出來，是該技術(shù)應(yīng)用的關(guān)鍵環(huán)節(jié)。

目前基于農(nóng)業(yè)場景的圖像分割問題已有大量的研究成果，而基于棉田冠層圖像分割問題的研究成果仍然較少。而目前常用的圖像分割算法主要分為以下4類：基于閾值的分割算法[1]、基于圖論的分割算法[2-3]、基于聚類的分割算法[4-7]、基于分類的分割算法[8-9]。其中，基于閾值的分割算法由于算法較為簡單而被廣泛應(yīng)用，近年來相關(guān)研究者也提出了改進(jìn)方案。如王璇等[10]提出了局部最大類間方差閾值分割方法，但該方法分割效果受參照物影響較大；吳鵬[11]提出了由螢火蟲算法優(yōu)化的最大熵閾值分割方法提高了圖像分割的準(zhǔn)確率和分割速度，但對于復(fù)雜背景圖像分割效果不佳?；趫D論的分割方法將待分割圖像映射為一幅帶權(quán)無向圖，然后以求目標(biāo)函數(shù)最優(yōu)解的方式來完成圖像分割過程；以GrabCut[12]算法為例，該算法可以根據(jù)圖像RGB混合高斯模型結(jié)合用戶交互實現(xiàn)分割，但該算法對背景比較復(fù)雜、背景和目標(biāo)像素區(qū)別不大時的圖像分割效果較差。基于聚類的分割算法是對圖像中具有相似性質(zhì)的像素進(jìn)行聚類，并不斷修正聚類結(jié)果以實現(xiàn)分割。如時顥等[13]提出將粒子群與K均值聚類算法相結(jié)合的棉花分割算法，取得了較好的效果，但在使用過程中需要迭代聚類中心影響算法應(yīng)用時效性；黃帥[14]使用Markov隨機(jī)場方法結(jié)合K均值聚類算法完成小麥葉部病害圖像分割，但該方法中的Markov隨機(jī)場勢函數(shù)選定較為困難，增加了方法應(yīng)用的難度。

基于分類的分割算法利用圖像特征對分類器進(jìn)行訓(xùn)練，使用訓(xùn)練后的分類器對圖像中所有的像素進(jìn)行分類從而完成圖像分割。這類圖像分割算法近年來發(fā)展較快，逐漸成為研究熱點[15-20]。劉立波等[21]利用邏輯回歸算法復(fù)雜背景的棉田冠層圖像自適應(yīng)分割。程曉龍等[22]將SVM算法應(yīng)用于棉田冠層圖像分割任務(wù)之中，效果較好。對這2篇研究成果進(jìn)行分析可以發(fā)現(xiàn)，該類方法都是通過人為提取目標(biāo)和背景的像素特征值進(jìn)行研究的，研究受到人為限制，對棉田冠層可能出現(xiàn)的其他情況研究并不充分，泛化能力較差。

當(dāng)前，深度學(xué)習(xí)技術(shù)的發(fā)展如火如荼，相關(guān)研究層出不窮。其中基于全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN)的圖像分割算法因其可以針對任意大小的輸入圖像，實現(xiàn)端到端的像素分類，已成為解決圖像分割問題的重要方法。如Long等[23]提出FCN網(wǎng)絡(luò)結(jié)構(gòu)，并應(yīng)用于主流圖像數(shù)據(jù)集，分割效果較好；但在實際應(yīng)用中，基于FCN的圖像分割算法存在只能處理單一尺度的圖像目標(biāo)以及物體細(xì)節(jié)結(jié)構(gòu)丟失的弊端。此外基于條件隨機(jī)場(conditional random fields,CRF)也可以實現(xiàn)圖像分割[24-27]。與此同時，部分研究人員嘗試將卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場結(jié)合，利用條件隨機(jī)場模型來提高卷積神經(jīng)網(wǎng)絡(luò)對圖像細(xì)節(jié)的描述能力[28-29]。Zhou等[30]將全卷積網(wǎng)絡(luò)FCN與CRF相結(jié)合對自然場景圖像進(jìn)行分割，在分割過程中將CRF作為一個概率圖用以描述圖像細(xì)節(jié)信息，分割效果較好。對該研究成果進(jìn)行分析可以發(fā)現(xiàn)，F(xiàn)CN與CRF相結(jié)合的圖像分割算法可以實現(xiàn)精細(xì)化分割，并很好地解決了復(fù)雜背景干擾等問題。

本文針對自然場景下棉田冠層圖像分割效果不佳的問題，提出基于FCN和CRF結(jié)合應(yīng)用于棉田冠層圖像分割方法，為冠層圖像分割提供參考。

1 圖像采集及數(shù)據(jù)集構(gòu)建

試驗圖像于2017年4月－7月在新疆第六師五家渠墾區(qū)棉花試驗田進(jìn)行采集，利用Cannon EOS60D數(shù)碼相機(jī)隨機(jī)采集自然環(huán)境情況不一的有效棉田冠層圖像共625幅，每幅圖像尺寸為1360×800像素，為降低分割難度，提升分割效率，本文使用的圖像內(nèi)容只包括一行棉田冠層目標(biāo)區(qū)域。本文利用Photoshop對625幅棉田冠層圖像進(jìn)行人工分割，將圖像中的背景像素標(biāo)記為0，將圖像中的棉田冠層區(qū)域像素標(biāo)記為255，最終形成與原圖像對應(yīng)的棉田冠層二值掩模圖像作為參考圖像結(jié)果與原圖像對應(yīng)作為下一步研究的對象。

將625幅棉田冠層圖像中隨機(jī)挑選出375幅作為訓(xùn)練集，125幅作為驗證集；125幅作為測試集；將訓(xùn)練集中的圖像與對應(yīng)的參考圖像結(jié)果一同輸入到分割模型中進(jìn)行訓(xùn)練；利用驗證集中的圖像與其參考圖像作為驗證樣本對模型參數(shù)進(jìn)行調(diào)優(yōu)；將測試集中的圖像與其參考圖像作為測試樣本輸入到調(diào)優(yōu)后的模型結(jié)構(gòu)中進(jìn)行測試。為降低圖像分割任務(wù)對計算機(jī)性能的要求，提高分割方法的處理效率，保證實際應(yīng)用中分割方法的實時性，將數(shù)據(jù)集中圖像統(tǒng)一變換為850×500像素，同時在實際應(yīng)用中也將輸入圖像尺寸設(shè)定為850×500像素。

2 基于改進(jìn)全卷積網(wǎng)絡(luò)的圖像分割方法

本文使用深度學(xué)習(xí)中的全卷積網(wǎng)絡(luò)模型[23]實現(xiàn)棉田冠層圖像分割，該網(wǎng)絡(luò)經(jīng)過多幅棉田冠層圖像的訓(xùn)練，學(xué)習(xí)到多幅棉田冠層圖像中冠層目標(biāo)區(qū)域的圖像特征，以此來從自然環(huán)境下的復(fù)雜背景中分割出棉田冠層目標(biāo)區(qū)域，實現(xiàn)輸入到輸出的端到端棉田自然狀態(tài)冠層圖像分割。為提升全卷積網(wǎng)絡(luò)的圖像分割精度，模型利用條件隨機(jī)場來對全卷積網(wǎng)絡(luò)分割結(jié)果添加約束，利用圖像像素的相鄰像素來對該像素所屬類別進(jìn)行分析，使得圖像分割結(jié)果細(xì)節(jié)更為明顯。本文的圖像分割算法具體流程如圖1所示。主要過程描述如下：

圖1 棉田冠層圖像分割方法流程圖Fig.1 Flow chart of image segmentation method for cotton canopy image

首先是采用FCN網(wǎng)絡(luò)結(jié)構(gòu)提取輸入圖像特征形成輸入圖像特征圖，通過模型內(nèi)部的得分層對特征圖像素進(jìn)行分類和反卷積操作得到圖像分類結(jié)果，該分類結(jié)果也可以看做是初步分割結(jié)果；然后將初步分割結(jié)果中的每個圖像像素以像素值和像素所屬類別概率向量的形式輸入CRF中，以像素對應(yīng)所屬類別概率向量作為CRF的一階勢結(jié)果，同時結(jié)合像素間關(guān)系計算二階勢函數(shù)值，將FCN和CRF組合形成改進(jìn)的全卷積網(wǎng)絡(luò)結(jié)構(gòu)，并對其進(jìn)行訓(xùn)練以提高模型的分割效果；接著通過驗證集對改進(jìn)的FCN網(wǎng)絡(luò)模型進(jìn)行參數(shù)調(diào)優(yōu)；最后，利用具有最優(yōu)參數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)對所有測試圖像樣本進(jìn)行分割，得到最終棉田冠層圖像分割結(jié)果。

2.1 棉田冠層圖像分割的全卷積網(wǎng)絡(luò)結(jié)構(gòu)

由于傳統(tǒng)的FCN網(wǎng)絡(luò)結(jié)構(gòu)得到的圖像分割結(jié)果一般比較粗糙，導(dǎo)致分割結(jié)果的物體邊緣比較模糊。為解決這類問題，將粗糙的網(wǎng)絡(luò)輸出結(jié)果與淺層網(wǎng)絡(luò)的輸出結(jié)果按特定方式進(jìn)行組合，從而將圖像細(xì)節(jié)邊緣特征與高層語義特征進(jìn)行有機(jī)融合，得到更為精細(xì)的分割結(jié)果。利用該思想設(shè)計模型以圖像上采樣倍數(shù)32倍、16倍、8倍進(jìn)行區(qū)分，出現(xiàn)了FCN-32s、FCN-16s、FCN-8s 3種FCN模型的變種。從提出FCN的經(jīng)典文獻(xiàn)[23]中可知，F(xiàn)CN-8s的分割結(jié)果精細(xì)度較高。而在本文中，由于棉田自然狀態(tài)冠層圖像中棉花冠層目標(biāo)區(qū)域與背景區(qū)域區(qū)分較為復(fù)雜需要較為精細(xì)的分割結(jié)果，因此采用FCN-8s作為棉田冠層圖像分割模型。

由于VGG16模型結(jié)構(gòu)較深，模型感受野較小，對圖像的細(xì)節(jié)把握更為精準(zhǔn)，可提高圖像分類效果。本文對VGG16網(wǎng)絡(luò)[31]結(jié)構(gòu)進(jìn)行修改，提出棉田冠層圖像分割全卷積網(wǎng)絡(luò)模型。

首先本文將VGG16網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層轉(zhuǎn)換為卷積層，即將原有的fc6和fc7層結(jié)構(gòu)轉(zhuǎn)換為全卷積網(wǎng)絡(luò)中的Conv6和Conv7，以此保證圖像像素的位置信息。為實現(xiàn)圖像像素恢復(fù)同時將圖像像素分為2類，本文對原本的VGG16網(wǎng)絡(luò)添加了反卷積層。反卷積層的基本操作是卷積操作的逆向操作，通過插值算法恢復(fù)圖像尺寸，以保證輸入圖像和輸出圖像尺寸相當(dāng)。隨后為提高FCN輸出分割結(jié)果的精度，降低分割結(jié)果像素分類錯誤率，本文設(shè)計跳層結(jié)構(gòu)實現(xiàn)FCN-8s網(wǎng)絡(luò)。具體來說在對得分層Score 2倍上采樣之后，融合池化層 Pool 4結(jié)果，之后對融合結(jié)果fuse_pool 4進(jìn)行2倍上采樣后，融合池化層 Pool 3結(jié)果，最后對融合結(jié)果fuse_pool 3進(jìn)行8倍上采樣。

圖2 棉田冠層圖像分割改進(jìn)全卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of improved fully convolutional networks for cotton canopy image segmentation

2.2 棉田冠層圖像分割全卷積網(wǎng)絡(luò)模型的改進(jìn)

由于FCN-8s圖像分割方法在提取圖像特征時，存在信息丟失現(xiàn)象，圖像特征圖包含信息不全；而且在模型上采樣過程中，特征圖像素與輸出結(jié)果像素之間的位置信息對應(yīng)不準(zhǔn)確，分割精度較差。為提高該分割方法的分割準(zhǔn)確度，本文結(jié)合條件隨機(jī)場的相關(guān)知識，以像素及像素的分類向量和像素之間的位置關(guān)系構(gòu)建條件隨機(jī)場的能量函數(shù)，提供像素之間的關(guān)系約束，從而提升FCN分割結(jié)果的精度。

條件隨機(jī)場是一種判別式概率無向圖模型，該模型將圖像局部信息與圖像內(nèi)容上下文相結(jié)合以提高圖像處理精度。條件隨機(jī)場的能量函數(shù)E(Y,X)同時也是條件隨機(jī)場訓(xùn)練的目標(biāo)函數(shù)，主要是由一階勢函數(shù)φ1和二階勢函數(shù)φ2組成。在圖像分割中，通過訓(xùn)練使CRF的能量最小化，使得圖像中具有相似位置和顏色特征的像素較大概率分為同一個類別。

式中I表示圖像中的所有像素的集合，xi為輸入圖像像素觀測向量X={x1,x2,x3,……,xN}中的任意一個值，N為圖像包含的像素個數(shù)。yi為輸入圖像像素標(biāo)簽類別向量Y={y1,y2,y3,……,yN}中的任意一個值，yj為輸入圖像像素鄰近像素被劃分的類別，e表示圖像中xi與其鄰域像素的集合。

條件隨機(jī)場的重點是一階勢函數(shù)和二階勢函數(shù)的構(gòu)建。眾所周知，F(xiàn)CN輸出結(jié)果可以看作是輸入圖像的每個像素分別屬于不同類別的概率值，因此可以直接將FCN輸出結(jié)果作為一階勢函數(shù)的輸出值。二階勢函數(shù)主要是提供像素之間的約束，保證相鄰像素可以較大概率地被標(biāo)記為同一類別。當(dāng)像素i和像素j取得不同標(biāo)記時，利用懲罰函數(shù)計算懲罰值用于下一步計算。本文應(yīng)用的二階勢函數(shù)可以表示為

式中Ii和Ij分別表示像素i和j的顏色特征向量，具體內(nèi)容由像素i和j在RGB顏色空間中3個通道值組成是二范式，表示相鄰像素顏色差異。相鄰像素具體表示為像素的四鄰域關(guān)系：上、下、左、右，將相鄰像素融合在二元勢函數(shù)中，因此能量函數(shù)中二階勢函數(shù)部分可以表示為

式中的Eup、Edown、Eleft、Eright代表像素i與像素i具有上、下、左、右相鄰關(guān)系像素j的集合。

2.3 分割模型訓(xùn)練

當(dāng)模型結(jié)構(gòu)確定之后，需要對模型進(jìn)行訓(xùn)練更新模型參數(shù)，以提高模型性能。對于利用全卷積網(wǎng)絡(luò)完成圖像分割而言，該網(wǎng)絡(luò)的目標(biāo)就是輸出一個分割精度較高、尺寸與輸入圖像相當(dāng)?shù)姆指罱Y(jié)果。為表征分割結(jié)果與標(biāo)準(zhǔn)結(jié)果的差異，本文通過計算圖像中每一個像素分類向量與輸入標(biāo)準(zhǔn)圖像的對應(yīng)像素分類向量的交叉熵來描述差異。交叉熵[23]一般表征神經(jīng)網(wǎng)絡(luò)輸入與輸出結(jié)果的差異，交叉熵越小，輸入和輸出結(jié)果就越接近。將每個像素的交叉熵取平均值計算最終的交叉熵結(jié)果，作為評價分割網(wǎng)絡(luò)的損失函數(shù)值，則全卷積網(wǎng)絡(luò)的損失函數(shù)為

式中N表示圖像包含的像素個數(shù)，x表示輸入圖像觀測向量X中每個像素的特征向量，p(x)為標(biāo)準(zhǔn)的像素分類向量，q(x)為FCN輸出的像素份分類向量。當(dāng)獲取損失值后，利用反向傳播算法[23]將圖像損失傳播到網(wǎng)絡(luò)的每一層中，全卷積網(wǎng)絡(luò)經(jīng)過反向傳播誤差項的方式計算每一層網(wǎng)絡(luò)權(quán)重的計算參數(shù)實現(xiàn)網(wǎng)絡(luò)權(quán)值的更新。如此循環(huán)往復(fù)，直至輸出誤差項數(shù)值保持不變，穩(wěn)定網(wǎng)絡(luò)權(quán)重得到最優(yōu)參數(shù)ω結(jié)束訓(xùn)練。

本文中的CRF模型通過極大化對數(shù)似然函數(shù)來進(jìn)行訓(xùn)練獲得最優(yōu)參數(shù)θ，則目標(biāo)函數(shù)為

而式(5)中的條件概率定義為

Z表示條件概率歸一化因子。將CRF模型能量函數(shù)式(1)和式(6)代入目標(biāo)函數(shù)式(5)中可得

因此CRF就需要結(jié)合由FCN生成的初步分割結(jié)果圖像進(jìn)行進(jìn)一步優(yōu)化。為描述方便，本文將經(jīng)FCN模型的特征提取和融合過程得到FCN圖像像素級分割結(jié)果表示為：(xi,f(xi,ω))(i=1,…N)，f(xi,ω)表示像素經(jīng)過參數(shù)為ω的FCN得到的分類標(biāo)注結(jié)果，并將此像素級結(jié)果作為一階勢函數(shù)的輸出，則式（8）表示為

使用梯度下降算法[23]迭代實現(xiàn)參數(shù)更新。在訓(xùn)練完成之后，CRF模型學(xué)習(xí)到性能最好的參數(shù)θ，F(xiàn)CN學(xué)習(xí)到性能最好的參數(shù)ω，將各自對應(yīng)的最優(yōu)參數(shù)θ和ω用Ω聯(lián)合表示，得到以Ω為參數(shù)的改進(jìn)全卷積網(wǎng)絡(luò)模型用于圖像分割。具體來說，對于測試圖像X和標(biāo)準(zhǔn)分割結(jié)果Y，對應(yīng)最有可能的像素標(biāo)記結(jié)果?為

3 試驗設(shè)計與結(jié)果分析

3.1 試驗環(huán)境

試驗軟件環(huán)境為Ubuntu 14.04 LTS，開發(fā)語言Python 2.7，硬件環(huán)境為Intel Xeon E5-2603 CPU 1.8 GHz，RAM為32 GB，GPU為NVIDIAQuadro k5000的PC機(jī)進(jìn)行試驗，深度學(xué)習(xí)開發(fā)框架為Chainer 1.24。

3.2 試驗參數(shù)設(shè)置及訓(xùn)練過程分析

模型訓(xùn)練時采用批量訓(xùn)練的方式，將訓(xùn)練集375幅圖片每5幅圖片作為一個批次（batch）輸入到模型中進(jìn)行訓(xùn)練，數(shù)據(jù)集所有數(shù)據(jù)完成訓(xùn)練需要75個批次。本文為提高模型分割效果，訓(xùn)練模型時設(shè)定模型訓(xùn)練遍歷數(shù)據(jù)集667輪，對應(yīng)的訓(xùn)練迭代次數(shù)為50 000次。模型參數(shù)更新使用梯度下降算法和反向傳播算法，學(xué)習(xí)率設(shè)定為1×10-10，同時設(shè)置動量（momentum）為0.99以防止出現(xiàn)過擬合現(xiàn)象。為更好地對比模型訓(xùn)練和驗證過程，采用驗證集應(yīng)用上述設(shè)置進(jìn)行試驗。訓(xùn)練集和驗證集的試驗損失值變化曲線如圖3所示。

可以看出，隨著迭代次數(shù)的增加，訓(xùn)練集和驗證集的損失值變化逐漸降低，而驗證過程優(yōu)化了模型參數(shù)提升了模型性能，損失函數(shù)變化較大使得損失值相對訓(xùn)練過程效果更優(yōu)。當(dāng)?shù)?6 000次左右，模型對訓(xùn)練集和驗證集的損失函數(shù)值變化趨于穩(wěn)定相差不大，說明模型狀態(tài)良好，在迭代到50 000次時，損失函數(shù)值基本收斂，表明模型達(dá)到了較好的訓(xùn)練結(jié)果。

圖3 訓(xùn)練和驗證損失函數(shù)變化曲線Fig.3 Training and validation loss function diagram

3.3 特征圖可視化分析

本文按照圖2所示的網(wǎng)絡(luò)結(jié)構(gòu)，使用訓(xùn)練好的模型對棉田冠層圖像進(jìn)行分割。圖4為模型第一卷積層的部分卷積核的卷積特征圖輸出結(jié)果。本圖以模型第一卷積層為例，說明模型中各卷積層不同卷積核學(xué)習(xí)到的圖像特征互不相同，各自關(guān)注于輸入圖像的各個部分，并對這些特征充分學(xué)習(xí)。同時該圖也反映了網(wǎng)絡(luò)模型中圖像學(xué)習(xí)的局部感受野和權(quán)值共享的技術(shù)，為得到精細(xì)化的圖像分割結(jié)果打下基礎(chǔ)。

圖4 模型第一卷積層特征圖可視化Fig.4 Visualization of convolution features of proposal model

3.4 方法對比分割試驗

3.4.1 試驗設(shè)計

為測試本文的性能，對測試集125幅自然環(huán)境下的棉田冠層圖像采用傳統(tǒng)的FCN-8s方法、Zoom-out[32]方法、CRFSasRNN[33]（conditional random field as recurrent neural networks）分割方法、邏輯回歸分割方法[21]、SVM分割方法[22]以及本文方法進(jìn)行分割并分析。

3.4.2 評價指標(biāo)

為量化描述本文方法對FCN圖像分割方法的改進(jìn)效果以及對比不同方法的分割性能，在此引入平均像素準(zhǔn)確率[20]（mean accuracy,Meanacc）和平均交并比[20]（mean region intersection over union,Mean IU）來進(jìn)行評價

式中的ncl表示待分割圖像像素所屬類別數(shù)，p表示某像素對應(yīng)的正確像素類別，q表示某像素被錯誤分類后所屬像素類別，tp標(biāo)準(zhǔn)分割結(jié)果中類別p的像素總數(shù)，npp表示分割結(jié)果中被正確標(biāo)注為類別p的像素數(shù)量，nqp表示分割結(jié)果中像素本屬于類別p卻錯誤分類成類別q的像素數(shù)量。

考慮到方法的實際使用性能，本文利用平均處理時間來說明不同方法的時間性能。平均處理時間定義為某個分割方法對單幅圖像分割所需時間的平均值。

3.4.3 結(jié)果與分析

各方法分割完成典型結(jié)果如圖5所示，可以看出采用FCN-8s網(wǎng)絡(luò)模型進(jìn)行分割時錯誤分割現(xiàn)象明顯；采用Zoom-out網(wǎng)絡(luò)模型進(jìn)行分割后得到的分割結(jié)果相比傳統(tǒng)的FCN-8s分割方法分割結(jié)果更為準(zhǔn)確和精細(xì)，但是該方法對于復(fù)雜棉田冠層圖像區(qū)域分割精度較差，冠層邊緣與背景區(qū)分不準(zhǔn)確，分割效果一般；CRFasRNN分割效果較為不錯，棉田冠層區(qū)域細(xì)節(jié)分割較為準(zhǔn)確，但是該方法分割結(jié)果仍然存在一定的錯誤分割，精度還有提升的空間；從分割結(jié)果上看，邏輯回歸分割方法和SVM分割方法分割效果較為類似，都較為準(zhǔn)確地分割出圖像中棉田冠層的整體區(qū)域，但由于經(jīng)過了形態(tài)學(xué)方法的處理使得圖像分割結(jié)果中的冠層邊界較為平滑精細(xì)程度不夠，而且部分較小的冠層區(qū)域也沒有被區(qū)分出來；而本文方法通過FCN分割出圖像的冠層區(qū)域，利用CRF對分割結(jié)果進(jìn)行優(yōu)化，在保證棉田冠層區(qū)域的整體性的同時精細(xì)化冠層邊界，增強(qiáng)不同自然背景下圖像分割結(jié)果中棉田冠層區(qū)域的完整性。本文將測試集125幅圖像分別用不同分割方法所得的平均像素準(zhǔn)確率和平均交并比求其均值以及平均處理時間，如表1所示。

圖5 不同分割方法棉田冠層圖像分割效果Fig.5 Segmentation effect for cotton canopy image with different image segmentation methods

從表1中可以看出，本文方法的平均像素準(zhǔn)確率和平均交并比分別為83.24%和71.02%，較傳統(tǒng)的FCN-8s網(wǎng)絡(luò)分割方法分別提升了16.22和12.1個百分點，主要是由于方法對FCN進(jìn)行了改進(jìn)，充分利用圖像信息；該方法與同樣基于深度學(xué)習(xí)的Zoom-out分割方法和CRFasRNN分割方法在平均像素準(zhǔn)確率上分別提升了4.56和1.69個百分點，在平均交并比上分別提升了7.23和0.83個百分點。

與近年來提出的邏輯回歸以及SVM分割方法對比，平均像素準(zhǔn)確率分別提升了3.29和4.01個百分點，平均交并比分別提升了2.69和3.55個百分點。因此本文方法的分割效果優(yōu)秀，分割結(jié)果與標(biāo)準(zhǔn)結(jié)果最為接近，能夠滿足棉田自然狀態(tài)冠層圖像對分割結(jié)果精度的要求。即便如此，利用本文方法得到的棉田冠層圖像分割結(jié)果的平均像素準(zhǔn)確率和平均交并比仍較低。其原因是棉田冠層圖像的目標(biāo)區(qū)域邊界非常復(fù)雜，土壤與冠層的邊界和冠層葉片之間的邊界都難以區(qū)分，錯誤分割現(xiàn)象較為常見，因此限制了圖像分割算法的分割性能，使得圖像分割結(jié)果量化指標(biāo)較低。由此可知，本文方法分割棉田冠層圖像精度較高，方法性能較好。

表1 不同方法分割棉田冠層圖像的性能對比Table 1 Performance comparison of different methods for cotton canopy image segmentation

在處理速度方面，由于邏輯回歸分割方法和SVM分割方法都需要對圖像進(jìn)行形態(tài)學(xué)等后處理操作，處理時間較長，單幅圖像平均處理時間分別為0.85和0.98 s。這2種分割方法由于使用的是機(jī)器學(xué)習(xí)的思想，圖像處理過程利用CPU進(jìn)行計算，而其他方法由于在運(yùn)行過程中都利用了GPU并行計算技術(shù)，大大縮短了處理時間，提高了處理效率。Zoom-out方法由于對每個卷積層結(jié)果都進(jìn)行處理和融合，極大地影響的該方法的速度。CRFasRNN和本文方法都是利用FCN-8s為基本結(jié)構(gòu)，對其進(jìn)行不同方式的修改而實現(xiàn)的。CRFasRNN方法由于對CRF以RNN訓(xùn)練方法進(jìn)行訓(xùn)練，訓(xùn)練過程較為復(fù)雜，從而降低了算法的運(yùn)行效率。綜合比較后發(fā)現(xiàn)，本文方法從時間性能上看還是更為適合于棉田冠層圖像分割。

3.4.3 方法魯棒性分析

為分析驗證本文方法的魯棒性，利用不同方法在測試集中選擇具有背景復(fù)雜（如背景存在地膜、土壤）、冠層區(qū)域復(fù)雜（如葉片存在遮擋）、光照條件復(fù)雜（如部分冠層區(qū)域?qū)Ρ榷炔睿l件的圖像各20幅共計60幅圖像進(jìn)行魯棒性對比試驗，選取其中典型的圖像分割結(jié)果展示如圖6所示。表2為不同環(huán)境下分割性能參數(shù)。

圖6 不同分割方法對復(fù)雜環(huán)境下棉田冠層圖像分割效果Fig.6 Segmentation effect of different image segmentation methods for cotton canopy image under complex environment

從圖6可以發(fā)現(xiàn)，在背景復(fù)雜的自然環(huán)境下，本文方法可以有效分割棉田冠層區(qū)域，幾乎不受環(huán)境的影響。其中CRFasRNN分割方法出現(xiàn)較明顯的錯誤分割現(xiàn)象，且冠層區(qū)域邊界較為模糊；在冠層區(qū)域復(fù)雜的自然環(huán)境下，各個方法分割效果差距不大，邏輯回歸方法分割結(jié)果的精細(xì)度不高，SVM方法存在一定的錯誤分割現(xiàn)象；在光照條件復(fù)雜的自然環(huán)境下，不同方法分割結(jié)果之間的差距較為明顯。其中Zoom-out方法分割結(jié)果錯失了較小的棉田冠層區(qū)域，邏輯回歸算法分割結(jié)果精細(xì)度較低，SVM方法分割結(jié)果中對圖像中的低亮像素分割性能較差；CRFasRNN方法分割精度較高，但和本文方法對比仍然存在一些差距。不難看出，本文分割方法能夠有效分割出不同條件下的棉田冠層區(qū)域，分割效果受自然條件影響較小，穩(wěn)定性高，顯示出該方法魯棒性好，滿足實際棉田生長狀態(tài)監(jiān)測需求。

從表2中可以看出，本文方法在不同環(huán)境下的分割結(jié)果穩(wěn)定性最佳，平均像素準(zhǔn)確率最大值與最小值間的差值僅為1.07%，平均交并比最大值與最小值間的差值僅為2.08%。與之相比，基于深度學(xué)習(xí)的分割方法Zoom-out和CRFasRNN分割結(jié)果穩(wěn)定性最差，基于機(jī)器學(xué)習(xí)的分割方法邏輯回歸方法和SVM方法分割穩(wěn)定性一般。究其原因，部分基于深度學(xué)習(xí)的分割方法雖然將所有圖像信息進(jìn)行了學(xué)習(xí)，但是在分割過程中對特定圖像信息利用程度較差，因此分割效果穩(wěn)定性差；而近年來提出的分割方法雖然能學(xué)習(xí)到的圖像信息較少，但由于方法直接應(yīng)用在棉田冠層圖像分割中針對性較強(qiáng)，因而分割效果穩(wěn)定性有所提高；本文方法對基于深度學(xué)習(xí)的圖像分割方法進(jìn)行了改進(jìn)，提高了圖像信息的利用程度，方法學(xué)習(xí)到了圖像的細(xì)節(jié)信息，因此分割穩(wěn)定性高。由此看來，本文方法能在不同自然環(huán)境下較為準(zhǔn)確地分割出目標(biāo)區(qū)域，從另一角度說明本文方法魯棒性較高。

表2 不同分割方法對復(fù)雜環(huán)境下棉田冠層圖像分割性能對比Table 2 Performance comparison of segmentation result with different image segmentation methods for cotton canopy image under complex environment

4 結(jié)論

1）針對棉田冠層生長狀態(tài)監(jiān)測的需求，提出了一種基于全卷積網(wǎng)絡(luò)和條件隨機(jī)場的棉田冠層圖像分割方法，采用全卷積網(wǎng)絡(luò)對圖像特征進(jìn)行提取得到初步的分割結(jié)果，構(gòu)建條件隨機(jī)場對初步分割結(jié)果進(jìn)行優(yōu)化，提高分割結(jié)果精度，加強(qiáng)該方法的環(huán)境自適應(yīng)能力。

2）本文提出的圖像分割方法的平均像素準(zhǔn)確率為83.24%，平均交并比為71.02%，2種評價指標(biāo)較傳統(tǒng)的FCN-8s分割方法分別提升了16.22個百分點和12.1個百分點，相對于Zoom-out以及CRFasRNN方法也有一定的改進(jìn)，精度提升效果較為明顯。和原有基于邏輯回歸和SVM算法的棉田冠層圖像分割方法相比，本文方法在平均像素準(zhǔn)確率方面分別提升了3.29和4.01個百分點，在平均交并比方面分別提升了2.69和3.55個百分點。在分割處理時間方面，本文方法分割一幅棉田冠層圖像達(dá)到平均0.33 s，滿足棉田生長狀態(tài)監(jiān)測所提出的單幅圖片處理時間達(dá)到0.5 s以內(nèi)的實時性要求。

3）本文方法在背景復(fù)雜、冠層區(qū)域復(fù)雜、光照條件復(fù)雜等非結(jié)構(gòu)環(huán)境下可以準(zhǔn)確地分割出棉田冠層區(qū)域，解決了常規(guī)方法存在自適應(yīng)性不強(qiáng)的問題，具有較好的魯棒性。

本文提出的圖像分割方法分割結(jié)果精度高、魯棒性好，對自動化監(jiān)測棉花生長狀態(tài)提供了技術(shù)保障。但是本文方法所研究的對象只是棉花冠層區(qū)域，沒有對該區(qū)域中的陰影部分和光照部分進(jìn)行區(qū)分。而且在大密度棉花植株的實際場景中，環(huán)境的變化、植株之間的粘連和遮擋，都會給棉田冠層精準(zhǔn)分割帶來巨大的挑戰(zhàn)，需要進(jìn)一步深入研究。

[1]高理文，林小樺.基于L*a*b*彩色空間和局域動態(tài)閾值的藥用植物葉片圖像分割[J].計算機(jī)應(yīng)用與軟件，2014，31(1)：233－235.Gao Liwen,Lin Xiaohua.Segmentation of imagesof medicinal plant leaves based on L*a*b*color space and local dynamic threshold[J].Computer Applications and Software,2014,31(1):233－235.(in Chinese with English abstract)

[2]Shi Jianbo, Malik J.Normalized cuts and image segmentation[J].IEEE Transon Pattern Analysis and Machine Intelligence,2000,22(8):888－905.

[3]Li Zhengqin,Chen Jiansheng.Superpixel segmentation using linear spectral clustering[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition:IEEE Press 2015:1356－1363.

[4]Achanta R,Shaji A,Smith K.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2012,34(11):2274－2282.

[5]徐偉悅，田光兆，姬長英，等.自然場景下蘋果圖像FSLIC超像素分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2016，47(9)：1－10.Xu Weiyue,Tian Guangzhao,Ji Changying,et al.FSLIC superpixel segmentation algorithm for apple image in natural scene[J].Transactions of the Chinese Society for Agricultural Machinery,2016,47(9):1－10.(in Chinese with English abstract)

[6]楊信廷，孫文娟，李明，等.基于K均值聚類和開閉交替濾波的黃瓜葉片水滴熒光圖像分割[J].農(nóng)業(yè)工程學(xué)報，2016，32(17)：136－143.Yang Xinting,Sun Wenjuan,Li Ming,et al.Water droplets fluorescence image segmentation of cucumber leaves based on K-means clutering with opening and closing alternately filtering[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(17):136－143.(in Chinese with English abstract)

[7]Deshpande T,Sengupta S,Raghuvanshi K S.Grading and identification of disease in pomegranate leaf and fruit[J].International Journal of Computer Science and Information Technologies,2014,5(3):4368－4645.

[8]周俊，王明軍，邵喬林.農(nóng)田圖像綠色植物自適應(yīng)分割方法[J].農(nóng)業(yè)工程學(xué)報，2013，29(18)：163－170.Zhou Jun,Wang Mingjun,Shao Qiaolin.Adaptive segmentation of field image for green plants[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(18):163－170.(in Chinese with English abstract)

[9]Wang Xiangyang,Wu Zhifang,Chen Liang,et al.Pixel classification based on color image segmentation using quaternion exponent moments[J].Neural Netsworks,2016,74:1－13.

[10]王璇，張帆，程京.基于改進(jìn)最大類間方差法的灰度圖像分割[J].微計算機(jī)信息，2010，26(35)：206－207.Wang Xuan,Zhang Fan,Cheng Jing.Improved OTSU method on gray level image segmentation[J].Microcomputer Information,2010,26(35):206－207.(in Chinese with English abstract)

[11]吳鵬.螢火蟲算法優(yōu)化最大熵的圖像分割方法[J].計算機(jī)工程與應(yīng)用，2014，50(12)：115－119.Wu Peng.Image segmentation method based on firefly algorithm andmaximum entropymethod[J].Computer Engineering and Applications,2014,50(12):115－119.(in Chinese with English abstract)

[12]Tang M,Gorelick L,Veksler O,et al.GrabCut in One Cut[C]//Proceeding of the 2013 International Conference on Computer Vision.Sydney:IEEE,2013:1769－1776.

[13]時顥，賴惠成，覃錫忠.粒子群與K均值混合聚類的棉花圖像分割算法[J].計算機(jī)工程與應(yīng)用，2013，49(21)：226－229.Shi Hao,Lai Huicheng,Qin Xizhong.Image segmentation algorithm of cotton based on PSO and K-means hybrid clustering[J].Computer Engineering and Applications,2013,49(21):226－229.(in Chinese with English abstract)

[14]黃帥.基于Markov隨機(jī)場和K均值聚類的小麥葉部病害圖像分割[D].合肥：安徽農(nóng)業(yè)大學(xué)，2015.Huang Shuai.The Image Segmentation for Wheat Leaf Disease Base on Markov Random Field and K-means Clustering[D].Hefei:Anhui Agricultural University,2015.(in Chinese with English abstract)

[15]張云龍，齊國紅，張晴晴.基于SVM的復(fù)雜環(huán)境下蘋果圖像的分割[J].智能計算機(jī)與應(yīng)用，2017，7(1)：14－16.Zhang Yunlong, Qi Guohong, Zhang Qingqing.Segmentating apple image from complicated environment based on SVM[J].Intelligent Computer and Applications,2017,7(1):14－16.(in Chinese with English abstract)

[16]王獻(xiàn)鋒，王震，王旭啟，等.基于SVM和形態(tài)學(xué)的作物病斑圖像分割方法[J].吉林農(nóng)業(yè)科學(xué)，2015，40(1)：51－53，60.Wang Xianfeng,Wang Zhen,Wang Xuqi,et al.Crop spot image segmentation based on SVM and morphology[J].Journal of Jilin Agricultural Sciences,2015,40(1):51－53,60.(in Chinese with English abstract)

[17]He Z,Shen Y,Zhang M,et al.Spectral-spatial hyperspectral image classification via SVM and superpixel segmentation[C]// Instrumentation and Measurement Technology Conference,2014:422－427.

[18]Bai X,Wang W.Saliency-SVM:An antomatic approach for image segmentation[J].Neurocomputing,2014,136:243－255.

[19]SenyukovaO V.Segmentation ofblurred objectsby classification of isolabel contours[J].Pattern Recognition,2014,47(12):3881－3889.

[20]Dai J,He K,Sun J.Instance-aware semantic segmentation via multi-task network cascades[C]//IEEE Conference on Computer Vision and Pattern Recognition,2015:3431－3440.

[21]劉立波，程曉龍，戴建國，等.基于邏輯回歸算法的復(fù)雜背景棉田冠層圖像自適應(yīng)分割[J].農(nóng)業(yè)工程學(xué)報，2017,33(12)：201－208.Liu Libo,Cheng Xiaolong,Dai Jianguo,et al.Adaptive threshold segmentation for cotton canopy image in complex background based on logitstic regression algorithm[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2017,33(12):201－208.(in Chinese with English abstract)

[22]程曉龍，劉立波.基于SVM的棉田冠層圖像分割方法研究[J].農(nóng)業(yè)科學(xué)研究，2017，38(3):8－10.Cheng Xiaolong,Liu Libo.The research on SVM segmentation method for cotton canopy image[J].Journal of Agricultural Sciences,2017,38(3):8－10.(in Chinese with English abstract)

[23]Long J,Shelhamer E,Darrell T,et al.Fully convolutional networks for semantic segmentation[C]//Proceeding of the 2015 Computer Vision and Pattern Recognition.Boston:IEEE,2013:3431－3440.

[24]Shotton J,Winn J,Rother C,et al.Textonboost:Joint appearance,shape and context modeling for multi-class object recognition and segmentation[C]//Proceedings of the 9th European Conference on Computer Vision.Berlin,Germany:Springer,2006:1－15.

[25]Zhong Ping,Wang Runsheng.Modeling and classifying hyperspectral imagery by CRFs with sparse higher order potentials[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(2):688－705.

[26]Mustafa G U,Chao C,Dimitris M.An efficient conditional random field approach for interactive neuron segmentation[J].Medical Image Anglysis,2016,27:31－44.

[27]馬浚誠，溫皓杰，李鑫星，等.基于圖像處理的溫室黃瓜霜霉病診斷系統(tǒng)[J].農(nóng)業(yè)機(jī)械學(xué)報，2017，48(2)：196－202.Ma Juncheng,Wen Haojie,Li Xinxing,et al.Downy mildew diagnosis system for greenhouse cucumbers based on image processing[J].Transactionsofthe Chinese Society for Agricultural Machinery,2017,48(2):196－202.(in Chinese with English abstract)

[28]Chen L,Papandreou G,Kokkinos I,et al.Semantic image segmentation with deep convolutionalnets and fully connected CRFs[J].Computer Science,2014(4):357－361.

[29]Vemulapalli R,Tuzel O,Liu M,et al.Gaussian conditional random field network for semantic segmentation[C]//Proceeding of the 2016 Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:3224－3233.

[30]Zhou H,Zhang J,Lei J,et al.Image semantic segmentation based on FCN-CRF model[C]//Proceeding of the 2016 International Conference on Image Vision and Computing Postsmouth:IEEE,2016:9－14.

[31]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations,2014:1－14.

[32]Mostajabi M,Yadollahpour P,Shakhnarovich G.Feedforward semantic segmentation with zoom-out features [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:3376－3385.

[33]Zheng S,Jayasumana S,Romeraparedes B,et al.Conditional random fields as recurrent neural networks[C]//Processings of the IEEE International Conference on Computer Vision,2015:1529－1537.