結(jié)合深度學(xué)習(xí)和引導(dǎo)濾波的蘋果葉片圖像分割

鄭艷梅 黃光耀 蘆碧波 王永茂

(河南理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河南 焦作 454003)

葉片是植物進行光合作用、蒸騰作用和合成有機物質(zhì)的主要器官，葉片的生長發(fā)育狀況直觀反映植物生長情況和營養(yǎng)狀況。準(zhǔn)確快速分割植物葉片并提取其面積、周長等幾何參數(shù)值，可以預(yù)測植物的生長模型，監(jiān)測病蟲害，為合理栽培管理提供重要數(shù)據(jù)支撐[1-2]。

傳統(tǒng)的測量植物葉片幾何參數(shù)的手段有葉面積儀法、稱重法、方格紙法等[3]。葉面積儀法使用專業(yè)的葉面積測量設(shè)備，這種方法精確率較高，使用方便，速度快，操作簡單，但價格較為昂貴，成本較高，開發(fā)難度大，維修不便[4]。稱重法使用稱重工具(分析天平)對葉片質(zhì)量進行稱重，根據(jù)單位面積葉片質(zhì)量和葉片密度指數(shù)計算葉片面積。該方法操作較復(fù)雜，測量大量葉片時效率較低，并且葉片的厚度不一致，密度不同，測量正確率受客觀自然條件限制，無法測量除葉片面積外的其它參數(shù)信息[5]。方格紙法將待測量的葉片平鋪在方格紙中間位置，使用鉛筆描繪葉片輪廓后計算葉片面積。該方法處理速度慢，僅適于處理少量葉片，還需合理舍取處于葉片邊緣、覆蓋不完整的方格[6]。

基于數(shù)字技術(shù)的蘋果葉片分割與測量方法具有簡單、快速、費用低廉等特點。張萬紅[7]提出了一種基于圖像分割的蘋果葉片幾何參數(shù)的測定方法，該方法將圖像顏色空間進行轉(zhuǎn)換，使用大津法(Otsu)獲得二值圖像，根據(jù)像素坐標(biāo)計算面積、周長、葉長、葉寬等葉片參數(shù)。該方法準(zhǔn)確率較高、成本較低。肖強等[8]提出一種使用Photoshop軟件對數(shù)字葉片圖像進行非破壞性的測量方法，該方法使用了坐標(biāo)紙作為拍攝背景來確保選用的計算系數(shù)盡量一致，但由于不同拍攝分辨率和圖像縮放比例都會對像素數(shù)量產(chǎn)生影響，測量精度受人為因素影響較大。徐義鑫等[9]給出一種基于Android手機的植物葉片幾何參數(shù)測量方法，使用手機拍照即可測量出其面積、周長等幾何參數(shù)，操作簡單、精度高、成本低、通用性強，但對圖像拍攝的條件要求相對較高，光照、參照物、是否傾斜等因素對測量結(jié)果影響較大。張萬紅等[10]提出了一種基于數(shù)字圖像分析的方法分割蘋果葉片并進行參數(shù)測量，使用灰度化、中值濾波、二值化等算法計算葉片面積，準(zhǔn)確率較高、省時省力，但對圖像背景色要求較高，算法參數(shù)較多，處理大量圖像耗時較多。陳愛軍等[11]提出基于邊緣跟蹤算法的植物葉片參數(shù)測量系統(tǒng)，借助標(biāo)定物得到葉片的面積、周長、長、寬等參數(shù)，但該方法需要借助掃描儀，成本較高并且掃描大量葉片速度較慢。

針對上述問題，本研究擬設(shè)計一種新的蘋果葉片分割算法，結(jié)合使用深度學(xué)習(xí)和引導(dǎo)濾波技術(shù)，在對蘋果葉片進行粗分割的基礎(chǔ)上優(yōu)化邊緣細節(jié)，準(zhǔn)確測定蘋果葉片的形狀以利于提取面積、周長等幾何參數(shù)值。

1 材料及方法

1.1 試驗材料

本研究所用蘋果葉片圖像(圖1)，源自于夏雪等[12]提供的公開數(shù)據(jù)集，該數(shù)據(jù)集采集于中國農(nóng)業(yè)科學(xué)院果樹研究所的資源圃，采集時間為果樹枝葉最旺盛的7月中旬—8月中旬，采集工具為配備尼克爾鏡頭并具有D-lighting功能的尼康D90型數(shù)碼相機，能夠?qū)^度曝光和暗光進行自動修正，使葉片邊緣鋸齒輪廓清晰。數(shù)據(jù)集共包含8 184張?zhí)O果葉片圖像、涵蓋國內(nèi)外常見的174種蘋果葉片種類，每種葉片圖像數(shù)量為20～50張。葉片圖像分辨率分別為4 288像素×2 848像素和3 216像素×2 316像素，圖像數(shù)據(jù)文件總計14.5 GB，預(yù)處理階段把葉片圖像分辨率統(tǒng)一縮小為1 204像素×800像素。

由圖1可以看出，葉片放置在具有刻度的藍色標(biāo)尺平板上拍攝，但綠色葉片和藍色背景之間的對比度不大，葉片局部與標(biāo)尺重疊(圖1(a))。部分蘋果葉片會有自然卷曲情況，圖像中會包含葉片背面和陰影(圖1(b))。部分圖像中葉尖超出拍攝視域(圖1(c))或者包含葉柄處嫩芽(圖1(d))，給葉片分割增加了難度。

圖1 4種復(fù)雜情況下的蘋果葉片圖像Fig.1 Apple leaf images in four complex cases

與目前公開的相關(guān)數(shù)據(jù)集[13-14]相比，該數(shù)據(jù)集種類豐富，背景相對復(fù)雜。文獻[13]提供的數(shù)據(jù)庫包含22種蘋果葉片圖像，背景透明；文獻[14]提供的數(shù)據(jù)庫包含60種蘋果葉片圖像，背景為純白色。

1.2 試驗方法

1.2.1試驗設(shè)計

首先，使用深度學(xué)習(xí)技術(shù)對蘋果葉片圖像特征進行學(xué)習(xí)和提取，確定模型參數(shù)后即可對新圖像進行預(yù)測，實現(xiàn)蘋果葉片圖像的粗分割；然后利用引導(dǎo)濾波技術(shù)來提取圖像中蘋果葉片邊緣等細節(jié)特征；最后設(shè)計聯(lián)合分割方案得到完整的蘋果葉片分割結(jié)果。其中蘋果葉片的原始圖像分別在引導(dǎo)濾波過程中和聯(lián)合分割過程中將多次利用。具體算法研究流程見圖2。

圖2 蘋果葉片算法處理流程Fig.2 Flow chart of algorithmic process of apple leaf

1.2.2基于深度學(xué)習(xí)的蘋果葉片主體分割

卷積神經(jīng)網(wǎng)絡(luò)[15]包括卷積層、池化層和激勵層3個基本結(jié)構(gòu)。卷積層由若干個卷積核和偏移值組成，主要功能是用來特征提取。在卷積運算中(圖3)，卷積核在輸入圖像上以一定的步長移動并完成點積運算[16]。池化操作也被稱為下采樣，主要功能是維數(shù)削減、數(shù)據(jù)和參數(shù)壓縮、過度匹配削減、以及模型容錯性的提高，并保持特征不變性、防止過擬合[17]。激勵層可以使神經(jīng)網(wǎng)絡(luò)近似為任何非線性函數(shù)，旨在為模型提供非線性化能力，模擬激勵神經(jīng)元的狀態(tài)變化[18]。當(dāng)前主流的3種激勵函數(shù)為：Sigmoid激勵函數(shù)、Thah激勵函數(shù)和ReLU激勵函數(shù)。本研究使用的是Sigmoid激勵函數(shù)，用于隱層神經(jīng)元輸出，取值范圍為(0,1)，以便于進行二分類處理。

圖3 卷積運算示意圖Fig.3 Schematic diagram of convolution operation

在語義分割中，尤其是實時語義分割，空間分辨率和感受野很難兩全，現(xiàn)有方法通常是使用較小的圖像作為輸入或者使用輕量主干模型來實現(xiàn)加速。但是，相較于原圖像，小圖像會缺失了很多的信息；而由于對通道進行了裁剪，會導(dǎo)致空間信息受到了損害。對于上述問題，本研究使用BiSeNet網(wǎng)絡(luò)模型(圖4(a))，該模型分為2個主要模塊：空間路徑和環(huán)境路徑?？臻g路徑的作用是保留原輸入圖像的空間尺度和編碼豐富的空間信息；環(huán)境路徑的作用是使用注意力優(yōu)化模塊(圖4(b))優(yōu)化輸出結(jié)果，以獲取較大感受野[19]。在2個主要模塊后面加上1個特征融合模塊(圖4(c))，將2個輸出結(jié)果進行特征提取并融合，完成最后的模型結(jié)果。

圖4 BiseNet網(wǎng)絡(luò)結(jié)構(gòu)及其模塊Fig.4 BiseNet network structure and its modules

本研究訓(xùn)練模型使用的蘋果葉片為400張，算法使用的網(wǎng)絡(luò)模型具體參數(shù)見表1。其中批處理量表示每批處理圖像的數(shù)量，一般來說設(shè)置的越大越好，但是由于電腦的配置，本研究設(shè)置為5；驗證圖像表示用于驗證的圖像數(shù)量，目的是為了可視化當(dāng)前模型的預(yù)測程度，本研究設(shè)置為10；檢查點步長表示在定義的步長輪次下進行圖像預(yù)測并給出精確率等指標(biāo)的大小；卷積步長表示過濾器在圖像中的垂直方向和水平方向每次步進的長度，本研究設(shè)置stride=3，即每隔2個像素點移動1次；學(xué)習(xí)率即學(xué)習(xí)速度的快慢，要根據(jù)具體的圖像進行設(shè)置，設(shè)置過大易震蕩，設(shè)置過小易過擬合；衰減率是解決試驗結(jié)果無法收斂到最優(yōu)解而設(shè)定的，不斷縮小學(xué)習(xí)率，使結(jié)果達到最優(yōu)解。

表1 深度學(xué)習(xí)模型中使用的部分主要參數(shù)Table 1 Some of the main parameters used in the deep learning model

1.2.3基于引導(dǎo)濾波的邊緣細節(jié)處理

利用深度學(xué)習(xí)技術(shù)可以得到蘋果葉片的主體輪廓，但是由于卷積和池化這2個步驟操作的影響，圖像中的蘋果葉片部分細節(jié)丟失。為解決這種細節(jié)丟失的情況，下面利用引導(dǎo)濾波技術(shù)來提取圖像中蘋果葉片邊緣的細節(jié)特征。引導(dǎo)濾波是一種可用于圖像平滑、特征提取等多任務(wù)的圖像處理算法[20]。引導(dǎo)濾波允許引導(dǎo)圖像與輸入圖像不同。根據(jù)蘋果葉片分割的任務(wù)要求，本研究將深度學(xué)習(xí)預(yù)測得到的二值圖像作為輸入圖像p，將蘋果葉片彩色圖像作為引導(dǎo)圖像I，使用局部線性處理生成輸出圖像q，作為增強后的圖像。

假設(shè)引導(dǎo)圖像I和輸出圖像q在局部正方形窗口ωk中，存在如下線性關(guān)系:

qi=akIi+bk,?i∈ωk

(1)

式中：qi為輸出圖像中i點的像素值；Ii為引導(dǎo)圖像中i點的像素值；ωk為1個以像素k為中心的局部正方形窗口，本研究設(shè)置為120×120；i和k為像素索引；a和b為當(dāng)窗口中心位于k時該線性函數(shù)的系數(shù)。

通過計算得到最優(yōu)的線性因數(shù)(ak,bk)為：

(2)

(3)

由于像素點Ii被多個窗口所覆蓋，故用ak和bk的平均值計算最終輸出圖像中i點的像素值qi：

(4)

準(zhǔn)確的測定蘋果葉片的幾何參數(shù)是本研究的主要目標(biāo)，但是圖像中蘋果葉片邊緣細節(jié)丟失較多，為保留更多的邊緣特征，本研究使用蘋果葉片二值圖像作為引導(dǎo)對輸入彩色蘋果葉片圖像進行濾波，可以對蘋果葉片的邊緣細節(jié)進行優(yōu)化，突出細節(jié)。

1.2.4聯(lián)合分割

引導(dǎo)濾波雖然可以把邊緣的細節(jié)信息給優(yōu)化，使蘋果葉片的邊緣鋸齒更加突出，但是圖片背景中的標(biāo)尺并未去除，而且背景中會夾雜一些白色的圓點。為此在引導(dǎo)濾波的基礎(chǔ)上設(shè)計聯(lián)合分割方案，以結(jié)合深度學(xué)習(xí)的粗分割結(jié)果和引導(dǎo)濾波特征增強圖像的結(jié)果。

對于引導(dǎo)濾波的特征增強結(jié)果GF，利用自適應(yīng)閾值進行二值化分割，得到二值化結(jié)果GFbin，其中閾值thr由大津法確定。需要注意的是，引導(dǎo)濾波結(jié)果經(jīng)過閾值處理后，可以消除背景中的標(biāo)尺等非葉片部分，但也會殘留葉片中的高光點。因此，需要將引導(dǎo)濾波二值化結(jié)果GFbin與深度學(xué)習(xí)預(yù)測圖BWdl進行并集操作解決上述問題，得到最終的蘋果葉片結(jié)果BWleaf為二者求并集后的二值圖。具體計算公式如下：

GFbin=GF>thr

(5)

BWleaf=BWdl∪GFbin

(6)

圖5示出蘋果葉片原始圖像及本研究算法各步驟處理結(jié)果。本研究算法適用于數(shù)據(jù)庫中多種復(fù)雜情況下的蘋果葉片圖像，圖6示出葉片與標(biāo)尺重疊(圖1(a))情形下的分割結(jié)果。

圖5 蘋果葉片原始圖像及本研究算法各步驟處理結(jié)果Fig.5 Original image of apple leaf and the processing results of each step

圖6 重疊情形下的蘋果葉片圖像及本研究算法各步驟處理結(jié)果Fig.6 Apple leaf image and the processing results of each step under the overlapping situation

從圖5和圖6可以看出，深度學(xué)習(xí)預(yù)測結(jié)果包含了完整的葉片輪廓和葉柄，但丟失了邊緣細節(jié)。引導(dǎo)濾波不僅增強了葉片邊緣細節(jié)，同時也保留了葉柄嫩芽，并殘存了部分標(biāo)尺痕跡。對引導(dǎo)濾波結(jié)果取閾值后消除了標(biāo)尺和葉柄處嫩芽，但仍會殘存由于蘋果葉片高光引起的亮點(圖5(c)中葉片左下區(qū)域)，經(jīng)聯(lián)合分割處理后，可以去掉亮點干擾，得到完整而準(zhǔn)確的分割結(jié)果。

1.2.5幾何參數(shù)測量

本研究使用的方法是找出蘋果葉片的最小外接矩形。首先以引導(dǎo)濾波后的預(yù)測圖和二值化蘋果葉片原圖為基礎(chǔ)得到聯(lián)合分割結(jié)果圖，然后進行二值化，最后得到蘋果葉片最大連通域的外接最小矩形。圖7給出圖1中重疊、陰影、葉尖缺失和葉柄帶芽4種復(fù)雜情況下的蘋果葉片外接最小矩形。

在蘋果葉片外接最小矩形圖像的基礎(chǔ)上，計算得到大量與蘋果葉片相關(guān)的集合參數(shù)，包括面積、周長、離心率、長軸長度和短軸長度等，并以csv格式保存。表2給出圖7中4張?zhí)O果葉片圖像的幾何參數(shù)測定結(jié)果。

圖7 4種復(fù)雜情況下的蘋果葉片外接最小矩形圖像Fig.7 Minimum rectangular image of apple leaves in four complex cases

表2 部分蘋果葉片幾何參數(shù)測定結(jié)果Table 2 Determination results of the geometric parameters of apple leaves

2 結(jié)果與分析

本研究試驗精確率結(jié)果高于文獻[8]試驗方法得到的結(jié)果。文獻[8]使用的方法只是把蘋果葉片放入到一張帶有方格的背景中進行拍照，然后利用公式：葉面積=葉片像素點數(shù)/選取方格像素點數(shù)×方格面積，計算得出蘋果葉片的面積，這種方式無法去除方格線條帶來的誤差，葉片面越大帶來的誤差也就越大。文獻[8]只能處理背景為白色并且數(shù)量較少的蘋果葉片圖像，對于處理背景為其他顏色，計算結(jié)果的精確率將會下降，處理數(shù)據(jù)集較大的葉片圖像，操作將會非常的繁瑣。

本研究使用全公開的蘋果葉片數(shù)據(jù)集，從精確率(Acc)、交并比(IoU)2個指標(biāo)分析算法結(jié)果。精確率刻畫了算法結(jié)果與人工標(biāo)記結(jié)果的相似程度，交并比表示算法結(jié)果與人工標(biāo)記結(jié)果的交疊程度又或是重疊率，即交集與并集的比值關(guān)系，相關(guān)性越高，交并比就越高，在理想情況下，比值為1，即預(yù)測圖像與標(biāo)記圖像完全重合[21]，具體計算公式如下：

(7)

(8)

式中：TP(True positive)表示被模型預(yù)測為正的正樣本；TN(True negative) 表示被模型預(yù)測為負的負樣本；FN(False negative) 表示被模型預(yù)測為正的負樣本；FP(False positive) 表示被模型預(yù)測為負的正樣本；A為人工標(biāo)記結(jié)果得到的面積，B為算法結(jié)果得到的圖像面積。

圖8給出僅利用深度學(xué)習(xí)技術(shù)進行分割時精確率、交并比2個指標(biāo)與訓(xùn)練輪次的關(guān)系。精確率隨著訓(xùn)練輪次的提升總體呈上升趨勢，訓(xùn)練300輪次后精確率保持在97%左右，交并比也達到92.5%。

圖8 深度學(xué)習(xí)訓(xùn)練300輪次對應(yīng)的精確率與交并比情況Fig.8 Accuracy and IoU of 300 rounds of deep learning training

文獻[9]在手機端計算葉片幾何參數(shù)的方法比較方便，但是精確率較低，速度相對較慢。文獻[7]中使用的方法是首先把圖像的RGB顏色空間轉(zhuǎn)化為HIS顏色空間；然后挑選較好的顏色空間分量，使用Otsu自適應(yīng)閾值實現(xiàn)圖像的二值化；最后根據(jù)Matlab中自帶的函數(shù)進行計算幾何參數(shù)，但計算葉片長軸長度的方法是手動的，本研究使用自動計算的方式，相對于文獻[7]更加的節(jié)省時間，避免重復(fù)性的繁瑣操作，而且手動測量的誤差較大。因此本研究算法適用于測量數(shù)據(jù)集較大的葉片圖像，對葉片的幾何參數(shù)計算較為準(zhǔn)確，速度相對較快。

表3給出本研究算法得到的平均精確率與交并比以及計算單張圖像幾何參數(shù)需要的時間數(shù)值，并與文獻[7]的試驗結(jié)果和文獻[9]的試驗結(jié)果進行了對比。數(shù)據(jù)顯示，本試驗得到的174種平均精確率與交并比數(shù)值高于文獻[7]和文獻[9]試驗辦法得到的平均精確率與交并比數(shù)值。

表3 不同算法的平均精確率、交并比和計算速度數(shù)據(jù)對比Table 3 Comparison of average accuracy, IoU and computational speed data of different algorithms

圖9示出第74類50幅波8(蘋果類型)蘋果葉片圖像的客觀對比數(shù)據(jù)，本研究使用的方法優(yōu)于文獻[7]算法得到的蘋果葉片精確度和交并比結(jié)果。由圖9能夠明顯看出，每張圖片的精確率和交并比都在98.5%左右，并且精確率和交并比結(jié)果都相對穩(wěn)定。與文獻[7](核心算法為大津法Otsu)進行對比，其上下幅度較大，如第25幅圖像所示，精確度和交并比結(jié)果都相對較低，而本研究試驗結(jié)果并未出現(xiàn)那么大浮動的現(xiàn)象，結(jié)果比較穩(wěn)定。

圖9 第74類波8蘋果葉片分割結(jié)果數(shù)據(jù)對比Fig.9 Segmentation results data comparison of the 74th Bo 8 apple leaves

3 結(jié)束語

本研究結(jié)合深度學(xué)習(xí)和引導(dǎo)濾波技術(shù)，提出了一種蘋果葉片圖像分割的新算法，在包含174種大規(guī)模數(shù)據(jù)集上進行訓(xùn)練和試驗。試驗結(jié)果表明，該算法可以完整、準(zhǔn)確、快速的分割蘋果葉片圖像，精確率為98.99%、交并比98.82%，可以為后續(xù)的形狀參數(shù)提取、蘋果葉片分類與識別提供數(shù)據(jù)支撐。深度學(xué)習(xí)通過樣本可以很好的提取分割所需的特征。本研究結(jié)果表明，將深度學(xué)習(xí)應(yīng)用于蘋果葉片分割是可行的，但仍有一些誤差存在，需要利用非學(xué)習(xí)方法進行輔助分割。本研究實現(xiàn)了對標(biāo)準(zhǔn)蘋果葉片圖像的分割，對非標(biāo)準(zhǔn)的生態(tài)蘋果葉片圖像分割將是下一步研究的方向。