基于視覺(jué)注意機(jī)制的黃綠色蘋果圖像分割

車金慶，王 帆，王藝潔，呂繼東，馬正華

(1.常州工程職業(yè)技術(shù)學(xué)院智能裝備與信息工程學(xué)院，江蘇 常州 213000；2.常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

中國(guó)是蘋果生產(chǎn)大國(guó)，主栽品種以紅色為主。在紅色蘋果進(jìn)入成熟期以前，其表面顏色多為黃、綠色。近年來(lái)，隨著人們生活水平的提高，消費(fèi)者對(duì)果品的需求日趨多樣化，外觀美、品質(zhì)好的黃、綠色蘋果越來(lái)越受到消費(fèi)者的喜愛，種植規(guī)模也在不斷擴(kuò)大。

隨著現(xiàn)代農(nóng)業(yè)的發(fā)展，基于視覺(jué)圖像的樹上果實(shí)估產(chǎn)和機(jī)器采摘成為國(guó)內(nèi)外農(nóng)業(yè)工程領(lǐng)域的研究熱點(diǎn)[1-9]。而無(wú)論是果實(shí)估產(chǎn)還是機(jī)器采摘，對(duì)所采集果實(shí)圖像的分割都是其首要任務(wù)。分割質(zhì)量的優(yōu)劣關(guān)系到果實(shí)估產(chǎn)的精度和機(jī)器采摘過(guò)程中識(shí)別定位的準(zhǔn)確性。

視覺(jué)注意機(jī)制是人類視覺(jué)自動(dòng)捕獲圖像中顯著區(qū)域的一種注意機(jī)制，根據(jù)人類視覺(jué)注意機(jī)制特點(diǎn)計(jì)算圖像中各像素點(diǎn)的顯著性，可以作出與原圖像大小相同的顯著圖。顯著圖的灰度值越大，對(duì)人類的視覺(jué)刺激就越強(qiáng)，在原圖像中越明顯。果實(shí)圖像的分割，就是在背景復(fù)雜的圖像中，將具有顯著性的果實(shí)目標(biāo)與背景分割開來(lái)的過(guò)程。機(jī)器視覺(jué)如何模擬人類的視覺(jué)系統(tǒng)，構(gòu)造圖像的顯著圖，再通過(guò)去除背景提取顯著性目標(biāo)，從而達(dá)到分割圖像的結(jié)果，引起了諸多研究者的注意[10-12]。

黃、綠色蘋果圖像中，果實(shí)顏色近似葉片，加之果實(shí)表面受自然光線影響，色澤亮度不均，因此采用基于顏色或者紋理特征的分割方法則不能有效地分割出果實(shí)目標(biāo)，分割精度差；而將果實(shí)形狀特征和顏色特征融合通過(guò)神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)來(lái)進(jìn)行圖像分割，則計(jì)算較為復(fù)雜[13-16]。為此，本研究針對(duì)黃、綠色蘋果圖像的分割難點(diǎn)，設(shè)計(jì)一種基于視覺(jué)注意機(jī)制的分區(qū)域提取然后合并的分割方法。

1 材料與方法

1.1 圖像采集與試驗(yàn)

從江蘇省徐州市豐縣蘋果種植示范區(qū)自然環(huán)境下拍攝試驗(yàn)圖像，數(shù)碼相機(jī)的型號(hào)為Canon DIGITAL IXUS 200 IS。蘋果品種為金元帥、王林。所采集圖像包括不同光線下果實(shí)圖像800幅，為了便于研究，分辨率統(tǒng)一調(diào)整為 640×480像素。圖像試驗(yàn)在Matlab R2013a 軟件平臺(tái)上進(jìn)行，計(jì)算機(jī)硬件配置為：處理器Intel(R)Core(TM)2 Duo CPU@2.40 GHz，內(nèi)存2 G。

1.2 圖像分割

自然光照下果實(shí)表面因受光不均勻而分為光線正常區(qū)域和高亮區(qū)域。高亮區(qū)域是由果實(shí)表面在光線照射下產(chǎn)生的反射光造成的。正是因?yàn)楣麑?shí)高亮區(qū)域的存在，單個(gè)方法很難將其完整分割出來(lái)。本研究通過(guò)2種途徑(一種是光線正常的果實(shí)區(qū)域?yàn)橹鞯奶崛。硪环N是果實(shí)表面高亮區(qū)域?yàn)橹鞯奶崛?提取，2個(gè)區(qū)域提取后進(jìn)行合并，最終獲得完整的果實(shí)目標(biāo)。具體流程見圖1。

圖1 黃、綠果實(shí)分割流程圖Fig.1 Flow chart of yellow and green fruit segmentation

1.2.1 視覺(jué)注意機(jī)制 人類視覺(jué)注意機(jī)制具有高效性和可靠性，它引導(dǎo)視覺(jué)感知，加強(qiáng)顯著區(qū)域?qū)θ祟愐曈X(jué)的刺激，并減弱非顯著區(qū)域?qū)θ祟愐曈X(jué)的干擾。在處理信息的過(guò)程中，視覺(jué)注意機(jī)制并不是無(wú)差別處理整個(gè)圖像，而是會(huì)先處理比較顯著的圖像信息，舍棄非顯著信息，大大提高了信息處理的效率。目前，典型的視覺(jué)注意機(jī)制顯著性檢測(cè)模型有ITTi、LC、GC、HC、RC、CA、FT等幾種。其中FT顯著性檢測(cè)模型是基于頻率調(diào)諧的顯著檢測(cè)模型，其基本原理是對(duì)圖像的低頻到高頻的連續(xù)頻帶用多個(gè)帶通濾波器濾波，將所有的輸出合并作為最終的顯著圖，力求產(chǎn)生全分辨率的顯著圖，整個(gè)過(guò)程通過(guò)疊加多個(gè)高斯帶通濾波器來(lái)實(shí)現(xiàn)[17]。顯著值公式為：

S(x,y)=‖Iu-Iwhc(x,y)‖

(1)

式中，Iu是平均圖像特征向量，Iwhc(x,y)為圖像高斯濾波后對(duì)應(yīng)的像素，即在Lab空間中，計(jì)算輸入圖像的平均矢量和高斯濾波后的矢量之間的歐式距離并形成顯著圖。該算法對(duì)圖像信息的感知靈敏度較高，不僅能得到完整的顯著區(qū)域，而且能得到清晰的邊緣，且分辨率與原圖相同，計(jì)算速度較快。因此確定采用FT顯著性檢測(cè)模型進(jìn)行黃、綠色蘋果果實(shí)以光線正常區(qū)域?yàn)橹鞯膮^(qū)域和以高亮區(qū)域?yàn)橹鞯膮^(qū)域的分割。

1.2.2 基于顯著性的以果實(shí)光線正常區(qū)域?yàn)橹鞯奶崛?在FT算法生成顯著圖之前，通過(guò)計(jì)算果實(shí)的色差分量對(duì)果實(shí)圖像進(jìn)行量化。針對(duì)黃色和綠色蘋果果實(shí)圖像，基于RGB顏色空間比較了常用的2R-G-B、2G-R-B、G-B、R-G、R-B色差分量效果圖，結(jié)果表明采用R-B、2R-G-B色差圖像不僅能得到相對(duì)比較完整的果實(shí)光線正常區(qū)域，而且能去掉圖像中較多的葉片背景，因而確定將R-B、2R-G-B色差分量分別作為提取黃色和綠色蘋果果實(shí)的特征分量，再用FT顯著模型檢測(cè)色差圖像的顯著圖(圖2)。從圖2中可以看出，該方法保留了更多的圖像邊緣信息，果實(shí)區(qū)域的顯著性較強(qiáng)，殘留的枝葉背景的顯著性相對(duì)較弱。然后采用自適應(yīng)閾值分割OTSU方法[18]對(duì)顯著圖進(jìn)行分割。

圖像分割完成后，圖像中還存在分割碎片，通常是未分割掉的與果實(shí)顏色等同的蘋果葉片和雜草，而果實(shí)區(qū)域由于光照、遮擋等多方面的影響也會(huì)產(chǎn)生孔洞。此外圖像采集過(guò)程中，當(dāng)采集果樹外圍的果實(shí)圖像時(shí)，所采集的圖像邊界往往會(huì)出現(xiàn)草地。雜草也與蘋果葉片顏色相近，通過(guò)以上環(huán)節(jié)往往不能去除干凈，圖像邊界仍然會(huì)存在較大塊的草地區(qū)域，需要在上述分割結(jié)果基礎(chǔ)上刪除與圖像邊界相連的對(duì)象。首先對(duì)各連通區(qū)域輪廓跟蹤獲取邊緣坐標(biāo)，然后對(duì)所獲取的各連通區(qū)域邊緣坐標(biāo)進(jìn)行判別，以確定是否與圖像邊界相連，最后刪除與圖像邊界相連的連通區(qū)域；接著再填充果實(shí)區(qū)域的空洞，并將小面積區(qū)域作為背景像素去除，得到果實(shí)光線正常區(qū)域的二值化圖像(圖2)。

a：原圖；b：色差圖像；c：顯著圖；d：以光線正常區(qū)域?yàn)橹鞯膮^(qū)域。圖2 果實(shí)光線正常區(qū)域提取效果圖Fig.2 Images of normal light fruit area oriented extraction

1.2.3 基于顯著性的以果實(shí)高亮區(qū)域?yàn)橹鞯奶崛?方法1.2.2只能提取果實(shí)的光線正常區(qū)域，對(duì)于果實(shí)表面的高亮區(qū)域很容易產(chǎn)生誤分割，產(chǎn)生誤分割的原因在于提取色差分量時(shí)，高亮區(qū)域像素值較高，接近于白色，被誤當(dāng)作背景像素。為此采用一種分水嶺算法處理灰度圖，保留灰度級(jí)較高的部分，并對(duì)微弱邊緣進(jìn)行處理，這有利于果實(shí)的識(shí)別。

不同光照狀態(tài)下，黃、綠色果實(shí)與背景像素差異不明顯，特別是天空、綠色草地背景，如果直接使用分水嶺分割，容易產(chǎn)生過(guò)度分割的現(xiàn)象。因此提取蘋果圖像中果實(shí)高亮區(qū)域還需要首先進(jìn)行形態(tài)學(xué)處理，以獲得更好的分割效果。圖3為采用的基于標(biāo)記的分水嶺算法流程圖。

圖3 基于標(biāo)記的分水嶺算法流程圖Fig.3 Flow chart of watershed algorithm based on markup

具體算法流程如下：(1)將原始圖像轉(zhuǎn)換成灰度圖像(圖4a)，以圓形結(jié)構(gòu)元素對(duì)灰度圖像進(jìn)行形態(tài)學(xué)開運(yùn)算操作。該方法可去掉圖像邊緣較小的突刺，切斷連通區(qū)域內(nèi)部的細(xì)長(zhǎng)搭接。(2)通過(guò)形態(tài)學(xué)開運(yùn)算操作后得到目標(biāo)區(qū)域，計(jì)算前景標(biāo)記，得到正確的圖像信息。(3)用分水嶺方法得到圖像的分水嶺，作為背景標(biāo)記。(4)形態(tài)學(xué)重建，得到新的灰度圖像(圖4b)。(5)對(duì)新的灰度圖像進(jìn)行形態(tài)學(xué)關(guān)運(yùn)算操作。該方法通過(guò)填充連通區(qū)域中邊緣的小缺口或空洞，連接相近的2個(gè)連通區(qū)域。(6)對(duì)圖像進(jìn)行膨脹處理，并再次進(jìn)行形態(tài)學(xué)重建，得到新的灰度圖像(圖4c)。

利用基于標(biāo)記的分水嶺算法得到二次重建的灰度圖像，圖像中黃、綠蘋果區(qū)域的灰度級(jí)明顯較高，且天空、地面等背景經(jīng)過(guò)重建之后灰度級(jí)弱化。由于果實(shí)區(qū)域相對(duì)于背景有較高的灰度級(jí)，采用FT顯著模型檢測(cè)算法生成顯著圖(圖4d)，果實(shí)區(qū)域及果實(shí)區(qū)域邊緣信息相對(duì)完整且顯著度明顯。再采用自適應(yīng)閾值分割方法得到二值化區(qū)域，然后經(jīng)過(guò)填充空洞、去除邊界區(qū)域和去除小面積區(qū)域等處理，得到以高亮區(qū)域?yàn)橹鞯膮^(qū)域(圖5)。

a：灰度圖像；b：第1次重建圖像；c：第2次重建圖像；d：顯著圖。圖4 基于標(biāo)記的分水嶺算法效果圖和顯著圖Fig.4 Effect maps and saliency maps of watershed algorithm based on markup

圖5 果實(shí)高亮區(qū)域提取效果圖Fig.5 Images of highlighted fruit area oriented extraction

1.2.4 區(qū)域合并 將以光線正常區(qū)域?yàn)橹鞯膮^(qū)域與以高亮區(qū)域?yàn)橹鞯膮^(qū)域合并，得到果實(shí)區(qū)域的二值化圖像，在原圖中圈出果實(shí)目標(biāo)區(qū)域(圖6)。對(duì)比分割果實(shí)區(qū)域的邊緣與果實(shí)的實(shí)際邊緣，發(fā)現(xiàn)合并區(qū)域與果實(shí)實(shí)際區(qū)域很接近。

a：光線正常區(qū)域；b：高亮區(qū)域；c：區(qū)域合并結(jié)果；d：分割區(qū)域與果實(shí)實(shí)際區(qū)域?qū)Ρ?。圖6 蘋果圖像分割效果圖Fig.6 Segmentation effect of apple images

1.2.5 分割方法的評(píng)價(jià)指標(biāo) 為了驗(yàn)證本研究所設(shè)計(jì)方法的有效性，通過(guò)分割誤差A(yù)f、假陽(yáng)性率FPR和假陰性率FNR對(duì)試驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)[19]。

(2)

(3)

(4)

2 結(jié)果與分析

將ITTi、FT、HC、LC、CA 5種模型得到的顯著圖(圖7)效果進(jìn)行對(duì)比，并與本研究方法得到的果實(shí)目標(biāo)區(qū)域進(jìn)行對(duì)比。為了進(jìn)一步驗(yàn)證本方法的有效性，再與人工分割結(jié)果(圖8)進(jìn)行對(duì)比。結(jié)果表明，ITTi模型得到的顯著性區(qū)域僅僅是果實(shí)目標(biāo)區(qū)域的一部分，只是提取出果實(shí)區(qū)域的高亮區(qū)域，陰影區(qū)域未能識(shí)別出，枝葉、草地的顯著度較低；直接使用FT模型檢測(cè)的顯著圖中，黃色和綠色蘋果的果實(shí)高亮區(qū)域顯著性高，果實(shí)的光線正常區(qū)域顯著性較低，相對(duì)于綠色蘋果、黃色蘋果果實(shí)顯著性明顯，同時(shí)枝葉、草地背景顯著性較高；HC模型顯著圖中黃色和綠色果實(shí)顯著性都較低；LC模型的顯著圖與FT模型的顯著圖相比，黃色果實(shí)識(shí)別較差，受背景影響較大；CA模型的顯著圖較上述模型顯著圖相比，果實(shí)與背景的顯著度差異較小。

由圖8可以看出，本研究方法的效果圖與用Photoshop軟件人工分割的果實(shí)區(qū)域相比，本方法能夠有效提取出黃、綠果實(shí)的大部分區(qū)域。

對(duì)基于ITTi、FT、HC、LC、CA顯著算法直接分割蘋果圖像與本方法的分割結(jié)果進(jìn)行評(píng)價(jià)。結(jié)果(表1)表明，ITTi算法得到的Af、FPR和FNR均值分別為41.79%、42.54%和43.27%，F(xiàn)T算法得到的Af、FPR和FNR均值分別為42.44%、37.21%和49.97%，HC算法得到的Af、FPR和FNR均值分別為47.50%、56.70%和54.86%，LC算法得到的Af、FPR和FNR均值分別為37.38%、56.36%和49.87%，CA算法得到的Af、FPR和FNR均值分別為46.74%、44.62%和53.03%，本方法得到的Af、FPR和FNR均值分別為8.1%、10.56%和10.18%。

圖7 5種顯著性檢測(cè)算法顯著圖Fig.7 Saliency maps of five saliency detection algorithms

圖8 本研究方法分割結(jié)果與人工分割結(jié)果對(duì)比效果圖Fig.8 Result comparison between the designed method and artificial segmentation

表16種顯著性檢測(cè)算法評(píng)價(jià)結(jié)果

Table1Theevaluationresultsofsixsignificantdetectionalgorithms

圖像序號(hào)ITTi算法Af(%)FPR(%)FNR(%)FT算法Af(%)FPR(%)FNR(%)HC算法Af(%)FPR(%)FNR(%)LC算法Af(%)FPR(%)FNR(%)CA算法Af(%)FPR(%)FNR(%)本研究方法Af(%)FPR(%)FNR(%)170.603.1827.6969.4831.7195.024.629.7182.353.4443.8738.1676.5579.5218.694.9814.5614.63270.9475.4727.6011.9049.8495.9767.9765.5116.2634.0458.5322.3875.1325.5150.600.918.905.93354.7213.8614.9381.4324.3592.9325.7584.0725.4335.0019.6625.1161.6047.3335.178.3021.3714.97491.7228.5875.727.595.4053.0875.3738.0456.7877.9293.4012.9956.8846.941.1913.7116.2213.32531.1252.8516.5668.9274.8245.0560.2026.3065.418.3822.9091.3315.2482.5853.834.617.8224.27610.6796.190.468.4439.9825.9977.4981.7386.8780.0143.1491.0618.1826.3814.5513.618.637.97754.9914.5085.3040.187.6023.9962.2135.1051.3212.3318.3924.0041.734.9790.271.489.0918.93833.7790.0136.9224.1740.399.6511.1278.0338.9713.2094.2195.6157.525.9823.4815.328.121.5494.3016.964.9154.7029.6374.4773.1764.7745.0918.9068.6818.3536.8562.5678.028.119.299.671048.6843.5944.6881.7679.4864.4330.6350.8551.0837.8681.1653.2835.0793.9087.595.026.258.701120.7730.1247.0922.5917.0722.7723.0584.4319.4843.5731.1192.3443.0218.4890.4917.9723.8911.111225.8140.8759.4922.1711.7429.6726.2260.2871.1231.8842.4250.798.5526.2580.102.9212.897.031348.8657.8523.7352.1123.1648.8945.8896.3154.6862.4167.9139.5536.7498.803.778.521.332.96149.8726.1933.5410.6865.3849.4267.9713.6672.1277.9171.5090.3789.0933.4269.879.783.057.631550.0547.9990.4780.5557.6718.2960.9961.7785.9423.9988.652.8748.9916.7997.876.277.054.11平均值41.7942.5443.2742.4437.2149.9747.5056.7054.8637.3856.3649.8746.7444.6253.038.1010.5610.18

Af：分割誤差；FPR：假陽(yáng)性率；FNR：假陰性率。

3 結(jié) 論

人類視覺(jué)系統(tǒng)可以輕易高效地從復(fù)雜背景中識(shí)別出顯著性區(qū)域。本研究基于視覺(jué)注意機(jī)制，采用FT顯著性檢測(cè)方法與基于標(biāo)記的分水嶺算法相結(jié)合分區(qū)域提取而后合并，從而實(shí)現(xiàn)黃、綠色蘋果圖像的分割。試驗(yàn)結(jié)果表明本研究方法提取的果實(shí)區(qū)域接近果實(shí)的實(shí)際區(qū)域，具有較好的分割效果。本方法對(duì)于其他近色背景果蔬圖像的分割有一定的借鑒意義。但需要指出的是，本方法中引入了色差作為顏色特征對(duì)圖像進(jìn)行處理，如果不需要根據(jù)果蔬的顏色特征而只采用一種新的視覺(jué)顯著性算法進(jìn)行圖像分割，那么該方法將具有更強(qiáng)的通用性，這有待進(jìn)一步研究。