基于形態(tài)學(xué)和貼標(biāo)簽法的蘋果圖像增強(qiáng)①

歐陽林群, 阮承治

(1.武夷學(xué)院機(jī)電工程學(xué)院，福建 武夷山 354300;2.農(nóng)機(jī)智能控制與制造技術(shù)福建省高校重點(diǎn)實(shí)驗(yàn)室，福建 武夷山 354300)

0 引 言

中國是世界上最大的蘋果生產(chǎn)和消費(fèi)國，據(jù)國家蘋果產(chǎn)業(yè)體系統(tǒng)計(jì)，我國的蘋果種植面積和產(chǎn)量均超過世界的50%，且呈連年增長的趨勢[1]。為減輕農(nóng)業(yè)作業(yè)者勞動(dòng)強(qiáng)度，降低農(nóng)業(yè)生產(chǎn)成本，實(shí)現(xiàn)果蔬的適時(shí)采摘，果蔬采摘機(jī)器人的相關(guān)研究逐漸展開[2,3〗，使得蘋果采摘作業(yè)也朝著數(shù)字化、信息化的方向轉(zhuǎn)變。

在國內(nèi)外諸多學(xué)者的努力下，蘋果采摘機(jī)器人的研究也達(dá)到一個(gè)新高度[4-6]。比利時(shí)學(xué)者開發(fā)的AFPM蘋果采摘機(jī)器人，采摘率在80%左右，采摘周期約為9s，代表了當(dāng)前世界的發(fā)展水平[5]。我國由中國農(nóng)機(jī)院和江蘇大學(xué)共同研制的蘋果采摘機(jī)器人樣機(jī)，采摘率約為80%，而采摘周期約為15s，基本反應(yīng)了國內(nèi)的研究現(xiàn)狀[6]。當(dāng)前的研究主要集中在目標(biāo)果實(shí)的識(shí)別與定位[7]、采摘路徑規(guī)劃[8]、機(jī)械手避障[9]等等，分別從蘋果圖像的分割、去噪、識(shí)別等方面對靜態(tài)、動(dòng)態(tài)下的單個(gè)、重疊目標(biāo)果實(shí)[10]，以及蘋果夜間圖像[11]展開研究。

在蘋果采摘機(jī)器人執(zhí)行采摘作業(yè)的過程中，目標(biāo)果實(shí)的識(shí)別與定位很大程度上制約著采摘效率，成為研究的瓶頸所在。以提高蘋果圖像識(shí)別精度為目標(biāo)，對蘋果圖像的分割進(jìn)行完善和去噪研究。圖像的分割視為圖像處理過渡到圖像分析的關(guān)鍵一步[12]，因此圖像的分割效果以及分割圖像的完善及去噪，將關(guān)系著圖像的識(shí)別效果。蘋果圖像的分割研究相對較多[13]，但對于目標(biāo)果實(shí)的分割圖像的完善與去噪研究相對較少。對于分割圖像的處理，通常采用數(shù)學(xué)形態(tài)學(xué)方法，然而傳統(tǒng)的形態(tài)學(xué)處理卻有著很大的局限性，如使用不同尺寸或形狀結(jié)構(gòu)元素對結(jié)果有很大的影響，小尺寸去噪能力弱，而大尺寸易丟失邊緣細(xì)節(jié)。為此，在傳統(tǒng)數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上采用貼標(biāo)簽法，對分割后的蘋果圖像進(jìn)行去噪完善。最后將蘋果圖像在HSI、Lab顏色空間下得到的目標(biāo)果實(shí)的分割圖像進(jìn)行去噪完善，結(jié)果表明該方法不僅可以很好地填補(bǔ)分割圖像的細(xì)小孔洞，而且不影響侵害圖像的邊緣信息。

1 蘋果圖像分割

圖像分割的好壞對后續(xù)處理效果有很大關(guān)系，并且，得到的分割圖還會(huì)對圖像的識(shí)別、分析等效果等產(chǎn)生決定性的影響。根據(jù)研究需要，現(xiàn)在先采集得到一張?jiān)嫉奶O果圖像，如圖1所示，利用自動(dòng)閾值分割方法(Otsu)進(jìn)行分割(分別在HSI和Lab顏色空間下進(jìn)行)。

圖1 原始蘋果圖像

1.1 基于HSI顏色空間分割

首先將原始蘋果圖像的RGB圖像轉(zhuǎn)換到HSI顏色空間，得到圖像的H分量圖，接著采用直方圖均衡化進(jìn)行增強(qiáng)處理，再進(jìn)行中值濾波簡單去噪處理。預(yù)處理后還要進(jìn)行自動(dòng)閾值分割，閾值設(shè)為H分量像素最大值的70%。處理效果如圖2所示。

(a)H分量圖像

由圖2處理效果看，在H分量下，圖像分割效果并不理想，存在明顯的過分割現(xiàn)象。

1.2 基于Lab顏色空間分割

為了避免圖像的過分割現(xiàn)象，再將原始蘋果圖像的RGB圖像轉(zhuǎn)換到Lab顏色空間，對圖像進(jìn)行自動(dòng)閾值分割，在a分量下其處理效果如圖3所示。

(a)a分量圖像

由圖2處理效果看，在a分量下，圖像分割效果較為理想，但仍需要進(jìn)一步完善與去噪處理。

2 蘋果圖像增強(qiáng)

由圖2和3得出，在蘋果圖像的分割過程中，得到的分割圖像包含很多的分割噪聲，這些噪聲對后期的識(shí)別造成很大干擾，若要對得到的分割圖像進(jìn)行識(shí)別，還需要做進(jìn)一步的增強(qiáng)處理。嘗試?yán)脭?shù)學(xué)形態(tài)學(xué)對分割圖像進(jìn)行完善，該方法操作方便，計(jì)算簡單；再利用貼標(biāo)簽法對其進(jìn)行去噪處理，以期使得分割圖像得到增強(qiáng)。

2.1 數(shù)學(xué)形態(tài)學(xué)處理

設(shè)a、b分別是原始圖像和結(jié)構(gòu)元素，且均為Z2中的集合。

1)膨脹

如果兩個(gè)物體比較近，通過膨脹運(yùn)算可以將這兩個(gè)物體聯(lián)通到一起。膨脹的作用可以擴(kuò)大目標(biāo)區(qū)域，填充物體中的空洞。膨脹原理如圖4所示。

(a)原圖像

膨脹可以用數(shù)學(xué)描述為：記a被b的膨脹為a⊕b，其中⊕表示膨脹算子。膨脹的定義為：

(1)

(2)

2)腐蝕

腐蝕可以把小于結(jié)構(gòu)元素的物體去除和分開，它的作用就在于消除物體邊界點(diǎn)。假設(shè)有兩個(gè)成分之間存在微小的聯(lián)通，選擇一定大的結(jié)構(gòu)元素那么就可以將兩個(gè)成分分開。腐蝕原理如圖5所示。

(a)原圖像

aΘb表示a被b的腐蝕，具體定義如下：

aΘb={x|(b)x?a}

(3)

即aΘb可理解為所有使b被x平移后包含于a的x的集合。

3)開運(yùn)算

結(jié)構(gòu)元素b將原圖像a做開運(yùn)算可表示為：

a°b=(aΘb)⊕b

(4)

公式(4)理解為a被b開運(yùn)算就是a被b腐蝕后的結(jié)果再被b膨脹。所以說開運(yùn)算能夠使對象的輪廓變得光滑，由此斷開細(xì)小的間斷和消除細(xì)的突出物，圖像處理中，開運(yùn)算可以理解成去除小的區(qū)域噪音。

4)閉運(yùn)算

結(jié)構(gòu)元素b將原圖像a做閉運(yùn)算的數(shù)學(xué)描述為：

a·b=(a⊕b)Θb

(5)

a被b閉運(yùn)算就是a被b先膨脹后腐蝕，算子記為a·b。因此閉運(yùn)算可以平滑和磨光圖像中的較大物體的邊界，是具有延伸性的運(yùn)算，去除小顆粒噪聲的作用。

2.2 貼標(biāo)簽法去噪

貼標(biāo)簽去噪處理就是二值圖像中所有連通域設(shè)置不同編號來進(jìn)行區(qū)分，對每一個(gè)對象貼上不同的“標(biāo)簽”，將二值圖中屬于同一個(gè)連通域的像素標(biāo)記起來，用來方便辨識(shí)。通常，通過設(shè)置一個(gè)與輸入圖像空間尺寸相同的標(biāo)簽矩陣來顯示二值圖像中所有不同連通域的區(qū)分結(jié)果。

采用八連通域進(jìn)行處理，二值圖像與標(biāo)簽矩陣分別假設(shè)為f、g，貼標(biāo)簽法的步驟如下所示：

Step 1 首先設(shè)標(biāo)簽、已貼標(biāo)簽數(shù)分別為λ、N且取值為0，從上到下從左到右依次掃描，按行遍歷圖像尋找二值圖像中像素值為1的目標(biāo)像素點(diǎn)；

Step 2 沒有貼標(biāo)簽的像素點(diǎn)f(i,j)處理如下，由已經(jīng)掃描過的四個(gè)鄰接像素的標(biāo)簽值，做按圖6做以下判斷(如圖6所示，?表示當(dāng)前點(diǎn)像素，表示已掃描像素，⊕表示未掃描像素)：

圖6 標(biāo)簽示意圖

1)如果標(biāo)簽值為0，則λ=λ+1，g(i,j)=λ，已貼標(biāo)簽數(shù)N=N+1；

2)如果其標(biāo)簽值相同，即全部為λ，則g(i,j)=λ；

3)如果標(biāo)簽值出現(xiàn)沖突，四個(gè)鄰接像素的取值只為兩種情況，取值為λ、λ'(設(shè)0<λ<λ')，稱為標(biāo)簽沖突，處理的做法是令g(i,j)=λ，將所有已貼標(biāo)簽為λ'的像素改貼為λ，同時(shí)修改已貼標(biāo)簽數(shù)N=N-1。

Step 3 重復(fù)step2，直至所有像素均全部掃描；

Step 4 算法要判斷λ等于N嗎？如果等于，那么貼標(biāo)簽這個(gè)操作就算完成了，該算法結(jié)束；否則，說明已貼標(biāo)簽編號還不連續(xù)，那就還需要對其進(jìn)行一次影射編碼校正，處理方式是將不連續(xù)編號的標(biāo)簽校正為連續(xù)編號來完成貼標(biāo)簽處理。

對于分割后的二值圖像，往往存在不同的噪聲干擾，如會(huì)有這種情況出現(xiàn)，蘋果圖像中一部分背景像素被錯(cuò)誤判斷為蘋果，反之亦然，部分蘋果區(qū)域的像素被誤判為背景圖像。假如要采用常規(guī)的形態(tài)學(xué)去除這一類的噪聲，蘋果的邊界信息會(huì)在一定程度上遭到破壞，還是采用貼標(biāo)簽去噪的方式，具體步驟如下所示：

Step 1 采用貼標(biāo)簽法對分割圖像中像素為1的連通區(qū)域進(jìn)行標(biāo)識(shí)。

Step 2 經(jīng)過多次實(shí)驗(yàn)確定一個(gè)閾值T，判斷step 1中所有已標(biāo)記連通區(qū)域的面積是否小于閾值T，若小于，則將當(dāng)前連通區(qū)域中的所有像素值設(shè)為0，反之，則保留當(dāng)前連通區(qū)域。這樣就把蘋果區(qū)域外的噪聲去除了。

Step 3 就是將step 2步驟中得到的圖像進(jìn)行去反色操作，就是把蘋果區(qū)域內(nèi)部的噪聲和背景的像素置為1，然后取反色后的圖像用貼標(biāo)簽的方法進(jìn)行標(biāo)記蘋果內(nèi)部的噪聲，保留并且是只保留已標(biāo)記連通區(qū)域的面積最大的一個(gè)(通常對應(yīng)的是背景區(qū)域)，其他的連通區(qū)域的所有像素的處理方法是標(biāo)記為0；

Step 4 對上面步驟step 3中得到的二值圖像再次做反色操作，這樣，分割圖像就最后結(jié)束了。

2.3 實(shí)驗(yàn)結(jié)果與分析

在HSI、Lab兩種顏色空間下的蘋果圖像的分割圖像，利用數(shù)學(xué)形態(tài)學(xué)和貼標(biāo)簽法分別對分割圖像做增強(qiáng)處理，最后對處理后的圖像還要再用Sobel算子進(jìn)行邊緣檢測處理，從而可以驗(yàn)證分割圖像增強(qiáng)處理后效果如何。處理效果如圖7和8所示。

(a)開運(yùn)算

由圖7可知，針對分割圖像首先進(jìn)行開運(yùn)算處理，去除部分外邊界，找出其中的較大的連通區(qū)域，由于連通區(qū)域邊界相對模糊，應(yīng)對該區(qū)域進(jìn)行閉運(yùn)算，平滑磨光內(nèi)邊界，最后利用貼標(biāo)簽法對圖像中的小洞進(jìn)行處理，得到最終的增強(qiáng)圖像。

由圖8可知，分割圖像開運(yùn)算處理后，較大的連通區(qū)域的邊界相對平滑，無需做閉運(yùn)算處理，直接利用貼標(biāo)簽法對圖像進(jìn)行處理，得到最終的增強(qiáng)圖像。結(jié)果相對理想，經(jīng)Sobel算子檢測之后的輪廓較清晰。

(a)開運(yùn)算

由兩組實(shí)驗(yàn)效果圖可知，數(shù)學(xué)形態(tài)學(xué)組合貼標(biāo)簽算法能夠在不破壞蘋果圖像邊界信息的前提下對孔洞進(jìn)行修復(fù)，去除外圍噪聲，實(shí)現(xiàn)目標(biāo)果實(shí)分割圖像的增強(qiáng)。組合方法對于HSI和Lab兩種顏色空間下的分割圖像均有較好的適用性，尤其是處理HSI顏色空間下分割出的目標(biāo)果實(shí)圖像所產(chǎn)生的孔洞較大，噪聲明顯。

3 結(jié) 語

圍繞蘋果圖像的目標(biāo)果實(shí)分割圖展開相關(guān)研究，由于分割圖像的孔洞、噪聲等因素影響著分割圖像的利用效率，制約了下一步識(shí)別分析的效果，因此需要對其進(jìn)行完善和去噪處理，實(shí)現(xiàn)蘋果分割圖像的增強(qiáng)。首先針對目標(biāo)果實(shí)的分割圖像利用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行完善，并選取合適的參數(shù)，不破壞目標(biāo)果實(shí)的邊界信息的前提下去除部分噪聲；再對最大連通區(qū)域進(jìn)行貼標(biāo)簽處理，對分割圖像的像素進(jìn)行標(biāo)記，設(shè)定閾值，若標(biāo)記區(qū)域面積小于閾值認(rèn)為是噪聲，對該區(qū)域進(jìn)行反色處理，反之則被認(rèn)為是果實(shí)，保留該區(qū)域，實(shí)現(xiàn)分割圖像區(qū)域外部的進(jìn)一步去噪；最后再對圖像進(jìn)行反色處理，重復(fù)貼標(biāo)簽處理，對目標(biāo)果實(shí)區(qū)域內(nèi)部的噪聲進(jìn)行處理。

分別對在HSI顏色空間下H分量圖像和Lab顏色空間下的a分量圖像的分割圖像進(jìn)行完善和去噪處理，從而驗(yàn)證了數(shù)學(xué)形態(tài)學(xué)和貼標(biāo)簽組合方法對分割圖像的增強(qiáng)效果。實(shí)驗(yàn)結(jié)果顯示，分割圖像的噪聲組合方法能夠更加有效地去除掉，并且很好地保留目標(biāo)果實(shí)的邊緣信息。相比較而言，Lab顏色空間下分割效果更為理想。