不同顏色模型識別成熟蘋果圖像的比較分析

李 莎，錢建平，趙春江，陳梅香，李文勇，陳 明

（1.上海海洋大學(xué) 信息學(xué)院，上海201306；2.國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京100097）

0 引 言

將成熟蘋果從復(fù)雜的背景中高效的識別出來，可為果實(shí)生長發(fā)育模型的構(gòu)建和基于個體的果實(shí)測產(chǎn)提供良好的基礎(chǔ)［1］。由于果園里拍攝到的圖像比較復(fù)雜，既包括成熟果實(shí)、發(fā)紅的草地和樹枝樹葉，還包括一些果實(shí)重疊、被遮擋的情況，因此，研究不同環(huán)境下成熟蘋果的有效提取，不僅增加農(nóng)民的收益，還可以適時地調(diào)整生產(chǎn)計(jì)劃［2，3］。

目前，已有一些學(xué)者對果實(shí)的識別分割技術(shù)進(jìn)行了研究。文獻(xiàn) ［4－8］利用RGB 顏色模型中的分量進(jìn)行圖像分割，實(shí)現(xiàn)果實(shí)與背景的分離；文獻(xiàn) ［9－11］利用Lab彩色模型下a通道進(jìn)行果實(shí)輪廓信息的提?。晃墨I(xiàn) ［12－14］采用YCbCr顏色模型的Cr分量對圖像進(jìn)行二值化提取目標(biāo)，能夠去除綠色葉子，得到比較完整的蘋果邊界。

前人涉及果實(shí)顏色模型選取的文章中，僅使用某一種顏色模型，沒有分析不同環(huán)境下不同顏色模型分割的不同。對不同環(huán)境和不同角度下拍攝的圖像使用不同的顏色模型處理，結(jié)果會有差異，因此選取適合的顏色模型，有利于后期完整的目標(biāo)分割。通過前人的研究和自身實(shí)驗(yàn)得知，RGB顏色空間的R－G 色差向量、L＊a＊b＊顏色空間的a＊分量和YCbCr顏色空間的Cr分量，能夠?qū)崿F(xiàn)成熟蘋果果實(shí)與背景的分離，有利于分割出果實(shí)。本文對逆光和順光下的圖像應(yīng)用3種分量處理，計(jì)算二值化后圖像中果實(shí)的面積大小和噪聲率 （噪聲占整個圖像的百分率），從而分析出不同環(huán)境下顏色模型的適用性，以更好達(dá)到初步模擬蘋果輪廓的目的。

1 顏色模型比較

蘋果圖像分割前需進(jìn)行顏色特征的選擇。而顏色特征選擇前，需進(jìn)行顏色模型的選擇。雖然采集的圖像和顯示設(shè)備大多都是RGB圖像，但為使蘋果與背景的顏色差異更明顯，更有效地分割出圖像中的果實(shí)區(qū)域，需要根據(jù)不同環(huán)境下的蘋果圖像，使用不同的顏色空間進(jìn)行果實(shí)分割。目前用于蘋果分割的顏色模型主要包括：RGB，L＊a＊b＊和YCbCr顏色模型等。

不同的顏色空間具有各自的優(yōu)缺點(diǎn)。RGB顏色空間是圖像處理中最常用的顏色空間，其根據(jù)R、G、B這3個顏色通道的變化以及它們相互疊加來表現(xiàn)出各種顏色。由于RGB顏色空間受光照的影響較大，為了克服RGB顏色空間的不均勻和不直觀的缺點(diǎn)，我們可以考慮進(jìn)行顏色模型之間的轉(zhuǎn)換，以更好的適應(yīng)不同外界環(huán)境下的分割。比如L＊a＊b＊顏色模型和YCbCr顏色模型。

L＊a＊b＊顏色模型是由亮度L 和色彩信息a，b這3個要素組成。由于有一個亮度通道，色彩的混合將產(chǎn)生更亮的色彩，因?yàn)镽GB 模型在藍(lán)色到綠色之間的過渡色彩過多，而在綠色到紅色之間又缺少黃色和其它色彩，L＊a＊b＊模型彌補(bǔ)了RGB色彩分布不均勻的缺點(diǎn)。由于Lab的色彩空間要比RGB的色彩空間大，這就意味著RGB 所能描述的色彩信息在Lab空間中都能得以影射。

YCbCr不是一種絕對色彩空間，是YUV 壓縮和偏移的版本［15］。YCbCr顏色模型比RGB 模型更能適應(yīng)光照強(qiáng)度的變化；同時YCbCr模型與RGB模型的轉(zhuǎn)換是線性的，不存在溢出致使圖像信息丟失的問題，計(jì)算也相當(dāng)簡單。3種顏色模型的優(yōu)缺點(diǎn)比較見表1。

表1 3種顏色模型優(yōu)缺點(diǎn)比較

2 材料與方法

2.1 圖像采樣

本文選取處于收獲期的蘋果為研究對象，在2013年10月中下旬，使用NIKON CORPORATION D90型號數(shù)碼相機(jī)，在北京順義果園實(shí)地拍攝順光和逆光下圖片共150幅。隨機(jī)選取40幅順光圖像和40幅逆光圖像進(jìn)行實(shí)驗(yàn)，圖像格式為JPG，用Photoshop CS5對80幅圖像進(jìn)行統(tǒng)一裁剪，大小為1200×1800 像素。圖像處理采用 MATLAB 7.0軟件。

采集的圖像是以RGB格式存儲，并且圖像中含有背景信息。為了比較分析，3 種顏色模型下處理的順光圖和逆光圖分別為同一組圖片。

2.2 圖像識別

進(jìn)行彩色蘋果圖像識別，首先要進(jìn)行灰度化處理。由于所采集圖片中R，G，B 三分量之間有很高的相關(guān)性，直接利用這些分量不能得到所需的效果，但成熟蘋果果實(shí)的顏色與周圍環(huán)境顏色差別較大，因此可以建立圖像的色差模型。經(jīng)過實(shí)驗(yàn)分析，R－G 色差分量的分割效果比RB、B－R、B－G 的效果好，因此，在RGB 模型下，選取RG 色差分量進(jìn)行灰度化。在L＊a＊b＊顏色模型中，a表示從紅色至綠色的范圍，因此要提取成熟蘋果的紅色果實(shí)區(qū)域，選取a分量進(jìn)行研究。YCbCr顏色模型中的色度信息被存儲在Cb和Cr中，其中Cr為紅色分量相對于參考值的坐標(biāo)，應(yīng)選取Cr分量提取成熟蘋果的果實(shí)。處理流程如圖1所示。

2.3 閾值分割和形態(tài)學(xué)濾波

由于各分量灰度圖的目標(biāo)和背景灰度差別較大，這種灰度分布特點(diǎn)適合選用OTSU 法 （最大類間方差法）進(jìn)行二值化處理，該方法計(jì)算簡單且用時少，不受圖像亮度和對比度的影響，在實(shí)時圖像處理系統(tǒng)中應(yīng)用非常廣泛。

經(jīng)二值化分割后，整個蘋果果實(shí)基本被分離出來，但仍殘留一些噪聲和毛刺。噪聲的去除可采用區(qū)域面積統(tǒng)計(jì)法，它們的面積比蘋果果實(shí)的面積小，根據(jù)這一特點(diǎn)，以像素為單位計(jì)算所有單連通區(qū)的面積，然后設(shè)定一個閾值（文本設(shè)定閾值為10000像素，由經(jīng)驗(yàn)得出），當(dāng)面積像素?cái)?shù)小于閾值時，被判為噪聲區(qū)域?qū)⑵淙コ?；毛刺的去除可采用形態(tài)學(xué)運(yùn)算處理，通過多次實(shí)驗(yàn)及分析，本文選用半徑為5的圓盤形結(jié)構(gòu)元素，先對圖像進(jìn)行閉運(yùn)算，再進(jìn)行開運(yùn)算，即可得到較為平滑的邊緣。

圖1 3種模型下蘋果面積提取流程

在獲取果園中的蘋果圖像時，會受自然光照射的影響，對于逆光下的圖像，一般很少有陰影光斑產(chǎn)生，但是，順光下的圖片很可能產(chǎn)生光斑，在二值化后圖像會出現(xiàn)一些內(nèi)部空洞，所以，要對圖像各連通區(qū)域進(jìn)行填充操作，得到比較完整的二值化蘋果圖像。

2.4 特征參數(shù)提取

為了更好的分割不同光照下的蘋果圖像，本文通過計(jì)算二值化圖像中圖斑、噪聲 （主要是一些發(fā)紅色草地和樹枝樹葉）的像素面積和噪聲率，統(tǒng)計(jì)出不同顏色分量在不同環(huán)境下分割的不同。通過Matlab7.0 提供的bwlabel方法計(jì)算出3種分量下圖像的圖斑數(shù)量，然后采用regionprops方法計(jì)算出果實(shí)圖斑的像素面積和噪聲的像素面積。圖像中的噪聲率＝噪聲面積/ （圖斑面積＋噪聲面積）。

2.5 效果評價(jià)

無論采用哪種顏色模型，二值化之后果實(shí)的面積都會有一定程度的削減，所以，本文通過比較二值化后蘋果面積大小來初步確定分割的好壞。二值化后果實(shí)面積越大，說明分割效果越好，反之，分割效果一般。

為了進(jìn)一步分析顏色模型的分割效果，結(jié)合圖像處理后的噪聲大小來判斷。噪聲越小，說明顏色模型對噪聲抑制較好，反之，說明保留噪聲較多，不利于果實(shí)的有效提取。通過相互抑制的果實(shí)面積和噪聲面積的分析，分析說明不同條件下的顏色模型的選取。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 圖像處理

從所采集的逆光和順光圖像中，各選取一幅圖像進(jìn)行3種模型分量下的灰度化處理、自適應(yīng)閾值分割和形態(tài)學(xué)濾波。處理后的二值化圖像如圖2所示。從圖中看出，雖然3種分量處理后面積輪廓相差不大，但是，不同顏色模型對蘋果果實(shí)局部信息的處理不盡相同，這樣導(dǎo)致獲取的果實(shí)面積會有差別。

圖2 3種分量下二值化結(jié)果

3.2 面積比較

對選取的40幅逆光圖像和40幅順光圖像進(jìn)行二值化處理，對圖像中的成熟蘋果果實(shí)計(jì)數(shù)，并計(jì)算出3種分量下蘋果果實(shí)的面積。本文以R－G 色差下的果實(shí)面積為基準(zhǔn)，a＊分量和Cr分量下的果實(shí)面積分別與之比較，得出每一個果實(shí)在3種分量下的面積。如表2所示，左列是逆光下的果實(shí)面積，右列是順光下的果實(shí)面積。

由表2可知，3種顏色分量均能分離出大部分的果實(shí)，但3種情況下的分割面積有所不同。無論逆光還是順光條件下，a＊分量和Cr分量的分割好于r－g色差的分割，能相對保留更多的果實(shí)面積，這有利于進(jìn)一步的確定果實(shí)的圓心和半徑。對于紅色蘋果上的黃色區(qū)域和陰影，r－g色差不能有效識別，所以導(dǎo)致黃色部分的果實(shí)和陰影被消除，但是a＊分量和Cr分量對陰影和偏黃色的部分能夠保留較好。

表2 逆光和順光下的果實(shí)面積

3.3 噪聲比較

考慮到果園環(huán)境復(fù)雜，拍攝圖像的角度各異，致使圖像中會出現(xiàn)大面積雜質(zhì)，比如發(fā)紅的草地和發(fā)紅的樹枝樹葉等，這些雜質(zhì)在圖像中的面積過大時，經(jīng)過形態(tài)學(xué)濾波也不能將其去除，如圖2 （c）、（e）、（g）所示。為了更準(zhǔn)確的選取顏色模型，需要考慮不同情況下的噪聲處理情況?，F(xiàn)選取順光、逆光下帶有草地和樹枝樹葉的圖像進(jìn)行計(jì)算，草地和樹枝樹葉面積占總圖像面積的比率如圖3所示。

通過圖3可以看出，對于逆光下含有草地的圖片處理結(jié)果如圖3 （a）所示，r－g色差分量和a＊分量處理較好，能夠去除大部分的草地噪聲，尤其是a＊分量，大多數(shù)包含草地圖片的噪聲都能去除；而Cr分量則保留較多草地噪聲，有些圖片的草地噪聲率高達(dá)53.85%，對于第8 幅圖片，前兩種分量能把噪聲完全去除，而Cr分量處理后噪聲率為53.38%。

對于逆光下含有樹葉樹枝的圖片處理結(jié)果如圖3 （b）所示，前兩種分量能夠去除較多噪聲，尤其是r－g色差分量能去除大部分的樹枝樹葉；而Cr分量保留較多樹枝樹葉噪聲，有些圖片的噪聲率達(dá)11.76%。對于第8幅和第9幅圖片，前兩種分量完全去除噪聲，而Cr分量處理后噪聲率為14.41%和10.12%。但第5幅圖中，r－g分量不能完全去除發(fā)紅的樹葉和陰影。

對于順光下含有草地的圖片處理結(jié)果如圖3 （c）所示，與逆光下含有草地圖片處理結(jié)果相似，r－g色差分量和a＊分量處理較好，尤其是a＊分量，大多數(shù)草地的噪聲都能去除，只有一幅圖片未去除；而Cr分量保留較多草地噪聲，有些圖片的噪聲率高達(dá)58.62%。

對于順光下含有樹葉樹枝的圖片處理結(jié)果如圖3 （d）所示，與逆光下樹枝樹葉的處理情況相似，前兩種分量相對于Cr分量能夠去除較多噪聲，尤其是r－g色差分量能去除大部分的樹枝樹葉；而Cr分量保留較多樹枝樹葉噪聲，有些圖片的噪聲率達(dá)27.36%。對于第11幅圖片，a＊分量保留較多噪聲，而r－g 色差和Cr 分量處理后噪聲率為2.08%和0.24%，這可能是由于反光使得a＊分量不能完全去除陰影下的樹枝。

對上述含噪聲的圖片進(jìn)行總噪聲率的比較，見表3。表3可以看出，對于逆光下草地噪聲的處理a＊分量效果最好，僅為4.19%，Cr分量最差，高達(dá)25.19%。而對于逆光下樹枝樹葉的處理r－g色差處理較好，為1.60%，Cr分量最差為5.79%。對于順光下的草地噪聲的處理a＊分量效果最好，僅為1.46%，Cr分量最差，高達(dá)24.80%。而對于順光下樹枝樹葉的處理r－g色差處理較好，為2.65%，Cr分量最差為6.89%。

表3 3種顏色模型下噪聲率比較

因此，無論是逆光還是順光條件下，對于含有草地噪聲的圖片，a＊分量的處理效果最好，r－g色差次之，Cr分量最差；對于含有樹葉樹枝噪聲的圖片，r－g 色差處理較好，a＊分量次之，Cr分量最差。對于總的噪聲 （草地和樹枝樹葉）來說，r－g色差和a＊分量處理后的噪聲均比較小，遠(yuǎn)小于Cr分量。

結(jié)合果實(shí)面積比較分析，雖然a＊分量和Cr分量都能保留較多的果實(shí)面積，但是，考慮到Cr分量在保留果實(shí)面積的同時，也會保留過多發(fā)紅的草地和樹枝樹葉等噪聲，因此，對成熟蘋果進(jìn)行分割提取的過程中，可以優(yōu)先選用a＊分量進(jìn)行提取。在周圍噪聲較小的情況下，可以選擇Cr分量。如果在只計(jì)算果實(shí)個數(shù)而不考慮果實(shí)大小的情況下，r－g 色差也能較好的提取出果實(shí)的輪廓。

4 結(jié)束語

本文討論了從彩色圖像中提取成熟蘋果目標(biāo)的問題，在此基礎(chǔ)上分析了3種顏色模型提取果實(shí)的特點(diǎn)，結(jié)果表明：

（1）對蘋果圖像進(jìn)行各分量灰度化處理，灰度圖像加強(qiáng)了目標(biāo)與背景的對比度，然后采用Otsu法對其進(jìn)行閾值分割，再利用形態(tài)學(xué)運(yùn)算去除掉殘余噪聲，實(shí)現(xiàn)復(fù)雜環(huán)境下果實(shí)區(qū)域的提取。但不同顏色模型下的各分量對不同環(huán)境下采集到的圖像進(jìn)行分割時有一定的差異，因此，選取合適的顏色模型對果實(shí)輪廓提取有很大影響。

（2）無論在逆光還是順光條件下，a＊分量和Cr分量的提取好于r－g色差分量，能相對保留較多的果實(shí)面積，但是Cr分量的噪聲率較高，逆光和順光下草地的噪聲率分別達(dá)到25.19%和24.80%，遠(yuǎn)高于另兩種分量；因此，對自然環(huán)境下成熟蘋果的提取優(yōu)先選用a＊分量。在周圍噪聲較小的情況下，可以選擇Cr分量進(jìn)行提取。如果只計(jì)算果實(shí)個數(shù)而不考慮果實(shí)大小，可以考慮使用運(yùn)行時間較快的r－g色差分量。

（3）文中講述的蘋果輪廓提取的步驟和方法，為前期處理提供了可參照的方法理論，較完整的提取出分離和鄰接狀態(tài)下的蘋果，對重疊蘋果的分割獲取還需要進(jìn)一步研究。

［1］CUI Shujuan，LI Jian.The identification of mature apple based on the chromatic aberration ［J］.Journal of Northwest University （Natural Science Edition），2011，41 （6）：993－997 （in Chinese）.［崔淑娟，李健.基于色差信息的成熟蘋果識別 ［J］.西北大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，41 （6）：993－997.］

［2］ZHAI Heng，SHI Dachuan，SHU Huairui.Current status and developing trend of apple industry in China ［J］.Journal of Fruit Science，2007，24 （3）：355－360（in Chinese）. ［翟衡，史大川，束懷瑞.我國蘋果產(chǎn)業(yè)發(fā)展現(xiàn)狀與趨勢 ［J］.果樹學(xué)報(bào)，2007，24 （3）：355－360.］

［3］QI Xuelong，WANG Guiping，MENG Hua.Research on combination forecasting model of apple output based on genetic algorithm ［J］.Journal of Fruit Science，2011，28 （1）：165－170 （in Chinese）.［亓雪龍，王貴平，孟華.基于遺傳算法的蘋果產(chǎn)量組合預(yù)測模型研究［J］.果樹學(xué)報(bào)，2011，28 （1）：165－170.］

［4］LI Xin，LI Lijun，GAO Zicheng，et al.Revised quasi－circular randomized Hough transform and its application in camellia－fruit recognition ［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （1）：164－170 （in Chinese）.［李昕，李立君，高自成，等.改進(jìn)類圓隨機(jī)Hough變換及其在油茶果實(shí)遮擋識別中的應(yīng)用 ［J］.農(nóng)業(yè)工程學(xué)報(bào)，2013，29（1）：164－170.］

［5］Gong Aiping，Yu Junlin，He Yong，et al.Citrus yield estimation based on images processed by an Android mobile phone［J］.Biosystems Engineering，2013，115 （2）：162－170.

［6］LI Hongli，HE Dongjian.Study on technology of restore and location of apples under occluded ［J］.Journal of Agricultural Mechanization Research，2013 （9）：20－23 （in Chinese）.［李宏利，何東健.圖像中被遮擋蘋果的還原及定位技術(shù)研究［J］.農(nóng)機(jī)化研究，2013 （9）：20－23.］

［7］LV Jidong，ZHAO De’an，JI Wei，et al.Dynamic recognition of oscillating fruit for harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2012，43 （5）：173－196（in Chinese）.［呂繼東，趙德安，姬偉，等.采摘機(jī)器人振蕩果實(shí)動態(tài)識別［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43 （5）：173－196.］

［8］QIAN Jianping，YANG Xinting，WU Xiaoming，et al.Mature apple recognition based on hybrid color space in natural scene［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （17）：137－142 （in Chinese）. ［錢建平，楊信廷，吳曉明，等.自然場景下基于混合顏色空間的成熟期蘋果識別方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2012，28 （17）：137－142.］

［9］CUI Yongjie，SU Shuai，LV Zhihai，et al.A method for separation of kiwifruit adjacent fruits based on Hough transformation［J］.Journal of Agricultural Mechanization Research，2012，34 （12）：166－169 （in Chinese）. ［崔永杰，蘇帥，呂志海，等.基于Hough變換的獼猴桃毗鄰果實(shí)的分離方法 ［J］.農(nóng)機(jī)化研究，2012，34 （12）：166－169.］

［10］Yin HP，Chai Y，Yang SX，et al.Ripe tomato detection for robotic vision harvesting systems in greenhouses ［J］.Transactions of the ASABE，2011，54 （4）：1539－1546.

［11］SHI Xueqiang，CHENG Xinwen.Target extraction study on the vision system of apple picking robot［J］.Journal of Agricultural Mechanization Research，2013 （10）：46－48 （in Chinese）.［石雪強(qiáng)，程新文.蘋果采摘機(jī)器人視覺系統(tǒng)的目標(biāo)提取研究 ［J］.農(nóng)機(jī)化研究，2013 （10）：46－48.］

［12］GUO Aixia，ZOU Xiangjun，ZOU Haixin.Recognition on image of litchi fruits and their main fruit bearing based on twinthreshold method ［J］.Computer Engineering and Design，2014，35 （2）：557－561 （in Chinese）.［郭艾俠，鄒湘軍，鄒海鑫.基于二次閾值的荔枝果與結(jié)果母枝圖像識別 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2014，35 （2）：557－561.］

［13］Payne AB，Walsh KB，Subedi PP，et al.Estimation of mango crop yield using image analysis－segmentation method ［J］.Computers and Electronics in Agriculture，2013，91：57－64.

［14］FU Peng.Research on the key technology of apple detection and recognition based on machine vision ［D］.Yangling：Northwest A＆F University，2012 （in Chinese）. ［付鵬.基于機(jī)器視覺的蘋果檢測與識別關(guān)鍵技術(shù)研究 ［D］.楊凌：西北農(nóng)林科技大學(xué)，2012.］

［15］WANG Xiaorong，ZHAO Yingkai，LIN Jinguo.Fast target recognition based on YUV model and Gabor filter［J］.Computer Engineering and Design，2009，30 （20）：4701－4703（in Chinese）.［王曉榮，趙英凱，林錦國.基于YUV 模型和Gabor濾波器的快速目標(biāo)識別方法 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30 （20）：4701－4703.］