張星龍,馮 全,楊 梅,張華南
(甘肅農業(yè)大學 工學院,甘肅 蘭州 730070)
基于光源不變圖和聚類算法的葉片陰影中病斑的分割
張星龍,馮 全,楊 梅,張華南
(甘肅農業(yè)大學 工學院,甘肅 蘭州 730070)
【目的】 提出了一種基于光源不變圖的病斑分割方法,以提高病斑識別程序的準確性和穩(wěn)定性?!痉椒ā?將陰影區(qū)和非陰影區(qū)視為不同光源照明,通過最小熵法計算原圖的光源不變圖,在該圖上采用K均值聚類算法對病斑進行分割,以采集的病斑葉片為材料,對該方法的處理效果進行驗證?!窘Y果】 比較光源不變圖法和H分量法的處理結果后發(fā)現,采用光源不變圖法處理病斑不同區(qū)域的平均差異較H分量法更低,僅為10.7%;聚類分割算法對使用光源不變圖法處理病斑圖像的分割準確率為95.0%,較H分量法具有更高的正確率,且誤檢率更低?!窘Y論】 采用光源不變圖法對病斑圖像處理的效果好、性能穩(wěn)定,同一目標在不同光照條件下處理結果的一致性較高。
病斑分割;光源不變圖;對數變換;最小熵;聚類分割
利用圖像處理技術進行農作物病害診斷,進而達到防治病害、節(jié)約成本等目的,是現代農業(yè)的主要發(fā)展方向之一[1]。目前,應用于這一領域的數字圖像處理技術有很多,其中圖像分割是很重要的一部分,其將病斑從枝葉、天空、土壤等背景中分離出來,這一過程的處理效果關系到特征提取和后續(xù)識別的準確率。
傳統的將病斑從復雜背景中提取出來的檢測方法主要是基于顏色、紋理和幾何形態(tài)特征等參數的提取[2],近年來較為流行的智能識別算法也是以這些特征參數為基礎。目前常見的病斑分割和檢測方法有基于病斑色差分量的Ostu分割算法[3]、Hough變換和邊緣檢測算子提取輪廓特征[4]、小波變換消除光照影響[5]、區(qū)域生長法[6]以及模糊識別和支持向量機等[7-10]。以上方法都依賴于對圖像顏色和紋理的準確識別,對光照條件有較高要求,且不能適應復雜環(huán)境中隨機采集的圖像。而在自然環(huán)境下成像的圖像中,由于物體相互遮擋、太陽光入射角度的變化,使得葉片上常常存在陰影,陰影的存在對病斑的分割造成極大的干擾,主要體現在兩個方面:第一,由于陰影比較暗,很多分割算法往往會將其從葉片中分離出去,使陰影中的病斑被漏檢;第二,由于陰影區(qū)的葉片表面反射被削弱、對比度降低,導致病斑紋理特征不明顯,邊緣模糊,且病斑顏色有別于正常光照的病斑,很多分割方法會將其與陽光直射下的病斑標識為不同類型。因此,采用合適的圖像增強方法消除陰影影響,不僅能夠獲得準確的圖像數據,更是提高圖像處理的自動化程度的保證。
本研究采用最小熵法生成不受陰影影響的光源不變圖的方法以削弱陰影區(qū),增強陰影區(qū)病斑與周圍健康區(qū)域的對比度,采用同一種分割算法將陰影區(qū)和非陰影區(qū)病斑同時提取出來,以期提高病斑識別程序的準確性和穩(wěn)定性。
光源不變圖是Finlayson等[11-12]和Heikkila[13]基于普朗克照明(Planckian lighting)、朗伯表面(Lambertian surfaces)和窄頻帶相機[14](Narrowband camera)3點假設提出的。
對于采集的植物病斑RGB圖像,為了消除光照強度的影響,特將RGB值代入色度對數坐標系中進行計算。紅色通道與綠色通道及藍色通道與綠色通道之間的色度對數差為:
(1)
式中:ρRG=logpR-logpG,為紅色分量與綠色分量之間的色度對數差;ρBG=logpB-logpG,為藍色分量與綠色分量之間的色度對數差;Sk=log[S(λk)·λk-5c1],Dk=-c2/Tλk,其中c1、c2為常數,T為不同輻射照明的溫度,λk表示對應顏色的波長,k=R,G,B。
將公式(1)表示為向量形式,有:
(2)
式中:ρ為顏色向量,ρ=(ρRG,ρBG)T;s=(SR-SG,SB-SG)T,d=(DR-DG,DB-DG)T。
由Sk的定義可知,s只與物體的表面反射特性和相機的響應頻率有關,與光照強度無關。同時d只與相機的響應頻率有關,而與物體表面的反射特性和光照均無關。公式(2)表示了一條以色溫T為參數的直線,即對于指定相機,同一顏色在不同色溫的光源照射下,其向量ρ對應的點在一條直線上,而不同顏色的特性直線是相互平行的。圖1中4條短線給出了4種顏色在不同色溫下的分布。可將所有顏色特性直線投影到f上的數值作為該顏色對光源的不變值;對一副圖像中每個像素求投影不變值,就可以得到一幅與光源強度和色溫無關的灰度圖像,稱之為光源不變圖(Illuminant invariant image)[11]。
圖1 色度對數坐標系f與所有顏色特性直線垂直,其與橫軸夾角為θ,空心圓圈為某一點變換為色度對數后在坐標系中的對應位置,實心圓圈為空心圓圈在f上的投影
在自然光照下進行驗證,從上午09:00至下午17:00選擇6個時間點,采用同一相機(Sony W390相機)對標準色卡(型號為SpyderCHECKER)進行拍攝,計算色卡中每種顏色的平均值,以此計算該顏色的顏色向量。結果發(fā)現在色度對數坐標系中,自然光下成像的顏色向量分布仍然與基于3點假設的理想條件下的情況相似,同一種顏色的顏色向量分布近似在一條直線上,不同顏色的特性直線近似平行。圖2為色卡中的橙色、黃色、紫色、粉色和赭色在不同光照下顏色向量的分布。
圖2 自然光照下色卡中5種顏色向量在色度對數坐標系中的分布1~5表示的顏色依次為黃色、赭色、紫色、橙色和粉色
從圖2可以發(fā)現,不同顏色向量在f上的投影仍集中在某些區(qū)域,不同顏色形成了若干峰值。對于任意多光源照明圖像,可以采用最小熵的方法求最優(yōu)的f。在信息學中,熵可以用來衡量體系的混亂程度,計算公式為:
η=-∑pi(φ)logpi(φ)。
(3)
式中:η為所有出現信號的平均信息量,稱為“熵”;pi表示信號φ出現的概率;φ表示某信號的值。
由信息學理論可知,若各個信號分布的越平均,則“熵”越大;若某些信號出現的頻率大,其他信號出現的頻率小,則“熵”越小[15]。因此,選用熵最小的投影作為最優(yōu)f。
采用最小熵法計算f,具體方法如下:
1)對一幅有多光源照明的彩色RGB圖像,根據公式(1)計算出每個像素點的顏色向量,在色度對數坐標系中以直線與橫軸夾角θ為參數,遍歷從0°到180°,計算該圖像中所有像素的顏色向量在某個θ對應直線上的投影,得到相應的直方圖。
2)對于θ對應的直方圖,根據公式(3)計算每個θ對應的熵。
3)找到熵最小時對應的θ,該參數即為最優(yōu)f。
求得最優(yōu)f后,即可按照公式(2)的方法計算圖像對應的光源不變圖。對于自然光照條件下獲得的有陰影的葉片圖像,在無陰影區(qū)將其視為太陽直射光和天空光2種光源照明,而對陰影區(qū),則視為由天空光照明[16]。在滿足光源不變圖的條件下,使得陰影區(qū)和非陰影區(qū)的病斑有近似一致的灰度值,以便于分割。圖3為由RGB圖計算的光源不變圖。與圖3-(a)相比,圖3-(b)的陰影區(qū)在光源不變圖上明顯減弱。圖3-(c)給出了根據最小熵計算的最優(yōu)投影直線f的結果,可以看出,投影直線在角度為110°時的熵最小,圖3-(b)就是根據該角度對應直線計算的投影值獲得的光源不變圖。獲得光源不變圖后,可以進一步采用聚類分割算法從葉片圖像中分割出病斑[17]。
圖3 最小熵法求光源不變圖
葉片圖像于2014年10月15-23日采集自甘肅省蘭州市安寧區(qū),采集對象為患有褐斑病、葉斑病的葡萄葉片和梧桐葉片。在自然光照下,用Sony W390相機采集了8幅部分區(qū)域處于陰影中的病斑葉片圖像;拍攝時,相機在葉片的正上方,采用自動對焦。每幅圖像中有1~3張葉片,一些葉片上有多處病斑,共計有37處病斑,其中有21個處于陰影區(qū),其余則處于非陰影區(qū)。由于所采集的圖像存在雜亂背景,直接采用聚類分割法在葉片區(qū)域之外可能產生錯誤分割結果。本研究采用無邊界主動輪廓算法[18]從圖像中分割出單個葉片,僅在葉片區(qū)域使用光源不變圖算法分割病斑。為驗證基于光源不變圖的病斑分割算法的效果(以下稱“方法1”),還同時選擇HSI顏色模型的H分量[19-21]進行病斑分割(以下稱“方法2”),并對二者的分割效果進行對比。
對于8幅圖像樣本,每片葉子有同一類病斑,且分別處于陰影區(qū)和非陰影區(qū),采用方法1和方法2對葉片圖像處理后,手動提取了各病斑區(qū)域,以非陰影區(qū)病斑的灰度平均值作為基準,比較同一葉片上陰影區(qū)與非陰影區(qū)同一類病斑灰度值基準的差異,結果見表1。從表1可以看出,HSI顏色模型H分量提取時陰影與非陰影區(qū)病斑灰度值的平均差異度為19.9%;而采用光源不變圖法處理后,灰度值的平均差異度為10.7%,較HIS顏色模型H分量分割方法減小了46.2%。這說明經方法1處理后,陰影區(qū)病斑與非陰影區(qū)的同類病斑具有更高的一致性,在自動分割時更容易將陰影區(qū)與非陰影區(qū)的病斑分為同一類,有效提高了分割精度。
表1 H分量和光源不變圖法處理后陰影區(qū)及非陰影區(qū)灰度值差異的比較Table 1 Comparison of H component and illuminant invariant image on the shadow and non-shadow areas
進一步采用K均值聚類算法對經上述2種方法處理的圖像進行聚類分割。聚類時,以每個像素作為聚類對象、平方歐式距離作為相似度距離量度、均方差作為聚類準則函數,聚類數設為2,代表背景和病斑,對每個像素的聚類結果進行二值標記并生成聚類區(qū)域,最后利用數學形態(tài)學濾波對結果進行處理以提高分割精度。
首先,以統計病斑數量的方法檢驗病斑區(qū)域的檢測率和誤檢率,即考慮2種方法對葉片陰影區(qū)和非陰影區(qū)的病斑能否分割出來。檢測率與誤檢率的計算公式為:
檢測率=[(M2-M3)/M1]×100%;
誤檢率=[M3/M1]×100%。
式中:M1為實際病斑數量,M2為檢測到的病斑數量,M3為誤檢的病斑數量。
由表2可見,對于試驗樣本,在所有的37處病斑中,不論病斑是否處于陰影中,采用方法1處理后大部分病斑都能夠被分割出來,且處于不同區(qū)域的同種病斑被分為同一類,病斑的檢測率達到了94.6%,誤檢率為0。而依據HSI顏色空間中的H分量進行分割的方法對陰影較為敏感,部分病斑不能準確地分割出來,且處于不同區(qū)域的同種病斑可能會被分為不同的類,檢測率僅為59.5%,誤檢率為16.2%。
表2 H分量和光源不變圖法處理結果的檢測率及誤檢率Table 2 Detection rate and error detection rate of H component and illuminant invariant image method
其次,對2種方法的病斑分割精度進行分析。通過自動分割與手動分割的匹配率、錯分率評價圖像的分割效果[22],匹配率越高而錯分率越低則分割效果就越好。匹配率與錯分率的計算公式為:
匹配率=[(N1-|N2-N1|)/N2]×100%;
錯分率=[(N2-N1)/(m×n)]×100%。
式中:N1為自動分割圖像的病斑像素值,N2為手動分割圖像的病斑像素值,m×n為圖像的像素。
以像素統計的方法計算匹配率與錯分率,結果見表3。
表3 H分量和光源不變圖法分割精度的比較Table 3 Comparison of the segmentation accuracies between H component and illuminant invariant image method %
從表3可見,用本研究建立的光源不變圖法分割8幅圖像的平均匹配率為95.0%,平均錯分率僅為3.1%;而基于H分量分割時的匹配率為 83.4%,錯分率為14.5%。顯然前者的匹配率較高、錯分率較低,分割精度較高。
圖4為光源不變圖法和H分量分割法2種方法分割效果的實例對比(為了給出原始結果,圖中未給出形態(tài)學濾波結果)。由圖4可以看出,同一葉片上由于陰影的干擾,病斑經過聚類分析后不能從葉片中被有效提取出來。而采用光源不變圖法進行處理后,陰影的影響在一定程度上被消除,即可以將2種不同光照條件下的病斑識別為同一種類,且處于陰影中的病斑能夠從周圍健康區(qū)域中分割出來。通過對HSI圖像H分量分割效果分析后發(fā)現,某些病斑在處理后特征并不明顯,無法被分割出來。而采用光源不變圖法處理過后的圖像,不論是在陰影區(qū)域還是在陽光直射區(qū)域都能夠被識別。
圖4 H分量和光源不變圖分割效果的對比
對采集到的所有病斑采用2種算法處理后發(fā)現:在所有的37處病斑中,不論病斑是否處于陰影之中,采用本研究的光源不變圖法處理后,都能夠被準確地分割出來,且處于不同區(qū)域的同種病斑被準確地分為同一類;而依據HSI顏色空間中的H分量進行分割的方法對陰影較為敏感,部分病斑不能準確分割出來,且處于不同區(qū)域的同種病斑可能會被分為不同的類。
1)采用光源不變圖法處理后,葉片陰影與非陰影區(qū)病斑灰度值的平均差異僅為10.7%,而基于H分量方法的平均差異高達19.9%;聚類分割法對使用光源不變圖法處理病斑的檢測率較H分量更高,而誤檢率為0。同時在對病斑進行分割時,光源不變圖法對病斑區(qū)域的識別準確率高達95.0%,明顯高于H分量。說明采用光源不變圖法處理葉片陰影區(qū)域的病斑后,其與非陰影區(qū)病斑有更高的相似度,更容易被分割算法識別。
2)對于葉片表面的非陰影區(qū),可視為同時受陽光和天空光照射,而陰影區(qū)可視為只受天空光照射,采用光源不變圖可以同時削弱這些不同光照的影響。通過最小熵法得到的光源不變圖反映了物體表面真實的反射特性,對于是否有陰影及不同程度的陰影都有良好的處理效果。對無陰影、部分陰影和完全被陰影遮蓋的葉片處理后發(fā)現,在不同陰影影響下采用光源不變圖法可以得到近乎一致的結果,該算法很大程度上降低了處理的復雜程度,不需要再針對不同光照區(qū)域采用不同算法進行處理。
3)光源不變圖法處理效果好、性能穩(wěn)定,對同一目標在不同光照條件下處理的結果一致性較高?;谶@種特性,該方法可作為一種圖像預處理手段,結合現有的其他圖像處理、模式識別等檢測方法,可以獲得更準確的檢測、分類結果。
綜上所述,采用光源不變圖法對圖像進行增強處理后,能夠大幅度削弱陰影的影響,消除由于陰影區(qū)和正常光照區(qū)的照度差異導致的分類、分割錯誤,同時該方法也為圖像增強和圖像預處理提供了一個新的思路。
[1] 冀榮華,祁力鈞,傅澤田.機器視覺技術在精細農業(yè)中的研究進展 [J].農機化研究,2007,16(11):1-5.
Ji R H,Qi L J,Fu Z T.Advance in precision agriculture based on the machine vision technology [J].Journal of Agricultural Mechanization Research,2007,16(11):1-5.(in Chinese)
[2] 管澤鑫.基于圖像的水稻病害識別方法的研究 [D].杭州:浙江理工大學,2010.
Guan Z X.Study on recognition method of rice disease based on image [D].Hangzhou:Zhejiang Sci-Tech University,2010.(in Chinese)
[3] 趙進輝.基于圖像處理的田間甘蔗病害識別技術研究 [D].廣州:華南農業(yè)大學,2008.
Zhao J H. Study on identification technology of field sugarcane diseases based on image processing [D].Guangzhou:South China Agricultural University,2008.(in Chinese)
[4] 吳露露,馬 旭,齊 龍,等.改進 Hough 變換的農作物病斑目標檢測方法 [J].農業(yè)工程學報,2014,30(10):152-159.
Wu L L,Ma X,Qi L,et al.A method of target detection for crop disease spots by improved Hough transform [J].Transactions of the Chinese Society of Agricultural Engineering,2014,30(10):152-159.(in Chinese)
[5] 孫月強.非均勻光照下蔬菜病斑識別算法研究 [J].計算機仿真,2012,29(6):257-260.
Sun Y Q.Research on vegetables disease spot recognition algorithm in uneven illumination conditions [J].Computer Simulation,2012,29(6):257-260.(in Chinese)
[6] 沈項軍,汪增福.一種基于色彩和紋理分析的圖像分割算法 [J].模式識別與人工智能,2007,20(2):241-247.
Shen X J,Wang Z F.An image segmentation algorithm based on color and texture analysis [J].Pattern Recognition and Artificial Intelligence,2007,20(2):241-247.(in Chinese)
[7] 田有文,李天來,李成華,等.基于支持向量機的葡萄病害圖像識別方法 [J].農業(yè)工程學報,2007,23(6):175-180.
Tian Y W,Li T L,Li C H,et al.Method for recognition of grape disease based on support vector machine [J].Transactions of the Chinese Society of Agricultural Engineering,2007,23(6):175-180.(in Chinese)
[8] 余秀麗,徐 超,王丹丹,等.基于 SVM 的小麥葉部病害識別方法研究 [J].農機化研究,2014,23(11):151-155.
Yu X L,Xu C,Wang D D,et al.Identification of wheat leaf diseases based on SVM method [J].Journal of Agricultural Mechanization Research,2014,23(11):151-155.(in Chinese)
[9] 田有文,張長水,李成華.支持向量機在植物病斑形狀識別中的應用研究 [J].農業(yè)工程學報,2004,20(3):134-136.
Tian Y W,Zhang C S,Li C H,et al.Application of support vector machine to shape recognition of plant disease spot [J].Transactions of the Chinese Society of Agricultural Engineering,2004,20(3):134-136.(in Chinese)
[10] 何 倩,鄭向陽.模糊識別技術在玉米病斑識別中的應用研究 [J].計算機仿真,2012,29(5):251-253.
He Q,Zheng X Y.Research on fuzzy recognition technology in corn disease spot identification [J].Computer Simulation,2012,29(5):251-253.(in Chinese)
[11] Finlayson G D,Hordley S D.Color constancy at a pixel [J].Journal of the Optical Society of America A-optics Image Science and Vision,2001,18(2):253-264.
[12] Finlayson G D,Hordley S D,Drew M S.Removing shadows from images [C]//European Conference on Computer Vision.Berlin:Springer,2002:823-836.
[13] Heikkila J.A four-step camera calibration procedure with implicit image correction [C]//Computer Vision and Pattern Recognition.San Juan:IEEE,1997:1106-1112.
[14]FinlaysonGD,DrewMS,FuntBV.Spectralsharpening:Sensortransformationsforimprovedcolorconstancy[J].JournaloftheOpticalSocietyofAmericaA-opticsImageScienceandVision,1994,11(5):1553-1563.
[15]ByrneCL.Iterativeimagereconstructionalgorithmsbasedoncross-entropyminimization[J].ImageProcessing,1993,2(1):96-103.
[16]NadimiS,BhanuB.Movingshadowdetectionusingaphysics-basedapproach[C]//ProcofInternationalConferenceonPatternRecognition.California:IEEE,2002:701-704.
[17]PappasTN.Anadaptiveclusteringalgorithmforimagesegmentation[J].SignalProcessing,1992,40(4):901-914.
[18]ChanTF,VeseLA.Activecontourswithoutedges[J].ImageProcessing,2001,10(2):266-277.
[19] 黃 芬,于 琪,姚 霞,等.小麥冠層圖像H分量的K均值聚類分割 [J].計算機工程與應用,2014,50(3):129-134.
HuangF,YuQ,YaoX,etal.K-meansclusteringsegmentationforHweightofwheatcanopyimage[J].ComputerEngineeringandApplications,2014,50(3):129-134.(inChinese)
[20] 韓瑞珍.基于機器視覺的農田害蟲快速檢測與識別研究 [D].杭州:浙江大學,2014.
HanRZ.Researchonfastdetectionandidentificationoffieldpestsbasedonmachinevision[D].Hangzhou:ZhejiangUniversity,2014.(inChinese)
[21] 毛 亮,薛月菊,孔德運,等.基于H分量旋轉的荔枝圖像分割算法 [J].計算機工程與應用,2011,47(33):192-194.
MaoL,XueYJ,KongDY,etal.LitchiimagesegmentationalgorithmbasedonrotationofhuecomponentofHSVcolorspace[J].ComputerEngineeringandApplications,2011,47(33):192-194.(inChinese)
[22]CamargoA,SmithJS.Animage-processingbasedalgorithmtoautomaticallyidentifyplantdiseasevisualsymptoms[J].BiosystemsEngineering,2009,102(1):9-21.
Segmentation of shaded plant lesions using illuminant invariant image and clustering algorithm
ZHANG Xing-long,FENG Quan,YANG Mei,ZHANG Hua-nan
(EngineeringCollege,GansuAgriculturalUniversity,Lanzhou,Gansu730070,China)
【Objective】 This study proposed a segmentation method based on illuminant invariant image to improve the accuracy and stability of lesion recognition program.【Method】 This method deemed shadow and non-shadow areas as different illumination sources and illuminant invariant image of the original map was calculated using entropy minimization method.Then the K-mean clustering algorithm was used to segment plant lesions in shaded and non-shaded areas based on illuminant invariant image.Experiments were also carried out to verify the effectiveness.【Result】 Comparison of these two methods showed that the difference of grey value between the lesions in shadow or non-shadow areas when using illuminant invariant image method was 10.7%,much less than H component method.Clustering segmentation algorithm based on illuminant invariant image had the accuracy of 95.0%,better than H component method and the false reject rate was lower.【Conclusion】 Illuminant invariant image method was better and more stable than H component method.It also had higher consistency for same lesion under different lighting conditions.
lesion segmentation;illuminant invariant image;logarithmic transformation;entropy minimization;clustering segmentation
時間:2015-09-09 15:41DOI:10.13207/j.cnki.jnwafu.2015.10.026
2015-04-21
國家自然科學基金項目(61461005)
張星龍(1988-),男,陜西扶風人,碩士,主要從事圖像處理研究。E-mail:zhangxinglong21@163.com
馮 全(1968-),男,甘肅蘭州人,教授,博士,碩士生導師,主要從事圖像處理、生物加密研究。 E-mail:fquan@gsau.edu.cn
TP391.41
A
1671-9387(2015)10-0189-06
網絡出版地址:http://www.cnki.net/kcms/detail/61.1390.S.20150909.1541.052.html