樹葉圖像鏡面反射區(qū)自動定位和消除方法

付 慧， 黃心淵

(北京林業(yè)大學(xué)信息學(xué)院，北京100083)

0 引 言

鏡面反射區(qū)域常常出現(xiàn)在很多照片圖像中，這使很多計算機圖像處理的工作，例如邊緣檢測，圖像分割，目標識別等產(chǎn)生一些錯誤結(jié)果。很多圖像處理和計算機視覺的算法都假設(shè)圖像具有很好的漫反射表面并且將存在鏡面反射的圖像視作異常值，不予考慮。但是，在現(xiàn)實世界中，尤其是在自然光照下拍攝的照片中，不均勻光照的影響和鏡面反射的存在是不可避免的。因此，為了消除圖像中的鏡面反射區(qū)域，研究人員們提出了很多定位鏡面反射區(qū)的方法。

1 相關(guān)知識

本文的工作是基于一類特殊對象——樹葉圖像來定位鏡面反射區(qū)域。樹葉圖像是林業(yè)野外資源調(diào)查中最常拍攝的圖像，受自然光照的影響，圖像中存在鏡面反射區(qū)的情況很常見。而在林業(yè)研究中，主要基于樹木上可測量的各種參數(shù)來估計植物生長量。除了利用手動測量各個參數(shù)之外，根據(jù)圖像得到更精確的參量數(shù)據(jù)是目前林業(yè)科研的一個新方向。樹葉圖像是目前研究的較多的一類圖像。利用從圖像中提取的參數(shù)與實測的如樹高、冠幅等參數(shù)來估計植物的生長情況。在樹葉圖像中準確分割出樹葉區(qū)域就能夠計算葉面積，葉長、葉寬等作為估計植物生長量的有效指標。目前傳統(tǒng)的葉面積計算方法是通過在圖像處理軟件中手動摳取樹葉的外輪廓，然后以像素個數(shù)替代葉面積。將自動化的圖像處理方法引入林業(yè)研究中，將進一步提高林業(yè)的數(shù)字化，自動化水平。目前已有一些研究者開始了這方面的研究。侯國祥等[1]利用參照硬板和樹葉照片獲取樹葉的實際面積。該方法不考慮樹葉圖像存在鏡面反射的問題。但是即使是不存在鏡面反射的樹葉圖像在自然光照下也存在圖像光照變化較大的問題，導(dǎo)致圖像進行全局性分割是不可行的。只好采用局部分割方法來得到圖像中的樹葉區(qū)域，而這種局部分割方法受圖像初始分割的影響很大。如果劃分的不好，則無法完整的提取樹葉圖像。王代琳等[2]利用神經(jīng)網(wǎng)絡(luò)的方法進行樹葉識別，主要利用樹葉圖像的可見外形特征，如葉面積，葉邊緣和葉輪廓。這些特征都會受光照的影響而出現(xiàn)提取錯誤。樹葉的外輪廓常常具有邊緣豐富的特點，邊緣又是梯度變化劇烈的區(qū)域，也常常表現(xiàn)為高亮成分，這與鏡面反射區(qū)很相似，難以區(qū)分。因此需要研究一種能夠有效區(qū)分邊緣與鏡面反射成分的方法。

圖像中鏡面反射區(qū)的定位方法是一個熱點問題，它涉及到圖像拍攝時的光照變化，物體的表面材質(zhì)特性，還有成像時鏡面反射的光學(xué)原理等很多方面，因此也是一個難點問題。在圖像處理研究中，圖像增強主要關(guān)注光照不均的圖像，重點在增強暗區(qū)的細節(jié)表現(xiàn)。對于存在鏡面反射區(qū)的圖像主要研究鏡面反射區(qū)的定位和消除方法。目前在指紋成像，人臉識別，醫(yī)學(xué)圖像增強等領(lǐng)域都有了積極的研究成果。在圖像增強領(lǐng)域，目前應(yīng)用很廣的有Retinex[3]理論及由其擴展而來的MSR[4]，ADCSR[5]等多個算法。Retinex理論是由EdwinLand于19世紀70年代提出的一種顏色恒常知覺的色彩理論。Retinex理論主要包含兩個方面：物體的顏色是由物體對長波、中波和短波光線的反射能力決定的，而不是由反射光強度的絕對值決定的；物體的色彩不受光照非均勻性的影響，具有一致性。Retinex相關(guān)算法能夠?qū)D像中的強光區(qū)域抑制，增強暗區(qū)細節(jié)。劉茜[6]等提出了區(qū)域分割的自適應(yīng)MSR來處理圖像光照不均的問題。

早期的鏡面反射區(qū)定位工作以Wolff[7]為代表，分割出灰度圖像上的鏡面反射區(qū)域。由于在光學(xué)上鏡面反射成分是偏振的，漫反射成分是無偏振的，因此利用一個偏振濾波器放置在圖像傳感器之前采集一系列的旋轉(zhuǎn)圖像，鏡面反射成分會隨著濾波器旋轉(zhuǎn)角度的變化而變化。但這種方法的缺點是需要一系列的圖像，不能直接對單張圖像進行鏡面反射區(qū)定位，具有很大的局限性。目前在公安上應(yīng)用這種方法進行指紋成像。李欣[8]等基于偏振光照相方式，消除鏡面反射的影響，顯現(xiàn)鏡面客體上遺留的潛在指紋。

近期以Shafer[9]為代表，提出了使用一幅彩色圖像定位鏡面反射區(qū)的方法。他提出了一種雙色反射模型(dichromaticreflection model，DRM)。物體表面光照主要由漫反射成分和鏡面反射成分組成。漫反射反映的是物體本身的顏色特征，鏡面反射反映的是入射光的顏色特征。Shafer認為光滑材料表面反射的光線中，漫反射與鏡面反射成分具有不同的顏色，在顏色空間中處于不同的位置。鏡面反射成分的顏色就是入射光的顏色，而漫反射的顏色取決于材料表面的顏色。Shafer將圖像中每個點的顏色看作不同方向的兩個矢量的和 (一個是入射光顏色，一個是材料表面顏色)。雙色模型能夠較好的定位鏡面反射區(qū)，但是同時其計算量也非常巨大。Klinker[10]發(fā)展了雙色模型，提出一種T型分布算法。但這種方法受相機噪聲的影響較大，并且T型分布在很多情況下也不能很好的獲得，因此估計出的光源顏色也不是很準確。目前，很多研究者正在研究雙色模型的改進方法。如孫欣欣等[11]提出了一種最佳分析窗口的改進方法。將雙色模型計算的范圍縮小到一個最佳窗口上，以減低計算的復(fù)雜性。陳鍛生等[12]提出了一種基于雙色模型檢測彩色人臉圖像中鏡面反射區(qū)的方法。該方法應(yīng)用了一個新的彩色空間TSL(tintsaturationluminance)，基于該空間利用DRM進行鏡面反射區(qū)的定位和輻射校正。G Z[13]提出了一種定位子宮圖像中鏡面反射區(qū)的方法。他利用混合高斯模型，基于HSV顏色空間進行定位。該文中還介紹了鏡面反射區(qū)消除方法：利用確定的鏡面反射區(qū)像素鄰域中的非鏡面反射像素的顏色均值進行替換，從外向內(nèi)迭代進行。該方法比較適合鏡面反射區(qū)面積較小的情況。譚平等[14]基于鏡面反射區(qū)與漫反射區(qū)光的色度特性不同，提出了一種交互檢測單色物體表面鏡面反射區(qū)的方法。引入補色方法對原圖像鏡面反射區(qū)進行消除。

上述方法都是有效的，但要應(yīng)用于樹葉圖像還要結(jié)合樹葉圖像的特點。樹葉圖像中背景常常是葉片和樹皮等有自然紋理的區(qū)域，具有較為復(fù)雜的邊緣。而邊緣又易與鏡面反射區(qū)相混淆。葉片上的漫反射區(qū)與鏡面反射區(qū)常具有極為相近的顏色特征，使得在顏色空間中無法準確分割這兩部分內(nèi)容。基于以上問題，本文將圖像增強方法和鏡面反射區(qū)處理方法相結(jié)合，提出了一種組合Retinex算法和混合高斯模型的方法。利用 Retinex算法能夠準確定位圖像中高亮度范圍的優(yōu)勢得到初始鏡面反射區(qū)，然后利用混合高斯模型能夠?qū)毼⒌牟顒e進行區(qū)分的特性，基于RGB顏色通道分別建立對應(yīng)的高斯混合模型，并通過加權(quán)組合找到最終的鏡面反射區(qū)。該方法能夠準確的定位出樹葉圖像中多個離散的和大面積的鏡面反射區(qū)，準確率達到88%。由于分別在每個顏色通道進行GMM計算，因此計算復(fù)雜度也不高。最后基于GMM確定的漫反射區(qū)色調(diào)均值修正鏡面反射區(qū)的顏色。實驗結(jié)果顯示本方法是有效的。

2 自然光照下樹葉圖像鏡面反射區(qū)定位方法

樹葉圖像上的鏡面反射區(qū)域常位于葉片上各種不同的位置。在本文中假設(shè)鏡面反射區(qū)只出現(xiàn)在樹葉圖像的葉片上。Retinex算法可以消除圖像中光照不均現(xiàn)象，并且增強圖像暗區(qū)的細節(jié)和抑制圖像亮區(qū)的強度。

2.1 初始鏡面反射區(qū)定位

我們發(fā)現(xiàn)傳統(tǒng)的圖像增強方法如 Retinex算法雖然不能移除鏡面反射區(qū)，但是它可以抑制鏡面反射區(qū)的亮度值。如果找到那些亮度被Retinex算法抑制的區(qū)域，就找到了鏡面反射區(qū)。在Retinex算法中使用的高斯函數(shù)定義如下

式中：——尺度常數(shù)，尺度越小，就可以移除盡可能多的光照不均造成的影響，使暗區(qū)亮度增強，使亮區(qū)亮度抑制。本文中=80。在增強后的圖像中，樹葉圖像中鏡面反射區(qū)域像素的亮度值會被減弱，小于原始圖像中對應(yīng)區(qū)域像素的亮度值。我們計算增強圖像與原始圖像亮度的差值，像素值為負值即表示該像素的亮度受到抑制，可能是鏡面反射區(qū)。初始鏡面反射區(qū)域由式(2)得到。原圖像劃分為初始鏡面反射區(qū)和漫反射區(qū)

式中：——一個常數(shù)，范圍[0,1]。的值越大，則初始鏡面反射區(qū)越大，反之初始鏡面反射區(qū)越小。在本文中 =0.4。參數(shù)是增強圖像與原圖像亮度差值中的最小值。圖1(a)顯示了原始樹葉圖像，圖1(b)顯示了檢測到的初始鏡面反射區(qū)域。從圖像中我們可以發(fā)現(xiàn)一些檢測到的區(qū)域?qū)儆跇淙~上的葉脈成分，不屬于鏡面反射區(qū)。我們需要進一步的區(qū)分它們。

圖1 原圖像和定位的初始鏡面反射區(qū)

2.2 基于GMM得到最終的鏡面反射區(qū)

我們發(fā)現(xiàn)鏡面反射區(qū)與漫反射區(qū)具有不同的顏色值。樹葉圖像中，從鏡面反射區(qū)到漫反射區(qū)顏色是逐漸變化的，因此在3維顏色空間中無法得到很好的分割，原因在于鏡面反射區(qū)與漫反射區(qū)的顏色差別非常小。為了使鏡面反射區(qū)和漫反射區(qū)的顏色差別變得更加突出，使用RGB這3個獨立的顏色通道代替3維的RGB向量空間。這樣降低維度之后進一步提高了運算的速度。GMM常被用于模式分類，本文中選擇它用于分割初始鏡面反射區(qū)成為最終的鏡面反射區(qū)和漫反射區(qū)。

假設(shè)初始鏡面反射區(qū)中存在兩個類別：一個是鏡面反射區(qū)，另一個是漫反射區(qū)。因此本文中，參數(shù) =2。同時本文中=1，代表著一個顏色通道。為了突出體現(xiàn)像素之間的顏色差別，我們計算初始鏡面反射區(qū)的顏色均值 ，基于式(4)得到每個像素與均值的顏色差

式中：——初始鏡面反射區(qū)中任意一個像素的顏色值。得到的顏色差是用于訓(xùn)練GMM的數(shù)據(jù)集。每個顏色通道的顏色差集合能訓(xùn)練一個GMM，從而得到該顏色通道的一個分割結(jié)果。

我們使用EM算法來訓(xùn)練GMM[15]。首先使用k均值算法來得到聚類的初始中心，然后利用EM算法得到每個高斯模型的參數(shù)值。結(jié)束條件為迭代的次數(shù)超過所設(shè)定的最大值(本文為5)?；谑?5)對初始鏡面反射區(qū)像素進行標定

GMM的訓(xùn)練過程需要多次的迭代，需要花費大量的時間，同時在訓(xùn)練時使用的數(shù)據(jù)量也非常大，這是因為初始鏡面反射區(qū)常常面積較大。因此我們必須簡化一些處理過程。這里我們選擇歐幾里得距離而不是后驗概率來進行標定，能夠減少部分計算時間。我們將高斯模型中均值較大的作為鏡面反射區(qū)的顏色均值，基于式(6)將每個GMM的標定結(jié)果作如下修改，使高亮區(qū)的標定統(tǒng)一為1。

初始鏡面反射區(qū)在RGB每個顏色通道的分割結(jié)果如圖2(a)，2(b)，2(c)所示。檢測到的鏡面反射區(qū)用灰色表示。我們可以發(fā)現(xiàn)在圖2(a)中檢測到的灰色區(qū)域包含了幾乎所有的鏡面反射區(qū)范圍?？紤]到自然光中紅色通道具有更多的能量，我們?yōu)槊總€顏色通道設(shè)定了權(quán)值。紅色通道的權(quán)值最大，為0.4，綠色和藍色通道的權(quán)值分別為0.3。所有權(quán)值和為1。我們用式(7)得到最終的分割結(jié)果，這里閾值為0.7。圖2(d)中深灰色區(qū)域即為檢測到的鏡面反射區(qū)。

圖2 3個通道的分割結(jié)果及最終定位的鏡面反射區(qū)

3 樹葉圖像鏡面反射區(qū)消除方法

由于鏡面反射區(qū)的顏色與漫反射區(qū)不同，因此常使得后續(xù)的分割出現(xiàn)錯誤的結(jié)果。因此在得到鏡面反射區(qū)范圍之后，我們需要將其消除，使其不再干擾后續(xù)的圖像分割等工作。傳統(tǒng)的鏡面反射區(qū)消除工作常常是將鏡面反射區(qū)像素顏色替換為其鄰域中所有漫反射像素的顏色均值，由外向內(nèi)迭代的進行運算。這種方法對于鏡面反射區(qū)較小的圖像是有效的。但是在本文中，樹葉圖像中可能存在大面積的鏡面反射區(qū)，采用這種迭代方法非常耗費時間。因此我們提出了一種簡單有效的鏡面反射區(qū)消除方法。由于在確定最終鏡面反射區(qū)時我們得到了初始鏡面反射區(qū)中漫反射的高斯模型。該值統(tǒng)計的是漫反射區(qū)域顏色與初始鏡面反射區(qū)均值差的平均值。因此需要在其基礎(chǔ)上加上初始鏡面反射區(qū)顏色均值，作為鏡面反射區(qū)像素的替代顏色值，這樣就消除了鏡面反射區(qū)，如圖3所示。雖然該消除方法在外觀上看有明顯修飾的痕跡，但是其定位準確，修正速度快。如果希望得到更逼真的修圖效果，我們可以結(jié)合顏色抖動，或者利用每個像素其鄰域漫反射像素的顏色值，可以通過并行計算來加快計算速度。這也是我們后續(xù)研究的部分內(nèi)容。

圖3 消除鏡面反射區(qū)的結(jié)果

4 實驗和結(jié)果分析

本文給出的方法在20幅主要以樹葉為背景的圖像上進行測試。要求測試圖像是以一個樹葉為主要成分，同時鏡面反射區(qū)只出現(xiàn)在樹葉上。每個測試圖像中采用在PS2中手工標記的方式得到實際的鏡面反射區(qū)域。本文提出的算法的性能采用準確率來估計。

手工標定測試圖像中的鏡面反射區(qū)是通過PS2中的套索工具將區(qū)域輪廓進行摳圖所得，是近似區(qū)域，無法達到像素級別的準確度。而且，手工標定鏡面反射區(qū)域的結(jié)果高度依賴于不同的人的標定風格。因此，利用足夠多的人進行標定以達到一個可靠的標定結(jié)果是困難的。所以，在本文中采用的評價指標準確率由式(8)得到

我們選取了20幅圖像測試了本文算法。與文獻 [13]相比，我們的準確率到達88%，要高于它的85.8%。準確率的提高主要在于將Retinex算法與GMM相結(jié)合，組合了兩者的優(yōu)勢，Retinex算法用于在整幅圖像上確定高亮度區(qū)域，GMM用于在局部范圍內(nèi)定位鏡面反射區(qū)。這樣就有效的將樹葉圖像上的邊緣與真正的鏡面反射區(qū)進行了區(qū)分。

部分測試圖像在圖4(a)中顯示。圖4(b)中深灰色區(qū)域為檢測到的鏡面反射區(qū)。(c)顯示了鏡面反射區(qū)消除后的結(jié)果。由于只能采用灰度圖像顯示，所以效果看不起來不明顯。但對比圖4中(c)和(a)中圖像，可以看到原圖像上鏡面反射區(qū)的亮度被降低了。

本方法的局限性是如果背景中存在較高的亮度區(qū)域，目前還無法用本方法處理。如果背景是亮的天空，或者是亮的地面則本方法在初始鏡面反射區(qū)確定時，會將天空和地面都作為鏡面反射區(qū)檢測出來。而我們的GMM主要考慮的是兩類區(qū)分，沒有考慮除了樹葉葉面上漫反射區(qū)和鏡面反射區(qū)兩類之外，存在其他類別的問題。因此，要解決這個問題還需要選擇合適的特征，將GMM擴展，使其能夠區(qū)分多個類別。這樣就能將天空，亮色的地面與鏡面反射區(qū)相區(qū)別開。同時我們也需要利用更多的與樹葉的相關(guān)知識來幫助進行樹葉和背景區(qū)域的分割。這是我們后續(xù)研究的內(nèi)容。

5 結(jié)束語

圖4 部分測試圖像及結(jié)果

我們提出了一種自動檢測和消除樹葉圖像中葉片上鏡面反射區(qū)域的新方法。針對樹葉圖像中邊緣較多，背景復(fù)雜的情況，綜合利用了圖像的整體亮度變化和局部顏色區(qū)別，組合了Retinex算法和GMM方法來實現(xiàn)鏡面反射區(qū)定位。本文提出的方法能夠消除鏡面反射區(qū)對樹葉圖像的影響，對樹葉圖像的良好與處理將對樹葉圖像的后續(xù)分析(圖像分割，圖像識別)起到積極的作用。本文的方法目前還不能處理圖像的背景中存在高亮度區(qū)域的情況。這個問題可以通過擴展訓(xùn)練高斯混合模型的特征和引入更多的關(guān)于樹葉的先驗知識來解決。這是我們后續(xù)的研究重點。

[1]侯國祥,翁章卓,李洪斌,等.基于圖像處理的樹葉面積測量系統(tǒng)[J].武漢植物學(xué)研究,2005,23(4):369-372.

[2]Wang D L,Zhang X M,Liu Y Q.Recognition system of leaf images based on neuronal network[J].Journal of Forestry Research,2006,17(3):243-246.

[3]Land E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[4]汪劉艷,王緒本.多尺度Retinex算法在簡牘圖象增強中的應(yīng)用[J].計算機科學(xué),2009,36(3):288-290.

[5]唐磊,趙春霞,王鴻南,等.基于各向異性Retinex的路面圖像陰影消除[J].中國圖象圖形學(xué)報,2008,13(2):264-268.

[6]Liu Qian,Li Xiang-lin,Lu Xin-hong.Adaptive MSR method based on region segmentation[J].Journal of Computer Engineering,2009,35(24):205-207.

[7]Wolff L B,Boult T.Constraining object features using polarization reflectance model[J].IEEE Trans Magn,Pattern Analysis and Machine Intelligence,1991,13(7):635-657.

[8]李欣,王桂強.偏振光照相顯現(xiàn)鏡面客體上的潛在指印[J].刑事技術(shù),2007(1):7-8.

[9]Shafer S.Using color to separate reflection components[J].InternationalJournalof Color Research and Applications,1985,10(4):210-218.

[10]Klinker G J,Shafer S A,Kanade T.The measurement of highlights in color images[J].International Journal of Computer Vision,1988,2(1):7-32.

[11]孫欣欣,徐舒暢,盧滌非.基于最佳分析窗口的高光檢測批[J].計算機工程與設(shè)計,2007,28(6):1469-1472.

[12]陳鍛生,劉政凱.彩色圖像人臉高光區(qū)域的自動檢測與校正方法[J].軟件學(xué)報,2003,14(11):1900-1906.

[13]Moreno G Z,Greenspan H.Automatic detection of specular reflections in uterine cervix images[C].San Diego,CA,USA:SPIE Conference on Medical Imaging,2006:2037-2045.

[14]譚平,楊杰,雷蓓,等.用于去除單張圖像高光的光照約束補色[J].軟件學(xué)報,2004,15(1):33-40.

[15]Christopher M Bishop.Pattern recognition and machine learning[M].New York,USA:Springer Science Business Media,2006:435-438.