張軍國,程浙安,胡春鶴,陳 宸,鮑偉東
(1.北京林業(yè)大學工學院,北京 100083;2.北卡羅來納大學電氣與計算機工程系,夏洛特 28223;3.北京林業(yè)大學生物科學與技術學院,北京 100083)
中國野生動物資源豐富,其中,國家一級保護動物97種,國家二級保護動物320種[1],對野生動物進行有效保護意義重大。利用圖像、視頻信息對野生動物進行監(jiān)測是野生動物保護管理工作的關鍵組成,可以對物種多樣性、種群數(shù)量及棲息地分布等進行準確估計,為野生動物資源保護提供科學依據(jù)。紅外感應觸發(fā)相機技術是當前野生動物監(jiān)測的主要方式[2],然而受到野外環(huán)境下的不同光照條件和林木遮擋等影響,紅外感應相機采集到的監(jiān)測圖像會出現(xiàn)照度不足、過度曝光及光照突變等問題[3],對監(jiān)測圖像的質(zhì)量產(chǎn)生嚴重影響,所以對野生動物監(jiān)測圖像進行增強具有重要意義。
實現(xiàn)不同光照條件下的圖像增強,對增強技術的自適應性及動態(tài)范圍壓縮能力提出更高的要求。文獻[4]通過先驗知識確定其顏色集,得到顏色分布直方圖,進行差分歸一化對大熊貓監(jiān)測圖像進行增強,為野生動物監(jiān)測圖像增強進行初步探索。而相比于直方圖均衡化與Gamma矯正等傳統(tǒng)圖像增強算法,Land[5]基于Retinex理論提出的圖像增強算法(以下簡稱Retinex算法)在壓縮動態(tài)范圍與邊緣特征保持方面更具優(yōu)勢,使得其在農(nóng)業(yè)作物自動化采摘[6-7]、林區(qū)航拍圖像增強[8]等領域有著廣泛的應用。Retinex 理論是一種基于人類視覺系統(tǒng)顏色恒常知覺的計算理論,它認為物體的顏色是由物體對不同波長光線的反射能力決定的,而不是由反射光強度的絕對值決定的,且物體的色彩不受光照非均勻性的影響,具有一致性。Retinex算法將圖像分為照度分量與反射分量兩部分,認為反射分量圖像包含了物體本身的特性,可將其作為最終增強的圖像。
傳統(tǒng)Retinex算法[9-11]存在偽光暈現(xiàn)象、灰化效應等局限性。學者們針對上述問題進行深入研究,設計復合噪聲特征的濾波器替換經(jīng)典Retinex算法中的高斯濾波器以消除偽光暈,文獻[12-13]采用雙邊濾波估計照度分量,取得較好的降噪和消除光暈的效果,不足之處在于增加了算法的復雜度;文獻[7]采用引導濾波提高運行效率,并實現(xiàn)物體的邊緣保持與偽光暈的消除。文獻[14]采用增加顏色恢復函數(shù)對圖像色彩進行校正;文獻[15]將圖像轉(zhuǎn)化至HSV色彩空間,對亮度通道進行單獨增強,均取得較好的色彩保持效果。以上改進使得Retinex算法在近些年取得了快速發(fā)展,實現(xiàn)了對夜間圖像[16]、霧天圖像[17]及低照度醫(yī)療影像[18]等特定光照條件下的圖像增強處理,但上述方法應用在保護區(qū)野生動物監(jiān)測圖像增強中,缺乏對不同光照條件的自適應性,造成圖像過增強或增強不足等問題。
針對以上問題,本文在對實地采集的野生動物監(jiān)測圖像進行分析的基礎上,提出一種基于Retinex理論的野生動物監(jiān)測圖像自適應增強算法。首先采用基于復合梯度的引導濾波估計照度分量,實現(xiàn)偽光暈消除與動態(tài)范圍壓縮的自適應平衡;然后提出一種基于Otus閾值的自適應拉伸方法對照度分量進行校正,解決傳統(tǒng)Retinex算法過度增強的問題,并且提高算法對不同光照條件的自適應性;最后利用單通道照度分量計算反射分量,實現(xiàn)色彩的保真。
受到野外自然光照變化、天氣條件變化及林木遮擋等諸多因素影響,實地采集到的野生動物監(jiān)測圖像光照信息復雜且存在光照突變情況。本文采用實地拍攝的野生動物監(jiān)測圖像為圖像樣本進行分析,上述樣本為 2010年至2014年間課題組在內(nèi)蒙古賽罕烏拉自然保護區(qū)利用紅外觸發(fā)相機采集,監(jiān)測圖像均為24位RGB真彩色圖像,分辨率為 2560×1920,其中包含馬鹿、斑羚、狍、野豬、猞猁等多種國家級野生保護動物[19]。分析結果表明,野生動物監(jiān)測圖像按照光照條件大致可分為以下 4類:充足照度圖像,低照度圖像,陰影圖像,過度曝光圖像。圖 1為在同一地點拍攝到的不同光照條件下的野生動物監(jiān)測圖像及對應的灰度直方圖。
分別對不同光照條件圖像進行分析:1)充足照度條件下,灰度直方圖在[0,255]內(nèi)均有分布,野生動物區(qū)域照度充足,但增強后圖像易出現(xiàn)過度增強的情況;2)低照度條件下,灰度值集中分布在[0,100]內(nèi),圖像整體偏暗,細節(jié)信息不明顯;3)陰影遮擋條件下,灰度直方圖呈現(xiàn)雙峰,且野生動物在監(jiān)測圖像中出現(xiàn)的區(qū)域存在不確定性,即野生動物出現(xiàn)在陰影區(qū)域或非陰影區(qū)域均存在可能性;4)過度曝光條件下,灰度值集中分布在[150,250]內(nèi),圖像信息丟失嚴重,在本文研究中被視為異常樣本。
針對野外監(jiān)測圖像易受不同光照條件影響,本節(jié)提出光照自適應Retinex圖像增強算法,首先采用基于復合梯度的自適應引導濾波代替?zhèn)鹘y(tǒng)算法的高斯濾波,估計單通道照度分量,克服偽光暈效應;然后通過基于Otus閾值的自適應對比度拉伸對照度分量進行校正,克服過度增強并提高算法自適應性;最后計算反射分量圖像以實現(xiàn)色彩信息的保留,克服灰化效應。算法流程如圖2所示。
根據(jù)本文第一節(jié)分析,實地拍攝的監(jiān)測圖像受到天氣變化、林木遮擋等影響,會出現(xiàn)光照條件突變的情況,傳統(tǒng)Retinex算法采用高斯濾波估計圖像照度分量,僅依據(jù)像素點的歐氏距離賦予不同的權重來估算當前像素的照度,明暗像素值相互影響,導致光照突變區(qū)域照度估計失真,造成偽光暈現(xiàn)象。從運算效率角度分析,高斯濾波器算法的時間復雜度為O(m×n×r2),其中m、n為圖像的尺寸,r為高斯濾波器窗口尺寸,運行效率較低。因此,本文提出一種基于復合梯度的自適應引導濾波,克服以上問題。
引導濾波是一種局部線性濾波器[20],通過建立引導圖像I與輸出圖像Q的線性模型,實現(xiàn)輸入的原圖P的濾波效果,濾波器模型可表示為:
式中,ak與bk是當引導濾波窗口中心位于像素點k時該線性函數(shù)的系數(shù)。要使得輸出圖像Q與輸入圖像P的差別最小,轉(zhuǎn)化為最優(yōu)化問題:
利用線性回歸求解可得局部線性系數(shù)ak與bk的值:
式中,ωk是以r為尺寸的方形濾波器,ω是窗口ωk中像素的數(shù)量,uk、σk2分別是引導圖像I在窗口ωk中的平均值和標準差,是輸入圖像P在窗口ωk中的均值,ε為調(diào)節(jié)濾波程度的平滑因子。引導濾波的運算速率與濾波窗口尺寸無關,時間復雜度為 O(m×n),運算效率優(yōu)于高斯濾波。
本文首先將原圖P轉(zhuǎn)化成單通道灰度圖像Pgray作為輸入圖像,利用公式(1)至公式(4)計算單通道照度分量圖像L,其中,將Pgray作為引導濾波的引導圖像I,則式(3)(4)可簡化為:
平滑因子ε決定了照度分量圖像的平滑程度,可按需設定。對式(5)、(6)進行分析,當 ε=0時,ak=1,bk=0,輸出為原始圖像;當 ε>σk2時,ak趨近于 0,bk近似等于uk,濾波器表現(xiàn)出平滑的效果;反之,當 ε<σk2時,ak趨近于1,bk近似等于0,L近似等于I,濾波器表現(xiàn)出邊緣保持的效果。不同平滑因子ε表現(xiàn)在反射分量圖像中的效果也存在差異,分別設定平滑因子ε為1、0.1、0.01對圖像進行增強試驗,濾波器窗口尺寸r=600,增強結果如圖3所示。對試驗結果進行分析,ε值越大,反射分量圖像明暗突變區(qū)域的偽光暈現(xiàn)象越明顯,但圖像細節(jié)更加突出;ε值越小,偽光暈現(xiàn)象越小,但動態(tài)范圍壓縮過小,細節(jié)增強能力不足。
圖 3 不同尺度引導濾波增強效果圖Fig. 3 Enhancement effect of different scale guided filtering
圖 4 不同濾波器窗口尺寸r增強效果Fig. 4 Enhanced results of different filter windows size r
針對全局平滑因子 ε導致算法的動態(tài)范圍壓縮能力與偽光暈消除效果無法兼顧的問題,本文提出一種基于圖像復合梯度的局部自適應平滑因子 ε對引導濾波進行改進。對于原圖的灰度圖像 Pgray,通過計算灰度圖像各像素點的復合梯度[21]得到梯度圖像Cp,
式中Hp為圖像水平梯度,Vp為圖像垂直梯度,可通過矩陣(8)中的水平/垂直微分模板計算得到,水平/垂直微分模板代表相對于像素點水平/垂直方向 0o與 180o、45o與135o、-45o與-135o的鄰域像素點灰度值差值相加后取平均值。式(8)左起第1個矩陣為水平微分模板,左起第2個矩陣為垂直微分模板。
將得到的復合梯度圖像Cp(i,j)歸一化,并提出自適應平滑因子ε(i,j)與圖像復合梯度Cp(i,j)的關系式(9),
式中δ為限制平滑因子ε過小的常數(shù),本文δ值取0.01。局部自適應平滑因子 ε(i,j)可以保證在圖像復合梯度較大的區(qū)域,即明暗對比度較強的區(qū)域,采用較小的平滑因子ε,達到去除偽光暈去除的效果;在圖像復合梯度較小的區(qū)域,采用較大的平滑因子ε,突出圖像細節(jié)信息,實現(xiàn)偽光暈消除與動態(tài)范圍壓縮聯(lián)合最優(yōu)。
濾波器窗口尺寸的大小同樣會對濾波效果產(chǎn)生影響,本文分別選取r取100、300、600、800進行對比,增強結果如圖4所示??梢钥闯觯瑀越小,增強后圖像暗區(qū)域失真越嚴重;r越大,動態(tài)范圍壓縮能力越差。綜合考慮,本文濾波器窗口尺寸r取600。
傳統(tǒng)Retinex算法在估計照度分量時,往往會出現(xiàn)光照信息強度估計不足的情況,表現(xiàn)在反射分量圖像中,造成圖像較亮區(qū)域的過度增強,因此,需要對估計的照度分量進行校正。而僅對照度分量進行整體提亮,會損害算法的動態(tài)壓縮能力,造成圖像較暗區(qū)域的增強不足。因此,本文提出一種基于Otsu閾值的對比度拉伸方法對估計的照度分量圖像進行自適應校正,在保證算法動態(tài)壓縮能力的同時,實現(xiàn)算法對不同光照情況的自適應性。照度分量圖像 L經(jīng)過映射后得到如下拉伸后的照度圖像L’,
式中,α為拉伸因子,決定對比度拉伸的程度,β為拉伸曲線對稱軸值,調(diào)節(jié)對比度拉伸區(qū)間。圖 5分別繪制了參數(shù)拉伸因子α以及拉伸曲線對稱軸值β取不同值下的對比度拉伸曲線圖。
圖 5 自適應對比度拉伸曲線Fig. 5 Adaptive contrast stretch curve
圖5a繪制了α=1.05下,曲線對稱軸值β分別取100、127.5及150的對比度拉伸曲線,黑色虛線為參考線y=x,參考線上,圖像像素值沒有變化??梢钥闯?,照度分量圖像灰度值在對稱軸值 β附近的映射曲線斜率最大,即對比度拉伸能力最大,保證了圖像的最大拉伸效果;且映射后,照度分量圖像較暗像素點絕大部分位于參考線y=x以下,較亮像素點絕大部分位于參考線y=x以上,表現(xiàn)在反射分量圖像中,可以實現(xiàn)圖像暗部的提亮,并且限制圖像亮部的過度增強。
為了實現(xiàn)不同光照條件下監(jiān)測圖像的自適應增強,采用照度分量 Otus閾值確定式(10)中的參數(shù) β。Otus閾值法通過計算圖像的最大類間方差,得到灰度閾值T,可最大差別的將野生動物監(jiān)測圖像分為明暗2個部分[22]。本文令 β = 2 55T ,則公式(9)可改寫成即通過Otus閾值自適應調(diào)整拉伸區(qū)間。
α決定對比度拉伸的程度,圖 5b分別繪制了 β取127.5條件下,α分別取1.03、1.05、1.1時3條對比度拉伸曲線。當α趨近于1時,映射曲線斜率趨近于0,對比度拉伸能力差,當α趨近于2時,映射曲線斜率趨近于∞,對比度拉伸能力強。經(jīng)過試驗對比,本文選擇拉伸能力較為適中的參數(shù)α=1.05。
根據(jù)Retinex理論,圖像P(x,y)可以表示為照度分量L(x,y)和反射分量R(x,y)的乘積形式。傳統(tǒng)Retinex算法在計算反射分量時,是將原圖和照分量圖像的R、G、B三個色彩通道獨立計算,這破壞了圖像色彩通道的相關性,造成圖像色調(diào)偏離與飽和度降低,即所謂的“灰度世界破壞”[23]。帶色彩恢復的 Retinex算法[19]采用增加顏色恢復函數(shù)以克服“灰化效應”,但增加了算法的復雜度。當前,學者普遍將圖像從RGB色彩空間轉(zhuǎn)化至色調(diào)、飽和度、明度(Hue, Saturation, Value, HSV)色彩空間,對明度分量進行獨立的Retinex增強以實現(xiàn)色彩保真,但試驗表明,圖像亮度值的改變使亮度與飽和度的相對關系發(fā)生變化,圖像色感存在偏離。
本文采用校正后的單通道的照度分量 L’(x,y)與原圖P(x,y)的R、G、B三個色彩通道進行運算,不僅可以保持三個色彩通道的相關性,達到色彩保持的效果,而且避免對色彩空間進行轉(zhuǎn)換,不增加算法的復雜度。在處理中,通常將圖像轉(zhuǎn)至對數(shù)域,從而將乘積關系轉(zhuǎn)換為和的關系,計算公式如下:
式中,i∈{1,2,3}表示RGB三個色彩通道。最后通過公式(12)將對數(shù)域的反射分量圖像經(jīng)指數(shù)函數(shù)量化后作為增強后的圖像R(x,y)。
本文試驗所用計算機配置為:CPU:IntelCorei5-3210M,2.50 GHz,RAM 4GB;運行環(huán)境:Matlab 2012a。將本文算法與帶色彩恢復的Retinex算法(Multi-scale Retinex with color restoration , MSRCR)[14]、HSV色彩空間下基于雙邊濾波的Retinex算法(簡稱雙邊濾波Retinex算法)[24]與YCbCr色彩空間下基于引導濾波的Retinex算法(簡稱引導濾波Retinex算法)[25]進行對比分析。MSRCR算法的3個高斯核σ取值為30、80、200,且三者權值平均分配,窗口尺寸為 300,色彩恢復參數(shù)α取20,β取1;雙邊濾波Retinex算法濾波器參數(shù)為εr=30、εd=0.3,窗口尺寸為300;引導濾波Retinex算法濾波器參數(shù)為ε=0.01,窗口尺寸為300,色彩恢復參數(shù)α取140,β取1。
圖6為對充足光照條件、低照度條件、陰影條件下的野生動物監(jiān)測圖像的算法試驗效果圖。通過視覺效果對比可以得出,MSRCR算法的色調(diào)偏離問題最嚴重,在部分區(qū)域會出現(xiàn)色彩翻轉(zhuǎn)的現(xiàn)象,在圖 6陰影條件下,左起第二幅圖的明暗突變區(qū)域出現(xiàn)偽光暈現(xiàn)象,明暗過度不自然;且 MSRCR算法存在過增強,圖像信息丟失的問題。雙邊濾波Retinex算法與引導濾波Retinex算法分別將圖像轉(zhuǎn)化到HSV與YCbCr色彩空間,對亮度通道進行單獨的運算處理,所以具有較好的色調(diào)保持性;且雙邊濾波與引導濾波估計的照度分量相較于高斯濾波更為準確,偽光暈消除效果理想。但雙邊濾波Retinex算法圖像整體偏暗,且在圖 6低照度條件下的左起第三幅圖中出現(xiàn)黑邊現(xiàn)象。引導濾波Retinex算法對于光照突變條件下圖像暗區(qū)域的增強能力不足。本文算法使得增強后的圖像較好的保持了原圖的色彩,在明暗突變區(qū)域過度自然,提高了不同光照條件的圖像較暗區(qū)域的亮度,且限制了較亮區(qū)域的過度增強,實現(xiàn)了光照自適應的要求。
圖 6 不同光照條件圖像增強效果對比圖Fig. 6 Different illumination conditions experimental image
本文分別從色調(diào)保真度、信息熵、峰值信噪比與運行時間等客觀評價指標[26-27]對圖 6的增強效果圖進行對比分析,對本文算法的有效性進行驗證。色調(diào)保真度反映了增強后圖像色調(diào)的偏差程度,色調(diào)保真度值越低則保真效果越好;信息熵描述了圖像信源的平均信息量的多少,信息熵越高則圖像含有信息更豐富;峰值信噪比用來反映增強算法增強后圖像的保真程度,其值越大,圖像增強效果越好。
表 1 圖像增強質(zhì)量性能評價Table 1 Image enhancement quality performance evaluation
試驗圖像6的客觀評價如表1所示。
通過表1的數(shù)據(jù)對圖像算法進行分析:1)本文算法增強后圖像的色調(diào)均小于 0.03,說明對原圖的色彩信息起到了理想的保真效果,與主觀感覺相符,優(yōu)于MSRCR算法;由于雙邊濾波Retinex算法與引導濾波Retinex算法分別將圖像轉(zhuǎn)化至HSV空間與YCbCr空間,對亮度空間進行單獨的增強運算,因此也具有較強的色彩保持能力。2)本文算法的信息熵相較于MSRCR算法、雙邊濾波Retinex算法及引導濾波Retinex算法最高,說明本文算法增強后的圖像含有更多的信息量。3)本文算法的峰值信噪比值明顯高于 MSRCR算法,略優(yōu)于雙邊濾波Reitnex算法,表明增強后圖像相較于原圖失真較少,保留了更多的原圖信息。4)由于本文算法在傳統(tǒng) Retinex算法基礎上加入了自適應校正環(huán)節(jié),因此運算效率略低于MSRCR算法;但相比于引導濾波Retinex算法更為快速,且相比于雙邊濾波 Retienx算法,本文算法的運算時間僅為其五分之一,證明了本文算法擁有較高的運算效率。
為了進一步驗證本文算法的性能,從野生動物監(jiān)測圖像中隨機選取50張,計算并統(tǒng)計不同算法的性能評價指標值,統(tǒng)計分析結果顯示:本文算法相比于 MSRCR算法、雙邊濾波Retinex算法和引導濾波Retinex算法,色調(diào)保真度平均提高81.00%、5.24%和3.58%,信息熵平均提高 6.76%、6.23%和 2.61%,峰值信噪比平均提高53.43%、5.36%和-2.85%,運算耗時減少-29.03%、78.51%和28.68%,進一步證明本文算法的優(yōu)越性。
本文提出了一種基于Retinex理論的圖像增強方法,通過對照度分量圖像的自適應估計與校正,實現(xiàn)了白天不同光照條件下野生動物監(jiān)測圖像的自適應增強。利用本文算法對內(nèi)蒙古賽罕烏拉國家級自然保護區(qū)實地采集到的野生動物監(jiān)測圖像進行處理,并與 MSRCR算法、雙邊濾波Retinex算法及引導濾波Retinex算法進行比較。試驗結果表明,本文算法相比于 MSRCR算法、雙邊濾波Retinex算法及引導濾波Retinex算法,色調(diào)保真度平均提高81.00%、5.24%和3.58%,信息熵平均提高6.76%、6.23%和2.61%,峰值信噪比平均提高53.43%、5.36%和-2.85%,運算耗時僅為雙邊濾波Retinex算法的五分之一,并且克服了傳統(tǒng)Retinex算法存在的偽光暈效應、灰化效應及過增強問題,可以實現(xiàn)不同光照條件野生動物監(jiān)測圖像自適應增強,可以為進一步提高野生動物的機器自動識別準確率提供了有效支撐。