基于引導(dǎo)濾波的自適應(yīng)紅外圖像增強(qiáng)改進(jìn)算法

汪子君，羅淵貽*，蔣尚志，熊楠菲，萬李濤

1. 電子科技大學(xué)航空航天學(xué)院，四川 成都 611731 2. 飛行器集群智能感知協(xié)同控制四川省重點(diǎn)實(shí)驗室，四川 成都 611731

引 言

紅外圖像作為紅外技術(shù)和成像技術(shù)結(jié)合的產(chǎn)物，在工業(yè)、軍事、民用等領(lǐng)域被廣泛使用。由于紅外波輻射波長較長、易受大氣熱輻射等因素影響，使得紅外圖像空間分辨力較低，圖像細(xì)節(jié)紋理較模糊。因此，如何提升紅外圖像的對比度，突出細(xì)節(jié)信息就顯得十分重要。傳統(tǒng)的圖像增強(qiáng)算法通常以直方圖均衡為基礎(chǔ), 該算法是為解決圖像的灰度分布集中、對比度差的問題而提出，使圖像的直方圖達(dá)到“最平坦”，卻使一些灰度相近、分布較少的圖像細(xì)節(jié)信息被抹去。例如，有限對比度的自適應(yīng)直方圖均衡[1]，動態(tài)直方圖均衡[2]，有限范圍的雙直方圖均衡[3]等等。這些算法能有效的增強(qiáng)圖像對比度，但一些紋理信息會因為對細(xì)節(jié)的忽視而變得模糊。

各國學(xué)者提出了多種紅外圖像細(xì)節(jié)增強(qiáng)算法。2009年Branchitta和Francesco提出了基于雙邊濾波的動態(tài)范圍分割算法[4]。在此基礎(chǔ)上，各國學(xué)者提出了與之相似的濾波分層框架算法，使得這種分層模式的算法在紅外圖像細(xì)節(jié)增強(qiáng)方面更為普遍[5]。在基于雙邊濾波的動態(tài)范圍分割算法中，雙邊濾波將原始圖像分為包含低頻信息的基礎(chǔ)層分量和包含高頻信息的細(xì)節(jié)層分量，通過壓縮算法和噪聲抑制分別對兩層分量進(jìn)行處理，選擇合適的融合比例將兩層分量的圖像進(jìn)行融合。分層模式的算法處理，在保留紅外圖像細(xì)節(jié)信息的同時增強(qiáng)了紅外圖像的對比度。但雙邊濾波器在圖像灰度變化比較劇烈的邊緣易出現(xiàn)梯度翻轉(zhuǎn)現(xiàn)象，圖像將出現(xiàn)光暈偽像[4]。為了消除梯度翻轉(zhuǎn)現(xiàn)象并減少整體算法運(yùn)算時間，Liu等在2014年提出了一種基于引導(dǎo)濾波的DDE算法(detail enhancement for high-dynamic-range infrared images based on guided image filter，GF&DDE)。算法采用引導(dǎo)濾波代替雙邊濾波，既保留圖像細(xì)節(jié)信息又避免梯度翻轉(zhuǎn)現(xiàn)象。由于算法采用設(shè)定參數(shù)的方法，場景自適應(yīng)性較差。因此，為了實(shí)現(xiàn)自適應(yīng)場景的參數(shù)調(diào)節(jié)，Zhou等在2018年提出了一種基于引導(dǎo)濾波的自適應(yīng)紅外圖像細(xì)節(jié)增強(qiáng)算法(an improved adaptive detail enhancement algorithm for infrared images based on guided image filter，AGF&DDE)[6]，通過直方圖分布信息為基礎(chǔ)層圖像確定自適應(yīng)門限，去除圖像中無效灰度值，使得基礎(chǔ)層圖像能更好的顯示有效信息。

AGF&DDE算法在GF&DDE算法的基礎(chǔ)上對門限參數(shù)進(jìn)行了場景自適應(yīng)調(diào)節(jié)。但基礎(chǔ)層圖像處理過程中，門限的二值化和基礎(chǔ)層壓縮增加了算法的運(yùn)算時間。此外，基礎(chǔ)層圖像與細(xì)節(jié)層圖像融合時，AGF&DDE算法中圖像的基礎(chǔ)層與細(xì)節(jié)層融合比例為定值，對于復(fù)雜地面場景紅外圖像，可突出細(xì)節(jié)、抑制噪聲，但對于含有大面積天空背景的紅外圖像，算法處理后的紅外圖像包含大量噪聲干擾。

本文提出一種基于引導(dǎo)濾波的自適應(yīng)紅外圖像增強(qiáng)改進(jìn)算法，在滿足自適應(yīng)場景圖像增強(qiáng)的情況下減少算法運(yùn)算時間。在紅外圖像基礎(chǔ)層處理方面，為了滿足顯示設(shè)備或快速處理的8位數(shù)據(jù)寬度要求，根據(jù)直方圖分布和有效灰度值個數(shù)計算出壓縮數(shù)組，將16 bit圖像壓縮至8bit圖像；紅外圖像融合方面，通過有效灰度值個數(shù)計算融合比例，達(dá)到自適應(yīng)場景的效果。

1 算法簡介

引導(dǎo)濾波可平滑輸出圖像，將圖像分為基礎(chǔ)層以及細(xì)節(jié)層，并能保存細(xì)節(jié)信息、抑制噪聲[7]。本文采用引導(dǎo)濾波算法將原始紅外圖像分為基礎(chǔ)層圖像和細(xì)節(jié)層圖像

IMGbase=Tguide×IMGoriginal

(1)

IMGdetail=IMGoriginal-IMGbase

(2)

式(1)和式(2)中，Tguide為引導(dǎo)圖像濾波傳遞函數(shù)，IMGoriginal代表原始圖像，IMGbase為基礎(chǔ)層圖像，IMGdetail為細(xì)節(jié)層圖像。

1.1 基礎(chǔ)層圖像處理

基礎(chǔ)層圖像包含原始圖像較為豐富的場景信息，因此需增強(qiáng)基礎(chǔ)層圖像的對比度[6]。二值化直方圖門限TH，如式(3)所示。

TH=(smax-smin)×β+smin

(3)

式(3)中，smax和smin分別為基礎(chǔ)層圖像直方圖中的最大值與最小值。β是范圍為0到1的參數(shù)，決定圖像中無效像素值的比例。通常認(rèn)為95%置信區(qū)間內(nèi)的灰度值為有效的[8]，其余5%灰度值為無效，因此式(3)中的β值設(shè)置為0.05。

在AGF&DDE中，根據(jù)門限TH進(jìn)行直方圖二值化處理，處理后的二值化直方圖可表述為式(4)

(4)

式(4)中，H(K)為門限TH二值化后的統(tǒng)計直方圖，nk表示第k個灰度值所包含的像素點(diǎn)個數(shù)。在得到二值化直方圖后，AGF&DDE算法中的基礎(chǔ)層輸出圖像可以表示為

(5)

式(5)中，Ibp為處理后的基礎(chǔ)層圖像，nvalid代表二值化直方圖中值為“1”的灰度值個數(shù)總和。

如式(4)和式(5)所示，AGF&DDE算法通過計算門限TH，將直方圖進(jìn)行二值化處理，對基礎(chǔ)層圖像進(jìn)行動態(tài)壓縮。此算法有效的增強(qiáng)了基礎(chǔ)層圖像的對比度，但在根據(jù)二值化直方圖分布進(jìn)行基礎(chǔ)層圖像動態(tài)壓縮的過程中，每將一個16 bit圖像中像素點(diǎn)灰度值n映射到0～255之間時，都需對二值化直方圖進(jìn)行一次從1～n的加法，增加了算法的計算量。其次，當(dāng)有效灰度值個數(shù)低于50時，此算法會將圖像的整體灰度放置在[1, 50]范圍內(nèi)，使得圖像十分暗淡。本文采用不同的數(shù)學(xué)方式對其基礎(chǔ)層算法進(jìn)行表達(dá)。根據(jù)直方圖分布以及門限大小得出一維數(shù)組P(k)，表達(dá)式如式(6)所示

(0≤k≤2M-1)

(6)

式(6)中，P(k)是值為0～nvalid的一維數(shù)組，分別對應(yīng)直方圖中0～2M-1個灰度級數(shù)，在已知有效灰度值nvalid的數(shù)值和映射數(shù)組的情況下，可將16 bit紅外圖像映射為8 bit紅外圖像?；A(chǔ)層圖像的壓縮算法如式(7)所示

(7)

式(7)中，Ibp為處理后的基礎(chǔ)層輸出圖像，l為原圖像的像素值，范圍為0～2M-1。當(dāng)有效灰度值個數(shù)小于150時，本算法會將原圖像灰度范圍壓縮至[(255-nvalid)/2, 255-(255-nvalid)/2]，可提升紅外圖像整體視覺效果。

1.2 細(xì)節(jié)層圖像處理

細(xì)節(jié)層圖像中包含著大量的細(xì)節(jié)和噪聲，處理的重點(diǎn)在噪聲的抑制以及細(xì)節(jié)信息的增強(qiáng)。AGF&DDE算法與BF&DDE算法在細(xì)節(jié)層圖像處理方面較為相似，皆采用了自適應(yīng)增益控制的方法對細(xì)節(jié)層圖像進(jìn)行增強(qiáng)。AGF&DDE算法采用了引導(dǎo)濾波的線性系數(shù)而BF&DDE算法采用了濾波核權(quán)值系數(shù)，AGF&DDE算法細(xì)節(jié)層圖像處理方法如式(8)所示。

Idp(i，j)=(Gmaxa(i，j)avg+Gmin)×IMGdetail(i,j)

(8)

式(8)中，Idp為處理后的細(xì)節(jié)層圖像。Gmax和Gmin可線性地將增益映射為一個適當(dāng)?shù)闹?，分別設(shè)置Gmax=5和Gmin=2.5。a(i,j)avg代表著引導(dǎo)濾波的線性系數(shù)。對于圖像邊緣或其他細(xì)節(jié)，a(i,j)avg接近1。

1.3 圖像融合

AGF&DDE算法將基礎(chǔ)層分量和細(xì)節(jié)層分量進(jìn)行不同比例融合，如式(9)所示

IMGout=(1-p)Ibp+pIdp

(9)

式(9)中，IMGout為融合后的輸出圖像，Ibp和Idp分別為基礎(chǔ)層分量以及細(xì)節(jié)層分量，p為融合系數(shù)，范圍為(0, 1)。在AGF&DDE算法中，為平衡細(xì)節(jié)增強(qiáng)效果和視覺效果，設(shè)置p=0.3，若在大面積的天空背景下，選擇融合系數(shù)p=0.3會導(dǎo)致噪聲突出，使整幅圖像呈現(xiàn)大量噪聲和較差的主觀視覺效果。針對此問題，對基礎(chǔ)層圖像的融合系數(shù)做出了改進(jìn)，如式(10)所示。

(10)

式(10)中，kb為基礎(chǔ)層分量的融合系數(shù)。α為補(bǔ)償增值，因基礎(chǔ)層中含有重要的場景信息，需調(diào)整α值以增大基礎(chǔ)層在融合中的比例，減少細(xì)節(jié)層噪聲的影響。σ為固定指數(shù)，其作用在于控制不同場景下基礎(chǔ)層融合系數(shù)與細(xì)節(jié)層融合系數(shù)的的差值范圍。在試驗中發(fā)現(xiàn)，當(dāng)背景噪聲對圖像的影響較大時，圖像的細(xì)節(jié)層融合系數(shù)控制在0.1～0.2之間效果更佳，背景噪聲對圖像的影響較小時，則融合系數(shù)控制在0.2～0.4之間效果更佳。因此，將α設(shè)置為0.12，σ設(shè)置為0.1。nvalid為基礎(chǔ)層直方圖分布中的有效灰度值個數(shù)總和。基礎(chǔ)層圖像動態(tài)壓縮的過程中，所包含的有效灰度值個數(shù)nvalid已被確定，因此我們可以通過有效灰度值個數(shù)占整個灰度級的比例來對圖像的基礎(chǔ)層融合系數(shù)kb進(jìn)行確定：比例越低說明灰度范圍窄，圖像中景物單一，可能是純天空或者純地面；若比例越大，說明灰度范圍廣且圖像視野寬闊，可能是一處既包含天空也包含地面的遠(yuǎn)景。在得到基礎(chǔ)層融合系數(shù)后，細(xì)節(jié)層分量的融合系數(shù)可表示為式(11)所示。

kd=1-kb

(11)

式(11)中，kd為細(xì)節(jié)層分量融合系數(shù)。

基礎(chǔ)層圖像和細(xì)節(jié)層圖像的融合系數(shù)分別得到確定后，融合后的輸出圖像可以表示為式(12)所示。

IMGout=kbIbp+kdIdp

(12)

2 實(shí)驗部分

用直方圖均衡算法(HE)[9]，GF&DDE算法[7]，AGF&DDE算法[6]，分別對4幅384×288的16 bit紅外圖像進(jìn)行增強(qiáng)處理，從圖像的主觀效果以及客觀算法進(jìn)行評價。

2.1 主觀分析

主觀分析中，算法處理結(jié)果以實(shí)際圖像列舉，可從主觀視覺上對圖像直觀判斷。選用的4幅場景圖像分別為：圖1所示建筑物場景，此種場景包含邊緣信息多，細(xì)節(jié)層圖像包含的噪聲不易對整幅圖像的視覺效果產(chǎn)生過大的影響。圖2所示地面、天空場景，包含豐富的細(xì)節(jié)信息，屬于復(fù)雜場頸圖像。圖3所示地面場景，包含地面物體，直方圖分布集中，有效灰度值個數(shù)少。圖4所示為天地混合場景，此場景的直方圖分布較廣，大部分場景為均勻背景，易受到噪聲干擾。

圖1 建筑物場景圖像增強(qiáng)處理結(jié)果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.1 Results of image enhancement on the building scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

圖2 地面天空場景圖像增強(qiáng)處理結(jié)果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.2 Results of image enhancement on the ground and sky scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

從以上對比圖像中我們可以發(fā)現(xiàn)，圖1(a)左側(cè)紅色區(qū)域內(nèi)，過度曝光導(dǎo)致該處的細(xì)節(jié)信息不突出，圖1(b)—(d)中，此處細(xì)節(jié)信息顯示較好，圖1(d)噪聲干擾小，細(xì)節(jié)顯示清晰，給人更好的視覺效果。圖2對比圖像中，圖2(a)中HE算法處理后的圖像顯得更為真實(shí)，圖2(c)AGF&DDE與圖2(b)GF&DDE處理結(jié)果在細(xì)節(jié)方面較突出，可較好的突出紅色區(qū)域內(nèi)云朵的輪廓，但由于細(xì)節(jié)層融合比例過大，使得圖像較多的顯示細(xì)節(jié)信息導(dǎo)致圖像失真較為嚴(yán)重，圖2(d)中，本算法較好的顯示出細(xì)節(jié)信息，并還原了實(shí)際場景。圖3(a)細(xì)節(jié)表現(xiàn)不明顯。圖3(c)中細(xì)節(jié)輪廓明顯，但過于黯淡。而圖3(b)和(d)細(xì)節(jié)明顯且視圖明亮。圖4(a)中HE算法處理后的圖像沒有受到噪聲影響，但其細(xì)節(jié)增強(qiáng)效果不明顯，紅色區(qū)域內(nèi)的細(xì)節(jié)信息十分暗淡，從直觀上看很難發(fā)現(xiàn)紅色區(qū)域內(nèi)的豎直電桿。而圖4(b)和(c)的信息突出較為明顯，但均受到了不同程度的噪聲干擾，使得某些細(xì)節(jié)被噪聲掩蓋，主觀視覺效果較差。圖4(d)選擇自適應(yīng)的細(xì)節(jié)層融合比例，融合后的圖像極少受到噪聲干擾，且較好的突出圖像中的細(xì)節(jié)信息。

圖3 地面場景圖像增強(qiáng)處理結(jié)果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.3 Results of image enhancement on the ground scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

圖4 天地混合場景圖像增強(qiáng)處理結(jié)果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.4 Results of image enhancement on the sky and ground mixed scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

2.2 客觀分析

通過平均梯度參數(shù)和運(yùn)算時間對4種算法結(jié)果進(jìn)行客觀評價。圖像的平均梯度表達(dá)如式(13)所示。

|f(i，j)-f(i，j-1)|)/2

(13)

式(13)中，Gm代表平均梯度，f(i,j)為對應(yīng)坐標(biāo)位置上像素的灰度值。平均梯度體現(xiàn)了圖像弱小細(xì)節(jié)的變化速率，反映了圖像細(xì)節(jié)信息的呈現(xiàn)能力。4種算法對4種場景紅外圖像處理后的平均梯度數(shù)值如表1所示。

表1 4種算法處理后紅外圖像的平均梯度Table 1 Average gradient of infrared images processed by four algorithms

由于本算法采取自適應(yīng)的融合系數(shù)，因此當(dāng)細(xì)節(jié)層圖像噪聲過大時，細(xì)節(jié)層會占據(jù)較小的融合比例，使得融合后的圖像受到噪聲影響較小。在噪聲影響較小的情況下，本算法的平均梯度小于GF算法和AGF算法。

由文獻(xiàn)[6]可知，AGF算法計算時間優(yōu)于GF算法，故僅與AGF算法進(jìn)行運(yùn)算時間比較。對比結(jié)果如表2所示。

表2 2種算法的運(yùn)算時間(s)Table 2 Operation time of two algorithms (s)

本算法利用創(chuàng)建壓縮數(shù)組的方式，將高動態(tài)范圍的灰度值通過壓縮數(shù)組與低動態(tài)范圍的灰度值相對應(yīng)，在達(dá)到壓縮動態(tài)范圍效果的同時減少了運(yùn)算時間。

3 結(jié) 論

提出了一種基于引導(dǎo)濾波的自適應(yīng)紅外圖像增強(qiáng)改進(jìn)算法。采用引導(dǎo)濾波將原始紅外圖像分為基礎(chǔ)層分量和細(xì)節(jié)層分量，通過直方圖分布信息計算出自適應(yīng)門限，利用自適應(yīng)門限值篩選出有效灰度值并創(chuàng)建一維壓縮數(shù)組對基礎(chǔ)層圖像進(jìn)行壓縮，將16 bit基礎(chǔ)層圖像壓縮為8bit基礎(chǔ)圖像。通過有效灰度值個數(shù)對圖像進(jìn)行一個大致場景的判斷，并根據(jù)有效灰度值個數(shù)占總灰度值個數(shù)的比值獲取自適應(yīng)融合系數(shù)，達(dá)到在不同場景下抑制噪聲和突出細(xì)節(jié)信息的效果。實(shí)驗結(jié)果表明，本算法能有效且自適應(yīng)的處理多種場景下的紅外圖像。與其他算法進(jìn)行對比顯示，本算法可降低運(yùn)算時間，并且在抑制細(xì)節(jié)層噪聲的同時保留圖像細(xì)節(jié)信息，達(dá)到更好的視覺效果，可實(shí)現(xiàn)多場景下自適應(yīng)紅外圖像增強(qiáng)。