基于空間域和曲率域多特征信息的紅外圖像增強算法研究

張婷婷 杜紀(jì)魁 沈建國

摘要：為了改善紅外圖像的成像質(zhì)量，文章提出一種基于空間域和曲率域多特征信息的紅外圖像增強算法。該算法在隱式地使用曲率域信息的同時，結(jié)合空間域灰度信息，一方面，曲率域內(nèi)進(jìn)行圖像重構(gòu)，在達(dá)到很好的保持邊緣和細(xì)節(jié)的效果的同時，保證了算法的效率；另一方面，在空間域利用全局信息構(gòu)造出增強方程，能顯著增強圖像對比度。實驗結(jié)果表明，相較于已有的空間域及梯度域圖像增強算法，該算法既能有效增強對比度又能保持邊緣和細(xì)節(jié)信息，算法效率顯著提高。

關(guān)鍵詞：空間域；曲率域；紅外圖像；增強方程

中圖分類號：TP394.1；TH691.9? 文獻(xiàn)標(biāo)志碼：A

0 引言

由于紅外成像技術(shù)存在固有的局限性，紅外圖像的質(zhì)量可能受到外界環(huán)境因素的影響，導(dǎo)致紅外圖像存在對比度和分辨率低、邊緣和細(xì)節(jié)信息損失等問題。因此，有必要對紅外圖像進(jìn)行增強處理。紅外圖像增強在夜視圖像視覺理解方法中占據(jù)核心地位，同時也在機(jī)器視覺和人工智能等領(lǐng)域中發(fā)揮著舉足輕重的作用。

目前國內(nèi)外學(xué)者已經(jīng)研究出許多經(jīng)典的圖像增強算法，這些算法大多是在空間域和變換域進(jìn)行圖像增強?？臻g域增強方法通過分析局部或整體像素對像素值進(jìn)行調(diào)整，該類方法運算量小實時性好。其中，Zimmerman等［1］提出了最為經(jīng)典的直方圖均衡化（Histogram equalization，HE）方法，但對圖像細(xì)節(jié)的分辨能力較差。變換域的增強方法通過將圖像從空間域變換到頻域、小波域甚至梯度域進(jìn)行處理，但也存在著頻域處理的計算量大、實時性差等問題。

近年來，許多學(xué)者在空間域利用變分原理來改進(jìn)圖像增強方法。其中，在Perona等［2］的研究中，利用偏微分理論提出了各向異性擴(kuò)散模型。Subr等［3］基于偏微分理論算法，將圖像從空間域轉(zhuǎn)化到梯度域，在圖像的梯度域內(nèi)實現(xiàn)圖像的對比度的增強。該算法可以有效增強圖像對比度，實現(xiàn)模糊邊緣的銳化，但會同步增強圖像中的微弱噪聲，影響圖像質(zhì)量。Rudin 等［4］首次利用全變分（TV）模型得到分段平滑圖像，實現(xiàn)保護(hù)圖像的邊緣信息的效果。Zhu等［5］在變分模型中引入均值曲率，提高了算法的效率，但可能造成噪聲去除不完全。

由于已有的紅外圖像增強算法在增強效果和算法效率上具有一定的局限性，因此本文研究了一種結(jié)合空間域與曲率域信息的輕量級紅外圖像增強方法，隱式使用曲率域信息的同時結(jié)合空間域灰度信息，有效實現(xiàn)紅外圖像的視覺效果的增強。

1 算法原理及流程

本文提出了一種空間域與曲率域多特征信息相結(jié)合的紅外圖像增強方法。首先，將輸入圖像看作一個曲率域內(nèi)高斯曲率處處為0的可展曲面［6］。其次，利用一個3×3的滑動窗口對所有像素點進(jìn)行遍歷，根據(jù)局部鄰域內(nèi)的像素點到切平面的最小距離對中心像素的灰度值進(jìn)行修正，隱式地使用圖像曲率信息。最后，利用多次迭代后得到的曲率域重構(gòu)圖像的全局灰度信息，設(shè)計了一個新型的曲率自然因子，最終通過計算輸入圖像和重構(gòu)圖像的偏差值，構(gòu)造出增強方程。其具體流程如下。

步驟一：給定一幅輸入紅外圖像I（x），其中x=（i，j）∈Ω，I（i，j）代表像素點（i，j）的像素值。將其從空間域變換到曲率域，表示為三維曲面（i，j，I（x）），即將輸入圖像看作一個高斯曲率處處為0的可展曲面。

步驟二：對于（i，j）處的像素，先計算以它為中心的局部鄰域內(nèi)的其他像素到切平面的不同距離，然后再根據(jù)最小距離調(diào)整法對這一中心像素的灰度值進(jìn)行修正［6］。

步驟三：利用一個3×3的滑動窗口，對所有像素點進(jìn)行遍歷并更新灰度值，多次迭代后，得到曲率域重構(gòu)后的圖像C（x）。

步驟四：利用重構(gòu)圖像的全局灰度信息C（i，j），計算它對應(yīng)的累積分布函數(shù)（Cumulative Distribution Function， CDF）［7］。詳細(xì)計算過程如下。

灰度級范圍為［0，L-1］的圖像直方圖是離散函數(shù)h（Ik）=nk。其中，Ik是第k級灰度值，nk是圖像中灰度為Ik的像素個數(shù)。對直方圖進(jìn)行歸一化，可以表示如下。

p（Ik）=nkn，k=0，1，…，L-1（1）

式中，p（Ik）是灰度值為Ik的像素在圖像中出現(xiàn)的概率估計。概率p（Ik）和像素值Ik之間的關(guān)系被定義為概率密度函數(shù)（Probability Density Function， PDF）［7］，其對應(yīng)的CDF可以表示如下。

c（Ik）=∑L-1j=0p（Ij）=∑L-1j=0nkn（2）

步驟五：圖像的像素累積分布函數(shù)表征了圖像的空間域全局灰度信息，在公式（2）的基礎(chǔ)上，本文利用三元搜索法獲得了2個表征圖像空間域特征的值（T1和T2）［8］。由此就能構(gòu)造出一個新型的曲率自然因子NC。

NC=（1-λ）T1T1_prior+λT2T2_prior（3）

其中，λ是一個權(quán)重系數(shù)且λ∈［0，1］，T1_prior和T2_prior為人為設(shè)置的先驗參數(shù)，兩者都為正數(shù)，根據(jù)不同場景自行設(shè)置。

步驟六：計算輸入圖像和重構(gòu)圖像的偏差值，利用曲率自然因子構(gòu)造增強方程。

I′（x）=（I（x）-C（x））·NC+C（x）（4）

其中，I′即為增強后的圖像。

2 本文算法創(chuàng)新點

本文提出的結(jié)合空間域和曲率域多特征信息的紅外圖像增強算法通過引入包含空間域灰度信息的曲率自然因子，對重構(gòu)后的圖像進(jìn)行精細(xì)調(diào)整，進(jìn)一步整合空間域和曲率域的信息特征。這一算法顯著提高了圖像平滑噪聲和細(xì)節(jié)保持的能力，其創(chuàng)新點如下。

（1）本文創(chuàng)新地設(shè)計出包含空間域灰度信息的曲率自然因子，對重構(gòu)后的圖像進(jìn)一步調(diào)整，能夠更好地整合空間域和曲率域的信息特征，從而提高平滑噪聲和細(xì)節(jié)保持的能力。曲率自然因子能夠有效地保留圖像的邊緣信息和細(xì)節(jié)特征，避免傳統(tǒng)增強方法中出現(xiàn)的過度增強和失真現(xiàn)象。

（2）本文將待處理的紅外圖像從空間域變換到曲率域，將其當(dāng)作一個三維可展曲面來處理，避免了求導(dǎo)計算曲率的復(fù)雜過程，從而顯著提高計算速度，優(yōu)化了處理流程。

（3）本文利用曲率自然因子構(gòu)造出了增強方程，可通過調(diào)整先驗參數(shù)，對不同類型場景的紅外圖像進(jìn)行增強處理。通過對先驗參數(shù)的調(diào)整，可以實現(xiàn)對不同類型場景紅外圖像的針對性增強處理，提高圖像的視覺效果和應(yīng)用價值。

3 實驗與結(jié)果

為了證明本文提出的結(jié)合空間域和曲率域多特征信息的圖像增強算法的優(yōu)勢，將其與全局直方圖均衡化（GHE）、局部自適應(yīng)直方圖均衡化（LAHE）進(jìn)行對比，分別用于處理3種不同場景中的紅外圖像，實驗對比結(jié)果如圖1所示。圖1中，第一行為用于人臉識別的人臉紅外圖像（場景一），第二行為用于車輛目標(biāo)識別的馬路場景紅外圖像（場景二），第三行為低對比度復(fù)雜場景紅外圖像（場景三）。

從圖1（a）中可以看出，3類場景下的原始紅外圖像除了對比度和亮度不足的常見問題，顯然還受到背景噪聲的干擾，存在邊緣模糊、細(xì)節(jié)信息丟失的問題。由圖1（b）可以看出，原始圖像在空間域內(nèi)經(jīng)過全局直方圖均衡化算法的處理，雖然亮度大大提高，但會出現(xiàn)過度曝光，并且隨著細(xì)節(jié)信息和邊緣的增強，圖像中的大部分噪點也會同時增強；如圖1（c）所示，局部自適應(yīng)直方圖均衡化算法雖然能增強3類場景下的紅外圖像的對比度，但亮度有所欠缺，最關(guān)鍵的問題在于沒有能夠同步增強微弱的邊緣信息，一些灰度相似或更小的細(xì)節(jié)丟失了。而本文算法同時結(jié)合空間域和曲率域信息對紅外圖像進(jìn)行處理后，3類不同場景下的紅外圖像的視覺效果都得到了提高，一方面，顯著增強了對比度和亮度，另一方面，同步增強了圖像中灰度值較低的弱邊緣信息。可以證明，本文提出的算法具有在整體和局部細(xì)節(jié)增強的優(yōu)越性，傳統(tǒng)的紅外圖像增強算法得到了有效改進(jìn)。

同時，本文結(jié)合峰值信噪比（Peak Signal to Noise Ratio， PSNR）和結(jié)構(gòu)相似度（Structural similarity index measure， SSIM）2個客觀評價指標(biāo)來衡量增強質(zhì)量［9-10］。PSNR指標(biāo)衡量了原始圖像與增強后圖像之間的相似度，而SSIM則用于衡量2幅圖像的結(jié)構(gòu)相似程度。當(dāng)SSIM數(shù)值較大時，說明增強后圖像的結(jié)構(gòu)信息損失較少，因此增強效果較好。關(guān)于PSNR以及SSIM的計算方法此處不再贅述，見周景超等［9-10］的研究。

另外，本文還對比了提出的基于空間域和曲率域多特征信息的紅外圖像增強算法、GHE、LAHE的PSNR值和SSIM值，如表1—2所示。針對3類不同場景下的紅外圖像，本文算法獲得的PSNR和SSIM值最高，再一次證明了本文圖像增強算法相較于其他算法的增強效果最好。

另外，將本文算法的運算速度與GHE和LAHE模型進(jìn)行比較，如表3所示。其中，所有實驗圖像大小都為240×320，可以發(fā)現(xiàn)，本文算法的處理速率明顯高于其他算法，能夠達(dá)到輕量級的效果。

4 結(jié)語

本文提出了一種結(jié)合空間域與曲率域多特征信息的紅外圖像增強方法，實驗結(jié)果表明，相較于已有的空間域及梯度域圖像增強算法，本文提出的算法隱式使用曲率域信息的同時結(jié)合空間域灰度信息，既能有效增強對比度又能保持邊緣和細(xì)節(jié)信息，算法效率顯著提高。

在未來的研究工作中，還可從以下2個方面進(jìn)行深入和優(yōu)化：一是拓展本文算法在其他類型圖像處理任務(wù)中的應(yīng)用，驗證其普適性和實用性；二是針對算法優(yōu)化和硬件加速等方面進(jìn)行深入研究，進(jìn)一步提高計算速度和處理效果。

參考文獻(xiàn)

［1］ZIMMERMAN J B，PIZER S M，STAAB E V，et al.An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement［J］.IEEE Transactions on Medical Imaging，1988（4）：304-312.

［2］PERONA P，MALIK J.Scale-space and edge detection using anisotropic diffusion［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1990（7）：12.

［3］SUBR K，MAJUMDER A，IRANI S.Greedy algorithm for local contrast enhancement of images［J］.Lecture Notes in Computer Science，2005（1）：171-179.

［4］RUDIN L I，OSHER S，F(xiàn)ATEMI E.Nonlinear total variation based noise removal algorithms［J］.Physica D Nonlinear Phenomena，1992（1-4）：259-268.

［5］ZHU W，CHAN T.Image denoising using mean curvature of image surface［J］.Siam Journal on Imaging Sciences，2012（1）：1-32.

［6］湯成.基于曲率濾波的圖像去噪與增強研究［D］.杭州：浙江理工大學(xué)，2019.

［7］PIZER S M，AMBURN E P，AUSTIN J D，et al.Adaptive histogram equalization and its variations［J］.Computer Vision Graphics & Image Processing，1987（3）：355-368.

［8］BAJWA M S，AGARWAL A P，MANCHANDA S.Ternary search algorithm：improvement of binary search：computing for sustainable global development（INDIACom），2015 2nd International conference on computing for sustainable global development［C］.New York：IEEE，2015.

［9］周景超，戴汝為，肖柏華.圖像質(zhì)量評價研究綜述［J］.計算機(jī)科學(xué)，2008（7）：1-4，8.

［10］SETIADI D R I M.PSNR vs SSIM：imperceptibility quality assessment for image steganography［J］.Multimedia Tools and Applications，2021（6）：8423-8444.

（編輯 沈 強）

Research on infrared image enhancement algorithm based on multi feature information in spatial domain and curvature domain

ZHANG? Tingting， DU? Jikui， SHEN? Jianguo

（Wuxi Vocational Institute of Commerce， Wuxi 214000， China）

Abstract：? In order to improve the imaging quality of infrared images and provide high-quality feature information for subsequent image processing， this paper proposes an infrared image enhancement algorithm based on multi-feature information in spatial domain and curvature domain. The algorithm implicitly uses the information in the curvature domain and combines the gray information in the spatial domain. On the one hand， the image reconstruction in the curvature domain achieves a good effect of preserving edges and details while ensuring the efficiency of the algorithm. On the other hand， the enhancement equation is constructed by using the global information in the spatial domain， which can significantly enhance the image contrast. Experimental results show that compared with the existing image enhancement algorithms in spatial domain and gradient domain， the proposed algorithm can not only effectively enhance the contrast but also preserve the edge and detail information， and the efficiency of the algorithm is significantly improved..

Key words： spatial domain; curvature domain; infrared image; enhancement equation