區(qū)域自適應(yīng)多尺度強光融合的紅外圖像增強

巫 玲，陳念年，廖小華

區(qū)域自適應(yīng)多尺度強光融合的紅外圖像增強

巫 玲，陳念年，廖小華

（西南科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，四川 綿陽 621010）

圖像增強可以分為全局增強和局部增強兩種技術(shù)，當(dāng)前基于局部的圖像增強技術(shù)無法準確地對目標和背景進行分割且難以自適應(yīng)地對分割區(qū)域進行增強。本文提出了一種區(qū)域自適應(yīng)多尺度強光融合算法用于紅外圖像的增強處理。該算法首先使用語義分割技術(shù)完成目標區(qū)域和背景區(qū)域的劃分，然后使用改進后的多尺度強光融合算法分別對各區(qū)域進行自適應(yīng)增強。實驗結(jié)果表明，所提算法的增強效果均優(yōu)于當(dāng)前主流算法，圖像增強的視覺效果更真實。

紅外圖像；圖像增強；強光融合；多尺度

0 引言

紅外成像技術(shù)具備穿透性強、隱蔽性好、辨識性高等優(yōu)點，紅外圖像在軍事、監(jiān)控、工業(yè)等領(lǐng)域取得廣泛應(yīng)用。與可見光成像技術(shù)相比，紅外成像容易受到大氣環(huán)境和成像設(shè)備的影響，這導(dǎo)致紅外圖像存在對比度低、細節(jié)大量丟失的問題，需要進行增強處理。

圖像增強不僅是圖像邊緣檢測與特征提取等技術(shù)的基礎(chǔ)，還是提高圖像視覺效果的主要手段。

目前，圖像增強可以分為全局增強和局部增強兩種技術(shù)。前者指的是不考慮像素在圖像空間中的分布情況，對所有像素使用相同的映射關(guān)系進行灰度變換，主要有線性變換、非線性變換、直方圖均衡化、Retinex理論、多曝光融合以及深度學(xué)習(xí)等方法。線性變換與非線性變換理論簡單，變換函數(shù)的選取決定了圖像增強的效果；直方圖均衡化在增強圖像的同時會減少圖像的灰度級并帶來新的噪聲。Retinex理論認為原始圖像等于光照圖像和反射圖像的乘積，從原始圖像中剝離光照圖像，剩下的反射圖像就是圖像增強的結(jié)果。單尺度Retinex[1]算法難以對光照圖像進行準確的估計，多尺度Retinex算法[2]綜合多種光照信息以提高圖像的增強效果。文獻[3]首先將觀測圖像分解成光照圖像與反射圖像，然后對光照圖像進行拉普拉斯金字塔變換并進一步得到新的光照圖像，最終通過融合光照圖像和反射圖像達到圖像增強的目的。文獻[4]利用深度學(xué)習(xí)技術(shù)設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)用于圖像增強，該網(wǎng)絡(luò)可以自適應(yīng)地將原始圖像分解為光照圖像和反射圖像，通過采用大量成對的高、低質(zhì)量圖像作為訓(xùn)練樣本而獲得一個能夠完成圖像增強的映射模型，最終實現(xiàn)圖像的增強處理。多曝光融合技術(shù)要求獲取同一場景下不同曝光程度的多幅圖像，根據(jù)圖像的曝光程度和像素信息計算相機響應(yīng)函數(shù)從而達到圖像增強的目的。多曝光融合技術(shù)要求獲取同一場景下不同曝光程度的多幅圖像，文獻[5-6]根據(jù)計算得到相機響應(yīng)函數(shù)從而達到圖像增強的目的。文獻[7]首先利用一幅原始圖像生成多幅不同曝光程度的圖像，然后根據(jù)設(shè)計好的權(quán)值矩陣對原始圖像和生成的曝光圖像進行最終的合成。

為了避免全局增強方法容易導(dǎo)致局部過增強、顏色失真的現(xiàn)象，局部增強方法得到了重視與發(fā)展。文獻[8]提出了深度雙邊網(wǎng)絡(luò)用于圖像的增強研究，雖然獲得的網(wǎng)絡(luò)模型是一個全局映射關(guān)系，但由于該網(wǎng)絡(luò)充分考慮了原始圖像的局部信息和全局信息，所以增強后的圖像具有較好的細節(jié)表現(xiàn)。文獻[9]將紅外圖像分割成目標區(qū)、過渡區(qū)和背景區(qū)3種區(qū)域，對各區(qū)域進行不同的灰度變換而完成了紅外圖像的增強處理。文獻[10]利用視覺顯著性區(qū)域檢測將原始圖像分解成目標分量和背景分量，通過分別對目標分量和背景分量進行處理而實現(xiàn)了圖像增強。

綜上，目前基于局部的圖像增強方法研究較少，且無法準確地分割原始圖像。強光融合[11]技術(shù)以平均灰度級為閾值將原始圖像分解成明暗兩個分量，并利用全局高頻分量對明暗分量進行增強處理而得到增強后的圖像。

強光融合技術(shù)采用平均灰度級分割圖像且全局高頻分量存在尺度性，本文在強光融合的基礎(chǔ)上提出了一種區(qū)域自適應(yīng)多尺度強光融合算法。所提算法首先準確地對目標和背景進行區(qū)域分割，然后從各區(qū)域中獲取多種尺度的高頻分量并利用各區(qū)域的平均像素對目標區(qū)域和背景區(qū)域進行明暗分解，最后通過加權(quán)融合目標區(qū)域和背景區(qū)域從而得到增強圖像。

1 本文算法

全文算法模型如圖1所示，首先利用語義分割技術(shù)將給定的紅外圖像分割成目標和背景兩類圖像，再對目標圖像和背景圖像分別進行自適應(yīng)多尺度強光融合，最后將目標圖像與背景圖像融合而實現(xiàn)圖像增強。

1.1 強光融合

強光融合是一種利用圖像的高頻成分進行圖像增強的技術(shù)，在增強圖像的同時能有效避免過增強現(xiàn)象的出現(xiàn)。強光融合算法主要分為3步：

Step 1：計算圖像增強所需的模板：

＝＜0.5 (1)

Step 2：獲取輸入圖像的高反差分量：

＝－*＋0.5 (2)

Step 3：對輸入圖像進行增強處理：

＝1·＋2·(1－) (3)

式中：為歸一化至[0, 1]之間的單通道原始圖像；表示增強后的圖像；表示高斯算子，“*”表示卷積運算；為一個0-1矩陣；“·”表示點乘運算。1和2根據(jù)式(4)、式(5)計算：

1＝2··(4)

2＝1－2·(1－)·(1－) (5)

圖1 區(qū)域自適應(yīng)多尺度強光融合算法流程圖

1.2 多尺度強光融合

雖然紅外圖像普遍存在對比度低、細節(jié)損失的問題，但拍攝場景、拍攝技術(shù)以及拍攝設(shè)備本身等差異性仍將決定紅外圖像質(zhì)量各異。強光融合技術(shù)的關(guān)鍵在于從圖像中提取合適的高頻分量，若待增強的紅外圖像中只含有少量高頻成分，則必須將式(2)使用的高斯濾波器的值設(shè)置較大才能確保得到足夠有效的細節(jié)信息。本小節(jié)提出了多尺度強光融合算法以更有效地實現(xiàn)紅外圖像增強，算法分為4步：

Step 1：利用式(1)計算圖像增強所需的模板；

Step 2：設(shè)計多個高斯濾波器（不同），獲取給定紅外圖像的多級高頻分量：

h＝－*W＋0.5 (6)

Step 3：針對各級高頻分量對原始圖像進行強光融合：

y＝1(k)·＋2(k)·(1－) (7)

Step4：將不同尺度的增強圖像進行加權(quán)融合：

式中：表示尺度個數(shù)；W表示第個高斯算子；h和y分別表示W濾波得到的高頻分量和對應(yīng)的增強圖像，1(k)和2(k)分別將和h代入式(4)、式(5)計算得到。

圖2、圖3展示了不同尺度下的高頻分量及對應(yīng)的增強圖像。

圖2 s＝1對應(yīng)的高頻分量及增強圖像

圖3 s＝5對應(yīng)的高頻分量及增強圖像

1.3 區(qū)域自適應(yīng)多尺度強光融合

被動式紅外成像是一種根據(jù)物體自身輻射熱量而成像的技術(shù)。在夜晚或室內(nèi)等場景中，由于人體、機器等與環(huán)境溫差較大，紅外相機拍攝到的圖像通常表現(xiàn)為目標明亮和背景暗淡的現(xiàn)象。強光融合算法在計算模板（式(2)）時沒有考慮到目標和背景的差異性，本小節(jié)提出區(qū)域自適應(yīng)多尺度強光融合算法，該算法的核心部分在于根據(jù)目標區(qū)域和背景區(qū)域自適應(yīng)地計算閾值。因此的計算方法如式(9)所示：

＝＜vg(9)

式中：表示目標區(qū)域或背景區(qū)域；vg是中像素的均值。

自適應(yīng)融合的關(guān)鍵在于目標/背景分割的完整性，本文重新訓(xùn)練了語義分割網(wǎng)絡(luò)（Unet[12]）以對原始圖像實現(xiàn)區(qū)域分割。圖4對比展示了兩種圖像分割方法的分割效果，其中，(a)表示圖像顯著性檢測（Itti[13]）的結(jié)果，(b)表示圖像語義分割的結(jié)果。

圖4 兩種不同圖像分割方法的分割結(jié)果

2 實驗與分析

本文實驗中，Unet網(wǎng)絡(luò)訓(xùn)練用到的軟件硬件平臺為：Linux操作系統(tǒng)Ubuntu16.04，Intel Xeon E5-1630 v3@3.7GHz四核處理器，16GB內(nèi)存，Nvidia GTX 1080Ti 11GB顯卡，實驗程序在keras2.2.5框架下使用Python 2.7.15語言編寫。部分對比實驗的軟硬件平臺為：Windows 7旗艦版64位操作系統(tǒng)，Intel(R) Core(TM) i5-6500 CPU @ 3.20GHz，8GB內(nèi)存，編程環(huán)境為Matlab 2015a.

2.1 實驗數(shù)據(jù)及評價指標

文中主要使用實驗室自主拍攝的紅外圖像展開研究，部分紅外圖像如圖5所示。

為了全面地評價圖像增強的效果，選擇Brenner函數(shù)[14]和圖像熵（Entropy）作為圖像的客觀評價指標。Brenner函數(shù)是一種梯度評價函數(shù)，定義如式(10)所示：

式中：(,)表示圖像第(,)處的像素值；、分別表示圖像的高和寬；值越大說明圖像清晰度越好，質(zhì)量越高。

圖像信息熵反映圖像信息的豐富程度，定義如式(11)所示：

式中：L表示圖像的灰度級；pi表示第i個灰度級出現(xiàn)的概率；E值越大說明圖像質(zhì)量越高。

2.2 算法有效性驗證

為了驗證所提算法的多尺度和區(qū)域自適應(yīng)閾值計算的有效性，對單尺度強光融合增強、多尺度強光融合增強以及區(qū)域自適應(yīng)多尺度強光融合增強進行了對比實驗，代表性結(jié)果如圖6所示。單尺度時高斯濾波器＝3，多尺度時＝2、3、5、7、9、11、13。對比圖6和表1，本文提出的算法能有效增強圖像的目標區(qū)域與背景區(qū)域，其增強效果更真實，指標得分更高。

2.3 不同算法的實驗對比

將文中所提算法與基于光照圖估計的微光圖像增強（Low-light image enhancement via Illumination Map Estimation，LIME）[15]、保持自然增強（Naturalness Preserved Enhancement，NPE）[16]、相機響應(yīng)模型（Camera Response Model，CRM）[6]、多偏差融合（Multi-deviation Fusion method，MF）[3]、仿生多曝光融合（Bio-Inspired Multi-Exposure Fusion，BIMEF）[7]、帶色彩恢復(fù)的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSRCR）[17]等主流算法進行比較，圖7給出了不同算法的增強結(jié)果的對比，表2給出了對比指標數(shù)據(jù)。

由圖7(g)和(h)可知，本文所提多尺度算法比MSRCR增強的圖像直觀感覺更真實、清晰度更高；BIMEF是一種多曝光融合算法，MF是將原始圖像分解成光照分量和反射分量并對光照分量進行多尺度增強融合的算法，對比圖7(e)和(f)，BIMEF算法增強的圖像更有層次感；對比圖7(c)～(f)，NPE、CRM和MF算法增強效果相近，NPE相對更佳；圖7(a)顯示，LIME算法出現(xiàn)全局過增強現(xiàn)象。

圖6 算法有效性驗證效果展示

表1 算法有效性驗證的評價指標對比

從表2中可以看出，無論是Brenner評價函數(shù)還是信息熵，本文算法均最優(yōu)。排名第2的LIME算法，直觀看來具有全局過增強的不足。Brenner評價函數(shù)和信息熵對各算法的評價時，只有對CRM算法和BIMEF算法交換了順序，其他算法排名均保持了一致。

圖7 不同算法增強效果對比

表2 不同算法增強后的評價指標對比

3 結(jié)論

本文在現(xiàn)有強光融合算法的基礎(chǔ)上提出一種區(qū)域自適應(yīng)多尺度強光融合算法用于紅外圖像的增強研究，該算法充分考慮了原始圖像的區(qū)域信息和多種尺度的高頻特征。

本文方法與目前主流圖像增強算法進行比較，結(jié)果表明，所提算法主觀、客觀上均能更真實地增強圖像。

[1] Land E H, Mccann J J. Lightness and retinex theory[J]., 1971, 61(1):1-11.

[2] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976.

[3] FU X, ZENG D, HUANG Y, et al. A Fusion-based Enhancing Method for Weakly Illuminated Images[J]., 2016, 12(129):82-96.

[4] CHEN W, WANG W, YANG W, et al. Deep Retinex Decomposition for Low-Light Enhancement[C]//(),2018: 61772043.

[5] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//97, 1997: 369-378.

[6] YING Z, LI G, REN Y, et al. A New Low-Light Image Enhancement Algorithm using Camera Response Model[C]//()., 2017: 3015-3022.

[7] YING Z, LI G, GAO W. A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement[J]., 2015, 14(8): 1-10.

[8] Gharbi M, Chen J, Barron J T, et al. Deep Bilateral Learning for Real-Time Image Enhancement[J]., 2017, 36(4): 118.

[9] 徐軍, 梁昌洪, 張建奇. 一種紅外圖像增強的新方法[J]. 西安電子科技大學(xué)學(xué)報: 自然科學(xué)版, 2000, 27(5): 14-17.

XU J, LIANG C H, ZHANG J Q. A New Approach to IR Image Enhancement[J], 2000, 27(5): 14-17.

[10] 汪忱, 張寶輝, 王虹, 等. 基于視覺顯著區(qū)域的紅外圖像增強算法研究[J]. 紅外技術(shù), 2017(9): 835-840.

WANG C, ZHANG B H, WANG H, etc. Research on Infrared Image Enhancement Algorithm based on Visual Saliency[J]., 2017(9): 835-840.

[11] 關(guān)文濤. 選擇的藝術(shù)：Photoshop CS圖層通道深度剖析[M]. 北京:人民郵電出版社, 2006: 459.

GUAN W T.[M]. BeiJing: People's Posts and Telecommunications Press, 2006: 459.

[12] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//, 2015: 234-241.

[13] Itti L. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[14] 王竑舒, 徐熙平. 廣角相機圖像的調(diào)焦評價函數(shù)研究[J].長春理工大學(xué)學(xué)報: 自然科學(xué)版, 2019(3): 38-41, 50.

WANG H S, XU X P. Study on Focusing Evaluation Function of Wide-angle Camera Image[J].: Natural Science Edition , 2019(3): 38-41, 50.

[15] GUO X, LI Y, LING H. LIME: Low-Light Image Enhancement via Illumination Map Estimation[J]., 2017, 26(2): 982-993.

[16] WANG S, ZHENG J, HU H M, et al. Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images[J]., 2013, 22(9): 3538-3548.

[17] Petro A B, Sbert C, Morel J M. Multiscale Retinex[J]., 2014(4): 71-88.

Infrared Image Enhancement Based on Regional Adaptive Multiscale Intense Light Fusion

WU Ling，CHEN Niannian，LIAO Xiaohua

(,621010,)

Image enhancement can be divided into two kinds: global enhancement and local enhancement. Current image enhancement techniques based on local enhancement cannot accurately segment the target area and background, and it is difficult to enhance the segmentation region adaptively. In this paper, a region-adaptive multi-scale strong light fusion algorithm is proposed for infrared image enhancement. Firstly, semantic segmentation technology is used to divide the target area and background area. Then, the improved multi-scale strong light fusion algorithm is used to enhance each area adaptively. The experimental results show that the enhancement effect of the proposed algorithm is better than that of the current conventional algorithms, and the visual effect of image enhancement is more realistic.

infrared images, image enhancement, intense light fusion, multi scale

TP39

A

1001-8891(2020)11-1072-06

2019-12-30；

2020-11-03.

巫玲（1982-）女，四川遂寧人，講師，碩士，主要研究方向為光學(xué)測量、視覺檢測。Email：wuling751@126. com。