結(jié)合雙線性插值與局部均值的紅外圖像插值算法

黃元忠 廖小華 盧慶華

摘? ?要：針對(duì)現(xiàn)有圖像插值算法只考慮原始圖像像素的問題，提出了一種兼顧原始圖像與插值圖像的紅外圖像插值算法。該算法將原始圖像中的像素映射至插值圖像中，然后使用雙線性插值算法從原始圖像中恢復(fù)插值像素，最后通過插值圖像中已有的像素對(duì)插值像素進(jìn)行加權(quán)修復(fù)。實(shí)驗(yàn)結(jié)果表明，所提算法的插值效果優(yōu)于經(jīng)典的圖像插值算法，能有效避免鋸齒和模糊現(xiàn)象的發(fā)生。

關(guān)鍵詞：紅外圖像;雙線性插值;局部均值

中圖分類號(hào)：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)識(shí)別碼：A

文章編號(hào)：1003—6199（2020）02—0133—05

Abstract：Aiming at the problem that the existing image interpolation algorithms only considers the original image pixels， an infrared image interpolation algorithm is proposed， which takes both the original image and the interpolated image into account. Firstly， the pixels in the original image are mapped to the interpolation image， then the bilinear interpolation algorithm is used to recover the interpolation pixels from the original image， and finally the existing pixels in the interpolation image are weighted to repair the interpolation pixels. The experimental results show that the proposed algorithm is better than the classic image interpolation algorithms， and can effectively avoid the occurrence of aliasing and blur.

Key words：infrared images;bilinear interpolation;local mean

由于紅外成像技術(shù)具有強(qiáng)穿透、高隱蔽、易辨識(shí)等優(yōu)點(diǎn)，紅外圖像在軍事、監(jiān)控、工業(yè)等領(lǐng)域取得了廣泛的應(yīng)用[1]。相比于可見光圖像，紅外圖像存在分辨率低的問題，運(yùn)用數(shù)字圖像處理技術(shù)以獲取高分辨率的紅外圖像成為一種技術(shù)需求[2]。

目前，提高圖像分辨率的方法主要有插值法[3]、重構(gòu)法和學(xué)習(xí)法[4-9]。學(xué)習(xí)法需要依賴大量的紅外圖像進(jìn)行模型訓(xùn)練，且訓(xùn)練得到的模型通常不具備泛化能力。重構(gòu)法要求對(duì)圖像的成像過程進(jìn)行建模分析，精確的圖像退化模型是算法成功的關(guān)鍵，這限制了重構(gòu)法的應(yīng)用與發(fā)展。插值法從圖像內(nèi)部出發(fā)，通過鄰域像素的加權(quán)融合而得到新的插值像素，此類方法無需外部信息即可有效提升原始圖像的分辨率。

最近鄰插值法（Nearest Neighbor Interpolation）是眾多插值算法中最簡(jiǎn)單的圖像插值方法，其通過直接復(fù)制最鄰近坐標(biāo)處的圖像像素而完成圖像插值，該算法獲得的插值圖像容易出現(xiàn)鋸齒、塊效應(yīng)的現(xiàn)象。雙線性插值法（Bilinear Interpolation）是最近鄰插值法的一種改進(jìn)方法，因?yàn)殡p線性插值法綜合考慮了目標(biāo)坐標(biāo)的周圍4個(gè)像素，故插值效果優(yōu)于最近鄰插值算法。立方卷積插值法（Bicubic Interpolation）不僅利用了與目標(biāo)坐標(biāo)直接相鄰的4個(gè)像素，還考慮了間接相鄰像素對(duì)待插像素的影響，雖然插值效果較好但插值過程比較耗時(shí)?；贚anczos核的圖像插值算法在抑制鋸齒、減少振鈴等方面具有一定的優(yōu)勢(shì)，卻需要大量的內(nèi)存空間用于存儲(chǔ)Lanczos核[10]。

綜上，傳統(tǒng)的插值算法在圖像插值過程中僅關(guān)注原始圖像目標(biāo)坐標(biāo)/鄰域像素對(duì)插值像素的貢獻(xiàn)，而未對(duì)已經(jīng)獲得的插值像素加以利用。鑒于此問題，提出了一種新的紅外圖像插值算法，通過雙線性插值與局部均值同時(shí)進(jìn)行的插值方式提高了插值圖像的視覺效果與性能指標(biāo)[11]。

1? ?圖像插值算法

圖像插值算法是提高圖像分辨率的主要手段，受紅外圖像采集設(shè)備的制造工藝限制，紅外圖像存在分辨率過低等問題。為了更簡(jiǎn)單有效地提高紅外圖像的分辨率，設(shè)計(jì)了一種結(jié)合雙線性插值與局部均值的紅外圖像插值算法。

1.1? ?雙線性插值

雖然圖像插值算法相當(dāng)于一種圖像低通濾波器，但由于紅外圖像通常僅具備少量的高頻信息，這反而有利于圖像插值算法在紅外圖像插值研究中的運(yùn)用。鑒于雙線性插值算法在算法效率、內(nèi)存消耗及插值效果等方面具有相對(duì)可觀的實(shí)驗(yàn)性能，文中在雙線性插值法的基礎(chǔ)上做了進(jìn)一步研究。雙線性插值法的插值過程如圖1所示。

圖1中，x、y分別表示原始圖像、插值圖像;黑色圓點(diǎn)、藍(lán)色圓點(diǎn)分別表示原始像素S、空白像素N;紅色圓點(diǎn)表示插值像素I，即利用雙線性插值算法獲得的像素;黃色圓點(diǎn)表示利用局部均值對(duì)插值像素修復(fù)后的像素R。雙線性插值法的一般過程如下：

step1：坐標(biāo)映射。利用插值圖像中當(dāng)前像素所在的坐標(biāo)找到在原始圖像中的對(duì)應(yīng)坐標(biāo)：

step2：插值。利用原始圖像中的鄰域像素計(jì)算應(yīng)返回的插值像素：

1.2? ?局部均值

雙線性插值算法在紅外圖像插值研究中具有很高的研究?jī)r(jià)值，為了進(jìn)一步提高雙線性插值法的插值效果，將雙線性插值法與局部均值相結(jié)合并用于紅外圖像插值研究。結(jié)果表明，所提算法能有效提升雙線性插值法的插值效果。局部均值的修復(fù)過程如圖2所示。

局部均值的理論依據(jù)有以下三點(diǎn)：①由于紅外圖像本身僅具備少量的高頻信息，因此在針對(duì)紅外圖像插值研究中可以忽略插值對(duì)細(xì)節(jié)造成的損失;②圖像插值算法容易導(dǎo)致插值圖像出現(xiàn)鋸齒和塊效應(yīng)現(xiàn)象;③均值濾波可以抑制鋸齒、塊效應(yīng)。局部均值的一般過程如下：

2? ?實(shí)驗(yàn)與分析

實(shí)驗(yàn)中用到的軟硬件平臺(tái)為：Windows 10 64位操作系統(tǒng)，Intel（R） Celeron（R） CPU N3160@ 1.60GHz，4GB內(nèi)存。

2.1? ?數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

主要對(duì)公共紅外圖像數(shù)據(jù)集TNO（TNO Image Fusion Dataset， TNO）展開研究，部分紅外圖像如圖3所示，實(shí)驗(yàn)圖像的退化過程如圖4所示。

圖4中，z表示參考圖像，x表示對(duì)z隔行/列提取到的實(shí)驗(yàn)圖像。為了全面地評(píng)價(jià)所提算法的插值性能，分別從客觀評(píng)價(jià)和主觀評(píng)價(jià)兩個(gè)方面對(duì)插值圖像進(jìn)行評(píng)價(jià)。采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為客觀評(píng)價(jià)指標(biāo)，PSNR的定義為：

式中，z表示參考圖像，y表示待評(píng)價(jià)圖像，H和W分別表示圖像的高度和寬度，n一般取值為8。MSE表示兩幅圖像之間的均方誤差，PSNR是一種全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，其值越大表示圖像失真越小。

2.2? ?消融實(shí)驗(yàn)

為了驗(yàn)證局部均值對(duì)插值像素的修復(fù)作用，分別在2、3、4倍率下設(shè)計(jì)了以下3組實(shí)驗(yàn)：①雙線性插值（Bilinear），即只對(duì)紅外圖像進(jìn)行雙線性插值實(shí)驗(yàn);②雙線性插值+均值濾波（Bilinear And Mean Filtering， BM），即先雙線性插值再進(jìn)行均值濾波;③雙線性插值+局部均值（Proposed），即文中所提出的邊插值邊修復(fù)算法。

表1給出了消融實(shí)驗(yàn)在TNO數(shù)據(jù)集上的插值效果比較，共78張紅外圖像參與實(shí)驗(yàn)。實(shí)驗(yàn)表明，合適的參數(shù)設(shè)置如下：①2倍率：BM采用1×1的均值濾波器，Proposed采用3×3的均值濾波器，α、β 分別為0.6、0.4;②3倍率：BM采用3×3的均值濾波器，Proposed采用5×5的均值濾波器，α、β分別為0.6、0.4;③4倍率：BM采用5×5的均值濾波器，Proposed采用7×7的均值濾波器，α、β分別為0.6、0.4。由表1可知，所提算法能顯著提升雙線性插值算法的插值效果，且與BM存在本質(zhì)的區(qū)別。

2.3? ?不同算法的實(shí)驗(yàn)對(duì)比

將本算法與經(jīng)典插值算法進(jìn)行比較，以峰值信噪比作為定量評(píng)估指標(biāo)，對(duì)TNO數(shù)據(jù)集進(jìn)行算法測(cè)試。實(shí)驗(yàn)結(jié)果如表2、圖5、圖6所示。

由表2知，所提算法在插值性能上優(yōu)于其他幾種算法，一定程度上提高了雙線性插值算法的重建效果。由圖5、圖6知，最近鄰法生成的插值圖像產(chǎn)生了大量的塊效應(yīng)現(xiàn)象;由于立方卷積法與Lanczos法的核較復(fù)雜，這導(dǎo)致插值圖像比較模糊;雙線性插值法是經(jīng)典插值法中最適合用于紅外圖像插值的算法，其生成的插值圖像比較自然，無明顯的塊效應(yīng)和模糊現(xiàn)象。提出的算法對(duì)雙線性插值法進(jìn)行了進(jìn)一步的加強(qiáng)，通過局部均值的修復(fù)方式提高了插值圖像的性能指標(biāo)以及視覺效果。

3? ?結(jié)? ?論

傳統(tǒng)的圖像插值算法類似于一種低通濾波器，其必然導(dǎo)致原始圖像經(jīng)插值后損失大量的細(xì)節(jié)信息。因?yàn)榧t外圖像本身僅具備少量的高頻信息，所以在針對(duì)紅外圖像的插值研究中應(yīng)重點(diǎn)關(guān)注如何避免塊效應(yīng)和模糊現(xiàn)象的出現(xiàn)。鑒于此，提出了一種結(jié)合雙線性插值與局部均值的圖像插值算法，通過合理分配插值像素與均值像素的權(quán)重而顯著地提高了紅外圖像的插值效果。

目前，計(jì)算機(jī)視覺方面的研究主要集中在深度學(xué)習(xí)領(lǐng)域，而當(dāng)前的深度學(xué)習(xí)技術(shù)主要以有監(jiān)督學(xué)習(xí)為主，這不利于展開對(duì)數(shù)據(jù)集本就缺乏的紅外圖像方面的研究。

參考文獻(xiàn)

[1]? ? 陳錢.紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J].紅外技術(shù)，2013，35（06）：311-318.

[2]? ? 李方彪，何昕，魏仲慧，等. 生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)的多幀紅外圖像超分辨率重建[J]. 紅外與激光工程，2018，47（02）：26-33.

[3]? ? 鄒學(xué)瑜，劉昌祿，胡敬營(yíng).基于雙線性插值算法的縮放IP核設(shè)計(jì)[J]. 計(jì)算技術(shù)與自動(dòng)化，2017，36（01）：113-117.

[4]? ? CHAO Dong， LOY C C， HE Kai-ming， et al. Image Super-resolution using deep convolutional networks[J]. IEEE Trans Pattern Anal Mach Intell， 2014， 38（2）：295-307.

[5]? ? KIM J，LEE J K，LEE K M. Accurate image super-resolution using very deep convolutional networks [C] // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press， 2016：1646-1654.

[6]? ? KIM J，LEE J K，LEE K M. Deeply-recursive convolutional network for image super-resolution [C] // Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition. Washington D. C. ， USA： IEEE Press， 2016：1637-1645.

[7]? ? TAI Ying， YANG Jian， LIU Xiao-ming. Image super-resolution via deep recursive residual network[C]// IEEE Computer Vision and Pattern Recognition （CVPR 2017）. IEEE， 2017.

[8]? ? 王歡，吳成東，遲劍寧，等. 聯(lián)合多任務(wù)學(xué)習(xí)的人臉超分辨率重建[J]. 中國(guó)圖象圖形學(xué)報(bào)，2020，25（02）：229-240.

[9]? ? 王丹，陳亮. 基于深度學(xué)習(xí)的紅外夜視圖像超分辨率重建[J].紅外技術(shù)，2019，41（10）：963-969.

[10]? DUCHON C E. Lanczos filtering in one and two dimensions[J]. Journal of Applied Meteorology，1979，18（8）：1016-1022.

[11]? 孫榮榮.基于多參數(shù)和極限學(xué)習(xí)機(jī)的圖像質(zhì)量評(píng)價(jià)方法研究[J]. 計(jì)算技術(shù)與自動(dòng)化，2020，39（01）：123-127.