基于改進(jìn)總廣義變分的紅外圖像超分辨率算法

蘇冰山 陳繼光 陳雨

摘要：本文提出一種新的紅外圖像超分辨率算法。算法將一種改進(jìn)型的二階總廣義變分模型與紅外圖像的高頻估計(jì)結(jié)合起來(lái)：首先根據(jù)相位一致算法提取可見(jiàn)光圖像和紅外圖像的邊緣;然后將提取的圖像邊緣按照相關(guān)邊緣和非相關(guān)邊緣分類(lèi);分類(lèi)后依據(jù)可見(jiàn)光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像的高頻估計(jì);最后將高頻估計(jì)圖像與改進(jìn)的二階總廣義變分模型結(jié)合起來(lái)，得到新的正則化模型，由此模型重建高分辨率紅外圖像。實(shí)驗(yàn)結(jié)果證明本文算法優(yōu)于其他算法。

關(guān)鍵詞：紅外圖像超分辨;總廣義變分（TGV）;正則化;多傳感器;高頻估計(jì)

中圖分類(lèi)號(hào)：TP391? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）22-0193-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

紅外圖像反應(yīng)場(chǎng)景的輻射情況，對(duì)外界光照條件沒(méi)有要求，成像條件是全天候的，紅外圖像在軍事偵察、醫(yī)療衛(wèi)生和安防監(jiān)控等領(lǐng)域應(yīng)用廣泛。然而由于紅外圖像的成像原理和硬件技術(shù)水平的限制，可獲得的紅外圖像的邊緣不夠清晰、分辨率較低并且存在噪聲。

為了解決紅外圖像分辨率低的問(wèn)題，文獻(xiàn)[1]通過(guò)最小角度回歸算法和基于稀疏表示的超分辨率方法重建紅外圖像;文獻(xiàn)[2]借助孔徑編碼器和稀疏表示完成對(duì)紅外圖像的超分辨重建;文獻(xiàn)[3]通過(guò)劃分區(qū)域求得自適應(yīng)全變分因子合成高分辨率紅外圖像。以上方法均是利用同一種傳感器獲得的圖像進(jìn)行紅外圖像的超分辨率重建，由于紅外圖像自身的局限性如邊緣模糊，存在噪聲等特點(diǎn)導(dǎo)致獲得的高分辨率紅外圖像質(zhì)量不高

可見(jiàn)光成像設(shè)備技術(shù)成熟且價(jià)格相對(duì)低廉，可以方便地拍攝高分辨率可見(jiàn)光圖像，同時(shí)，直接拍攝的高分辨率可見(jiàn)光圖像邊緣細(xì)節(jié)清晰，可以有效彌補(bǔ)紅外圖像的不足。文獻(xiàn)[4]利用非局部均值濾波正則化和最小二乘法結(jié)合實(shí)現(xiàn)多傳感器深度圖像的超分辨率重建，該方法即為基于多傳感器的方法。本文首先根據(jù)相位一致算法提取可見(jiàn)光圖像和紅外圖像的邊緣;將提取的圖像邊緣按照相關(guān)和非相關(guān)邊緣分類(lèi);依據(jù)可見(jiàn)光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像塊的高頻估計(jì)，與一階梯度銳化算子改進(jìn)的總廣義變分模型結(jié)合起來(lái)，得到新的正則化模型，并由此模型重建高分辨率紅外圖像。算法中對(duì)邊緣像素進(jìn)行分類(lèi)，合理的考慮了不同類(lèi)型圖像的相關(guān)性，限制了可見(jiàn)光圖像的無(wú)關(guān)信息對(duì)重建紅外圖像的干擾。

1 本文算法框架

本文重建高分辨率紅外圖像的算法框架如圖1，該算法迭代求解出最優(yōu)化條件下的超分辨率重建圖像[IH]：

[IH=argminI{αR（I）+D（I，F(xiàn)S）}]? ? ? ? ? ? ? ? ? ? ? ? （1）

上式由正則約束項(xiàng)[R（I）]和數(shù)據(jù)項(xiàng)[D（I，F(xiàn)S）]組成，[I]為紅外圖像超分辨率重建后的結(jié)果，[FS]為低分辨率紅外圖像的高頻估計(jì)，標(biāo)量參數(shù)[α]為平衡正則約束項(xiàng)與數(shù)據(jù)項(xiàng)之間關(guān)系的權(quán)重值。正則約束項(xiàng)利用圖像的先驗(yàn)約束條件對(duì)重建的近似解空間進(jìn)行約束，進(jìn)而求得最優(yōu)解。

2 本文算法流程

2.1 邊緣提取和邊緣像素的相關(guān)性分類(lèi)

圖像邊緣細(xì)節(jié)清晰則超分辨重建圖像會(huì)有更加理想的視覺(jué)效果。因此提取圖像邊緣細(xì)節(jié)區(qū)域?qū)λ惴ㄊ种匾?。本文采用相位一致性算法提取可?jiàn)光圖像的邊緣信息[SVIS（i，j）]和紅外圖像的邊緣信息[SIR（i，j）]。

同一場(chǎng)景的可見(jiàn)光圖像和紅外圖像之間存在相關(guān)性和互補(bǔ)性，為了利用相關(guān)邊緣信息提高紅外圖像分辨率，避免非相關(guān)邊緣對(duì)紅外圖像超分辨重建結(jié)果造成影響，將存在相關(guān)性的圖像塊提取出來(lái)是必要的。因此在提取邊緣信息后將邊緣區(qū)域分為相關(guān)邊緣和非相關(guān)邊緣。在邊緣信息分類(lèi)時(shí)我們采用相關(guān)系數(shù)分類(lèi)法加以分類(lèi)。

根據(jù)相關(guān)系數(shù)將圖像邊緣分類(lèi)為相關(guān)邊緣和非相關(guān)邊緣的步驟是：首先分別提取紅外與可見(jiàn)光圖像邊緣，然后采用歸一化互相關(guān)方法來(lái)測(cè)定二者邊緣像素的相似度：

[S（i，j）=SVIS（i，j）SIR（i，j）-SVIS（i，j）SIR（i，j）（S2VIS（i，j）-SVIS（i，j）2）（S2IR（i，j）-SIR（i，j）2）]? ? ?（2）

[SVIS（i，j）]和[SIR（i，j）]是指以像素[（i，j）]為中心的大小為5×5的加權(quán)平均圖像塊，當(dāng)對(duì)應(yīng)像素點(diǎn)為中心的圖像塊的歸一化互相關(guān)系數(shù)大于[Ts]，且提取的圖像塊的邊緣強(qiáng)度[T]大于[Te]，當(dāng)滿(mǎn)足這兩個(gè)條件時(shí)，則認(rèn)為對(duì)應(yīng)的圖像塊相關(guān)，兩個(gè)不同傳感器獲取的圖像塊之間可以通過(guò)仿射變換，本文算法中[Ts]取0.05，[Te]取0.05。

2.2 邊緣像素的高頻塊估計(jì)

相關(guān)邊緣像素可以通過(guò)仿射變換關(guān)系估計(jì)紅外圖像的高頻細(xì)節(jié)。可認(rèn)為不同傳感器獲取的圖像在局部鄰域內(nèi)存在仿射變換關(guān)系，本文利用如下二次關(guān)系模型：

[Mk，lxIR=（xHσM2k，lxVIS+yHσMk，lxVIS+ze）]for[?（k，l）∈Ωc]? ?（3）

式中[Mk，l]指對(duì)圖像以像素[（i，j）]為中心取塊操作，[Hσ]代表高斯模糊核的卷積矩陣，標(biāo)準(zhǔn)差為[σ]，[e]代表單位矩陣，[x]，[y]，[z]分別代表局部仿射變換中的參數(shù)，[Ωc]指可見(jiàn)光圖像和紅外圖像相關(guān)邊緣像素集。

邊緣點(diǎn)[（k，j）]的參數(shù)[x]，[y]，[z]，可以通過(guò)平方誤差函數(shù)估算：

[E（x，y，z，σ）=Kk，lxIR-（xHσK2k，lxVIS+yHσKk，lxVIS+ze）22+λ1x2+λ2y2=（i，j）{xp2VIS，σ（i，j）+ypVIS，σ（i，j）+z-pIR（i，j）}2+λ1x2+λ2y2] ? ? ? （4）

公式中[xVIS]和[xIR]分別為可見(jiàn)光圖像和紅外圖像相關(guān)邊緣的圖像塊，[pIR]代表一個(gè)紅外圖像塊，[pVIS，σ]代表被標(biāo)準(zhǔn)差為[σ]的高斯核模糊的可見(jiàn)光圖像塊，[（i，j）]代表圖像塊中的像素點(diǎn)，公式中[λ1x2]和[λ2y2]是正則化項(xiàng)，[x]，[y]，[z]可以通過(guò)下面近似形式來(lái)計(jì)算：

[?E/?x|σ=σc=0]，[?E/?y|σ=σc=0]，[?E/?z|σ=σc=0]，[?] ? ? ? ? ? ? ? （5）

[xyz=（i，j）P4VIS，σc+λ1，（i，j）P3VIS，σc，（i，j）P2VIS，σc（i，j）P3VIS，σc，（i，j）P2VIS，σc+λ2，（i，j）PVIS，σc（i，j）P2VIS，σc，（i，j）PVIS，σc，（i，j）1-1×（i，j）P2VIS，σcPIR（i，j）PVIS，σcPIR（i，j）PIR] ? ?（6）

獲得估計(jì)的參數(shù)后，紅外圖像的高頻部分可以通過(guò)以下方式計(jì)算：

[Fk，l=xHσlK2k，lxVIS+yHσlKk，lxVIS+z-Kk，lxIR]? ? ? ? ? ? ? ? ? ? （7）

高頻部分決定了紅外圖像的細(xì)節(jié)部分，細(xì)節(jié)越豐富則超分辨重建的紅外圖像質(zhì)量相對(duì)越好，相關(guān)邊緣進(jìn)行高頻估計(jì)后，改進(jìn)的TGV模型與估計(jì)的高頻細(xì)節(jié)[Fk，l]結(jié)合起來(lái)并進(jìn)行多次迭代運(yùn)算，得到高分辨率紅外圖像。

2.3 高頻塊估計(jì)與改進(jìn)的TGV模型的結(jié)合

TGV模型由任意階多項(xiàng)式組成，本文采用改進(jìn)的TGV表達(dá)式如下：

[ ][T=mins{α2?I+α1?I-s+α0?s+D（I）-Is2}]? （8）

其中[?I]為一階梯度銳化算子，[s]為T(mén)GV正則化算法中的對(duì)稱(chēng)矩陣，標(biāo)量[α2]、[α1]和[α0]為權(quán)重參數(shù)。

本文將上一步驟中得到的高頻估計(jì)設(shè)為[Fs]，并將高頻估計(jì)作為數(shù)據(jù)項(xiàng)引入已經(jīng)改進(jìn)的TGV正則化模型，將正則約束項(xiàng)與數(shù)據(jù)項(xiàng)結(jié)合起來(lái)，得到算法的目標(biāo)函數(shù)：

[IH=α2?I+α1?I-s+α0?s+D（I）-Is2+D（I）-Fs2]? ? ? ? ? ?（9）

目標(biāo)函數(shù)結(jié)合梯度下降法求得最優(yōu)解。由此（9）式轉(zhuǎn)化為：

[IH=minI，smaxp，qα2?I+α1?I-s，p+α0?s，q+i=1Mj=1N（Ii，j-ISi，j）2+i=1Mj=1N（Ii，j-FSi，j）2]? ? ? ? ? ? ? ?（10）

在主-對(duì)偶優(yōu)化算法中，主變量[I]，[s]和對(duì)偶變量[p]，[q]通過(guò)迭代計(jì)算求解。第一次迭代時(shí)，[I=IS]， 令[s]， [p]， [q]=0，步長(zhǎng)[θp]，[θq]均設(shè)為大于0的常數(shù)。迭代計(jì)算的三個(gè)過(guò)程如下：

第一，對(duì)偶變量通過(guò)梯度上升迭代更新：

[pn+1=pn+θpα2?In0+α1?In0-sn0max（1，pn+θpα2?In0+α1?In0-sn0）]? ? ? ? ? （11）

[qn+1=qn+θqα0?sn0max（1，qn+θqα0?sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （12）

第二，主變量通過(guò)梯度下降迭代更新：

[In+1=In+kI（α2+α1）?Tpn+1+IS+FS1+kI]? ? ? ? ? ? ? ? ? ? ?（13）

[sn+1=sn+ks（α1pn+1+α0?Tqn+1）]? ? ? ? ? ? ? ? ? ? ? ? ? （14）

上式中[kI]、[ks]為步長(zhǎng)。

第三，主變量?jī)?yōu)化：

[In+10=In+1+μ（In+1-In0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （15）

[sn+10=sn+1+μ（sn+1-sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （16）

[I0]和[s0]為迭代計(jì)算的中間結(jié)果，[μ]的值在每次迭代計(jì)算時(shí)都進(jìn)行更新。本文由以上計(jì)算過(guò)程得到收斂的優(yōu)化解。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用同場(chǎng)景且配準(zhǔn)的可見(jiàn)光圖像和紅外圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)將最近鄰插值算法、Choi[5]的算法、David[6]的算法以及本文算法進(jìn)行對(duì)比，以求評(píng)價(jià)本文算法的效果。算法中取圖像塊的大小為[5×5]，[σ]為2，[σl]為0.3，[Ts]取0.05，[Te]取0.05，[λ1]和[λ2]取0.5，[ω]取0.01，[η]取0.01，[θp]取0.33，[θq]取0.5，[μ]的初值取0.77，[α0]取0.1，[α1]取25，[α2]取0.05。

圖2為實(shí)驗(yàn)結(jié)果。

圖2? ?低分辨率輪船圖像超分辨重建得到的高分辨率紅外圖像（a）為最近鄰插值算法所得結(jié)果;（b）為Choi算法所得結(jié)果;（c）為David算法所得結(jié)果;（d）為本文算法所得結(jié)果;（e）為真實(shí)的高分辨率紅外圖像;（al）-（el）分別表示（a）-（e）矩形標(biāo)注部分的局部放大圖

根據(jù)實(shí)驗(yàn)結(jié)果，本文算法重建效果最好，本文算法利用相位一致性算法提取可見(jiàn)光圖像邊緣并對(duì)邊緣像素加以分類(lèi)，限制了可見(jiàn)光圖像無(wú)關(guān)信息的干擾，同時(shí)將二次仿射變換得到的高頻估計(jì)加入算法模型使得重建圖像邊緣較清晰。

4 結(jié)論

本文對(duì)二階總廣義變分模型進(jìn)行了改進(jìn)。傳統(tǒng)的TGV模型在計(jì)算多傳感器圖像超分辨率時(shí)對(duì)正則約束項(xiàng)加權(quán)，容易導(dǎo)致可見(jiàn)光圖像的噪聲混入重建圖像。本文利用相位一致算法提取紅外和可見(jiàn)光圖像的邊緣并進(jìn)行相關(guān)性分類(lèi)，避免了非相關(guān)邊緣對(duì)重建圖像的干擾，然后對(duì)相關(guān)性分類(lèi)以后的紅外和可見(jiàn)光圖像邊緣進(jìn)行二次仿射變換，將得到的高頻估計(jì)圖像與改進(jìn)的TGV模型結(jié)合起來(lái)，與其他算法相比本文的方法不僅有更好的視覺(jué)效果，PSNR也有提高。

參考文獻(xiàn)：

[1]? 戚曹，朱桂斌，唐鑒波，等. 基于稀疏表示的紅外視頻圖像超分辨率算法[J]. 計(jì)算機(jī)工程， 2016.42（3）：278-282.

[2] 王新華，歐陽(yáng)繼紅，龐武斌. 壓縮編碼孔徑紅外成像超分辨重建[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版）， 2016.46（4）：1239-1245.

[3] 翟海天，李輝，李彬. 基于區(qū)域劃分的紅外超分辨率重建[J]. 光學(xué)精密工程，2015.23（10）：2989-2996.

[4]? Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael S. Brown，Inso Kweon.High Quality Depth Map Upsampling for 3D-TOF Cameras. IEEE International Conference on Computer Vision， 2011， 24（4）：1623-1630.

[5] Kyuha C，Changhyun K，Myung H K.Resolution Improvement of Infrared Images Using Visible Image Information[J]. IEEE Signal Processing Letters. 2011，18（10）：611-614.

[6] David F， Christian R， Rene R. Image Guided Depth Upsampling using Anisotropic Total Generalized Variation[A]. IEEE International Conference on Computer Vision[C]. 2013：，1-8.

【通聯(lián)編輯：光文玲】