基于改進(jìn)POCS算法的太赫茲圖像超分辨率重建*

雷 茂, 郭 鋒, 秦明偉

(西南科技大學(xué) 信息工程學(xué)院,四川 綿陽 621010)

0 引 言

太赫茲(THz)波于19世紀(jì)80年代正式命名,在此之前被統(tǒng)稱為遠(yuǎn)紅外射線。因其具有安全性、良好穿透性等特性,太赫茲成像在安全檢查、通信、雷達(dá)探測(cè)以及醫(yī)療診斷等方面具有廣泛應(yīng)用前景[1,2]。太赫茲掃描成像實(shí)驗(yàn)中,受到衍射極限限制,得到的圖像通常分辨率差,信噪比低,邊緣模糊嚴(yán)重,這樣的原始圖像并不能滿足人們對(duì)圖像的正常視覺和后續(xù)研究需求。解決這一問題最直接的方法就是提升硬件系統(tǒng),但受限于目前的技術(shù),并且升級(jí)系統(tǒng)硬件成本較高,因此,研究改善太赫茲圖像分辨率的軟件方法能夠彌補(bǔ)現(xiàn)有設(shè)備部分的不足。

目前超分辨率重建方法可分為插值法、重建法和基于深度學(xué)習(xí)的方法[2]。插值法最為簡單,但插值法重建出來的圖像高頻信息缺失非常嚴(yán)重。重建法包括頻域法和空域法,頻域法最早的研究工作是由Tsai和Huang于1984年進(jìn)行的[2]；空域法主要包括凸集投影(projection onto convex set,POCS)、迭代反投影、非均勻空間樣本內(nèi)插等?；谏疃葘W(xué)習(xí)的方法需要大量的數(shù)據(jù)集,而現(xiàn)在沒有太赫茲圖像公開的數(shù)據(jù)集,這也決定了在目前為止使用學(xué)習(xí)的方法有一定的困難度。凸集投影重構(gòu)算法的原理是利用投影到凸集,直觀有效,是目前最有前途的空域算法之一。

POCS算法是在圖像重建領(lǐng)域的經(jīng)典算法,Stark H和Oskoui P最早將POCS算法應(yīng)用于圖像的超分辨率重建[3]。Eren P E將Patti的方法推廣到多運(yùn)動(dòng)目標(biāo)場(chǎng)景中[4]。

李慧芳等人提出改進(jìn)點(diǎn)擴(kuò)散函數(shù)系數(shù),在圖像水平、垂直、正對(duì)角線、負(fù)對(duì)角線上使用不同的點(diǎn)擴(kuò)散函數(shù)系數(shù)提高圖像邊緣質(zhì)量[5]；禹晶等人提出在點(diǎn)擴(kuò)散與指數(shù)型權(quán)值相乘,使修改后的函數(shù)沿邊緣正交減小[6]。房垚鑫等人[7]提出在邊沿處點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF)函數(shù)水平和垂直兩個(gè)方向使用不同權(quán)重值,但該算法在圖像邊緣處理上存在不足,本文方法在其基礎(chǔ)上進(jìn)行改進(jìn),使重建圖像能更好保持邊緣信息。

本文中使用傳統(tǒng)POCS算法對(duì)太赫茲圖像進(jìn)行重建實(shí)驗(yàn),發(fā)現(xiàn)重建后高分辨率圖像存在邊緣質(zhì)量模糊等問題,因此對(duì)算法進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法提升了重建圖像的質(zhì)量。

1 算法原理概述

1.1 圖像觀測(cè)模型

一幅高分辨率圖像經(jīng)過附加噪聲、幾何運(yùn)動(dòng)、降采樣和光學(xué)模糊等降低圖片質(zhì)量過程可產(chǎn)生與之對(duì)應(yīng)的多幅低分辨率圖像。常用的觀測(cè)模型可表示為

gi=DBMiF+n

(1)

式中g(shù)i為第i幅低分辨率圖像,F為所求的高分辨率圖像,Mi為幾何運(yùn)動(dòng)矩陣,B為模糊矩陣,D為降采樣矩陣,n為附加噪聲,DBMi也可以合稱為點(diǎn)擴(kuò)散函數(shù)(PSF)。

1.2 POCS算法概述

POCS算法充分利用先驗(yàn)知識(shí),它認(rèn)為高分辨率圖像解空間包含在閉合凸形約束集合中。重建圖像的一個(gè)估計(jì)就是這些凸形約束集合的交集內(nèi)一點(diǎn)[8]。高分辨率估計(jì)圖像的獲取就是把任意一個(gè)初始估計(jì)向這些凸形約束集合進(jìn)行投影。

凸集投影圖像超分辨率重建算法具體執(zhí)行過程如下[8]:

步驟1 進(jìn)行運(yùn)動(dòng)估計(jì)。

1)把一幅低分辨率圖像g(i,j)用雙線性插值放大為與高分辨率圖像相同尺寸；

2)用高斯函數(shù)對(duì)上一步的圖像進(jìn)行平滑處理；

3)對(duì)平滑處理后的圖像和參考幀K進(jìn)行運(yùn)動(dòng)估計(jì)。

步驟2 定義集合G(i,j),并計(jì)算每一像素點(diǎn)的模糊函數(shù)A(r,s︰i,j)。

步驟3 插值圖像運(yùn)動(dòng)補(bǔ)償后作為初始估計(jì)zk(r,s)。其他低分辨率圖像也做相同的運(yùn)動(dòng)估計(jì),并以此估計(jì)zk(r,s)的邊緣。

步驟4 對(duì)定義過約束集合G(i,j)所有點(diǎn)(i,j)計(jì)算殘差,并使用修正算子進(jìn)行修正。

hi(m1,m2;n1,n2)

(2)

P(n1,n2;i,k)[xi(m1,m2)]=

(3)

(4)

(5)

步驟5 用式(6)中的算子進(jìn)行幅度約束

(6)

步驟6 如果滿足終止判決條件,則停止迭代,否則轉(zhuǎn)到步驟4。

2 改進(jìn)的POCS算法

2.1 初始圖像獲取

從POCS算法重建過程可以看出,初始估計(jì)圖像對(duì)算法的可行性影響很大。傳統(tǒng)POCS算法采用雙線性插值獲取初始圖像,但雙線性插值并不區(qū)分平滑區(qū)域和邊緣區(qū)域,僅僅將低分辨率圖像上各點(diǎn)映射到放大圖像的各點(diǎn)上,這是重建圖像邊緣模糊的原因之一。因此對(duì)初始圖像的邊緣做正則化處理,即用新的邊緣指導(dǎo)插值(new edge-directed interpolation,NEDI)算法來代替POCS算法中雙線性插值獲取初始圖像[8～10]。 該算法可以避免跨邊緣插值,不會(huì)引入邊緣細(xì)節(jié)退化,可以顯著提升圖像視覺效果。

NEDI算法雖然實(shí)現(xiàn)了方向上的自適應(yīng),但它的計(jì)算復(fù)雜度較高。由于邊緣像素僅占整幅圖像的10 %～30 %,因此為了降低計(jì)算復(fù)雜度,本文使用混合插值,首先采用邊緣檢測(cè)算子檢測(cè)圖像邊緣區(qū)域；邊緣檢測(cè)算子有多種,Canny算子具有抗噪能力強(qiáng)的優(yōu)點(diǎn),因此,文中采用Canny邊緣檢測(cè)算子對(duì)原始圖像進(jìn)行檢測(cè),從而將原始圖像劃分為邊緣和平坦區(qū)域。對(duì)平坦區(qū)域使用三次樣條插值,對(duì)邊緣區(qū)域使用NEDI算法。

2.2 優(yōu)化點(diǎn)擴(kuò)散函數(shù)

圖像重建過程中POCS算法會(huì)使用點(diǎn)擴(kuò)散函數(shù)對(duì)圖像進(jìn)行修正,傳統(tǒng)POCS算法中對(duì)邊緣區(qū)域和平坦區(qū)域使用相同的PSF修正,計(jì)算邊緣深色點(diǎn)像素時(shí)因PSF函數(shù)作用域內(nèi)有淺色像素點(diǎn),會(huì)導(dǎo)致邊緣深色一側(cè)像素顏色更深,同樣對(duì)于淺色一側(cè)顏色更淺,這也是導(dǎo)致圖像邊緣模糊的原因。常用的點(diǎn)擴(kuò)散函數(shù)如下所示

x,y∈Sh

(7)

式中h(x,y)為PSF模板,(a,b)為點(diǎn)擴(kuò)散函數(shù)中心坐標(biāo),Sh為5×5的支撐域。

基于以上導(dǎo)致邊緣模糊的原因分析,本文對(duì)POCS算法作出改進(jìn):在迭代優(yōu)化前進(jìn)行邊緣檢測(cè),圖像平坦區(qū)域使用經(jīng)典的PSF,邊緣區(qū)域的像素使用改進(jìn)的PSF。

對(duì)于高分辨率初始圖像做邊緣檢測(cè),本文使用Canny邊緣檢測(cè)算子,基于檢測(cè)到的圖像邊緣使用Sobel模板計(jì)算其與軸(水平)方向的夾角α,Gx,Gy分別表示水平、垂直方向偏導(dǎo)數(shù)的近似值。夾角α計(jì)算公式如下

α=arctan(Gy/Gx)

(8)

當(dāng)夾角α接近0時(shí),表示邊緣趨近水平方向,需要PSF模板中水平方向權(quán)重更大;當(dāng)α接近π/2時(shí),表示邊緣趨近與垂直方向,需要模板中垂直方向權(quán)重更大。并且PSF函數(shù)需要隨夾角改變而自適應(yīng)變化,因此可以得到如下改進(jìn)的PSF

exp(-0.5d)

(9)

式中d=|f(x,y)-f(a,b)|為像素f(x,y)與模板中心像素f(a,b)差的絕對(duì)值。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

圖片質(zhì)量評(píng)價(jià)指標(biāo)可以分為兩種,即主觀標(biāo)準(zhǔn)和客觀標(biāo)準(zhǔn)。主觀標(biāo)準(zhǔn)是通過肉眼觀察圖像清晰度來評(píng)價(jià),客觀標(biāo)準(zhǔn)本文采用平均絕對(duì)誤差(MAE)、峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)來評(píng)價(jià)。平均絕對(duì)誤差越小,與原圖像差異越小；峰值信噪比越大,重建圖像質(zhì)量越高；結(jié)構(gòu)相似度越接近1,重建圖像質(zhì)量越好。計(jì)算公式如下

(10)

式中h(i,j)為待評(píng)估圖像灰度值,l(i,j)為標(biāo)準(zhǔn)圖像灰度值,m,n為行數(shù)、列數(shù)

(11)

(12)

式中 MSE為原圖像與處理圖像之間的均方誤差,p(i,j)為重建后的圖像,I(i,j)為原始圖像,大小均為M×N。Imax(i,j)為原始圖像中像素的最大值

(13)

式中μa,μb分別為圖像a,b均值,σ為標(biāo)準(zhǔn)差。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 實(shí)驗(yàn)一

本實(shí)驗(yàn)選用4幀大小為20×50的字牌圖像,重建出一幀40×100的高分辨率圖像。點(diǎn)擴(kuò)散函數(shù)為高斯函數(shù),其支撐域大小5×5,標(biāo)準(zhǔn)差為1,迭代次數(shù)設(shè)為5次。使用雙線性插值、NEDI、傳統(tǒng)POCS算法、參考文獻(xiàn)[6]中的算法和改進(jìn)的POCS算法進(jìn)行重建實(shí)驗(yàn),重建結(jié)果的放大圖像如圖1所示。

圖1 字牌超分辨率重建結(jié)果

由圖1可知,雙線性插值、NEDI、傳統(tǒng)POCS算法、參考文獻(xiàn)[6]中的算法和本文算法重建后圖像視覺效果均有提升,圖像更加清晰,細(xì)節(jié)更為豐富,但文獻(xiàn)[6]算法相較于傳統(tǒng)POCS算法重建效果反而變差了,本文算法與傳統(tǒng)POCS算法和文獻(xiàn)[6]算法相比,重建效果最好,從圖1重建結(jié)果中字母‘p’可以看出,本文算法重建后字母‘p’更加清晰。表1中的數(shù)據(jù)也反映本文算法重建效果最好,平均絕對(duì)誤差比傳統(tǒng)POCS算法減少了2.71,結(jié)構(gòu)相似度基本不變,峰值信噪比增加了1.2 dB。

表1 實(shí)驗(yàn)結(jié)果客觀指標(biāo)

3.2.2 實(shí)驗(yàn)二

本實(shí)驗(yàn)采用太赫茲掃描成像系統(tǒng)生成4幀大小為150×100的刀具圖像,重建出一幀300×200的高分辨率圖像。點(diǎn)擴(kuò)散函數(shù)為高斯函數(shù),其支撐域大小5×5,標(biāo)準(zhǔn)差為1,迭代次數(shù)設(shè)為5次。

本文利用雙線性插值、NEDI插值、傳統(tǒng)POCS算法、參考文獻(xiàn)[6]中的算法和改進(jìn)的POCS算法進(jìn)行重建實(shí)驗(yàn),并比較原始圖像、原始圖像重建圖像質(zhì)量。重建結(jié)果如圖2所示。

圖2 超分辨率重建結(jié)果

從視覺效果上來說,本文改進(jìn)的POCS算法與雙線性插值、NEDI插值算法相比,圖像質(zhì)量有了明顯提升,細(xì)節(jié)更加突出,但是本文改進(jìn)POCS算法與傳統(tǒng)POCS算法相比,視覺效果沒有肉眼可見的提升。但通過放大圖像,展現(xiàn)局部細(xì)節(jié),如圖3所示。

圖3 圖像細(xì)節(jié)

從圖2中可以看出,本文提出的改進(jìn)POCS算法較傳統(tǒng)POCS算法和文獻(xiàn)[6]方法有較大提升,圖像細(xì)節(jié)更加清晰,還可以從客觀指標(biāo)表現(xiàn)圖像質(zhì)量,如表2所示。

表2 實(shí)驗(yàn)結(jié)果客觀指標(biāo)

太赫茲圖像和重建后圖像的平均絕對(duì)誤差、峰值信噪比及結(jié)構(gòu)相似度如表2所示。平均絕對(duì)誤差反映重建圖像與原太赫茲圖像差異,值越小重建結(jié)果越理想。峰值信噪比反映重建后圖像與原太赫茲圖像件像素誤差,其值越大,說明圖像重建效果越好,由表2數(shù)據(jù)可知,本文算法的平均絕對(duì)誤差較傳統(tǒng)算法降低了0.96,結(jié)構(gòu)相似度基本不變,峰值信噪比提升了1.02 dB,這說明改進(jìn)后的POCS算法重建圖像與原圖像更為接近,重建質(zhì)量更好,細(xì)節(jié)更加豐富。

4 結(jié) 論

本文使用改進(jìn)后的POCS算法對(duì)太赫茲圖像進(jìn)行高分辨率重建實(shí)驗(yàn),與傳統(tǒng)POCS算法相比,該算法重建圖像在清晰度方面有了較為明顯提升。改進(jìn)后的算法對(duì)圖像邊緣部位特殊處理,采用新的邊緣指導(dǎo)插值算法代替雙線性插值來獲取初始圖像；同時(shí)改進(jìn)點(diǎn)擴(kuò)散函數(shù),對(duì)中心像素在邊緣的模板加權(quán),使重建后圖像邊緣保持更好,細(xì)節(jié)更為豐富。應(yīng)用該算法于太赫茲安檢領(lǐng)域,能有效提升對(duì)危險(xiǎn)目標(biāo)的檢測(cè)識(shí)別能力。