基于多通道視覺(jué)注意力的圖像清晰度復(fù)原方法

張 玲,吳發(fā)輝,余文森,向益峰

(1. 武夷學(xué)院信息技術(shù)與實(shí)驗(yàn)室管理中心,福建 南平 354300;2. 武夷學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院,福建 南平 354300;3. 福建師范大學(xué)光電與信息工程學(xué)院,福建 福州 350117)

1 引言

圖像在成像過(guò)程中,如遇到敏感天氣環(huán)境,常會(huì)受到拍攝設(shè)備光學(xué)成像原理的影響,在成像時(shí)觸碰大氣中微小粒子對(duì)光線產(chǎn)生散射現(xiàn)場(chǎng),使圖像對(duì)比度、可見(jiàn)度和清晰度等均發(fā)生不同程度的下降,影響圖像質(zhì)量,使圖像看起來(lái)不夠清晰。在日常生活中攝影、監(jiān)控等都需要清晰有價(jià)值的圖像,因此在這種情況下,復(fù)原圖像的清晰度和對(duì)比度是有必要的。

針對(duì)圖像的復(fù)原,陶鏞澤等人[1]研究出一種矩形納米復(fù)原方法,通過(guò)納米光柵計(jì)量器獲取圖像分辨率,分析出圖像特征間的幾何量參數(shù),通過(guò)神經(jīng)網(wǎng)絡(luò)標(biāo)定圖像特征參數(shù),經(jīng)過(guò)膨脹仿真,最終完成圖像復(fù)原;曹學(xué)影等人[2]研究的自適應(yīng)雙刃邊復(fù)原法,針對(duì)圖像中相位一致的頻域,進(jìn)行邊緣特征提取,自適應(yīng)調(diào)整最優(yōu)角度,擬合圖像中不清晰部分,建立點(diǎn)擴(kuò)散函數(shù)對(duì)圖像暗色進(jìn)行先驗(yàn),實(shí)現(xiàn)模糊圖像的清晰度復(fù)原。但上述兩種方法在完成圖像復(fù)原的過(guò)程中,并未考慮到透射率對(duì)去霧的影響,因此最終的復(fù)原效果具有一定的局限性,損失了部分有效信息。

本文在研究圖像清晰度復(fù)原方法時(shí),考慮到多個(gè)色彩通道下圖像的呈現(xiàn)效果,建立多通道視覺(jué)注意力模型,分析圖像信息權(quán)重,根據(jù)圖像細(xì)節(jié)特征生成視覺(jué)注意類信號(hào),在圖像信息權(quán)重的輔助下,得到視覺(jué)通道中的每個(gè)視覺(jué)信號(hào),在高斯濾波函數(shù)下完成圖像卷積計(jì)算,最終實(shí)現(xiàn)圖像的清晰度復(fù)原。經(jīng)實(shí)驗(yàn)驗(yàn)證,證明所提方法在圖像復(fù)原方面具有較好的呈現(xiàn)效果。

2 多通道視覺(jué)注意力模型

利用多通道視覺(jué)注意力卷積神經(jīng)網(wǎng)絡(luò),提取圖像中特征,設(shè)定特征V的空間向量[3]為L(zhǎng)×D,圖像信息分布在L個(gè)空間區(qū)域內(nèi),每個(gè)圖像區(qū)域?qū)?yīng)D維個(gè)向量,具體可表示為

V={V1,V2,…VL},Vi∈RD

(1)

式中,RD表示D空間維度,Vi為第i個(gè)圖像空間區(qū)域,視覺(jué)注意力的多通道分配函數(shù)[4]主要根據(jù)圖像特征,結(jié)合圖像視覺(jué)注意力模型生成的視覺(jué)信號(hào),生成的圖像信息權(quán)重[5]

(2)

對(duì)式(1)進(jìn)行歸一化處理可得

(3)

(4)

(5)

對(duì)式(5)進(jìn)行歸一化處理可得

(6)

(7)

將圖像通道視覺(jué)狀態(tài)Tatt的維度轉(zhuǎn)換成Tlstm,并與視覺(jué)特征Vatt合并傳入長(zhǎng)短期記憶網(wǎng)絡(luò)[7],隨機(jī)生成視覺(jué)信息元素

W=LSTM(Vatt,Tlstm,ht-1)

(8)

針對(duì)圖像中的視覺(jué)狀態(tài)和視覺(jué)信號(hào),利用D空間維度范圍內(nèi)的獨(dú)熱碼[8,9]向量來(lái)表示,視覺(jué)標(biāo)簽用維度為Z×D的向量T來(lái)表示

T={T1,T2,…,Tn},Ti∈RD

(9)

式中,Z表示視覺(jué)標(biāo)簽的空間長(zhǎng)度,圖像生成的多通道特征用維度為C×D的向量W表示

W={w1,w2,…,wc},wi∈RD

(10)

式中,C表示在C×D維度下生成的視覺(jué)標(biāo)簽長(zhǎng)度。

3 暗原色先驗(yàn)算法

在復(fù)原圖像清晰度時(shí),首先要考慮圖像受到環(huán)境光散射的影響程度,圖像反射出的自然光線通過(guò)大氣微粒的散射作用,最終到達(dá)拍攝設(shè)備鏡頭前。大氣自然光的物理模型可以表示為

K(x,y)=R(x,y)t(x,y)+A(1-t(x,y))

(11)

式中,A表示自然光向量,K(x,y)表示不清晰拍攝圖像,R(x,y)表示清晰化圖像,二者之間受到自然光向量和透射率[10]t(x,y)的影響,R,G,B表示圖像內(nèi)三原色像素值。透射率的具體計(jì)算過(guò)程如下

(12)

式中,AC表示自然光向量A的正值變形向量。設(shè)定R(x,y)屬于非天空區(qū)域圖像,此時(shí)圖像范圍內(nèi)的暗通道值[11]相對(duì)較低,甚至有可能接近于0,表示為

Rdark(x,y)→0 了

(13)

上式即為暗通道先驗(yàn)?zāi)Ｐ?其中的像素值非常低,主要成因包括陰影、彩色成像物表面和較暗成像物,這三種情況均會(huì)在成像時(shí),在圖像的暗通道中產(chǎn)生較低的像素值。

為了方便研究將自然光向量A的值假定為給定值,此時(shí)可將公式變形表示為

(14)

每個(gè)顏色對(duì)應(yīng)的通道互相之間保持獨(dú)立,假設(shè)光照透射率t(x,y)在固定區(qū)域Ω(x,y)內(nèi)保持不變,此時(shí)在該區(qū)域內(nèi)透射率可表征為t1(x,y),通過(guò)上述條件設(shè)定完成對(duì)圖像暗通道的計(jì)算:

(15)

由于圖像R(x,y)的暗通道相對(duì)較低且接近于0,因此

(16)

這時(shí)可以深度計(jì)算得到圖像透射率t1(x,y)的最終值

(17)

若圖像中存在天空區(qū)域景象,其顏色與自然光非常接近,又由于其距離過(guò)遠(yuǎn),透射率基本接近于0,因此先對(duì)天空區(qū)域作出可行假設(shè)

(18)

若將圖像中影響清晰度的霧氣全部清除,可能會(huì)使圖像表現(xiàn)不自然,這時(shí)為了使遠(yuǎn)距離成像體能夠達(dá)到清晰可見(jiàn)的效果,加入調(diào)節(jié)參數(shù)[12]ω0,將其調(diào)節(jié)平均值設(shè)定在0.95,此時(shí)可得到遠(yuǎn)距離成像物的透射率

(9)

通過(guò)軟對(duì)比獲取天空區(qū)域的透射率為tb(x.y),可以結(jié)合上式列出函數(shù)等式關(guān)系

(L+λU)tb(x,y)=λta(x,y)

(20)

其中,U和L均表示單位矩陣,λ表示暗原色計(jì)算函數(shù)的參考變量。

4 考慮透射率的圖像復(fù)原實(shí)現(xiàn)

利用異型高斯濾波調(diào)整圖像色調(diào),達(dá)到優(yōu)化透射率的目的。根據(jù)圖像視覺(jué)注意力可以判斷,自然光向量A、K(x,y)二者與清晰化圖像R(x,y)之間存在幾何相關(guān)性,圖像的光線透射率表示兩條矢量線[13]的真實(shí)比率。通過(guò)自適應(yīng)各種類型的異型高斯濾波[14]達(dá)到優(yōu)化圖像透射率的作用,圖像的長(zhǎng)軸尺度可表示為

(21)

式中,δu表示長(zhǎng)軸長(zhǎng)度。通過(guò)長(zhǎng)軸尺寸可以有效判斷出圖像內(nèi)光線的短軸尺寸為δv,此時(shí)可以通過(guò)圖像中給定的灰度方差計(jì)算出圖像透射率具體的平滑程度

(22)

R=K+Q

(23)

式中,K表示長(zhǎng)短軸之間的比例參數(shù),此時(shí)短軸尺寸可具體表示為:

δv=R×δu

(24)

通過(guò)自適應(yīng)高斯濾波函數(shù)確定圖像信息卷積方向[15]θ,同時(shí)計(jì)算出方向角度θ和K之間的比值參數(shù),變換方向θ的垂直角度,利用高斯函數(shù)計(jì)算推導(dǎo)水平方向和垂直方向的參數(shù)[16],完成不清晰圖像的卷積,此時(shí)可得到不清晰圖像在坐標(biāo)(x,y)處的與垂直方向的夾角θ′,具體的計(jì)算過(guò)程如下所示

(25)

(26)

θ′(x,y)=arctg[Ey(x,y)/Ex(x,y)]

(27)

式中,ξ表示圖像像素在坐標(biāo)上卷積參數(shù),卷積方向角度θ與對(duì)應(yīng)的垂直角度θ′之間存在如下關(guān)聯(lián)關(guān)系

θ=θ′+90

(28)

利用高斯濾波函數(shù)模型轉(zhuǎn)換圖像投影時(shí)[17],將式(28)代入到其中可得

(29)

經(jīng)過(guò)反復(fù)計(jì)算得到K=20時(shí),圖像的透射率可達(dá)到最佳效果,此時(shí)根據(jù)自然光的透射率可以通過(guò)圖像復(fù)原得到清晰化的圖像可表示為

(30)

其中,t0表示下限值,經(jīng)過(guò)反復(fù)計(jì)算確定其最佳結(jié)果應(yīng)為0.1。

5 仿真研究

為了能夠有效驗(yàn)證本文所研究的圖像清晰度復(fù)原方法的可行性和應(yīng)用性能,本文將在計(jì)算機(jī)設(shè)備Matlab7以及奔騰(R)D,E6700,8GB處理器上進(jìn)行圖像的復(fù)原實(shí)驗(yàn),實(shí)驗(yàn)過(guò)程中利用文獻(xiàn)[1]提出的矩形納米復(fù)原法、文獻(xiàn)[2]提出的自適應(yīng)雙刃邊復(fù)原法作為實(shí)對(duì)照組,分別對(duì)模糊圖像進(jìn)行去霧和增強(qiáng)透射率等清晰化處理,選擇圖1作為圖像復(fù)原實(shí)驗(yàn)對(duì)象,利用三種方法對(duì)圖1進(jìn)行去霧處理,結(jié)果分別如圖2～圖4所示。

圖1 原始圖像

圖2 矩形納米復(fù)原法去霧后圖像

圖3 自適應(yīng)雙刃邊復(fù)原法去霧后圖像

圖4 本文方法去霧后圖像

從圖2～圖4中可以看出,通過(guò)比較可以看出,本文方法下圖像的霧氣幾乎消除,圖像中數(shù)目草叢的邊緣輪廓得到恢復(fù),不存在色彩偏移的現(xiàn)象,圖像細(xì)節(jié)得到有效地增強(qiáng)。

經(jīng)過(guò)圖像去霧處理后,通過(guò)三種不同方法分別對(duì)圖像進(jìn)行進(jìn)一步的透射率調(diào)整,完成最終的圖像清晰度復(fù)原處理,結(jié)果分別如圖5～圖7所示。

圖5 矩形納米復(fù)原法復(fù)原后圖像

圖6 自適應(yīng)雙刃邊復(fù)原法復(fù)原后圖像

圖7 本文方法復(fù)原后圖像

比較圖5～圖7可以看出,文獻(xiàn)方法應(yīng)用后圖像的透射問(wèn)題改善效果并不顯著,在兩幅圖像的上半部分,建筑物的輪廓和細(xì)節(jié)均較為模糊,影響圖像整體的清晰度,而經(jīng)過(guò)本文方法復(fù)原后的圖像透射率高,圖像畫質(zhì)和分辨率都較為清晰,復(fù)原效果較好。

為了更加客觀的評(píng)估本文方法在圖像復(fù)原方面的性能,通過(guò)圖像信息熵來(lái)評(píng)估圖像復(fù)原后的信息包含量,圖像信息熵越大,證明圖像經(jīng)過(guò)清晰度復(fù)原后包含的信息更加清晰飽滿,已知圖像信息熵保持在6以上圖像才相對(duì)清晰,將本文方法下得到的復(fù)原圖像信息熵與矩形納米復(fù)原法和自適應(yīng)雙刃邊復(fù)原法對(duì)比,結(jié)果如圖8所示。

圖8 復(fù)原后圖像信息熵結(jié)果對(duì)比

從圖8中可以看出,文獻(xiàn)方法下信息熵均能達(dá)到6以上,證明這兩種圖像復(fù)原方法均有效,但通過(guò)對(duì)比可知,本文方法下復(fù)原的圖像,其信息熵明顯高于前兩種方法,圖像中包含的信息量更高,證明本文方法的圖像清晰度復(fù)原效果更好。

6 結(jié)論

經(jīng)過(guò)仿真可以證明基于多通道視覺(jué)注意力下的圖像清晰度復(fù)原方法可以有效地完成圖像去霧處理,提高圖像透射率,經(jīng)過(guò)清晰度復(fù)原后的圖像,包含的信息含量較高,細(xì)節(jié)清晰可見(jiàn),大氣光線呈現(xiàn)自然,證明本文方法復(fù)原效果好。