• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法

      2022-04-26 09:00:34陳清江李金陽
      液晶與顯示 2022年3期
      關(guān)鍵詞:微光圖像增強金字塔

      陳清江, 顧 媛, 李金陽

      (西安建筑科技大學(xué) 理學(xué)院,陜西 西安 710055)

      1 引 言

      人類感知世界的大部分信息是通過視覺系統(tǒng)獲取的,圖像是視覺系統(tǒng)最直接的體現(xiàn)。然而,在夜晚或光照不足的場景中拍攝的圖像存在視覺效果不佳、對比度低等問題,難以進行深層分析,如目標識別、目標檢測等。因此,設(shè)計有效提升圖像視覺效果的微光圖像增強算法,是一項重要任務(wù)。

      目前,國內(nèi)外主流的微光圖像增強算法包含傳統(tǒng)算法與深度學(xué)習(xí)算法:(1)基于傳統(tǒng)方法,Hummel等[1]提出直方圖均衡化(HE)方法;Pizer等[2]提出局部直方圖均衡化(AHE)方法。此類方法雖然簡便快捷,但存在紋理模糊問題。隨后,基于Land等[3]提出的Retinex理論,Jobson等[4]提出單尺度Retinex(SSR)算法;林劍萍等[5]結(jié)合NSCT變換和改進的Retinex及分數(shù)階微分進行多尺度處理,獲取增強圖像。此類算法存在顏色失真,邊緣模糊問題。Guo等[6]通過在RGB通道中找每個像素的最大值來估計照明圖,設(shè)計LIME網(wǎng)絡(luò),但該算法增強后的圖像存在對比度低及偽影問題。(2)隨著深度學(xué)習(xí)熱潮,眾多基于卷積神經(jīng)網(wǎng)絡(luò)的微光圖像增強算法被提出。Singh等[7]提出基于梯度分解的神經(jīng)網(wǎng)絡(luò)圖像融合算法,但該方法增強后圖像存在噪聲及明度分布不均勻現(xiàn)象;Tao等[8]設(shè)計了LLCNN網(wǎng)絡(luò),使用一個模塊提取多尺度特征圖,用以增強圖像,但此方法易出現(xiàn)塊效應(yīng)和噪聲;Li等[9]設(shè)計了LightenNet網(wǎng)絡(luò),學(xué)習(xí)微光圖像和相應(yīng)照明圖之間的映射,用以增強圖像,但增強后圖像易出現(xiàn)曝光過度問題;Jiang等[10]提出非配對訓(xùn)練的EnlightenGAN方法,利用對稱編碼的生成器網(wǎng)絡(luò)與全局-局部判別器網(wǎng)絡(luò)增強圖像,但GAN難以訓(xùn)練,在訓(xùn)練時易產(chǎn)生梯度消失或梯度爆炸等問題。

      針對上述問題,本文提出一種新的微光圖像增強算法。該方法運用通道轉(zhuǎn)換與分離的思想對單通道進行增強,既降低了網(wǎng)絡(luò)參數(shù)大小提升了訓(xùn)練速度,也有效避免了使用RGB圖像進行增強后的圖像存在色彩失真及明度分布不均勻的問題。本文的主要貢獻如下:

      (1)考慮到HSV顏色空間各通道相對獨立的特性,僅處理V分量。該算法與處理RGB圖像相比,不僅增強后圖像亮度提升較好、色彩自然,且模型參數(shù)較小、運行時間較快。

      (2)設(shè)計了一個層級殘差模塊,該模塊提出交叉學(xué)習(xí)機制,使用不同尺度的卷積核對不同尺度的特征交叉組合相連,實現(xiàn)不同通道信息交互,再將這些特征信息通過局部與全局殘差進行自適應(yīng)特征融合,達到對V分量亮度增強的目的。

      (3)在編解碼結(jié)構(gòu)中引入特征金字塔注意力模塊,使網(wǎng)絡(luò)關(guān)注不同尺度信息,保留細節(jié),獲取深層特征信息。設(shè)計了并行雙分支網(wǎng)絡(luò)結(jié)構(gòu),在提高圖像亮度及對比度的同時有效加強圖像特征信息,使增強后的微光圖像更好地還原圖像原有特征。

      2 基本原理

      HSV是由A.R.Smith提出的一種顏色空間模型,也稱六角椎體模型,包含色調(diào)(H),飽和度(S)和亮度(V)3個參數(shù)。由于HSV顏色空間比RGB顏色空間更接近于人們對色彩的感知且具有直觀性的特點,因此本文利用HSV顏色空間對微光圖像的亮度分量V增強。由RGB顏色空間向HSV顏色空間的轉(zhuǎn)換可表示為:

      V=max(R,G,B),

      (1)

      (2)

      (3)

      (4)

      其中,0≤V≤1,0≤S≤1,0≤H≤360。

      3 雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法

      所提算法對HSV顏色空間中的V分量采用雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法,實現(xiàn)對V分量的增強。網(wǎng)絡(luò)結(jié)構(gòu)包含兩個子網(wǎng)絡(luò):淺層網(wǎng)絡(luò)使用4種不同尺度的卷積核提取淺層特征;深層網(wǎng)絡(luò)包含2條并行金字塔注意力分支,在增強V分量亮度的同時提取深層特征。整個網(wǎng)絡(luò)包含4個子模塊:淺層特征提取模塊,層級殘差模塊,特征金字塔注意力模塊和特征重建模塊,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

      圖1 雙分支金字塔網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Two-branch pyramid model network structure

      首先將微光圖像轉(zhuǎn)換到HSV空間,對V分量設(shè)計雙分支金字塔網(wǎng)絡(luò),輸出增強后的V分量;其次將增強后的V分量與H和S分量合并,得到HSV顏色空間中的圖像;最后轉(zhuǎn)換回RGB顏色空間,整個算法流程圖如圖2所示。

      圖2 算法流程圖Fig.2 Flow chart of our algorithm

      3.1 淺層特征提取模塊

      首先對HSV顏色空間中的亮度分量V分別使用大小1×1,3×3,5×5,7×7,個數(shù)均為16的卷積核提取具有不同尺度感受野的特征信息。4次卷積后進行concat操作,獲取更多的全局信息,給深層網(wǎng)絡(luò)提供不同尺度的特征信息,卷積計算公式如式(5)所示。

      Fi(Y)=Wi*Fi-1(Y),

      (5)

      其中:Y為輸入圖像,F(xiàn)i(Y)為第i層的特征圖,F(xiàn)i-1(Y)為第i-1層的特征圖,Wi為第i層的卷積核,*為卷積操作。每一層卷積均采用ReLU激活函數(shù),其公式表示如下:

      (6)

      其中:xi為第i層的特征輸入。將提取到的多尺度淺層特征信息按深度方向進行疊加,用以提升信息維度。

      3.2 層級殘差模塊

      圖3 INT模型結(jié)構(gòu)Fig.3 INT model structure

      本文結(jié)合由He等人[11]在ImageNet競賽中提出的殘差網(wǎng)絡(luò),提出層級殘差模塊。該模塊首先采用1個INT模塊,其次采用3個INT模塊,每個INT模塊進行局部殘差后進行層間堆疊形成層級殘差模塊,最后對層級殘差模塊提取的特征信息采用1個INT模塊并進行全局殘差,形成金字塔注意力分支,實現(xiàn)對V分量的亮度增強。其中INT模塊采用交叉學(xué)習(xí)機制,利用不同大小卷積核提取到的信息交叉組合相連,將不同通道的信息交互,加速模型收斂,INT模塊結(jié)構(gòu)如圖3所示。

      3.3 特征金字塔注意力模塊

      利用U-Net網(wǎng)絡(luò)結(jié)構(gòu)模型,將特征金字塔注意力(FPA)[12]模塊嵌入編碼器與解碼器之間,最大程度保留細節(jié)特征。FPA模塊結(jié)構(gòu)如圖4所示,分別采用3×3,5×5,7×7大小的卷積核,形成金字塔結(jié)構(gòu),該結(jié)構(gòu)精確整合了不同尺度的特征信息。通過1×1大小的卷積核,將原始特征與金字塔注意的特征像素相乘,有效關(guān)注全局上下文特征,提高了FPA模塊性能。

      圖4 FPA模塊結(jié)構(gòu)Fig.4 FPA model structure

      3.4 特征重建模塊

      對上述金字塔注意力雙分支提取的深層信息進行特征融合,采用大小為1×1×1的卷積核,輸出單通道重建特征圖,其中1×1卷積核用來減少網(wǎng)絡(luò)參數(shù),加快收斂。

      3.5 損失函數(shù)

      為了從微光圖像中恢復(fù)細節(jié)完整、色彩豐富的高質(zhì)量圖像,本文提出由平滑的L1損失(SmoothL1Loss)和感知損失(Perceptual Loss)組合的損失函數(shù),即:

      L=λ1LS+λ2LP,

      (7)

      其中:L為總損失;LS為平滑的L1損失;LP為感知損失;λ1、λ2代表權(quán)重,其中λ1=0.85,λ2=0.15。

      平滑的L1損失:針對平均絕對誤差(L1Loss)在訓(xùn)練后期難以收斂到更高精度,均方誤差(L2Loss)在訓(xùn)練后期不穩(wěn)定,易產(chǎn)生梯度消失或爆炸的問題,本文采用平滑的L1損失,避免兩者的缺點,以確保最佳的網(wǎng)絡(luò)訓(xùn)練。計算公式如式(8)所示。

      (8)

      其中xi,j為增強圖像與真實圖像第i行第j列的像素值之差。

      感知損失:為了獲得真實圖像并保留細節(jié),引入訓(xùn)練過的VGG19[13]產(chǎn)生的特征圖計算感知損失,測量重建圖像的特征和相應(yīng)真實圖像之間的差異,計算公式如式(9)所示。

      (9)

      其中:φi,j表示在ImageNet數(shù)據(jù)集上預(yù)處理的VGG19[13]網(wǎng)絡(luò)φ的第i塊第j個卷積輸出的特征圖,具體是指第3塊第3個卷積的特征圖;Ih,Ig分別為增強圖像與真實圖像,Wi,j、Hi,j、Ci,j分別表示第i塊第j個卷積特征圖的寬、長及其通道數(shù)。

      4 實驗結(jié)果與分析

      為評估模型性能,將本文算法與其他算法分別從主觀與客觀方面進行對比,7種對比算法包括HE[1]、AHE[2]、SSR[4]、LIME[6]、LLCNN[8]、BIMEF[14]和Li[9]算法。

      4.1 實驗條件及參數(shù)設(shè)置及其算法步驟

      本文實驗使用的是Tensorflow2.0深度學(xué)習(xí)框架,在Windows10,Inter i7-10750H,2.6 GHz,16G RAM,Nvidia GeForce 1660Ti GPU平臺上完成。采用Adam優(yōu)化器對模型進行優(yōu)化,動量參數(shù)為β1=0.9,β2=0.999,學(xué)習(xí)率lr=0.000 1,epoch設(shè)置為3 000次。

      4.2 合成微光圖像實驗

      首先對人工合成的微光圖像進行實驗,從公開數(shù)據(jù)集Berkeley Segmentation Dataset[15]中選取110幅正常光照圖像。首先對110幅圖像分別進行90°與180°翻轉(zhuǎn),將數(shù)據(jù)集擴充至330幅圖像;其次利用Retinex理論[3]將每幅正常光照圖像的光照分量在(0,1)之間隨機取值;最終合成330幅微光圖像。其中264幅圖像作為訓(xùn)練集,66幅圖像作為測試集,從測試集隨機選取4幅圖像進行主觀評價,如圖5所示。

      圖5 不同算法對合成微光圖像增強效果對比Fig.5 Contrast of different methods for synthesizing low-light images enhancement

      從圖5可以看出,所提算法的主觀視覺效果優(yōu)于其他算法。其中,經(jīng)AHE[2]算法處理后的圖像亮度幾乎沒有增強;經(jīng)BIMEF[14]算法處理后的圖像比AHE亮度雖有所提升,但依然偏低;經(jīng)HE[1]算法增強后的圖像,其顏色嚴重偏離真實圖像;經(jīng)LIME[6]和LLCNN[8]算法增強后的Bird圖像中出現(xiàn)不規(guī)則藍點,Scenery和Building圖像的天空中出現(xiàn)不存在的紋理;經(jīng)SSR[4]和Li[9]算法增強后的圖像出現(xiàn)過曝光現(xiàn)象,且Li增強后的Building圖像存在偽影;經(jīng)本文算法增強后的圖像真實自然,最接近原始圖像。

      為進一步說明本文算法的有效性,利用峰值信噪比(PSNR)[16]與結(jié)構(gòu)相似度(SSIM)[17]兩項客觀評價指標,對上述4幅圖像進行計算。本文算法與其他7種對比算法的客觀評價指標計算結(jié)果如表1所示。

      從表1可以看出,本文算法的PSNR值與SSIM值均高于其他對比算法,說明該雙分支金字字塔網(wǎng)絡(luò)的微光圖像增強算法具有明顯優(yōu)勢。

      表1 合成微光圖像上不同算法的PSNR與SSIMTab.1 PSNR and SSIM of different algorithms for synthesizing low-light images

      4.3 真實微光圖像實驗

      在真實微光圖像上進行實驗。LOL dataset[18]公開數(shù)據(jù)集中包含500對微光圖像和正常光照圖像。選取400幅圖像作為訓(xùn)練集,100幅圖像作為測試集,從測試集中隨機選取4幅圖像進行主觀評價,評價結(jié)果如圖6所示。

      從圖6可以看出,經(jīng)AHE[2]、BIMEF[14]與

      圖6 不同算法對真實微光圖像增強效果對比Fig.6 Contrast of different methods for real low-light images enhancement

      Li[9]算法處理后的圖像亮度較暗,尤其是經(jīng)AHE算法處理后的圖像亮度幾乎沒有得到增強;由于傳統(tǒng)的HE[1]算法泛化性能較差,對不同數(shù)據(jù)集的表現(xiàn)不同,經(jīng)HE算法處理后的圖像較圖5中HE算法處理后的圖像沒有出現(xiàn)嚴重偏色現(xiàn)象,但存在不規(guī)則噪點;經(jīng)SSR[4]算法處理后的圖像存在曝光過度,顏色失真現(xiàn)象;經(jīng)LIME[6]與LLCNN[8]算法處理后的圖像存在邊緣模糊,明度不均勻現(xiàn)象;經(jīng)文本算法處理后的圖像顏色和紋理保留相對完整,最接近原始像。

      進一步對本文算法進行客觀評價,對上述4幅圖像計算PSNR與SSIM值,結(jié)果如表2所示。

      表2 真實微光圖像上不同算法的PSNR與SSIMTab.2 PSNR and SSIM of different algorithms for real low-light images

      從表2可以看出,本文算法的PSNR值與SSIM值明顯高于其他對比算法,說明了該算法的有效性。

      4.4 無參考圖的微光圖像實驗

      為進一步說明本文算法有效性,在DICM數(shù)據(jù)庫[19]中隨機選取2幅圖像進行主觀評價,如圖7所示。

      從圖7可以看出,經(jīng)HE[1]算法增強后的圖像色彩失真;經(jīng)AHE[2]與BIMEF[14]算法增強后的圖像亮度不足;經(jīng)SSR[4]算法處理后的圖像出現(xiàn)過曝光;經(jīng)LIME[6]與Li[9]算法增強后的圖像出現(xiàn)明度分布不均現(xiàn)象;經(jīng)LLCNN[8]與本文算法增強后的圖像色彩恢復(fù)較好,明度分布均勻。

      圖7 不同算法對無參考微光圖像增強效果對比Fig.7 Contrast of different methods for no reference low-light images enhancement

      由于難以采集同一時刻的真實圖像與微光圖像,為此使用信息熵(IE)與梯度結(jié)構(gòu)相似度(NRSS)[20]兩項無參考圖像質(zhì)量評價指標,對上述2幅圖像計算其值,結(jié)果如圖8所示。其中IE值越大表明圖像信息越豐富,NRSS值越大表明圖像失真越小。

      圖8 無參考微光圖像的信息熵與梯度結(jié)構(gòu)相似度Fig.8 IE and NRSS of low-light images without reference

      從圖8可以看出,對無參考微光圖像增強的算法中,本文算法的IE值最大,說明所含信息最豐富。對于Image 1,本文算法的NRSS值最大,對于Image 2,LLCNN算法的NRSS值最大,但本文算法僅次于最優(yōu)值,說明圖像的色彩及細節(jié)恢復(fù)程度較好。

      4.5 消融實驗

      通過實驗證明所提算法的有效性,展示訓(xùn)練細節(jié),在LOL dataset[18]的測試集中隨機選取1幅圖像,執(zhí)行消融實驗,將僅含第一分支(Model 1)、僅含第二分支(Model 2)、無層級殘差(Model 3)以及無特征金字塔注意力(FPA)模塊[12](Model 4)與本文模型(Model 5)進行對比,不同模型的主觀視覺效果如圖9所示,其客觀評價指標如表3所示。

      圖9 不同模型的主觀視覺對比Fig.9 Comparison of subjective visual results of different models

      從圖9可以看出,經(jīng)Model 1增強后的圖像出現(xiàn)邊緣信息丟失及偽影現(xiàn)象;經(jīng)Model 2與Model 4增強后的圖像中植物綠葉顏色失真;經(jīng)Model 3增強后的圖像背景細節(jié)不足;經(jīng)Model 5增強后的圖像色彩與細節(jié)方面最接近真實圖像。

      表3 不同模型的PSNR與SSIMTab.3 PSNR and SSIM of different models

      從表3可以看出,Model 1和Model 3的PSNR值與SSIM值與Model 5相比較低,說明含F(xiàn)PA的金字塔注意力分支較好地防止了特征丟失,獲取了深層信息;Model 2和Model 4的PSNR值與SSIM值與Model 5相比略低,說明含層級殘差模塊的金字塔注意力分支較好地增強了V分量的亮度;Model 5的PSNR值與SSIM值均為最高,說明所提網(wǎng)絡(luò)模型無論是在特征提取還是亮度增強方面都是最優(yōu)的。

      4.6 模型時間復(fù)雜度分析

      除了對模型的主客觀分析外,模型時間復(fù)雜度也是一項評測指標,運行時間越短,即模型復(fù)雜度越小。在測試集中隨機選取2幅圖像計算本文算法與其他對比算法的運行時間,每種方法分別對每幅圖像運行4次,取其均值作為最終結(jié)果,如表4所示。

      表4 不同算法的運行時間Tab.4 Running time of different algorithms (s)

      從表4可以看出,由于Li算法模型結(jié)構(gòu)較簡單,運行時間最短;而本文模型參數(shù)較大,因此運行時間較長,這將是下一步要優(yōu)化的問題。

      5 結(jié) 論

      本文提出的雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法是將微光圖像在HSV顏色空間上的V分量增強。并行雙分支網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計改進了傳統(tǒng)的殘差結(jié)構(gòu),提出層級殘差模塊,緩解了梯度消失,實現(xiàn)了V分量的亮度增強。同時,優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu),在編碼器與解碼器之間引入特征金字塔注意力模塊,獲取深層特征,整合上下文信息。實驗結(jié)果表明,所提算法在真實圖像上的峰值信噪比及結(jié)構(gòu)相似度的均值分別達到29.451 dB和0.930 1,均優(yōu)于其他對比算法。隨后將對網(wǎng)絡(luò)結(jié)構(gòu)進一步優(yōu)化,降低了模型的空間復(fù)雜度與時間復(fù)雜度,獲得更好的增強效果。

      猜你喜歡
      微光圖像增強金字塔
      微光
      三角洲(2024年17期)2024-12-31 00:00:00
      “金字塔”
      微光奕奕
      A Study of the Pit-Aided Construction of Egyptian Pyramids
      圖像增強技術(shù)在超跨聲葉柵紋影試驗中的應(yīng)用
      水下視覺SLAM圖像增強研究
      虛擬內(nèi)窺鏡圖像增強膝關(guān)節(jié)鏡手術(shù)導(dǎo)航系統(tǒng)
      預(yù)見2019:隧道的微光
      中國外匯(2019年6期)2019-07-13 05:44:02
      海上有座“金字塔”
      微光
      仪陇县| 金坛市| 宁津县| 府谷县| 庆城县| 宁海县| 博乐市| 萝北县| 礼泉县| 盐津县| 尼玛县| 尚志市| 三门峡市| 垫江县| 日照市| 鄂托克旗| 山东| 凉山| 泽州县| 报价| 三亚市| 邹平县| 承德市| 石渠县| 加查县| 永宁县| 赣榆县| 麦盖提县| 永川市| 连城县| 大足县| 巫山县| 和林格尔县| 嘉峪关市| 大兴区| 镇坪县| 九江市| 潮州市| 云安县| 新野县| 高密市|