先驗(yàn)引導(dǎo)的多降質(zhì)特征“珞珈一號(hào)”夜光遙感影像質(zhì)量提升方法

卜麗靜，吳文玉，張正鵬，楊 銀

1.湘潭大學(xué)自動(dòng)化與電子信息學(xué)院，湖南 湘潭 411105；2.二十一世紀(jì)空間技術(shù)應(yīng)用股份有限公司，北京 100096；3.湘潭大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，湖南 湘潭 411105；4.湖南國家應(yīng)用數(shù)學(xué)中心，湖南 湘潭 411105

隨著遙感技術(shù)的不斷發(fā)展，遙感數(shù)據(jù)的種類越來越豐富。其中夜光(nighttime light,NTL)遙感衛(wèi)星能夠獲得與人類活動(dòng)有關(guān)的城市燈光、自然界物體發(fā)光、艦船燈光和油井燃燒發(fā)光等信息[1]，在反映人類社會(huì)活動(dòng)方面具有獨(dú)特的能力，因此它被廣泛應(yīng)用于社會(huì)經(jīng)濟(jì)領(lǐng)域的空間數(shù)據(jù)挖掘問題中[2-4]。夜光遙感影像屬于夜晚低照度拍攝環(huán)境下的成像，被拍攝場(chǎng)景是不均勻的亮度信息[5]，成像時(shí)受環(huán)境(如大氣光、云霧)、目標(biāo)輻射、光學(xué)成像系統(tǒng)等方面的影響更為突出，往往在影像上表現(xiàn)出模糊、分辨率降低等綜合降質(zhì)現(xiàn)象，如圖1(c)所示。影像的模糊主要表現(xiàn)為由于大氣散射產(chǎn)生的輝光模糊(圖1(a))和由云霧產(chǎn)生的模糊(圖1(b))；影像的分辨率降低主要是受成像硬件的影響。對(duì)于這些降質(zhì)問題目前通常采用各種軟件處理方法進(jìn)行去除或者減弱，如一般用影像復(fù)原方法去除模糊，用超分辨率重建方法提高影像的分辨率，從而達(dá)到影像質(zhì)量提升的目的。

圖1 夜光遙感影像的降質(zhì)現(xiàn)象

影像的去模糊、去云霧、超分辨率重建是影像質(zhì)量提升領(lǐng)域里的經(jīng)典問題，總的來說可以分為傳統(tǒng)方法和學(xué)習(xí)方法。在傳統(tǒng)方法方面，關(guān)于去模糊和去云霧問題，有基于PSF估計(jì)的方法[6]、基于影像增強(qiáng)的方法[7]、基于高斯濾波器和照明頻率的方法[8]、基于統(tǒng)計(jì)先驗(yàn)的方法[9]、基于暗通道先驗(yàn)方法[10]等。關(guān)于超分辨率重建問題，有基于插值的方法[11-12]、基于重建的模型方法[13-15]等。

在學(xué)習(xí)方法方面，可以分為基于樣例學(xué)習(xí)的方法[16-18]和基于深度學(xué)習(xí)的方法[19-20]。關(guān)于去模糊和去云霧問題，有先計(jì)算降質(zhì)參數(shù)然后再去模糊的方法，如DehazeNet[21]網(wǎng)絡(luò)、DCPDN[22]網(wǎng)絡(luò)；在此之后又發(fā)展出了端到端的處理方法，如AOD-Net[23]、GFN[24]、改進(jìn)的CGAN[25]、GCANet[26]方法等；但是目前關(guān)于網(wǎng)絡(luò)構(gòu)建的研究較多，關(guān)于夜間數(shù)據(jù)集的構(gòu)建研究較少[27]。關(guān)于超分辨率重建問題，有通過加深網(wǎng)絡(luò)卷積層深度提升網(wǎng)絡(luò)特征提取能力的方法，如SRCNN[28]、FSRCNN[29]、ESPCN[30]等；也有利用上下層信息的殘差網(wǎng)絡(luò)方法，如RED[31]、VDSR[32]、EDSR[33]、DenseSR[34]方法；還有改進(jìn)上采樣方式、激活函數(shù)、損失函數(shù)的方法，如DRRN[35]、RDN[36]、IKC[37]等。

與上述方法不同，SRGAN[38]、ESRGAN[39]在SRGAN的基礎(chǔ)上進(jìn)一步使用了密集殘差塊來改善超分結(jié)果的感知質(zhì)量，得到了較好的效果。

在影像質(zhì)量提升問題中，傳統(tǒng)方法在求解模型中可以直接加入先驗(yàn)約束，適用于非線性和線性成像模型，但是模型求解困難，存在解不唯一的情況。深度學(xué)習(xí)方法利用網(wǎng)絡(luò)學(xué)習(xí)降質(zhì)過程，避免模型構(gòu)建、求解的復(fù)雜性，具有特征學(xué)習(xí)能力強(qiáng)、處理效果好的優(yōu)點(diǎn)。目前關(guān)于可見光影像的深度學(xué)習(xí)方法研究較多，針對(duì)夜光遙感影像的研究較少；現(xiàn)有方法往往只針對(duì)單一降質(zhì)類型，且可用數(shù)據(jù)集極少，當(dāng)影像中多種降質(zhì)同時(shí)存在時(shí)處理效果不佳。針對(duì)這些問題，本文以珞珈一號(hào)夜光遙感影像為研究對(duì)象，首先從成像模型角度對(duì)影像的多種降質(zhì)特征進(jìn)行理論分析與模型推導(dǎo)；然后依據(jù)此模型設(shè)計(jì)有針對(duì)性的深度學(xué)習(xí)網(wǎng)絡(luò)和數(shù)據(jù)集，并進(jìn)行試驗(yàn)驗(yàn)證。

1 夜光遙感影像降質(zhì)模型

一般情況下，若退化是線性、空間不變的過程，則影像的退化/成像模型為[40]

I(x,y)=h(x,y)?J(x,y)+η(x,y)

(1)

式中，I(x,y)表示觀測(cè)的退化影像；J(x,y)為原始的清晰影像；h(x,y)為影像的點(diǎn)擴(kuò)散函數(shù)；?代表卷積運(yùn)算；η(x,y)為噪聲。通常情況下h(x,y)一般表示為下采樣、模糊等降質(zhì)因素，因此，影像退化模型可進(jìn)一步表示為[19-20]

I(x,y)=D(x,y)B(x,y)M(x,y)J(x,y)+

η(x,y)

(2)

式中，D(x,y)表示下采樣算子；B(x,y)表示模糊矩陣；M(x,y)表示幾何運(yùn)動(dòng)矩陣。實(shí)際上夜光影像的主要降質(zhì)表現(xiàn)為模糊，這些模糊主要是由于輝光和云霧影響產(chǎn)生的。輝光現(xiàn)象是指成像時(shí)大氣中的粒子對(duì)光產(chǎn)生多散射作用，表現(xiàn)為影像中光源周圍的模糊現(xiàn)象，如圖1(a)所示。輝光現(xiàn)象產(chǎn)生的原因是，人造光在穿過一些大氣成分時(shí)，由于散射和吸收作用，部分光線向多方面改變傳播方向，導(dǎo)致強(qiáng)度減小，衛(wèi)星傳感器沿著光傳播的方向觀察將其歸因于一個(gè)錯(cuò)誤的位置[41-42](圖2)，表現(xiàn)在影像中為光源顯著的時(shí)空變異性[43-44]、亮度值衰減。輝光現(xiàn)象在影像中普遍存在，有云霧的陰天該現(xiàn)象更明顯。

圖2 輝光現(xiàn)象的成像原理

云霧的影響是指大氣中的云使影像產(chǎn)生的模糊。當(dāng)云霧較厚時(shí)傳感器無法記錄到云霧覆蓋下的光源信息；當(dāng)云霧較薄時(shí)，薄云對(duì)光的吸收、散射、反射作用對(duì)成像造成了干擾，使像素值包含了光源信息和云霧反射的信息，如圖1(b)所示。光傳遞過程中的退化系數(shù)與距離相關(guān)，在不考慮冰、雪和其他高反射表面的反射影響的情況下，地表反射的月光亮度極小可以忽略不計(jì)[45-46]，云霧反射主要發(fā)生在云層頂部(圖3)。云霧反射的亮度信息與月光強(qiáng)度相關(guān)，圖4展示了不同月光條件下珞珈一號(hào)拍攝的含云影像，上排影像代表成像時(shí)月光強(qiáng)度，下排表示該月光照射下包含明顯厚云霧信息的影像，圖4中標(biāo)注了成像時(shí)間以及厚云區(qū)域的亮度均值。因此，月光強(qiáng)度越大云霧亮度越高，對(duì)影像質(zhì)量的影響越明顯。

圖3 夜光遙感影像云霧噪聲降質(zhì)

圖4 不同程度的云霧和月光對(duì)影像質(zhì)量的影響

在實(shí)際影像中B(x,y)是輝光和云霧等多種復(fù)雜因素綜合影響的結(jié)果，衛(wèi)星運(yùn)行姿態(tài)穩(wěn)定的情況下，M(x,y)的影響可以不考慮，則影像降質(zhì)可表達(dá)為

I(x,y)=D(x,y)B(x,y)J(x,y)+η(x,y)

(3)

在不考慮噪聲的情況下，地面拍攝的自然影像的云霧/大氣散射退化模型[47-48]為

In(x,y)=Jn(x,y)t(x,y)+A(1-t(x,y))

(4)

式中，In(x,y)表示觀測(cè)的自然影像；Jn(x,y)表示無云霧的影像；t(x,y)為云霧對(duì)光的透射率；A為大氣光強(qiáng)度，夜晚?xiàng)l件下A相當(dāng)于月光影響強(qiáng)度M。Jn(x,y)可以進(jìn)一步精確表示為含有點(diǎn)擴(kuò)散影響的Jl(x,y)，因此結(jié)合式(3)和式(4)，B(x,y)J(x,y)可表達(dá)為

B(x,y)J(x,y)=Jl(x,y)t(x,y)+M(1-

t(x,y))

(5)

Jl(x,y)可進(jìn)一步表示為無任何降質(zhì)影響的影像J(x,y)和點(diǎn)擴(kuò)散函數(shù)h(x,y)的卷積[40]如式(6)所示

Jl(x,y)=J(x,y)?h(x,y)

(6)

因此，結(jié)合式(3)、式(5)、式(6)，得到珞珈一號(hào)夜光遙感影像受輝光和云霧影響的退化模型為

I(x,y)=D(x,y)[J(x,y)?h(x,y)t(x,y)+M(1-t(x,y))]+η(x,y)

(7)

2 顧及多降質(zhì)特征的夜光影像質(zhì)量提升方法

2.1 技術(shù)路線

由式(7)可以看出，夜光影像的降質(zhì)包括大氣輝光、云霧、降采樣的影響，首先，依據(jù)該退化模型，分析出夜光影像的主要降質(zhì)因素；然后，根據(jù)先驗(yàn)知識(shí)，引導(dǎo)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和制作相應(yīng)的數(shù)據(jù)集，本文方法的思路如圖5所示。

圖5 本文方法的分析思路

本文方法的技術(shù)路線如圖6所示，整體上分為訓(xùn)練和質(zhì)量提升兩個(gè)部分。訓(xùn)練部分包括去輝光、去云霧和影像超分辨率重建3個(gè)部分，首先，根據(jù)降質(zhì)特征制作以上3類數(shù)據(jù)集，按照8∶2的比例分配訓(xùn)練集和驗(yàn)證集。然后，設(shè)計(jì)去輝光、去云霧、超分辨率重建的深度學(xué)習(xí)網(wǎng)絡(luò)。在訓(xùn)練階段，去輝光和去云霧網(wǎng)絡(luò)結(jié)構(gòu)相同。先訓(xùn)練去輝光任務(wù)，在網(wǎng)絡(luò)收斂后，利用網(wǎng)絡(luò)的可遷移性[49]，將訓(xùn)練好的權(quán)值作為去云霧網(wǎng)絡(luò)的預(yù)訓(xùn)練參數(shù)，進(jìn)一步提取云霧網(wǎng)絡(luò)特征。在影像質(zhì)量提升階段，處理過程為先去云霧再去輝光，最后進(jìn)行超分辨率重建，主要原因?yàn)椋孩僖罁?jù)退化模型表達(dá)式(7)，在不考慮D(x,y)和η(x,y)的情況下，去云霧相當(dāng)于去除M(1-t(x,y))、t(x,y)的影響，去輝光相當(dāng)于去除h(x,y)的影響。由于云霧距離成像傳感器較近，輝光的程度相對(duì)地面光源的輝光程度不同，這種差異是很難模擬的；②從影像的主要降質(zhì)表現(xiàn)來看，云霧是主要的降質(zhì)因素，但不是所有成像區(qū)域都有云霧，而輝光卻是普遍存在的，若先整體去除輝光h(x,y)，云霧也會(huì)被作為光源信息參與到輝光網(wǎng)絡(luò)中，處理后必然會(huì)對(duì)云霧的紋理特征產(chǎn)生影響，從而導(dǎo)致后面的學(xué)習(xí)網(wǎng)絡(luò)對(duì)云霧信息處理有偏差；③從模擬數(shù)據(jù)集構(gòu)建角度考慮，如果先去云霧再去輝光，模擬云霧數(shù)據(jù)集需要考慮透射率t(x,y)、月光強(qiáng)度M及噪聲，而含輝光的數(shù)據(jù)集僅需考慮h(x,y)。如果先去輝光再去云霧，構(gòu)建去輝光數(shù)據(jù)集時(shí)不僅需要模擬h(x,y)，還需要增加云霧反射等信息，而這兩項(xiàng)同時(shí)考慮非常復(fù)雜，增加了構(gòu)建數(shù)據(jù)集的難度；④從目前的試驗(yàn)來看，如果先去除輝光，網(wǎng)絡(luò)會(huì)將云霧信息識(shí)別為光源，從而改變?cè)旗F噪聲的特征，使去云霧更加困難。

圖6 本文方法技術(shù)路線

2.2 數(shù)據(jù)集構(gòu)建

深度學(xué)習(xí)方法的效果依賴于訓(xùn)練集含有降質(zhì)的類型[50]，本文構(gòu)建了云霧、輝光、超分辨率重建3類數(shù)據(jù)集。由于無法獲得無降質(zhì)影像，且已知夜光影像的模糊降質(zhì)呈現(xiàn)對(duì)稱高斯點(diǎn)擴(kuò)散函數(shù)型[51]，因此，本文采用添加不同參數(shù)的高斯模糊來模擬輝光影像。制作數(shù)據(jù)集的影像見表1。選用晴天無云條件下成像質(zhì)量好的影像為基準(zhǔn)影像，使用6組不同參數(shù)的高斯模糊核，隨機(jī)模擬輝光現(xiàn)象，構(gòu)成數(shù)據(jù)集A，模擬降質(zhì)影像如圖7所示。該數(shù)據(jù)集包含1519對(duì)影像，影像大小為128×128，并通過旋轉(zhuǎn)、翻轉(zhuǎn)等手段擴(kuò)增數(shù)據(jù)量。

表1 制作數(shù)據(jù)集的珞珈一號(hào)影像信息

圖7 數(shù)據(jù)集1清晰影像與模擬降質(zhì)影像

在云霧數(shù)據(jù)集制作方面，本文制作了有云和無云影像對(duì)的數(shù)據(jù)集。晴天影像一般無云霧，陰天影像含有云霧，因此利用真實(shí)晴天、陰天影像對(duì)構(gòu)建數(shù)據(jù)集B1。不同成像時(shí)間、成像環(huán)境內(nèi)的地表實(shí)際燈光亮度分布往往不同，因此，選取成像時(shí)間間隔小、成像角度接近、成像天氣相差明顯的影像制作數(shù)據(jù)集。按上述方法制作數(shù)據(jù)集1006對(duì)，影像大小為128×128，數(shù)據(jù)集影像對(duì)如圖8所示。

圖8 數(shù)據(jù)集B1

由于真實(shí)同一地區(qū)的晴天、陰天影像對(duì)數(shù)據(jù)有限，所以構(gòu)建含云霧的模擬數(shù)據(jù)集B2。由于云層形狀與濃度的實(shí)時(shí)變化對(duì)遙感影像造成的污染難以推演和預(yù)測(cè)，所以分析影像中云層的空間分布特性與成像特征是構(gòu)建數(shù)據(jù)集的必要前提。這里對(duì)比分析了含有云霧的白天影像和夜光遙感影像的差異，并繪制其厚云霧亮度值三維曲線，如圖 9所示。

對(duì)比圖9可發(fā)現(xiàn)，白天影像的云霧亮度信息變化較平滑，夜光影像的云霧信息連續(xù)性差、亮度值波動(dòng)較大、無規(guī)則噪聲多，依據(jù)這兩類影像的特點(diǎn)制作模擬數(shù)據(jù)集。用云霧完全覆蓋地面光源信息的影像模擬云霧亮度值不連續(xù)、波動(dòng)大的特點(diǎn)，用隨機(jī)的自然云霧圖片制作掩膜，模擬云霧的分布形態(tài)，將全云霧影像與掩膜點(diǎn)乘，生成的矩陣作為模擬夜間大氣透過率模板(1-t(x,y))。然后，選取質(zhì)量較好的無云夜光影像為理想影像J(x,y)，模擬加入少量泊松噪聲。最后，給出月光強(qiáng)度經(jīng)驗(yàn)值M，將以上信息代入式(7)，且不考慮輝光現(xiàn)象(即h(x,y)=1)以及下采樣因子(即D(x,y)=1)，模擬出含云霧的影像I(x,y)，與無云影像共同構(gòu)成數(shù)據(jù)集B2，數(shù)據(jù)集制作流程如圖10所示。數(shù)據(jù)集B2包含1509對(duì)影像，影像大小為128×128，構(gòu)建的數(shù)據(jù)集如圖11所示。

圖9 含云霧影像及云霧亮度值分布

圖10 模擬云霧影像制作流程

圖11 數(shù)據(jù)集B2模擬的有云、無云影像塊

目前公開的自然影像超分辨率重建數(shù)據(jù)集較多，但還沒有夜光影像的數(shù)據(jù)集。圖12為夜晚和白天的影像直方圖，由圖12可以看出兩者亮度動(dòng)態(tài)變化差異較大。所以，夜光影像超分辨率重建需要構(gòu)建專屬數(shù)據(jù)集。鑒于重建對(duì)噪聲比較敏感[52]，所以選用成像質(zhì)量好、噪聲少的高分辨率影像構(gòu)建超分?jǐn)?shù)據(jù)集，數(shù)據(jù)集中的低分辨率影像通過高分辨率影像降采樣得到。該數(shù)據(jù)集包含1509對(duì)影像，高低分影像對(duì)尺對(duì)分別128×128和64×64，數(shù)據(jù)集C如圖13所示。

圖12 夜光影像和白天影像的亮度值分布

圖13 數(shù)據(jù)集C模擬的影像對(duì)

2.3 網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)

根據(jù)式(7)對(duì)降質(zhì)模型的分析，針對(duì)輝光、云霧、超分辨率重建問題，本文提出了顧及多特征降質(zhì)的夜光影像深度學(xué)習(xí)方法，即殘差密連卷積神經(jīng)網(wǎng)絡(luò)(residual dense convolutional neural network，RDCNN)框架。該方法分為去云霧網(wǎng)絡(luò)、去輝光網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)。

在去輝光、云霧網(wǎng)絡(luò)中，整個(gè)網(wǎng)絡(luò)分為特征提取、主體網(wǎng)絡(luò)、信息融合3個(gè)部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖14所示。云霧特征的提取部分利用卷積層實(shí)現(xiàn)，首先，用3×3×64大小的卷積提取周圍像素的特征信息。然后，主體部分由殘差密連模塊(residual-in-residual dense block，RRDB)實(shí)現(xiàn)。

圖14 RDCNN夜光影像去云霧網(wǎng)絡(luò)結(jié)構(gòu)

RRDB將殘差塊(residual block，RB)和密度塊(dense block，DB)結(jié)合起來，形成了殘差密集塊(residual dense block，RDB)，再將3個(gè)RDB進(jìn)行跨層連接，殘差連接部分乘以縮放值β。RDB在端到端的多層連接中自然的集成了更多的低、中、高層次特征和分類器，并具有更強(qiáng)大的特征提取和映射能力。為了避免CNN網(wǎng)絡(luò)的退化和梯度消失/爆炸問題，在深層CNNs中將殘差網(wǎng)絡(luò)結(jié)構(gòu)與密集網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合來解決這些問題。在網(wǎng)絡(luò)主體部分連接若干RRDB，并將特征提取層的特征乘以縮放值α，縮放后連接到網(wǎng)絡(luò)結(jié)尾的信息融合部分，此處的α可以防止云霧信息過量引入。主體網(wǎng)絡(luò)部分采用泄露修正線性單元(leaky ReLU[53-54])激活，用于增加網(wǎng)絡(luò)的非線性；它對(duì)輸入小于0部分的反應(yīng)有所變化，減輕了激活函數(shù)ReLU的稀疏性。Leaky ReLU表示為

(8)

式中，xi為激活前特征圖i點(diǎn)的值；yi為激活后該點(diǎn)的值；ai為(1，+∞)區(qū)間內(nèi)固定參數(shù)。

在網(wǎng)絡(luò)的信息融合部分，針對(duì)影像中不同區(qū)域云霧濃度不同的問題，引用像素注意力模塊(pixel attention,PA)和通道注意力模塊(channel attention,CA)[55]。PA根據(jù)影像不同的像素特征，自適應(yīng)學(xué)習(xí)不同的加權(quán)信息，CA根據(jù)云霧信息在不同特征通道上表現(xiàn)程度的不同，通過自適應(yīng)學(xué)習(xí)為不同的通道特征提供不同的加權(quán)信息，這為處理不同類型的云霧信息提供了額外的靈活性，并擴(kuò)展了CNNs的表示能力。

在超分辨率重建網(wǎng)絡(luò)中，去除RDCNN網(wǎng)絡(luò)后端的PA、CA模塊，在網(wǎng)絡(luò)結(jié)尾部分增加超分辨率重建模塊。在超分模塊中使用亞像素卷積，能將低分辨的特征圖和多通道間重組，得到高分辨率的特征圖，具體結(jié)構(gòu)如圖15所示。

圖15 基于RDCNN的夜光影像超分重建網(wǎng)絡(luò)結(jié)構(gòu)

在損失函數(shù)方面，目前經(jīng)常使用L2范數(shù)，但當(dāng)影像降質(zhì)復(fù)雜時(shí)容易使影像的高頻信息丟失。為避免上述問題本文提出一種比值型范數(shù)的稀疏約束[56]損失函數(shù)，損失函數(shù)為

(9)

式中，?為損失函數(shù)；F代表整個(gè)卷積神經(jīng)網(wǎng)絡(luò)；I(x,y)為輸入的觀測(cè)的退化影像；J(x,y)為清晰的標(biāo)簽影像。

3 試驗(yàn)及討論

3.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)數(shù)據(jù)選擇珞珈一號(hào)臺(tái)灣海峽、浙江省東陽市的影像，影像成像參數(shù)見表2。夜光影像主要記錄地面的光源信息，當(dāng)光源分布較稀疏時(shí)，在影像中呈現(xiàn)出類似點(diǎn)狀發(fā)光信息；當(dāng)光源分布較密集時(shí)，在影像中呈現(xiàn)出線狀或近似面狀的光源信息。一般城市的夜光影像中分布著面狀、線狀、點(diǎn)狀光源，且光源位置相對(duì)固定；海面上船只呈現(xiàn)點(diǎn)狀光源。孤立點(diǎn)狀光源影像中的輝光及云霧信息更容易辨別，因此，選擇含有類似點(diǎn)狀光源的海上漁船的影像作為試驗(yàn)區(qū)1，選擇城市地區(qū)作為試驗(yàn)區(qū)2，驗(yàn)證本文方法對(duì)含有不同類型光源區(qū)域的處理效果。試驗(yàn)區(qū)域的地理位置分布如圖16、圖17所示。

表2 試驗(yàn)數(shù)據(jù)詳細(xì)參數(shù)

圖16 試驗(yàn)1臺(tái)灣海峽影像分布

圖17 試驗(yàn)2浙江地區(qū)影像分布

3.2 試驗(yàn)過程及結(jié)果

試驗(yàn)中將本文方法去云霧、去輝光的結(jié)果與暗通道方法、GCAN方法進(jìn)行對(duì)比，將超分辨率重建的結(jié)果與雙三次插值、自相似方法、ESRGAN方法進(jìn)行對(duì)比。試驗(yàn)中GCAN、ESRGAN方法在公開的權(quán)值文件的基礎(chǔ)上訓(xùn)練。由于對(duì)比的超分方法沒有去云霧的效果，直接比較沒有可比性，因此，此部分試驗(yàn)將本文方法去云霧、輝光后的影像作為其他重建方法的輸入影像。

試驗(yàn)的訓(xùn)練過程是先利用數(shù)據(jù)集A訓(xùn)練去輝光網(wǎng)絡(luò)，并將得到的權(quán)值文件作為去云霧網(wǎng)絡(luò)的初始值；然后利用數(shù)據(jù)集B1和數(shù)據(jù)集B2訓(xùn)練去云霧網(wǎng)絡(luò)，得到去云霧的權(quán)值文件；最后利用數(shù)據(jù)C訓(xùn)練超分辨率重建網(wǎng)絡(luò)，得到超分辨率重建網(wǎng)絡(luò)的權(quán)值文件。試驗(yàn)中，RRDB層設(shè)置為23層，濾波器大小設(shè)置為3×3，卷積過程中采用0值填充影像，步長(zhǎng)設(shè)置為1，特征通道數(shù)設(shè)置為64，RDB塊中間濾波器輸出特征通道數(shù)設(shè)置為32，主體部分輸出通道數(shù)設(shè)置為64。特征提取層的特征縮放因子α和殘差連接部分縮放因子β均設(shè)置為0.2，學(xué)習(xí)率設(shè)定為1×10-5，優(yōu)化器使用Adam，指數(shù)衰減率系數(shù)分別設(shè)置為β1=0.9，β2=0.999。

試驗(yàn)的測(cè)試過程是先輸入原始低分辨率影像，用訓(xùn)練好的去云霧權(quán)值對(duì)影像去云霧，然后用去輝光權(quán)值對(duì)影像去輝光，最后用超分辨重建權(quán)值提升分辨率，最終得到質(zhì)量提升后的影像。試驗(yàn)平臺(tái)采用PyTorch框架，使用NVIDIA GeForce GTX 1080Ti GPU進(jìn)行訓(xùn)練。圖18—圖21為試驗(yàn)結(jié)果對(duì)比圖。

3.3 討 論

對(duì)比圖18中試驗(yàn)區(qū)1的去云霧、去輝光結(jié)果。由圖18(c1)—(c6)可以看出，圖18(c4)與(c1)相差不大，圖18(c5)比原圖略好，圖18(c2)主要燈光點(diǎn)的周圍沒有過多的小峰值雜波，圖18(c3)最好。對(duì)比圖18(a1)—(a6)和圖18(b1)—(b6)，圖18(a4)、(b4)與原圖相差不大，圖18(a5)、(b5)略好于原圖，但沒有圖18(a2)、(a3)處理效果好。以上對(duì)比說明暗通道算法和GCAN算法處理夜光影像效果欠佳。本文方法處理后的影像云霧和輝光信息明顯減少，影像上的模糊擴(kuò)散范圍縮減，夜光信息更加清晰。

圖18 試驗(yàn)1不同算法的去云霧結(jié)果對(duì)比

進(jìn)一步對(duì)去除了云霧和輝光的影像進(jìn)行超分辨率重建處理，處理結(jié)果如圖19所示。對(duì)比圖19(c1)—(c6)可以看出，圖19(c5)比(c2)柱狀波峰多，對(duì)比原圖可知這些信息是偽信息，圖19(c3)、(c4)比原圖好，但沒有圖19(c6)效果明顯。

對(duì)比圖19(a1)—(a6)、圖19(b1)—(b6)，圖19(a3)、(b3)的點(diǎn)狀光源輕微擴(kuò)散，少量噪聲信息被放大；圖19(a4)、(b4)的點(diǎn)狀光源邊界清晰，但少量噪聲信息也被放大，燈光內(nèi)部無梯度變化；圖19(a5)、(b5)的點(diǎn)狀光源擴(kuò)散嚴(yán)重，目標(biāo)所占像元增大，增大了擾動(dòng)范圍且噪聲信息放大嚴(yán)重，許多噪聲被作為信息重建。這些說明雙三次插值方法、自相似方法和ESRGAN方法對(duì)噪聲比較敏感，噪聲信息放大比較嚴(yán)重。與其他方法相比，圖19(a6)、(b6)的點(diǎn)狀光源邊緣更加清晰，燈光信息也更加“聚攏”，噪聲信息明顯減少，這說明超分辨重建處理提高了影像質(zhì)量。

圖19 試驗(yàn)1區(qū)域不同算法超分重建結(jié)果對(duì)比

試驗(yàn)2是針對(duì)城區(qū)及郊區(qū)的夜光影像超分辨率重建試驗(yàn)。試驗(yàn)流程及參數(shù)設(shè)置與試驗(yàn)1相同。在該區(qū)域的去云霧、去輝光也取得了較好的結(jié)果，如圖20(a2)及其相應(yīng)細(xì)節(jié)所示，并以此為超分辨率重建的輸入影像，最后的重建結(jié)果影像如圖20所示，該區(qū)域的無云影像如圖21所示。對(duì)比觀察圖20(a3)、(b3)、(c3)可以看出，插值后的影像平滑，燈光邊緣模糊嚴(yán)重；圖20(a4)、(b4)、(c4)中的燈光邊緣過平滑現(xiàn)象嚴(yán)重，地物信息產(chǎn)生了變形，部分點(diǎn)狀燈光信息平滑為線狀信息；圖20(a5)、(b5)、(c5)中的燈光密集區(qū)域出現(xiàn)假信息和噪聲信息；圖20(a6)、(b6)、(c6)中的模糊云霧信息明顯減少，與圖21對(duì)比可以看出，復(fù)雜城區(qū)燈光的輝光擴(kuò)散效應(yīng)明顯減弱，燈光信息更聚攏，細(xì)節(jié)、邊緣更加清晰。說明3種對(duì)比方法都沒有本文方法有效。

圖20 試驗(yàn)2區(qū)域不同算法超分重建結(jié)果對(duì)比

圖21 試驗(yàn)2區(qū)域的無云影像

利用評(píng)價(jià)指標(biāo)進(jìn)一步說明本文方法的處理效果。由于夜光影像中只有燈光亮度信息和黑色背景信息，相比于其他影像紋理較單一，現(xiàn)有的光學(xué)影像評(píng)價(jià)指標(biāo)不太適用。本文算法處理的目的是減少云霧的影響、減少亮點(diǎn)目標(biāo)的點(diǎn)擴(kuò)散效應(yīng)，這與SAR影像減少旁瓣效應(yīng)很相似。因此，本文借鑒SAR影像的3 dB指標(biāo)，采用平均意義上的3 dB主瓣寬度進(jìn)行度量[57]，即目標(biāo)區(qū)域所有散射中心3 dB主瓣寬度的平均值。為說明選用指標(biāo)的有效性，將本文指標(biāo)與清晰度評(píng)價(jià)指標(biāo)Tenengrad進(jìn)行對(duì)比。Tenengrad的計(jì)算方法如式(10)所示

|f(x,y+1)-f(x,y)|2)

(10)

式中，DT(f)為Tenengrad值；f(x,y)表示圖像f在像素點(diǎn)(x,y)的灰度值，一般情況下該指標(biāo)越大說明圖像越清晰。

評(píng)價(jià)結(jié)果如表3、表4所示。對(duì)比試驗(yàn)1去云霧階段的指標(biāo)，從3 dB指標(biāo)來看，本文方法指標(biāo)提升明顯，去輝光后的指標(biāo)也有提升，但仍沒有無云影像質(zhì)量好。暗通道算法、GCAN算法指標(biāo)比原圖好，但提升幅度不大，這與無云理想影像相差較大，與主觀視覺效果評(píng)價(jià)結(jié)果一致。對(duì)比Tenengrad值發(fā)現(xiàn)，去云霧處理后的指標(biāo)都有所提升，但提升幅度不大，說明影像質(zhì)量都比原圖好。僅從指標(biāo)來看，暗通道方法的指標(biāo)最優(yōu)，但從視覺效果來看，只是比原圖云霧略好，整體上改變不大。產(chǎn)生這種相反結(jié)論的原因是，該指標(biāo)衡量的是影像的梯度差異，但夜光影像中的梯度信息主要來自于發(fā)光點(diǎn)的邊緣，如果云霧去除不好，會(huì)把一些非光源信息作為影像的邊緣信息計(jì)算，從而出現(xiàn)指標(biāo)提升但是視覺效果不佳的結(jié)果，因此該指標(biāo)不適合夜光圖像的評(píng)價(jià)。對(duì)比表4的3 dB指標(biāo)，可以看出雙三次插值方法、自相似方法和ESRGAN方法處理后影像的平均3 dB值都比原影像的值小，說明處理后的影像的空間分辨率都有所提高，影像質(zhì)量有所改善；ESRGAN方法的3 dB值最大，說明處理效果最差。以上主觀和客觀的分析說明本文方法處理后的光源信息比原圖更清晰，光源更聚攏、界限更明顯，評(píng)價(jià)指標(biāo)也最優(yōu)。說明本文方法在去輝光、去云霧，提高影像分辨率方面有效，可以提高夜光影像的質(zhì)量。

表3 試驗(yàn)區(qū)域1去云霧質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比

表4 試驗(yàn)區(qū)域超分重建質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比

為了驗(yàn)證本文損失函數(shù)的作用，以超分辨率網(wǎng)絡(luò)為例，采用控制變量方法進(jìn)行測(cè)試。測(cè)試中只改變本文超分重建網(wǎng)絡(luò)中的損失函數(shù)(即比值約束的損失函數(shù)和L2損失函數(shù))，原始網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)等變量相同，網(wǎng)絡(luò)主體RRDB模塊數(shù)量設(shè)置為6，在上述條件下進(jìn)行對(duì)比試驗(yàn)。訓(xùn)練過程中監(jiān)測(cè)PSNR值并繪制曲線圖，如圖22所示。使用本文網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)可以有效提高網(wǎng)絡(luò)收斂速度，在訓(xùn)練大約3.5k epoch即可收斂，訓(xùn)練過程更穩(wěn)定，未出現(xiàn)過擬合現(xiàn)象，訓(xùn)練結(jié)果精度更高，影像質(zhì)量評(píng)價(jià)指標(biāo)提升更快。

圖22 超分重建訓(xùn)練過程中PSNR值監(jiān)測(cè)曲線對(duì)比

4 結(jié) 論

本文針對(duì)珞珈一號(hào)夜光影像的云霧、輝光、分辨率降低的綜合降質(zhì)問題，研究了可解釋性先驗(yàn)引導(dǎo)的多降質(zhì)特征夜光影像質(zhì)量提升方法，提出了基于成像降質(zhì)模型分析的深度學(xué)習(xí)超分辨率重建方法。主要的工作包括：①本文從傳感器成像類型、成像中多種降質(zhì)因素方面討論了珞珈一號(hào)夜光影像的降質(zhì)模型公式，發(fā)展了以日間影像為主、僅考慮單一降質(zhì)的問題，擴(kuò)寬了夜光影像成像降質(zhì)模型的研究思路；②針對(duì)遙感影像無法獲得同一傳感器真實(shí)的高、低分影像對(duì)的問題，從珞珈一號(hào)夜光影像數(shù)據(jù)集制作入手，結(jié)合成像降質(zhì)模型，設(shè)計(jì)了考慮輝光、云霧模型的數(shù)據(jù)集制作方法，為解決目前缺少夜光影像數(shù)據(jù)集問題提供了參考方法；③針對(duì)深度學(xué)習(xí)方法可解釋性差的問題，本文在訓(xùn)練網(wǎng)絡(luò)、提升網(wǎng)絡(luò)、損失函數(shù)等方面考慮了夜光影像成像降質(zhì)模型的先驗(yàn)信息，使網(wǎng)絡(luò)更具有可解釋性。而且本文設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)模型復(fù)雜度低，并通過增加訓(xùn)練數(shù)據(jù)、使用帶有正則化項(xiàng)的損失函數(shù)等方法盡量避免過擬合現(xiàn)象。用試驗(yàn)驗(yàn)證了本文方法，通過和傳統(tǒng)方法、深度學(xué)習(xí)方法的對(duì)比可以看出，有先驗(yàn)引導(dǎo)的數(shù)據(jù)集有較好的訓(xùn)練效果，本文方法具備去云霧、去輝光、提升影像分辨率的能力，能夠明顯改善影像的質(zhì)量，為了擴(kuò)展該網(wǎng)絡(luò)的遷移性，后期將會(huì)進(jìn)一步研究其他類型的夜光數(shù)據(jù)(如SDGSAT、啟明星等)的質(zhì)量提升，為夜光數(shù)據(jù)的定量反演更提供更高質(zhì)量的數(shù)據(jù)。