基于全卷積神經(jīng)網(wǎng)絡(luò)的測(cè)繪遙感壓縮影像分辨率優(yōu)化研究

余龍君

（廣東省國(guó)土資源測(cè)繪院，廣東 廣州 510500）

0.引言

測(cè)繪遙感技術(shù)目前廣泛應(yīng)用于地質(zhì)勘探、地形分析、航天航空以及海洋環(huán)境勘察等工作中，通過測(cè)繪遙感設(shè)備得到真實(shí)的環(huán)境影像，為了便于這些影像的存儲(chǔ)，以壓縮圖像的形式保存這些影像，而這一過程會(huì)使影像分辨率下降。目前，關(guān)于遙感壓縮影像方面的研究已有很多，如林瑤瑤等人從影像灰度、紋理、相關(guān)性等質(zhì)量特征和精度兩方面進(jìn)行影像壓縮質(zhì)量評(píng)價(jià)實(shí)驗(yàn)，開展了多種格網(wǎng)尺寸DSM的提取，通過比較不同壓縮比下重建與原始影像生成的DSM平均高程誤差實(shí)現(xiàn)了遙感壓縮影像分辨率的優(yōu)化。但是由于實(shí)際地形因子以及測(cè)試影像會(huì)影響提取精度，從而導(dǎo)致影像壓縮的效果被降低。陳文青等人提出一種基于奇異值分解（SVD）的遙感圖像壓縮方法，首先通過SVD分解獲得壓縮矩陣，然后采用局部壓縮矩陣生成原始圖像的近似圖像。在分解過程中，通過壓縮矩陣的奇異值曲線獲取奇異值的衰減曲線以及對(duì)圖像的貢獻(xiàn)程度，選取不同的壓縮值可以實(shí)現(xiàn)遙感圖像的壓縮。但是對(duì)壓縮處理時(shí)間和特征點(diǎn)定位方面沒有深入研究。因此研究基于全卷積神經(jīng)網(wǎng)絡(luò)的測(cè)繪遙感壓縮影像分辨率優(yōu)化方法。全卷積神經(jīng)網(wǎng)絡(luò)拋棄常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層，轉(zhuǎn)而使用卷積層分析數(shù)據(jù)原始尺寸，通過逐像素計(jì)算分類損失得到分割結(jié)果，一定程度上減少了采樣過程中的信息丟失。下面對(duì)此次研究的優(yōu)化方法進(jìn)行詳細(xì)介紹。

1.測(cè)繪遙感壓縮影像分辨率優(yōu)化方法

1.1 構(gòu)建自適應(yīng)小波閾值全變分去噪模型

小波閾值函數(shù)去噪可以實(shí)現(xiàn)去噪效果，但根據(jù)傳統(tǒng)方法的應(yīng)用效果可知，小波閾值去噪會(huì)造成圖像邊緣模糊的現(xiàn)象，而全變分模型可以保護(hù)圖像邊緣。因此，可以將小波閾值函數(shù)和全變分相結(jié)合，達(dá)到去噪效果的同時(shí)保留圖像邊緣的目的。圖像被噪聲污染是一個(gè)正向問題，根據(jù)觀測(cè)的圖像數(shù)據(jù)和所給的限制條件和所作的假設(shè)來獲得原圖像數(shù)據(jù)。基于全變分的去噪模型可以用以下方程式來表達(dá)如公式（1）所示：

式（3）中，ω在圖像去噪的過程中起到平衡作用，當(dāng)ω的取值越大，保真性就越強(qiáng)，圖像去噪后和原圖像差別越不明顯。ω的值可以根據(jù)去噪圖像的峰值信噪比來確定，該方法通過小波變換確定圖像分解層，在此基礎(chǔ)上進(jìn)行全變分和閾值化處理，最后基于小波逆變換進(jìn)行圖像重構(gòu)，從而得到去噪后的圖像結(jié)果。

1.2 基于全卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)壓縮影像

為了加強(qiáng)壓縮圖像的邊界恢復(fù)效果，同時(shí)明確圖像邊界，采用條件隨機(jī)場(chǎng)下的全卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)壓縮影像。該算法的基本流程（如圖1所示）：

圖1 全卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)影像的算法基本流程

根據(jù)圖1顯示內(nèi)容，影像首先輸入多孔FCN中Pool5層之前的架構(gòu)，以此擴(kuò)大影像結(jié)構(gòu)的視野感受，加強(qiáng)對(duì)細(xì)節(jié)內(nèi)容的分析；然后將該架構(gòu)輸入到DenseASPP模塊當(dāng)中，加強(qiáng)算法對(duì)多尺度物體的適應(yīng)效果；再將該模型中的數(shù)據(jù)，發(fā)送到Fc7層的后續(xù)卷積層之內(nèi)；最后進(jìn)入概率圖模型模塊展示單元，通過ConvCRFs一RNN，也就是條件隨機(jī)場(chǎng)下的全卷積神經(jīng)網(wǎng)絡(luò)，得到壓縮影像的語義分割結(jié)果。上述算法執(zhí)行影像恢復(fù)操作的過程中，使用的CRFs由單個(gè)像素或圖像塊上的一元?jiǎng)?，和相鄰像素或塊上的二元?jiǎng)萁M成，生成了鄰接CRFs結(jié)構(gòu)。但該結(jié)構(gòu)遠(yuǎn)程連接能力較為一般，會(huì)使壓縮影像的邊界過度平滑，對(duì)該算法進(jìn)一步優(yōu)化。假設(shè)全連接的二元CRFs結(jié)構(gòu)中，I是x上的完整影像，ZI是所有一元團(tuán)、二元團(tuán)的集合。如公式（4）所示：

式（4）中，E（x）為吉布斯能量函數(shù)計(jì)算結(jié)果；λw（xi）為示一元?jiǎng)?；xi、yi為不同方位的影像特征標(biāo)簽。利用上式優(yōu)化ConvCRFs一RNN，重構(gòu)卷積條件隨機(jī)場(chǎng)，通過重復(fù)層堆疊的方式多次平均場(chǎng)迭代，從每次迭代的前一次迭代中，獲取原始形式一元?jiǎng)葜担辉獎(jiǎng)菡齽t化輸出后與輸入特征圖疊加，然后進(jìn)行平均場(chǎng)迭代的消息傳遞，每次迭代時(shí)將輸出與原始輸入特征影像進(jìn)行疊加，并將其作為下一次迭代輸入，直到迭代次數(shù)達(dá)到預(yù)設(shè)值后從模塊中跳出，通過條件隨機(jī)場(chǎng)下的全卷積神經(jīng)網(wǎng)絡(luò)，恢復(fù)遙感壓縮影像實(shí)際尺寸。

1.3 壓縮影像陰影的提取與補(bǔ)償

遙感影像中的陰影區(qū)域在顏色結(jié)構(gòu)上存在一定的規(guī)律，但受到外界客觀因素的影響，陰影區(qū)域的色彩結(jié)構(gòu)會(huì)發(fā)生相應(yīng)變化，因此，要對(duì)陰影區(qū)域進(jìn)行分析和提取。將圖像的亮度分量與飽和度分量進(jìn)行歸一化處理，并計(jì)算圖像亮度與飽和度差值。如公式（5）所示：

式（5）中，A表示影像的亮度；B表示飽和度分量。根據(jù)圖像陰影區(qū)域特征，建立圖像的陰影區(qū)域提取模型如公式（6）所示：

式（6）中，F(xiàn)1、F2分別為影像圖中陰影部分的色調(diào)與非陰影區(qū)域的色調(diào)分別為圖像色調(diào)和圖像亮度與飽和度的差值。利用該提取模型對(duì)遙感影像的圖像序列進(jìn)行陰影區(qū)域提取。在此基礎(chǔ)上，結(jié)合根據(jù)灰度線性變換算法對(duì)圖像陰影區(qū)域的像素點(diǎn)進(jìn)行灰度補(bǔ)償，獲取非陰影部分信息如公式（7）所示：

式（7）中，p為圖像非陰影區(qū)域的像素點(diǎn)；Nab為非陰影部分；dia為陰影區(qū)域與非陰影區(qū)域的距離；d（p，Nab）為圖像中非陰影區(qū)域中任一位置與陰影區(qū)域的距離。獲得非陰影部分后，結(jié)合灰度變換與映射函數(shù)對(duì)圖像中的陰影區(qū)域進(jìn)行像素灰度補(bǔ)償。如公式（8）所示：

由此實(shí)現(xiàn)壓縮影像陰影區(qū)域的提取與補(bǔ)償，對(duì)遙感壓縮影像分辨率進(jìn)行優(yōu)化。

2.測(cè)試與分析

將文中提出的方法作為實(shí)驗(yàn)組，將傳統(tǒng)方法1和傳統(tǒng)方法2作為對(duì)照組，分別利用三種優(yōu)化方法，優(yōu)化測(cè)繪遙感壓縮圖像的分辨率。實(shí)驗(yàn)共分為兩個(gè)階段，第一階段測(cè)試此次研究方法，是否具有實(shí)際應(yīng)用功能；第二階段從兩個(gè)方面，比較三組優(yōu)化方法的實(shí)際應(yīng)用效果。

2.1 實(shí)驗(yàn)準(zhǔn)備

測(cè)試開始之前準(zhǔn)備測(cè)試對(duì)象：從USGS提供的數(shù)據(jù)庫(kù)中，選擇4條礦物光譜曲線，組成不同的立方體影像然后進(jìn)行壓縮處理。在空間維度上，將該立方體平均分為4個(gè)部分，每個(gè)部分中均還有同樣的礦物光譜曲線。為了方便實(shí)驗(yàn)測(cè)試與結(jié)果分析，添加的噪聲為高斯噪聲。設(shè)置兩個(gè)實(shí)驗(yàn)測(cè)試方案，其中方案A：將噪聲直接添加到壓縮影像上，保證各個(gè)子塊的噪聲分布狀態(tài)相同，此時(shí)實(shí)驗(yàn)添加的噪聲為18.92dB。然后保證測(cè)試對(duì)象不變，再以同樣的測(cè)試條件，設(shè)置方案B：分別向4個(gè)子塊添加不同程度的噪聲，影像的總體信噪比為14.23dB，4組影像的信噪比分別為23.37dB、19.58dB、12.49dB以及5.2dB。測(cè)試此次研究的壓縮影像分辨率優(yōu)化方法，面對(duì)添加噪聲后的壓縮影像，是否有良好的分辨率優(yōu)化，結(jié)果（如圖2所示）：

圖2 文中方法的壓縮圖像分辨率優(yōu)化效果

根據(jù)圖2所示的測(cè)試結(jié)果可以看出：不同分塊交界處邊緣明顯亮過非邊緣區(qū)域，說明不論如何添加噪聲，該方法注意到了像素細(xì)節(jié)，不易受噪聲條件干擾?？梢娫摲椒ň哂锌尚行浴?/p>

2.2 采樣效果測(cè)試

將本文方法與文獻(xiàn)和文獻(xiàn)方法進(jìn)行對(duì)比，將文獻(xiàn)中的構(gòu)像質(zhì)量評(píng)價(jià)方法和文獻(xiàn)中的奇異值分解方法分別記為傳統(tǒng)方法1和傳統(tǒng)方法2，三組優(yōu)化方法在應(yīng)用過程中，為了填補(bǔ)影像陰影部分，都會(huì)利用各自的方法，補(bǔ)償壓縮影像陰影部分的分辨率，而這一過程需要對(duì)影像進(jìn)行特征采樣，圖3為三個(gè)測(cè)試組的特征點(diǎn)采樣定位效果圖（如圖3所示）：

根據(jù)圖3所示的測(cè)試結(jié)果可知，文中優(yōu)化方法采用3次綜合定位的方法，獲取像素點(diǎn)。而兩個(gè)傳統(tǒng)方法分別選擇2次和1次定位方法，獲取像素點(diǎn)。為了保證測(cè)試結(jié)果的誤差最小，共進(jìn)行6輪特征點(diǎn)采樣定位，三組特征點(diǎn)與最優(yōu)特征點(diǎn)之間的定位差距（如表1所示）：

圖3 特征點(diǎn)采樣定位效果圖

表中的正數(shù)表示方向X上的定位差異；負(fù)數(shù)表示方向-X上的定位差異。為了便于比較，統(tǒng)計(jì)表1中三組方法的平均定位差距，分別為0.0517mm、0.345mm以及0.4167mm。計(jì)算三組方法之間的特征點(diǎn)定位差異，可知文中方法的定位結(jié)果，比傳統(tǒng)方法1低了0.2933mm；比傳統(tǒng)方法2低了0.365mm?？梢娢闹刑岢龅膬?yōu)化方法，在補(bǔ)償陰影像素時(shí)，可能會(huì)得到更好的分辨率優(yōu)化結(jié)果。因此選擇一個(gè)固定的測(cè)試對(duì)象來源，分別利用三組方法對(duì)同一分辨率的測(cè)繪遙感壓縮影像，進(jìn)行質(zhì)量?jī)?yōu)化，比較不同方法的優(yōu)化效果。

表1 特征點(diǎn)定位差距（mm）

2.3 LIVE圖像數(shù)據(jù)庫(kù)實(shí)驗(yàn)

為比較各個(gè)優(yōu)化方法的性能，采用視頻工程實(shí)驗(yàn)室LIVE提供的圖像數(shù)據(jù)庫(kù)展開測(cè)試。該數(shù)據(jù)庫(kù)中滿足測(cè)試要求的遙感壓縮影像共982幅。利用三組優(yōu)化方法，優(yōu)化LIVE圖像數(shù)據(jù)庫(kù)中的低分辨率壓縮圖像。三種優(yōu)化方法應(yīng)用下，壓縮影像的質(zhì)量評(píng)價(jià)結(jié)果（如圖4所示）：

圖4 優(yōu)化后的壓縮影像質(zhì)量評(píng)價(jià)結(jié)果

根據(jù)上述質(zhì)量評(píng)價(jià)結(jié)果可知：兩種傳統(tǒng)方法處理海量的壓縮影像時(shí)，在恢復(fù)壓縮圖像的過程中，各個(gè)像素點(diǎn)明顯脫離擬合曲線，可見傳統(tǒng)方法面對(duì)像素點(diǎn)數(shù)據(jù)時(shí)，其融合效果明顯弱于文中提出的優(yōu)化方法。然后計(jì)算各個(gè)優(yōu)化方法應(yīng)用下，影像分辨率評(píng)價(jià)指標(biāo)（如表2所示）：

表2 文中方法與傳統(tǒng)方法的優(yōu)化性能對(duì)比

表2中的5項(xiàng)評(píng)價(jià)指標(biāo)分別為相關(guān)系數(shù)、均方根誤差、平均絕對(duì)誤差、秩相關(guān)系數(shù)以及離出率。根據(jù)表2中的計(jì)算結(jié)果可知，文中方法對(duì)于LIVE圖像數(shù)據(jù)庫(kù)中，低分辨率的壓縮影像，有更好的優(yōu)化效果。

3.結(jié)束語

此次研究在傳統(tǒng)優(yōu)化方法的基礎(chǔ)上，利用全卷積神經(jīng)網(wǎng)絡(luò)代替經(jīng)典神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)壓縮影像的分辨率優(yōu)化。但全卷積網(wǎng)絡(luò)在恢復(fù)壓縮圖像時(shí)，容易忽略相鄰像素間的類別相關(guān)性，因此使用該神經(jīng)網(wǎng)絡(luò)時(shí)，要注意條件隨機(jī)這一使用條件。