基于代價(jià)敏感學(xué)習(xí)的遙感影像云檢測(cè)方法

楊 劍，顏 源，李樂林

（1.河南省自然資源廳，河南 鄭州 450016；2.武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079；3.測(cè)繪遙感信息工程湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201）

遙感衛(wèi)星在國土資源調(diào)查、環(huán)境監(jiān)測(cè)等領(lǐng)域具有重要應(yīng)用價(jià)值，但由于地球表面66%以上區(qū)域經(jīng)常被云層覆蓋，許多遙感影像都存在云層遮擋問題[1]。為了有效發(fā)揮遙感影像在自然資源管理中的作用，為遙感影像后續(xù)利用提供可靠的參考，云檢測(cè)顯得至關(guān)重要。

目前，影像云檢測(cè)方法眾多，其中應(yīng)用最多的方法為物理閾值法[2]，此類算法快速有效，但由于云種類和特征的復(fù)雜性，閾值不好把握，不可避免地會(huì)對(duì)積雪、建筑物、裸地等高亮目標(biāo)產(chǎn)生誤判[3]。近年來，深度學(xué)習(xí)理論和技術(shù)取得了長足的進(jìn)步，使得從數(shù)據(jù)中自動(dòng)提取多層次和隱含特征成為可能，尤其是深度卷積神經(jīng)網(wǎng)絡(luò)，在物體識(shí)別、目標(biāo)檢測(cè)等視覺任務(wù)中取得了重大突破[4-7]。有學(xué)者基于深度卷積網(wǎng)絡(luò)提出了高分辨率遙感影像云檢測(cè)算法，進(jìn)行薄云和厚云檢測(cè)[8]。

云在空間上分布具有不均勻性的特征，有的影像中無云或只有零散分布的云，有的影像中所有地物全部被云覆蓋。而現(xiàn)有基于深度卷積網(wǎng)絡(luò)的云檢測(cè)算法未考慮云分布的不均勻性問題，若不對(duì)訓(xùn)練樣本進(jìn)行調(diào)整，將導(dǎo)致樣本中云和背景兩種類別出現(xiàn)嚴(yán)重不平衡問題，造成檢測(cè)結(jié)果傾向于樣本數(shù)更多的類別。對(duì)于類別不平衡問題，主要有兩種處理方式：①對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，通過修改訓(xùn)練集的樣本分布來降低數(shù)據(jù)的不平衡程度；②從算法層面進(jìn)行改進(jìn)，使之更傾向于少數(shù)類數(shù)據(jù)法[9]。

針對(duì)云檢測(cè)網(wǎng)絡(luò)訓(xùn)練中樣本不平衡問題，本文使用兩種手段予以克服。在卷積網(wǎng)絡(luò)訓(xùn)練階段，引入代價(jià)系數(shù)，使得損失函數(shù)更多關(guān)注小樣本的檢測(cè)精度；在模型選擇方面，采用綜合了查準(zhǔn)率和查全率的F1分?jǐn)?shù)代替總體精度作為卷積網(wǎng)絡(luò)表現(xiàn)的評(píng)價(jià)指標(biāo)。本文方法不僅能有效識(shí)別出云，對(duì)雪等高亮地物也具有較強(qiáng)的區(qū)分能力。

1 方 法

1.1 全卷積網(wǎng)絡(luò)

遙感影像云檢測(cè)可認(rèn)為是云和背景的二類分割問題。全卷積網(wǎng)絡(luò)（FCN）作為一種像素級(jí)分類網(wǎng)絡(luò)，可用于圖像語義分割任務(wù)[7]。全卷積神經(jīng)網(wǎng)絡(luò)由一系列卷積層、非線性激活層、池化層及上采樣層構(gòu)成。卷積層包含可訓(xùn)練參數(shù)，用于從影像中萃取地物特征。非線性激活層置于卷積層之后，用于增加網(wǎng)絡(luò)的表達(dá)能力。池化層可以減少網(wǎng)絡(luò)參數(shù)量和計(jì)算量，同時(shí)降低過擬合的風(fēng)險(xiǎn)。經(jīng)過池化層后，特征圖的尺寸減小，上采樣層或反卷積層[10]用于提高特征圖的分辨率，恢復(fù)圖像尺寸。理論上，全卷積網(wǎng)絡(luò)可以輸出任意尺寸的圖像。

1.2 網(wǎng)絡(luò)架構(gòu)

采用的網(wǎng)絡(luò)基于U-Net[11]改進(jìn)而來，網(wǎng)絡(luò)架構(gòu)如圖 1所示。U-net具有典型的編碼-解碼結(jié)構(gòu)[12]，在編碼階段，使用卷積層逐步萃取特征并通過池化層逐步降低特征圖分辨率，再通過解碼過程逐步恢復(fù)特征細(xì)節(jié)和空間位置信息。本文基于U-net主要做了四方面改進(jìn)：

1）由于僅需識(shí)別云和背景兩種類別，網(wǎng)絡(luò)的容量可大幅減少。將所有特征層數(shù)減半，減少參數(shù)量。

將除輸出層外的卷積層后增加批標(biāo)準(zhǔn)化層[13]，有利于深度網(wǎng)絡(luò)的快速收斂，一定程度上起到正則化的效果，減少過擬合的風(fēng)險(xiǎn)等。

由于反卷積層的棋盤效應(yīng)[14]，用上采樣層代替反卷積層，上采樣方式采用最近鄰內(nèi)插。

對(duì)于超出卷積核的特征圖（feature map）進(jìn)行邊緣補(bǔ)0，以保證輸出特征圖與上一層特征圖尺寸相同，使得網(wǎng)絡(luò)可以接受任意尺寸的圖像輸入。

圖 1 網(wǎng)絡(luò)架構(gòu)

改進(jìn)后的U-Net網(wǎng)絡(luò)編碼階段有10個(gè)卷積層， 4個(gè)池化層，解碼階段有4個(gè)上采樣層，8個(gè)卷積層，卷積核的尺寸均為3×3，最后連接一個(gè)1×1尺寸的卷積層作為分類層。

1.3 代價(jià)損失函數(shù)

代價(jià)損失函數(shù)是在普通損失函數(shù)中引入代價(jià)系數(shù)，對(duì)不同錯(cuò)誤使用不同懲罰力度，對(duì)我們關(guān)注的類別使用更大的代價(jià)值，使得錯(cuò)分類的損失函數(shù)值更大。本文在交叉熵?fù)p失函數(shù)[15]中引入代價(jià)系數(shù)，建立代價(jià)損失函數(shù)：

式中，L(w)為損失函數(shù)值；w表示卷積網(wǎng)絡(luò)中待確定的權(quán)值；N為輸入的樣本包含的總像元數(shù)；n第n個(gè)像元預(yù)測(cè)為云的概率；yn是第n個(gè)像元的真值，yn∈{0,1}；0表示背景；1表示云。

αn采用文獻(xiàn)[16]方法計(jì)算：

式中，freq(n)是類別n的頻率，等于類別為n的像元數(shù)量占含類別n的訓(xùn)練樣本總像元數(shù)量的比例；medianFreq是所有類別頻率的中值。

1.4 模型選擇

深度學(xué)習(xí)中廣泛使用總體精度作為模型選擇的評(píng)價(jià)指標(biāo)，但對(duì)于云檢測(cè)，由于樣本存在嚴(yán)重類別不平衡問題，若使用總體精度進(jìn)行模型選擇會(huì)產(chǎn)生誤導(dǎo)性的結(jié)果，導(dǎo)致選擇的模型對(duì)背景識(shí)別精度高，而對(duì)云識(shí)別精度低。為了綜合考慮對(duì)云的識(shí)別能力和對(duì)背景的抑制能力，本文使用F1作為性能度量指標(biāo)，F(xiàn)1是

查準(zhǔn)率和查全率的調(diào)和平均數(shù)。

式中，P和R分別表示查準(zhǔn)率和查全率。

1.5 網(wǎng)絡(luò)訓(xùn)練

采用keras[17]深度學(xué)習(xí)框架，keras后端使用Tensor Flow[18]，顯卡為TITAN X(Pascal)GPU，總訓(xùn)練次數(shù)設(shè)為50。通過在小數(shù)據(jù)集上反復(fù)訓(xùn)練和測(cè)試，最終將批量大小設(shè)為32，即一次輸入32個(gè)樣本，學(xué)習(xí)率設(shè)為0.001，使用Adam[19]作為求解器。采取早停策略，當(dāng)驗(yàn)證集上的精度經(jīng)過5個(gè)訓(xùn)練輪數(shù)不再上升則停止訓(xùn)練。本實(shí)驗(yàn)中，通過20次訓(xùn)練后，驗(yàn)證集上的F1分?jǐn)?shù)值在0.97左右，并不再增加，以此時(shí)的網(wǎng)絡(luò)權(quán)值作為最終云檢測(cè)模型。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)準(zhǔn)備

本實(shí)驗(yàn)選取了15幅不同地區(qū)和季節(jié)的高分一號(hào)衛(wèi)星影像多光譜數(shù)據(jù)，空間分辨率為8 m，影像尺寸為4 503×4 548，這些數(shù)據(jù)涵蓋了不同下墊面類型，包括雪、冰、水體、植被、裸地、道路、居民區(qū)等，其中15幅圖像中云含量最大的85%，最小為0。云標(biāo)記圖像通過ENVI軟件進(jìn)行監(jiān)督分類和后處理獲得，云像元標(biāo)記為1，背景像元標(biāo)記為0。由于原始影像直接輸入網(wǎng)絡(luò)會(huì)導(dǎo)致內(nèi)存不足，實(shí)驗(yàn)中將原始影像裁剪為256×256的影像塊，總樣本數(shù)為4 335幅影像塊，按照7∶2∶1比例將樣本隨機(jī)劃分為訓(xùn)練集3 034幅、驗(yàn)證集867幅和測(cè)試集434幅，驗(yàn)證集用于模型選擇，測(cè)試集用于精度評(píng)估。訓(xùn)練集中云像元數(shù)和背景像元數(shù)的比例為1∶3.64，驗(yàn)證中云像元數(shù)和背景像元數(shù)的比例為1∶3.52，測(cè)試集中云像元數(shù)和背景像元數(shù)的比為1∶3.58，訓(xùn)練集、驗(yàn)證集合測(cè)試集的樣本都存在嚴(yán)重的類別不平衡問題。

2.2 定量評(píng)價(jià)

為了全面評(píng)估模型效果，本文采用的定量評(píng)價(jià)指標(biāo)包括F1分?jǐn)?shù)、查準(zhǔn)率（P）、查全率（R）、總體精度和kappa系數(shù)，使用測(cè)試集進(jìn)行預(yù)測(cè)并計(jì)算各評(píng)價(jià)指標(biāo)值（見表 1）。

表 1 不同評(píng)價(jià)指標(biāo)值

從表 1可知，該模型總體精度為98%，總體錯(cuò)誤率在2%以下，查全率R為0.96，表明模型對(duì)云的識(shí)別精度高，影像中96%以上的云均可被準(zhǔn)確識(shí)別，查準(zhǔn)率P為0.97，表明背景被誤識(shí)別為云的比例在3%以下。Kappa系數(shù)0.95，表明云檢測(cè)結(jié)果與樣本的一致性較高。

2.3 定性評(píng)價(jià)

使用訓(xùn)練得到的網(wǎng)絡(luò)模型對(duì)3幅無云標(biāo)記的高分一號(hào)多光譜影像進(jìn)行預(yù)測(cè)，采用目視解譯評(píng)價(jià)結(jié)果。為了全面檢驗(yàn)?zāi)Ｐ涂垢蓴_能力，選取的影像包含雪、冰、水體、植被、裸地、道路、居民區(qū)等不同地物類型。由于受GPU內(nèi)存限制，采用分塊預(yù)測(cè)的方法，將原始影像分為256×256的影像塊逐個(gè)預(yù)測(cè)，為避免預(yù)測(cè)結(jié)果出現(xiàn)塊狀效應(yīng)，各影像塊間保留10%重疊部分，然后將所有塊的預(yù)測(cè)結(jié)果拼接起來得到最終預(yù)測(cè)結(jié)果。圖 2a采集時(shí)間為2015-01-29，無云覆蓋，下墊面地物類型主要為植被、居民區(qū)。圖 3a采集時(shí)間為2015-05-01，地物類型主要為雪、水體和冰。圖 4a采集時(shí)間為2015-02-23，地物覆蓋類型主要為雪。

對(duì)比云檢測(cè)結(jié)果和其所對(duì)應(yīng)的原始影像，其中圖 2a云檢測(cè)結(jié)果為無云，與實(shí)際相符。圖 3a和圖 4a中，云的下墊面有較大區(qū)域被積雪覆蓋，其中圖 3a的左下部分水體被冰雪混合物覆蓋，冰雪在色調(diào)與亮度上和云極為相似，易被誤識(shí)別，但從圖 3b、 4b的云檢測(cè)結(jié)果來看，冰雪混合物和雪均未被誤識(shí)別為云，說明該云檢測(cè)模型對(duì)云、雪的區(qū)分能力強(qiáng)，有較強(qiáng)抗干 擾性。

圖 2 2015-01-29高分一號(hào)影像及云檢測(cè)結(jié)果

圖 3 2015-05-01高分一號(hào)影像及云檢測(cè)結(jié)果

圖 4 2015-02-23 高分一號(hào)影像及云檢測(cè)結(jié)果

3 結(jié) 語

遙感影像云含量對(duì)于自然資源管理和利用具有重要的參考價(jià)值。本文將代價(jià)敏感學(xué)習(xí)方法應(yīng)用于遙感影像云檢測(cè)。通過在損失函數(shù)中引入代價(jià)系數(shù)，較好地克服了云檢測(cè)任務(wù)中，云和背景兩種類別不均衡的問題，使用綜合了查準(zhǔn)率和查全率的F1分?jǐn)?shù)進(jìn)行模型選擇，有助于提高模型對(duì)云的識(shí)別能力和對(duì)冰、雪等高亮地物的區(qū)分能力。由于深度卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法都有大量可調(diào)節(jié)參數(shù)，如何確定這些參數(shù)還需要進(jìn)一步研究。