基于樣本加權(quán)條件對(duì)抗域適應(yīng)網(wǎng)絡(luò)的遙感影像作物分類

丁 偉 黃 河 孫友強(qiáng)

1(中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院智能機(jī)械研究所 安徽 合肥 230031)

2(中國(guó)科學(xué)技術(shù)大學(xué) 安徽 合肥 230026)

3(安徽省智慧農(nóng)業(yè)工程實(shí)驗(yàn)室 安徽 合肥 230031)

0 引 言

隨著遙感技術(shù)的不斷發(fā)展,使用遙感圖像進(jìn)行大規(guī)模農(nóng)業(yè)信息獲取、分析已經(jīng)成為一種重要手段。使用遙感圖像對(duì)作物進(jìn)行分類得到地塊信息,對(duì)于輔助農(nóng)業(yè)政策決策、作物產(chǎn)量估計(jì)等方面有著重要的意義。相比于傳統(tǒng)的遙感影像特征提取、分類方法,深度學(xué)習(xí)技術(shù)的進(jìn)步,使其在遙感影像分類、分割任務(wù)上都有著效果顯著的應(yīng)用。文獻(xiàn)[3]基于卷積神經(jīng)網(wǎng)絡(luò),使用GF-2衛(wèi)星影像對(duì)龍虎莊道路、建筑物等6種典型地物進(jìn)行面向?qū)ο蠓诸?。文獻(xiàn)[4]使用語(yǔ)義分割網(wǎng)絡(luò)同時(shí)融入循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)捕捉遙感圖像時(shí)序信息,完成像素級(jí)別的大棚提取。文獻(xiàn)[5]使用基于模型的遷移學(xué)習(xí)來(lái)解決多類遙感影像場(chǎng)景分類中樣本標(biāo)簽少的問(wèn)題。

然而遙感圖像分類一個(gè)重要的問(wèn)題是跨域數(shù)據(jù)預(yù)測(cè)。造成這個(gè)問(wèn)題的原因主要有兩個(gè)：首先是對(duì)于空間分辨率低的遙感圖像,我們無(wú)法直接通過(guò)目譯確定現(xiàn)有的地塊作物到底輸入哪一類,也就導(dǎo)致了無(wú)法直接使用監(jiān)督學(xué)習(xí)模型;其次,遙感影像會(huì)由于天氣變化、獲取的時(shí)間不一致、圖像矯正的參數(shù)不同等原因,導(dǎo)致圖像分布不同。在建模過(guò)程中我們一般會(huì)假設(shè)訓(xùn)練集和測(cè)試集分布基本一致。然而,當(dāng)訓(xùn)練集和測(cè)試集分布不一致時(shí),基于最小化訓(xùn)練集經(jīng)驗(yàn)風(fēng)險(xiǎn)得到的模型在測(cè)試集上不一定會(huì)有好的表現(xiàn)。如圖1所示,基于源域數(shù)據(jù)訓(xùn)練出的模型,無(wú)法正確預(yù)測(cè)目標(biāo)域數(shù)據(jù)。

圖1 跨域數(shù)據(jù)預(yù)測(cè)問(wèn)題

領(lǐng)域自適應(yīng)(Domain Adaptation)是遷移學(xué)習(xí)一個(gè)重要分支。通常會(huì)把數(shù)據(jù)分為兩部分：源域Ds和目標(biāo)域Dt,目的是利用從源域數(shù)據(jù)Ds和學(xué)習(xí)任務(wù)Ts學(xué)習(xí)到的知識(shí)來(lái)提高目標(biāo)域數(shù)據(jù)Dt在目標(biāo)任務(wù)Tt上的表現(xiàn)。源域和目標(biāo)域的特征、類別空間相同,但是特征分布不同,即Ps(x)≠Pt(x)。此外,會(huì)假設(shè)源域有更多的樣本,并且所有數(shù)據(jù)都是有標(biāo)簽的,而目標(biāo)域的數(shù)據(jù)只有樣本,沒(méi)有類別信息或者只有少量標(biāo)簽。

文獻(xiàn)[6]的方法在自然場(chǎng)景、人臉數(shù)據(jù)集等領(lǐng)域自適應(yīng)任務(wù)中取得不錯(cuò)的效果,然而在遙感領(lǐng)域研究相對(duì)較少。本文針對(duì)遙感影像跨時(shí)間域作物分類問(wèn)題,使用改進(jìn)特征提取模塊的CDAN模型對(duì)不同年份地塊作物的深度特征進(jìn)行對(duì)齊,從而完成無(wú)標(biāo)簽?zāi)繕?biāo)域作物的分類;在上述遷移模型基礎(chǔ)之上,改進(jìn)樣本遷移性度量方式,通過(guò)引入可學(xué)習(xí)的樣本加權(quán)網(wǎng)絡(luò)來(lái)學(xué)習(xí)樣本的可遷移性,使模型在單月、多月影像遷移效果上都有更好的表現(xiàn)。

1 基于可學(xué)習(xí)樣本權(quán)重的CDAN模型

模型結(jié)構(gòu)如圖2實(shí)線部分所示。其中梯形表示CDAN三個(gè)重要的子網(wǎng)絡(luò)：特征提取網(wǎng)絡(luò)F、類別分類網(wǎng)絡(luò)C和領(lǐng)域判別網(wǎng)絡(luò)D;矩形表示模型運(yùn)算的中間向量和已有的數(shù)據(jù)標(biāo)簽。特征提取網(wǎng)絡(luò)F使用經(jīng)典的卷積網(wǎng)絡(luò),如AlextNet、ResNet[10],輸出是從源域樣本xs和目標(biāo)域樣本xt提取出的一維向量fs、ft;分類網(wǎng)絡(luò)C是全連接網(wǎng)絡(luò),通過(guò)Softmax函數(shù)計(jì)算出模型預(yù)測(cè)的源域和目標(biāo)域樣本的類別概率分布gs、gt;判別網(wǎng)絡(luò)D是全連接網(wǎng)絡(luò),輸出是模型預(yù)測(cè)的樣本來(lái)源的概率分布d,即樣本來(lái)自源域還是目標(biāo)域的概率分布。

圖2 CDAN-SWN網(wǎng)絡(luò)結(jié)構(gòu)圖

Ex～pt(x)[1-logD(F(x))]

(1)

模型損失包括判別損失LD和分類交叉熵?fù)p失LC,優(yōu)化目標(biāo)如式(1)所示。即更新D參數(shù)使得域判別損失LD最小;更新C參數(shù)使得分類損失LC最小;更新F網(wǎng)絡(luò)參數(shù)使得LC最小、LD最大;F網(wǎng)絡(luò)和D網(wǎng)絡(luò)形成對(duì)抗關(guān)系。

(2)

當(dāng)模型收斂后fs和ft的分布相似,由于網(wǎng)絡(luò)C通過(guò)最小化LC已經(jīng)能正確分類源域數(shù)據(jù)特征fs,當(dāng)再輸入目標(biāo)域數(shù)據(jù)特征ft=F(xt)給C時(shí),也能輸出正確分類結(jié)果。

1.1 面向地塊對(duì)象的特征提取網(wǎng)絡(luò)

CDAN網(wǎng)絡(luò)使用AlextNet[11]或Resnet-50作為特征提取模塊,然而這些網(wǎng)絡(luò)結(jié)構(gòu)由于過(guò)多的非填充(No Padding)卷積或者下采樣操作的存在會(huì)使輸出的特征尺寸逐層變小。以Resnet-50為例,直到全連接層之前,特征圖的尺寸縮小到了輸入圖像的1/32。在面向?qū)ο蟮姆椒ㄖ?尤其是當(dāng)遙感影像的空間分辨率低時(shí),每個(gè)對(duì)象的尺寸很小,使用過(guò)深的卷積網(wǎng)絡(luò)或者過(guò)多下采樣操作,會(huì)提取不出或者丟失有效的信息。因此須對(duì)小對(duì)象設(shè)計(jì)高效的特征提取結(jié)構(gòu)。

現(xiàn)有的深度學(xué)習(xí)主干網(wǎng)絡(luò)大多由若干個(gè)瓶頸結(jié)構(gòu)(Bottleneck)串聯(lián)而成,如Inception網(wǎng)絡(luò)[12]、ResNet網(wǎng)絡(luò)等。為了避免過(guò)多的串聯(lián)卷積結(jié)構(gòu)帶來(lái)的特征尺寸減小問(wèn)題,本文以ResNeXt提出的瓶頸結(jié)構(gòu)為基礎(chǔ),構(gòu)建出特征提取網(wǎng)絡(luò),瓶頸如圖3所示?？梢钥闯?通過(guò)引入并聯(lián)卷積結(jié)構(gòu)對(duì)同一層輸入提取K組特征,再將這K組特征進(jìn)行合并輸入到下一層,僅使用少量Bottleneck的串聯(lián)結(jié)構(gòu),就能夠提取出更豐富的特征。此外對(duì)比圖4同樣采用并聯(lián)結(jié)構(gòu)的Inception網(wǎng)絡(luò),文中使用的結(jié)構(gòu)每個(gè)分支都使用相同大小的卷積核不需要精心的設(shè)計(jì),并且在硬件并行計(jì)算上也更加高效。

圖3 ResNeXt網(wǎng)絡(luò)瓶頸結(jié)構(gòu)

圖4 Inception網(wǎng)絡(luò)瓶頸結(jié)構(gòu)

1.2 基于可學(xué)習(xí)樣本權(quán)重的CDAN

由于錯(cuò)誤標(biāo)注、存在異常樣本等原因,源域和目標(biāo)域存在一些遷移困難的樣本,在對(duì)齊特征時(shí)過(guò)多關(guān)注這些樣本會(huì)產(chǎn)生負(fù)遷移現(xiàn)象。

原CDAN模型為每個(gè)樣本i計(jì)算其“可遷移性”wi,并且使用分類概率分布的熵來(lái)衡量樣本的可遷移性。熵越小,可遷移性越高,在計(jì)算域判別器損失LD時(shí)權(quán)重wi越大如式(3)所示。

(3)

權(quán)重計(jì)算如式(4)所示。其中g(shù)i是第i個(gè)樣本經(jīng)過(guò)分類網(wǎng)絡(luò)C輸出的概率分布。

(4)

文獻(xiàn)[13]中的作者認(rèn)為樣本的可遷移性并不體現(xiàn)在分類網(wǎng)絡(luò)輸出的概率分布gi上,而是應(yīng)該體現(xiàn)在判別網(wǎng)絡(luò)輸出的概率分布di上。具體的,判別器輸出的概率分布熵越大,樣本可遷移性越小。然而,上述兩種方案都沒(méi)有很好解決樣本可遷移性的度量問(wèn)題。

圖5 嵌入的樣本加權(quán)網(wǎng)絡(luò)W

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)源

本文研究區(qū)域儀征市位于江蘇省中西部,總面積為857平方千米,雨量充沛,光照充足,多種植水稻、棉花、小麥等農(nóng)作物。

實(shí)驗(yàn)中使用的是哨兵二號(hào)遙感影像,包括2019年3月13日和5月12日兩期圖像;2020年3月7日、3月17日和4月26日三期圖像。這5幅遙感圖像覆蓋整個(gè)儀征市,其中紅、綠、藍(lán)、近紅外波段均提供10米空間分辨率。

在數(shù)據(jù)預(yù)處理方面,2019年兩期圖像,通過(guò)ENVI軟件對(duì)L1C級(jí)多光譜數(shù)據(jù)進(jìn)行大氣校正、幾何校正得到的融合圖像,共4個(gè)波段。2020年三期影像是直接得到的L2A數(shù)據(jù)。由于預(yù)處理流程、參數(shù)等不同,2019年數(shù)據(jù)和2020年數(shù)據(jù)存在著較大的差異。

儀征全市的地塊矢量邊界是已有的數(shù)據(jù)。2019年,實(shí)地采樣了3 328樣本點(diǎn),其中包括水稻區(qū)域1 393塊、非水稻區(qū)域1 935塊;2020年采集了803樣本點(diǎn),同樣也標(biāo)記成水稻、非水稻兩類,測(cè)試數(shù)據(jù)占了總數(shù)據(jù)量的20%。整個(gè)實(shí)驗(yàn)過(guò)程中,2020年作物的標(biāo)簽只在測(cè)試的時(shí)候會(huì)使用,訓(xùn)練的時(shí)候不會(huì)使用。地塊影像的分辨率固定為40×40大小。

2.2 不同特征提取模塊效果對(duì)比

針對(duì)1.1節(jié)提出的改進(jìn),本節(jié)使用單期影像進(jìn)行遷移實(shí)驗(yàn),將使用ResNeXt瓶頸結(jié)構(gòu)作為特征提取模塊的CDAN模型(CDAN-X)與使用ResNet瓶頸結(jié)構(gòu)的CDAN-R,以及針對(duì)小尺寸輸入的LeNet[15]網(wǎng)絡(luò)作為特征提取層的CDAN-L進(jìn)行比較。

其中CDAN-X使用1.1節(jié)的2層瓶頸結(jié)構(gòu)來(lái)提取特征。為了保持相近參數(shù)量,CDAN-R的特征提取網(wǎng)絡(luò)同樣使用ResNet50前兩個(gè)瓶頸結(jié)構(gòu),如表1所示。CDAN-L使用C5作為提取出的特征,C5是LeNet網(wǎng)絡(luò)的第五層的輸出。

表1 CDAN-R特征提取網(wǎng)絡(luò)結(jié)構(gòu)

三種特征提取網(wǎng)絡(luò)構(gòu)成的CDAN模型精度對(duì)比如圖6,同時(shí)也對(duì)比直接預(yù)測(cè)目標(biāo)域數(shù)據(jù)、基于監(jiān)督的效果。其中監(jiān)督學(xué)習(xí)指的是,直接用目標(biāo)域的訓(xùn)練集訓(xùn)練模型,預(yù)測(cè)目標(biāo)域測(cè)試數(shù)據(jù)。首先可以看出如果不進(jìn)行遷移,由于2019年源域數(shù)據(jù)和2020年目標(biāo)域數(shù)據(jù)分布差異大,直接預(yù)測(cè)精度較低;其次,對(duì)比三種不同特征提取網(wǎng)絡(luò)構(gòu)成的CDAN模型,可以看出由1.1節(jié)提出的改進(jìn)模型CDAN-X在平均精度上達(dá)到最高;最后,對(duì)比監(jiān)督學(xué)習(xí)方法,可以看出精度上仍然有一定差距。

圖6 不同特征提取網(wǎng)絡(luò)效果對(duì)比

具體的不同月份的遷移精度如表2所示。

表2 不同特征提取網(wǎng)絡(luò)的CDAN精度對(duì)比(%)

2.3 基于學(xué)習(xí)樣本權(quán)重的遷移實(shí)驗(yàn)

在固定特征提取網(wǎng)絡(luò)后,為了驗(yàn)證本文提出的樣本權(quán)重加權(quán)網(wǎng)絡(luò)的有效性,我們首先在單月影像上進(jìn)行遷移,對(duì)比原始CDAN模型和嵌入樣本加權(quán)網(wǎng)絡(luò)的CDAN在準(zhǔn)確率,召回率以及F1值三個(gè)方面的評(píng)價(jià)指標(biāo)。由表3我們可以發(fā)現(xiàn)嵌入了樣本加權(quán)網(wǎng)絡(luò)的CDAN在三個(gè)指標(biāo)上均高于原始模型,準(zhǔn)確率方面高了2.58百分點(diǎn),召回率高了3.53百分點(diǎn),F1值高了1.69百分點(diǎn)。說(shuō)明樣本加權(quán)網(wǎng)絡(luò)的CDAN在多種遷移數(shù)據(jù)場(chǎng)景下均有一定的性能提升。召回率和F1值的提高說(shuō)明了,在樣本不均衡的情況下,模型并沒(méi)有只偏向于某一類,而是學(xué)到了有用的模式。

表3 CDAN與CDAN-SWN在多項(xiàng)指標(biāo)上對(duì)比(%)

文獻(xiàn)[16]表明,使用多期遙感影像作為輸入能讓模型在輪廓提取、耕地信息提取等任務(wù)上有較為明顯的性能提升,因此我們還需要關(guān)注模型在多期影像輸入的情況下能否完成遷移。實(shí)驗(yàn)中,我們使用2019年3月份和5月份的影像作為源域輸入,目標(biāo)域?yàn)?020年三期影像的兩兩組合,共形成三組數(shù)據(jù)。直接使用通道疊加的方式融合兩個(gè)月份的影像。實(shí)驗(yàn)結(jié)果如表4所示。

表4 在多時(shí)相上CDAN-SWN遷移精度對(duì)比(%)

可以發(fā)現(xiàn)：第一,直接預(yù)測(cè)的結(jié)果非常差,這可以解釋為隨著多期影像的加入,輸入特征增多,在更加高維的空間中,樣本分布的稀疏性導(dǎo)致源域和目標(biāo)域樣本分布更加分散,距離更大;其次我們可以發(fā)現(xiàn),特征的增多給特征對(duì)齊增加了難度,CDAN并沒(méi)有因?yàn)檩斎胩卣鞯脑龆喽嵘Ｐ偷木?反而由于特征對(duì)齊的難度增大有精度的降低;第三,對(duì)比CDAN模型,加入樣本加權(quán)網(wǎng)絡(luò)的CDAN-SWN能更好地處理多時(shí)像特征對(duì)齊問(wèn)題;最后,表3中最后一列是直接使用目標(biāo)域數(shù)據(jù)訓(xùn)練的監(jiān)督模型精度,如第一行則是使用20200307和20200317帶標(biāo)簽的訓(xùn)練集數(shù)據(jù)訓(xùn)練模型,來(lái)預(yù)測(cè)20200307和20200317測(cè)試集數(shù)據(jù)?？梢园l(fā)現(xiàn),使用本文提出的遷移模型與監(jiān)督模型在精度上僅有1.33百分點(diǎn)的差別。

為了能夠更加直觀觀察到對(duì)齊后的特征,針對(duì)第一組數(shù)據(jù),在訓(xùn)練好模型之后,從2019年和2020年測(cè)試集中各取130個(gè)樣本,提取出深層特征后使用t-SNE算法[20]進(jìn)行可視化后的結(jié)果如圖7所示?？梢钥闯?019年和2020年水稻地塊特征(實(shí)心標(biāo)記)聚成一簇,非水稻地塊(空心標(biāo)記)聚成另一簇。因此當(dāng)模型的分類器能夠正確區(qū)分2019年地塊作物標(biāo)簽時(shí),分類器也就能正確判別2020年地塊作物類別。

圖7 源域和目標(biāo)域深度特征可視化

在模型收斂性方面,從圖8、圖9我們可以看出,目標(biāo)域的預(yù)測(cè)精度是穩(wěn)步上升的。前期,由于模型沒(méi)有得到足夠的訓(xùn)練,導(dǎo)致在目標(biāo)域上的分類精度也一直處于較低水平,情況隨著源域分類精度的提升慢慢緩解。后期,可以看出分類精度基本趨于平穩(wěn),而分類的損失依然會(huì)有小幅下降,說(shuō)明分類器輸出的概率分布仍然是慢慢接近樣本類別真實(shí)值的,只是沒(méi)有體現(xiàn)在更多樣本被正確分類上。

圖8 源域和目標(biāo)域驗(yàn)證集精度

圖9 源域和目標(biāo)域驗(yàn)證集損失

3 結(jié) 語(yǔ)

本文針對(duì)遙感影像的遷移分類問(wèn)題引入深度學(xué)習(xí)中的領(lǐng)域自適應(yīng)方法?；贑DAN模型,本文在特征提取網(wǎng)絡(luò)上作出改進(jìn),并且提出新的樣本加權(quán)網(wǎng)絡(luò)代替直接使用熵計(jì)算的方式,通過(guò)實(shí)驗(yàn)得出結(jié)論：(1) 跨時(shí)間域的預(yù)測(cè)問(wèn)題會(huì)顯著降低模型的性能。雖然在某些特殊場(chǎng)景下,直接進(jìn)行跨域數(shù)據(jù)預(yù)測(cè)會(huì)有較好的效果,但這完全依賴于兩個(gè)域的數(shù)據(jù)分布,是十分不可靠的。并且當(dāng)使用多期影像輸入,特征增多時(shí),兩個(gè)域的特征分布差別會(huì)更加明顯,直接預(yù)測(cè)效果會(huì)更差。(2) 在面向?qū)ο蟮倪b感影像分類問(wèn)題上,本文構(gòu)建的特征提取網(wǎng)絡(luò)能有效支持CDAN模型完成特征對(duì)齊。(3) 可學(xué)習(xí)的樣本加權(quán)網(wǎng)絡(luò)相比于熵計(jì)算,能更好地度量樣本可遷移性,在多項(xiàng)指標(biāo)上均有一定的提升。尤其在多月數(shù)據(jù)融合的情況下,更能體現(xiàn)其優(yōu)越性。

目前使用域自適應(yīng)方法應(yīng)對(duì)遙感影像變化的研究還較少,本文也僅僅在水稻分類任務(wù)上取得了較好的結(jié)果,下一步需要考慮能否將遷移模型應(yīng)用在更加精細(xì)化的多類分類任務(wù)上,以及如何將領(lǐng)域自適應(yīng)方法應(yīng)用到遙感影像分割等其他任務(wù)上。