基于元學(xué)習(xí)的高光譜魯棒性學(xué)習(xí)

廖啟明,張桂烽,張國(guó)云,石乘仲,周晨明,李新平,趙 林

(湖南理工學(xué)院 信息科學(xué)與工程學(xué)院,湖南 岳陽 414000)

高光譜遙感技術(shù)可以獲取空間信息和幾乎連續(xù)的光譜信息。高光譜圖像(Hyperspectral Image,HSI)相較于RGB圖像的主要優(yōu)勢(shì)在于其高光譜的光譜維度,通常包括數(shù)百個(gè)光譜波段。當(dāng)前,HSI數(shù)據(jù)的分析和處理已成為遙感和目標(biāo)分類的研究重點(diǎn)。例如,在地形探測(cè)、環(huán)境保護(hù)、氣候預(yù)測(cè)和特定資源識(shí)別等領(lǐng)域中。這些領(lǐng)域的相關(guān)應(yīng)用中,HSI分類是至關(guān)重要的。

近年來,深度學(xué)習(xí)在各種分類任務(wù)中取得了巨大成功[1-4]。然而,有監(jiān)督的深度學(xué)習(xí)算法性能往往取決于具有高質(zhì)量標(biāo)簽的樣本數(shù)據(jù)。在現(xiàn)實(shí)情況中,樣本標(biāo)簽通常需要手動(dòng)標(biāo)記和人工檢查,以確保每個(gè)樣本對(duì)應(yīng)標(biāo)簽的準(zhǔn)確性[5]。這種手動(dòng)標(biāo)記的方式容易出錯(cuò),成本高昂,特別是當(dāng)樣本數(shù)量非常大時(shí),要確保樣本標(biāo)記完全正確幾乎不可能。因此,在分類問題的深度學(xué)習(xí)算法訓(xùn)練中,不可避免地面臨著標(biāo)記樣本不足或標(biāo)簽有誤的問題。

在很多高光譜的應(yīng)用場(chǎng)景中,對(duì)數(shù)據(jù)的標(biāo)記通常需要人工完成。由于所需標(biāo)注的樣本數(shù)量巨大,故不可能逐個(gè)反復(fù)檢查和糾正每個(gè)標(biāo)記樣本標(biāo)簽的正確性。從而導(dǎo)致這些任務(wù)面臨標(biāo)簽噪聲的問題,也就是所得到的標(biāo)記數(shù)據(jù)集不可避免地存在或多或少的標(biāo)簽噪聲。因此,如何利用這些有偏的訓(xùn)練數(shù)據(jù)進(jìn)行有效學(xué)習(xí)是一個(gè)重要且有意義的課題。

在高光譜圖像分類任務(wù)中,尤其需要重視標(biāo)簽噪聲的問題,其主要原因?yàn)?標(biāo)記樣本數(shù)據(jù)需要大量人力對(duì)地物目標(biāo)進(jìn)行充分調(diào)查,且需要領(lǐng)域?qū)＜覍?duì)這些場(chǎng)景具有相應(yīng)的先驗(yàn)知識(shí)。對(duì)于一些特定的場(chǎng)景,如海洋、濕地等人類不容易到達(dá)的區(qū)域,若要確定這類場(chǎng)景中樣本的真實(shí)標(biāo)簽就只能通過視覺解譯,這就不可避免會(huì)產(chǎn)生大量錯(cuò)誤標(biāo)注的標(biāo)簽。其次,高光譜圖像中的地物邊緣信息往往異常復(fù)雜,特別在多類地物邊界處,往往容易因鄰近混淆而產(chǎn)生標(biāo)簽噪聲。

目前,針對(duì)圖像分類任務(wù)中標(biāo)簽噪聲數(shù)據(jù)會(huì)嚴(yán)重降低分類模型泛化性能的問題,許多研究人員提出了緩解圖像分類中噪聲問題的新思路。例如,Xiao等[6]首先采用概率圖模型建模標(biāo)簽噪聲,再利用有限數(shù)量的干凈數(shù)據(jù)和大量可用的噪聲數(shù)據(jù)來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。Han等[7]使用自學(xué)習(xí)框架來改善標(biāo)簽噪聲的數(shù)據(jù)集的質(zhì)量。Pelletier等[8]評(píng)估了噪聲對(duì)HSI分類性能的影響,結(jié)果表明現(xiàn)實(shí)中的地物混淆對(duì)分類器的影響更大。為了緩解遙感中的標(biāo)簽噪聲問題,Hou等[9]提出了一種半監(jiān)督學(xué)習(xí)方案,同時(shí)利用標(biāo)記和未標(biāo)記像素進(jìn)行信息補(bǔ)償。從先驗(yàn)信息引導(dǎo)的相鄰像素之間的結(jié)構(gòu)關(guān)系進(jìn)一步增強(qiáng)了其對(duì)標(biāo)簽噪聲的魯棒性。Li等[10]使用互補(bǔ)學(xué)習(xí)策略進(jìn)行帶有標(biāo)簽噪聲的HSI分類。Tu等[11]引入了光譜角和局部離群因子來檢測(cè)噪聲樣本。進(jìn)一步,他們還提出了一種基于密度峰值聚類的噪聲檢測(cè)方法[12]。Hu等[13]提出了一種稱為糾正最大化訓(xùn)練的訓(xùn)練策略,用于凈化噪聲并訓(xùn)練模型。然而,上述這些方法通常需在分類模塊之前添加額外的檢測(cè)噪聲樣本模塊,并在此基礎(chǔ)上移除疑似標(biāo)簽噪聲的樣本。這種情況不但需要增加額外的計(jì)算開銷,還會(huì)導(dǎo)致訓(xùn)練樣本的數(shù)量大量減少,特別是對(duì)于具有高比例標(biāo)簽噪聲的數(shù)據(jù)集。

為此,本文提出了一種基于元學(xué)習(xí)的自適應(yīng)元加權(quán)網(wǎng)絡(luò)框架以解決高光譜圖像分類中的標(biāo)簽噪聲問題。該方法首先利用噪聲數(shù)據(jù)集通過基礎(chǔ)分類網(wǎng)絡(luò)與元權(quán)重網(wǎng)絡(luò)生成加權(quán)損失反向傳播更新基礎(chǔ)分類網(wǎng)絡(luò)得到虛擬分類網(wǎng)絡(luò)。隨后,引入專家人工標(biāo)注小規(guī)模的置信樣本集作為驗(yàn)證集輸入虛擬分類網(wǎng)絡(luò)得到交叉熵?fù)p失更新元權(quán)重網(wǎng)絡(luò),最后再次利用噪聲數(shù)據(jù)集對(duì)基礎(chǔ)分類網(wǎng)絡(luò)進(jìn)行更新。在2個(gè)常用的高光譜數(shù)據(jù)集上對(duì)提出的框架進(jìn)行了評(píng)估,結(jié)果表明其具有較好的魯棒性和抗噪性。

1 元學(xué)習(xí)模型框架

1.1 自適應(yīng)加權(quán)

基于元學(xué)習(xí)的自適應(yīng)加權(quán)網(wǎng)絡(luò)框架主要由基礎(chǔ)分類網(wǎng)絡(luò)f(w)、元權(quán)重網(wǎng)絡(luò)g(θ)和虛擬分類網(wǎng)絡(luò)f(w(θ))3部分組成。其中基礎(chǔ)分類網(wǎng)絡(luò)可以為任意的HSI分類網(wǎng)絡(luò)。元權(quán)重網(wǎng)絡(luò)g(θ)為只有1個(gè)隱藏層且包含100個(gè)節(jié)點(diǎn)的多層感知器(Multi-Layer Perceptron,MLP)。元權(quán)重網(wǎng)絡(luò)g(θ)可以在無超參數(shù)條件下學(xué)習(xí)網(wǎng)絡(luò)參數(shù),自適應(yīng)地為樣本分配權(quán)重,從而抑制標(biāo)簽噪聲樣本對(duì)分類器訓(xùn)練的影響。元權(quán)重網(wǎng)絡(luò)生成的權(quán)重和基礎(chǔ)分類網(wǎng)絡(luò)計(jì)算得到的交叉熵?fù)p失共同組成了加權(quán)損失,該損失通過對(duì)基礎(chǔ)分類網(wǎng)絡(luò)的參數(shù)w求偏導(dǎo)得到虛擬分類網(wǎng)絡(luò)的參數(shù)w(θ),如圖1所示。

圖1 虛擬分類網(wǎng)絡(luò)

需要指出的是,元權(quán)重網(wǎng)絡(luò)g(θ)的訓(xùn)練依賴于虛擬分類網(wǎng)絡(luò),該虛擬網(wǎng)絡(luò)需要利用少量專家標(biāo)注的置信樣本構(gòu)成的驗(yàn)證集作為輸入,在無人工干預(yù)的環(huán)境下學(xué)習(xí)分類損失到樣本權(quán)重的映射關(guān)系。

1.2 自適應(yīng)加權(quán)與模型訓(xùn)練

為了抑制噪聲樣本的影響,所提出的元學(xué)習(xí)樣本重加權(quán)優(yōu)化框架采用樣本加權(quán)的學(xué)習(xí)策略,通過賦予標(biāo)簽噪聲樣本的較低的權(quán)重,以提高基礎(chǔ)分類網(wǎng)絡(luò)的魯棒性。所提元學(xué)習(xí)框架中,基礎(chǔ)分類器和元權(quán)重網(wǎng)絡(luò)的模型參數(shù)學(xué)習(xí)采用迭代更新的方式,主要步驟如圖2所示。

圖2 元學(xué)習(xí)加權(quán)框架中網(wǎng)絡(luò)參數(shù)迭代更新示意圖

?L(f(xi,wt),yi)|wt。

(1)

從式(1)可以看出,虛擬分類網(wǎng)絡(luò)f(w(θ))中嵌套了元權(quán)重網(wǎng)絡(luò)。因此,將標(biāo)簽準(zhǔn)確可信的驗(yàn)證集輸入到虛擬分類網(wǎng)絡(luò)中,通過分類損失反向傳播可以實(shí)現(xiàn)元權(quán)重網(wǎng)絡(luò)的更新。在該過程中,僅需要專家標(biāo)注小型額外驗(yàn)證集,元權(quán)重網(wǎng)絡(luò)就可以通過對(duì)驗(yàn)證集樣本的訓(xùn)練,學(xué)習(xí)到合理地為樣本分配權(quán)重。元權(quán)重網(wǎng)絡(luò)的參數(shù)更新為:

(2)

在加權(quán)網(wǎng)絡(luò)參數(shù)的反向梯度傳播更新后,下一步就需要迭代更新基礎(chǔ)分類網(wǎng)絡(luò)的參數(shù)w。基礎(chǔ)分類網(wǎng)絡(luò)的更新依賴于更新后的加權(quán)網(wǎng)絡(luò)參數(shù)g(θt+1)對(duì)樣本進(jìn)行重新分配權(quán)重,形成加權(quán)損失函數(shù)反向更新基礎(chǔ)分類網(wǎng)絡(luò),基礎(chǔ)分類網(wǎng)絡(luò)的更新為:

?L(f(xi,wt),yi)|wt。

(3)

為了應(yīng)對(duì)標(biāo)簽噪聲問題,提出了一種自適應(yīng)的元學(xué)習(xí)樣本重加權(quán)優(yōu)化框架,該框架采用樣本加權(quán)的學(xué)習(xí)策略,通過賦予標(biāo)簽噪聲樣本的較低的權(quán)重,以提高網(wǎng)絡(luò)的魯棒性,圖2展示了該元學(xué)習(xí)優(yōu)化框架的結(jié)構(gòu)。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的自適應(yīng)加權(quán)框架在3個(gè)廣泛使用的高光譜圖像數(shù)據(jù)集Salinas(SA)、Botswana(BOT)和University of Pavia(UP)上進(jìn)行評(píng)估。SA包含512×217像素,波長(zhǎng)范圍為0.4～2.5 μm的204個(gè)光譜通道,標(biāo)記的像素被設(shè)計(jì)成16個(gè)類別。BOT包含1 476×256像素,波長(zhǎng)范圍為400～2 500 nm的145個(gè)光譜通道以及14個(gè)類別。此外,在UP數(shù)據(jù)集上做了分類結(jié)果可視化。在SA、BOT進(jìn)行的實(shí)驗(yàn)分別使用整個(gè)數(shù)據(jù)集的1%、5%作為訓(xùn)練集,并在訓(xùn)練集中,篡改每個(gè)類別中10%～30%的樣本標(biāo)簽構(gòu)造錯(cuò)誤標(biāo)簽樣本。

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

在實(shí)驗(yàn)中,使用最常見的2DCNN器在元學(xué)習(xí)加權(quán)框架中訓(xùn)練。為了驗(yàn)證網(wǎng)絡(luò)的魯棒性,保證實(shí)驗(yàn)數(shù)據(jù)的真實(shí)性,實(shí)驗(yàn)重復(fù)10次,取平均值。

在本實(shí)驗(yàn)中,選擇截取塊大小值設(shè)置為7,這意味著高光譜數(shù)據(jù)集中的每個(gè)樣本點(diǎn)都截取周圍7×7的圖像作為樣本點(diǎn)的輸入數(shù)據(jù)。使用Adam優(yōu)化器,權(quán)重衰減因子為5e×10-4,訓(xùn)練輪次epoch為100,批次大小為128。初始學(xué)習(xí)率為0.001,并隨著批次的增加逐漸降低。

在高光譜圖像分類任務(wù)中,評(píng)估方法的選擇對(duì)于比較不同方法的性能非常重要。因?yàn)檫x擇不同的評(píng)估方法可能會(huì)導(dǎo)致結(jié)果差異很大。因此,為了更全面地評(píng)估所提出的元學(xué)習(xí)自適應(yīng)加權(quán)框架和其他不同方法的表現(xiàn),選擇了總體準(zhǔn)確率(OA)、平均準(zhǔn)確率(AA)和Kappa系數(shù)(Kappa)3個(gè)指標(biāo)作為評(píng)估方法。

OA表示正確分類的樣本的百分比,其定義為:

(4)

式中:TP表示真陽性;FP表示假陽性;TN表示真陰性;FN表示假陰性。

AA表示每類分類精度的平均值,其定義為:

(5)

Kappa表示模型得到的分類圖與真實(shí)圖像之間的一致性,其定義為:

(6)

式中,pe表示分類的正確率,其計(jì)算公式為:

(7)

為了保證結(jié)果的可靠性,實(shí)驗(yàn)隨機(jī)選擇訓(xùn)練樣本并重復(fù)10次實(shí)驗(yàn)。這樣可以降低隨機(jī)因素對(duì)結(jié)果的影響,提高實(shí)驗(yàn)結(jié)果的可靠性。

2.3 不同噪聲環(huán)境下的實(shí)驗(yàn)結(jié)果

在本部分實(shí)驗(yàn)中,驗(yàn)證了所提出的優(yōu)化框架在SA和BOT數(shù)據(jù)集上的性能。具體而言,在SA和BOT數(shù)據(jù)集中,根據(jù)每類樣本的比例,分別選取了1%和5%的樣本作為訓(xùn)練集。

圖3展示了使用元學(xué)習(xí)自適應(yīng)加權(quán)框架在UP數(shù)據(jù)集上訓(xùn)練的權(quán)重網(wǎng)絡(luò)學(xué)習(xí)到的樣本的損失-權(quán)重曲線。該數(shù)據(jù)集含有10%的標(biāo)簽噪聲,并且使用了該框架進(jìn)行訓(xùn)練。從圖3可以明顯看出,權(quán)重網(wǎng)絡(luò)為標(biāo)簽噪聲樣本賦予了更低的權(quán)重,這表明該框架可以有效地抑制標(biāo)簽噪聲樣本對(duì)網(wǎng)絡(luò)訓(xùn)練的影響。

圖3 元權(quán)重網(wǎng)絡(luò)樣本損失與權(quán)重的關(guān)系曲線

如圖4所示,UP數(shù)據(jù)集和網(wǎng)絡(luò)的分類圖。(a)RGB圖片;(b)ground-truth;(c)類標(biāo)簽;(d)～(k)由基礎(chǔ)網(wǎng)絡(luò)(第2行)和優(yōu)化框架(第3行)在不同數(shù)量的標(biāo)簽噪聲下得到的分類圖。(d)和(h)中的標(biāo)簽噪聲比為0%,(e)和(i)中的標(biāo)簽噪聲比為10%,(f)和(j)中的標(biāo)簽噪聲比為20%,(g)和(k)中的標(biāo)簽噪聲比為30%。從圖中可以對(duì)比基礎(chǔ)卷積網(wǎng)絡(luò)和優(yōu)化框架對(duì)噪聲UP數(shù)據(jù)集的分類結(jié)果。可以看出(h)～(k)中將Meadows誤分為其他類樣本明顯少于(d)～(g),隨著噪聲增加,可以發(fā)現(xiàn)所提出的框架明顯減少了錯(cuò)誤分類的情況,提高模型的魯棒性。

(a) (b) (c)

如表1所示,在BOT數(shù)據(jù)集和SA數(shù)據(jù)集的不同噪聲環(huán)境下,基本分類網(wǎng)絡(luò)和元學(xué)習(xí)加權(quán)框架的OA、AA和Kappa得分。可以看出,在噪聲環(huán)境下,本文所提出的在元學(xué)習(xí)加權(quán)框架的基礎(chǔ)分類器在各項(xiàng)指標(biāo)上的性能明顯優(yōu)于只使用基本分類器的情況。其中,當(dāng)噪聲比較高時(shí),元學(xué)習(xí)加權(quán)框架的性能優(yōu)勢(shì)更加顯著。此外,隨著噪聲比的增加,單一使用基礎(chǔ)分類網(wǎng)絡(luò)的各項(xiàng)指標(biāo)都呈現(xiàn)出明顯的下降趨勢(shì),而在元學(xué)習(xí)加權(quán)框架下訓(xùn)練得到的網(wǎng)絡(luò)各項(xiàng)指標(biāo)并未出現(xiàn)驟降的趨勢(shì),對(duì)標(biāo)簽噪聲呈現(xiàn)出良好的魯棒性。相對(duì)于基礎(chǔ)分類網(wǎng)絡(luò),所提出的框架OA精度提高了0.47%到5.85%不等,這表明所提出的框架能夠有效地緩解標(biāo)簽噪聲的影響,從而進(jìn)一步提高模型的魯棒性能。

表1 基礎(chǔ)分類網(wǎng)絡(luò)(BASE)與元學(xué)習(xí)加權(quán)框架(META)在不同噪聲比的標(biāo)簽噪聲環(huán)境下的分類性能 %

3 結(jié)語

本文揭示了從帶有標(biāo)簽噪聲的高光譜數(shù)據(jù)集中學(xué)習(xí)到具有魯棒性的神經(jīng)網(wǎng)絡(luò)模型的可能性。提出了一種基于元學(xué)習(xí)的加權(quán)框架,可適用于眾多基礎(chǔ)分類網(wǎng)絡(luò)模型的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,在高光譜數(shù)據(jù)集包含標(biāo)簽噪聲的情況,該框架下分類性能指標(biāo)較之基礎(chǔ)分類網(wǎng)絡(luò)得到一定的提升。特別是在高標(biāo)簽噪聲比的環(huán)境下,所提出的框架仍然能有效提高分類網(wǎng)絡(luò)的魯棒性。