基于改進(jìn)訓(xùn)練策略的高光譜圖像分類

吳 少 喬

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院， 哈爾濱 150001)

高光譜成像是遙感技術(shù)中的一項(xiàng)重要技術(shù)，可收集可見光到近紅外波段的電磁光譜.高光譜成像傳感器通常提供來自地球表面同一區(qū)域的數(shù)百個窄光譜帶.高光譜圖像由諸多一維多譜帶像元組成，每個像元對應(yīng)于特定波長的光譜反射率.高光譜圖像分類通過區(qū)分細(xì)微光譜差異以區(qū)分不同類別像元，在許多領(lǐng)域得到了廣泛的應(yīng)用[1-5].

高光譜遙感可以用于城市規(guī)劃，對于真彩色的圖像，人眼難以分辨真草坪和人造塑料草坪，但對于高光譜圖像及分類技術(shù)卻可以通過特征分析區(qū)分開，因?yàn)樵诠庾V特征上，真草皮和人造草坪具有本質(zhì)性差異，同理，在軍事領(lǐng)域，戰(zhàn)場上真實(shí)地物和偽裝地物目標(biāo)也可以獲得很好的區(qū)分，自然地塊、陸軍行進(jìn)擾動的地塊之間的差異也可以利用高光譜圖像技術(shù)提取出來，從而對敵軍路線進(jìn)行還原.

在文獻(xiàn)[6]中，Zhao等人中首次在高光譜圖像分類中提出基于框的卷積神經(jīng)網(wǎng)絡(luò)，輸入像素及其周圍的正方形區(qū)域作為訓(xùn)練樣本，標(biāo)簽作為其輸出.該模型學(xué)習(xí)獲得識別中心像素的能力，然后在測試集上利用這種能力實(shí)現(xiàn)像元分類.卷積神經(jīng)網(wǎng)絡(luò)自然地利用了空間信息，實(shí)現(xiàn)了空間和光譜信息的組合.文獻(xiàn)[7]中，Chen等人提出了基于三種特征提取結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，用于獲取高光譜圖像的多種特征，并首次提出了將3DCNN應(yīng)用在高光譜圖像分類中.

人工智能的突破已經(jīng)融入到高光譜圖像分類領(lǐng)域.文獻(xiàn)[8]中，Zhong等人首先利用3DCNN的原始波段信息，然后提取空間特征，在此過程中使用殘差網(wǎng)絡(luò)[9]來防止梯度的消失，保持模型的深度.文獻(xiàn)[10]中，Wang等人引入了密集卷積網(wǎng)絡(luò)[11](DenseNet)的快速密集譜空間卷積網(wǎng)絡(luò).文獻(xiàn)[12]中，受卷積塊注意模塊[13]的啟發(fā)，Ma等人提出了一種雙分支多注意機(jī)制網(wǎng)絡(luò).文獻(xiàn)[14]中，Li等人提出讓光譜分支和空間分支分別捕獲光譜和空間特征，然后將兩個分支的輸出連接起來的網(wǎng)絡(luò).

文獻(xiàn)[15]中，Chen等人提出了一種卷積神經(jīng)網(wǎng)絡(luò)的自動設(shè)計(jì)方法，該方法具有搜索過程和正則化技術(shù)cutout.文獻(xiàn)[16]中，Mou等人提出了光譜注意機(jī)制，利用全局卷積得到的門限來選擇有效波段，抑制信息量較小的波段.

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在高光譜圖像分類是目前高光譜圖像分類的主流研究方向之一，各種在深度學(xué)習(xí)中取得有效的方法、模塊、構(gòu)建網(wǎng)絡(luò)方式不斷地應(yīng)用在高光譜圖像分類以期望在盡可能少的訓(xùn)練樣本下取得盡可能高的識別精度.在卷積神經(jīng)網(wǎng)絡(luò)中在高光譜圖像中的多項(xiàng)模型優(yōu)化研究中，可以發(fā)現(xiàn)，除了訓(xùn)練集，另外一部分有標(biāo)簽樣本同樣參與了模型訓(xùn)練，一般的思路是利用早停訓(xùn)練策略，這部分有標(biāo)簽樣本被稱作驗(yàn)證集，模型每更新一次同時計(jì)算驗(yàn)證集輸出值與真實(shí)標(biāo)簽之間的損失，記為驗(yàn)證集損失，當(dāng)驗(yàn)證集損失在若干周期次迭代下不再下降時，提前停止訓(xùn)練，取驗(yàn)證集損失的全局最小值對應(yīng)的權(quán)重作為最終輸出的權(quán)重，模型相當(dāng)于在驗(yàn)證集損失取得全局最小值時訓(xùn)練完畢.

基于驗(yàn)證集損失的早停訓(xùn)練策略使用了額外的有標(biāo)簽樣本，同時在實(shí)驗(yàn)中也可以發(fā)現(xiàn)，這種訓(xùn)練策略會帶來額外的訓(xùn)練過程中產(chǎn)生的誤差.訓(xùn)練誤差表達(dá)的意思是對于同樣的訓(xùn)練環(huán)境，包括訓(xùn)練集、模型、初始權(quán)重、訓(xùn)練優(yōu)化器、超參數(shù)，在這些不變條件并重復(fù)訓(xùn)練下，實(shí)驗(yàn)結(jié)果有差別，經(jīng)過實(shí)驗(yàn)，可以發(fā)現(xiàn)重復(fù)訓(xùn)練下有些實(shí)驗(yàn)的識別精度較大地偏離這些重復(fù)訓(xùn)練結(jié)果的平均識別精度.

這項(xiàng)研究提出了一種新的訓(xùn)練策略以替代基于驗(yàn)證集損失的訓(xùn)練策略，這種訓(xùn)練策略相比于目前的訓(xùn)練策略，不需要驗(yàn)證集，可以節(jié)省驗(yàn)證集樣本的標(biāo)簽成本，在對比實(shí)驗(yàn)中，僅使用了一半的有標(biāo)簽樣本，實(shí)現(xiàn)了更高的多次重復(fù)實(shí)現(xiàn)條件下的平均識別精度.

1 改進(jìn)的訓(xùn)練策略及對比實(shí)驗(yàn)

1.1 改進(jìn)的訓(xùn)練策略與早停策略的對比

此研究提出了基于訓(xùn)練集損失的訓(xùn)練策略，不使用驗(yàn)證集，僅使用訓(xùn)練集，將訓(xùn)練周期后半段中訓(xùn)練集損失取得最小時的模型作為最終的參加測試的模型.

算法的工程實(shí)現(xiàn)為：假如訓(xùn)練周期為200，當(dāng)訓(xùn)練進(jìn)行到100周期時，保存此時的訓(xùn)練集損失為最小損失以及此時的模型權(quán)重，此后，只要訓(xùn)練集損失小于這個值，用此時的訓(xùn)練集損失代替最小損失同時保存模型權(quán)重，訓(xùn)練進(jìn)行到200周期結(jié)束時，讀取最小損失對應(yīng)的權(quán)重參與測試.

為了驗(yàn)證方法的有效性，使用了SSRN[8]、FDSSC[10]、DBMA[12]、DBDA[14]模型進(jìn)行對比實(shí)驗(yàn)，這些模型較深，參數(shù)較多.這些模型使用了很多有效方法，比如殘差網(wǎng)絡(luò)[9]、稠密連接網(wǎng)絡(luò)[11](DenseNet)、批歸一化[17]以及注意力機(jī)制，或具有代表性或最近提出.這些模型源碼、改進(jìn)訓(xùn)練策略代碼可以公開獲取.

實(shí)驗(yàn)中使用了高光譜公開標(biāo)準(zhǔn)集，分別是Indian Pines數(shù)據(jù)集、Pavia University數(shù)據(jù)集、Salinas Valley數(shù)據(jù)集，分別簡稱為IP數(shù)據(jù)集、PU數(shù)據(jù)集、SV數(shù)據(jù)集.這些數(shù)據(jù)集在網(wǎng)站上公開獲取，使用的版本為修正后(Corrected)版本，比如在IP數(shù)據(jù)集上，去除了覆蓋吸水區(qū)域的20條譜帶.

使用的評價指標(biāo)有OA，AA以及Kappa系數(shù)，其中OA評價識別正確像元占所有像元的比重，AA是每類像元識別正確率的平均，Kappa系數(shù)反映了地面真實(shí)性與分類結(jié)果的一致性.

隨機(jī)生成10個隨機(jī)種子用于隨機(jī)生成訓(xùn)練集與驗(yàn)證集.對于SSRN、FDSSC，窗大小為7，DBMA、DBDA窗大小為9.對于SSRN、FDSSC、DBMA，批量大小為16，對于DBDA，批量大小為24，優(yōu)化器為Adam，學(xué)習(xí)率為0.000 5.使用基于驗(yàn)證集損失的早停策略，早停周期為30，即當(dāng)模型在120周期訓(xùn)練完畢時，可以發(fā)現(xiàn)在90周期，驗(yàn)證集的損失取得全局最小值，最終的模型取90周期時的模型；使用改進(jìn)的訓(xùn)練策略.

在一個數(shù)據(jù)集下，不同模型在早停策略下的訓(xùn)練集、驗(yàn)證集、測試集完全一致，改進(jìn)的訓(xùn)練策略僅使用訓(xùn)練集，與早停策略下的訓(xùn)練集，測試集完全一致，測試集不使用但劃分出來，與早停策略一致，但不起任何作用，不同模型在改進(jìn)訓(xùn)練策略下訓(xùn)練集、測試集完全一致.表1～3為不同數(shù)據(jù)下訓(xùn)練集、驗(yàn)證集、測試集的數(shù)目.

表1 IP數(shù)據(jù)集上使用的訓(xùn)練集、驗(yàn)證集、測試集數(shù)目

10Soybean-notill972292991411Soybean-mintill2 45573732 30912Soybean-clean593171755913Wheat2056619314Woods1 26537371 19115Buildings-Grass-Trees-Drives386111136416Stone-Steel-Towers933387Total10 2493073079 635

表2 PU數(shù)據(jù)集上使用的訓(xùn)練集、驗(yàn)證集、測試集數(shù)目

表3 SV數(shù)據(jù)集上使用的訓(xùn)練集、驗(yàn)證集、測試集數(shù)目

實(shí)驗(yàn)設(shè)置如下：在IP、PU、SV數(shù)據(jù)集下，使用SSRN、FDSSC、DBMA、DBDA模型，使用兩種訓(xùn)練策略，其中早停策略中的早停周期為30，提出的訓(xùn)練策略在不使用驗(yàn)證集，也就是僅使用與前文相比一半的有標(biāo)簽樣本條件下進(jìn)行實(shí)驗(yàn)，兩種訓(xùn)練策略在一致的測試集上測試.見表4～6.

表4 在IP數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實(shí)驗(yàn)結(jié)果

在文獻(xiàn)[14]中，Li等人提出了DBDA模型，在三個數(shù)據(jù)集上，文獻(xiàn)中僅列出了一次實(shí)驗(yàn)的結(jié)果，其結(jié)果如表7所示，其中參照了文獻(xiàn)中數(shù)據(jù)集各類數(shù)目，使用了相同的訓(xùn)練環(huán)境，在更加客觀的10次不同隨機(jī)訓(xùn)練集下對本文中的識別精度進(jìn)行了復(fù)現(xiàn).文獻(xiàn)中DBDA模型，OA值的實(shí)驗(yàn)結(jié)果為95.38%，沒有標(biāo)準(zhǔn)差，僅為一次實(shí)驗(yàn)結(jié)果，在改進(jìn)訓(xùn)練策略下，10次隨機(jī)訓(xùn)練集的平均OA為93.44%，最大OA值為95.59%，最大OA值符合一次實(shí)驗(yàn)表現(xiàn)，但本文中AA值為96.47%，隨機(jī)10次實(shí)驗(yàn)結(jié)果無一接近，本文中的訓(xùn)練集驗(yàn)證集無法復(fù)現(xiàn)是AA值無法復(fù)現(xiàn)的原因，完全相同訓(xùn)練環(huán)境下更加客觀的10次隨機(jī)訓(xùn)練集都沒有取得接近的結(jié)果，可能僅有還原作者訓(xùn)練時的訓(xùn)練集于驗(yàn)證集才可能出現(xiàn)對應(yīng)的結(jié)果.此外，對于SSRN模型，10次隨機(jī)訓(xùn)練集無一AA值降到79.40%.說明訓(xùn)練集的選取對識別精度也存在較大的影響.

回到改進(jìn)的訓(xùn)練策略，使用新的訓(xùn)練策略后，DBDA模型10次隨機(jī)訓(xùn)練集平均OA從93.44%提升到了95.38%，其中93.44%就是文獻(xiàn)中實(shí)驗(yàn)環(huán)境還原后10次隨機(jī)訓(xùn)練集的平均OA，使用新的訓(xùn)練策略后的平均OA幾乎成為舊策略下的最大OA.

新的訓(xùn)練策略下有標(biāo)記樣本數(shù)目僅為舊策略的一半，307個有標(biāo)記樣本在IP數(shù)據(jù)集以及DBDA模型上實(shí)現(xiàn)了10次不同訓(xùn)練集95.38%的平均OA值.

在多個模型下，新的訓(xùn)練策略和提出的樣本預(yù)選方法普遍展現(xiàn)了其優(yōu)勢，在IP數(shù)據(jù)集下的實(shí)驗(yàn)表格中，識別精度的提升以及標(biāo)準(zhǔn)差的降低都用黑體進(jìn)行標(biāo)注.表4中，在隨機(jī)訓(xùn)練集下，兩種訓(xùn)練策略共計(jì)24個評價指標(biāo)(OA，AA，Kappa系數(shù)及其標(biāo)準(zhǔn)差)中獲得提升的有17個，對于FDSSC模型以及DBDA模型，評價指標(biāo)都獲得了提升.表5中，在PU數(shù)據(jù)集下，兩種訓(xùn)練策略共計(jì)24個評價指標(biāo)中獲得提升的有23個.表6中，在SV數(shù)據(jù)集下，兩種訓(xùn)練策略共計(jì)24個評價指標(biāo)中獲得提升的有19個.就OA平均值而言，4個模型在4個數(shù)據(jù)集上都獲得了提升.

表5 在PU數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實(shí)驗(yàn)結(jié)果

表6 在SV數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實(shí)驗(yàn)結(jié)果

表7 文獻(xiàn)中展示的四個模型在IP數(shù)據(jù)集上同樣實(shí)驗(yàn)環(huán)境下的識別精度

1.2 早停策略訓(xùn)練誤差驗(yàn)證

接下來通過實(shí)驗(yàn)展示基于驗(yàn)證集損失早停策略額外產(chǎn)生的訓(xùn)練誤差.在上述實(shí)驗(yàn)過程中，先隨機(jī)生成隨機(jī)整數(shù)，再將這10個隨機(jī)整數(shù)作為隨機(jī)種子生成隨機(jī)訓(xùn)練集以及驗(yàn)證集，余下作為測試集.關(guān)于隨機(jī)種子的描述為通過確定隨機(jī)種子讓隨機(jī)的結(jié)果確定化.于是對于10次不同隨機(jī)訓(xùn)練集的結(jié)果，記錄取得最小總體識別精度訓(xùn)練集的隨機(jī)種子，再固定隨機(jī)種子為這個整數(shù)，在相同實(shí)驗(yàn)條件下重復(fù)10次訓(xùn)練，記錄平均AA、OA、Kappa.

表8記錄了SV數(shù)據(jù)集早停策略下OA最小值對應(yīng)訓(xùn)練集、驗(yàn)證集重復(fù)10次訓(xùn)練結(jié)果，可以發(fā)現(xiàn)最小的那次OA值對應(yīng)的一次結(jié)果全部小于同樣環(huán)境下10次重復(fù)訓(xùn)練結(jié)果， 要知道所謂的同樣環(huán)境包含訓(xùn)練集驗(yàn)證集，平均結(jié)果能更加真實(shí)地反映這組訓(xùn)練集驗(yàn)證集下的識別精度，而取得的最小OA值那一次實(shí)驗(yàn)是訓(xùn)練誤差較大導(dǎo)致.其中比如FDSSC，最小OA值為91.78%，平均OA值及其標(biāo)準(zhǔn)差為96.06%以及1.19%，最小OA值嚴(yán)重偏離了平均值.表4～6中，在12次對比實(shí)驗(yàn)中，使用新訓(xùn)練策略下的最小OA值有10次超過了早停策略下的最小OA值，訓(xùn)練誤差來源于兩個部分，訓(xùn)練模型本身的誤差，來自于驗(yàn)證集選取的誤差，新訓(xùn)練策略由于沒有使用驗(yàn)證集，訓(xùn)練誤差的降低使得最小OA值在新訓(xùn)練策略上多次領(lǐng)先，但無論對于那種誤差來源，都存在識別精度大幅度下降的現(xiàn)象，在表6中SSRN在新訓(xùn)練策略下的最小OA值僅為87.95%，遠(yuǎn)低于10次平均93.45%，在表8中，DBMA模型在早停策略訓(xùn)練方式下OA的標(biāo)準(zhǔn)差為3.01%，說明其中一次實(shí)驗(yàn)也出現(xiàn)了識別精度大幅度下降的結(jié)果.

表8 SV數(shù)據(jù)集上使用早停策略O(shè)A最小值訓(xùn)練集重復(fù)10次訓(xùn)練結(jié)果

當(dāng)使用早停策略取得較小識別精度時，實(shí)驗(yàn)過程存在三種情況，驗(yàn)證集損失非常小的情況下驗(yàn)證集總體正確率卻很低；驗(yàn)證集損失非常小，驗(yàn)證集總體正確率也很高，但測試集識別精度依然很低；模型過早地結(jié)束訓(xùn)練，驗(yàn)證集損失非常大.對于第一點(diǎn)，其可能是單獨(dú)基于驗(yàn)證集損失而不是總體考量驗(yàn)證集損失以及驗(yàn)證集正確率造成的，也可以發(fā)現(xiàn)，在訓(xùn)練集上會同樣出現(xiàn)損失小而總體正確率低的現(xiàn)象；對于第二點(diǎn)，其可能是所劃分出來的驗(yàn)證集相對于更大體量的測試集來說不具備代表性造成的；對于第三點(diǎn)，使用更大的早停結(jié)束周期可以解決問題，但也意味著將花更多的時間進(jìn)行訓(xùn)練.

1.3 方法有效性探究

上述早停訓(xùn)練策略是在早停周期為30的基礎(chǔ)上訓(xùn)練下，下面改變早停周期并觀察結(jié)果.

在IP數(shù)據(jù)集DBDA模型上，使用10組隨機(jī)訓(xùn)練集、驗(yàn)證集，分別使用早停周期為40、50、60進(jìn)行訓(xùn)練，10組訓(xùn)練集、驗(yàn)證集保持不變，其他條件與前述相同.實(shí)驗(yàn)結(jié)果記錄見表9，其中，早停數(shù)代表早停周期，周期代表10次重復(fù)訓(xùn)練的平均周期，次數(shù)代表10次中達(dá)到訓(xùn)練周期上限200而結(jié)束訓(xùn)練的次數(shù).

從表9中可以看出隨著早停周期的增長，模型的識別精度及其穩(wěn)定性獲得了提升，在早停周期較小時，早停策略更大概率過早結(jié)束訓(xùn)練，此時模型是欠擬合的.早停周期越高，訓(xùn)練周期越長，早停數(shù)40相當(dāng)于在早停數(shù)為30結(jié)束訓(xùn)練后繼續(xù)訓(xùn)練，如果接下來10周期驗(yàn)證集損失沒有取得新的全局最小值，訓(xùn)練完畢，如果出現(xiàn)了，需要在這個最小值之后40周期沒有出現(xiàn)更小驗(yàn)證集損失而訓(xùn)練完畢.

表9 DBDA模型在IP數(shù)據(jù)集上更改早停周期的實(shí)驗(yàn)結(jié)果

早停策略的目的是防止模型訓(xùn)練出現(xiàn)過擬合，而目前的情況是，隨著繼續(xù)訓(xùn)練，模型沒有因?yàn)檫^擬合而出現(xiàn)識別精度的下降，反而提升了，還沒有達(dá)到過擬合的程度，隨著早停周期的提升，模型越來越多次數(shù)達(dá)到模型訓(xùn)練周期上限而停止訓(xùn)練，當(dāng)早停周期為60時，平均訓(xùn)練周期已經(jīng)十分接近于200周期訓(xùn)練上限，可以猜想隨著早停周期的繼續(xù)上升，當(dāng)每次都達(dá)到訓(xùn)練周期上限時，再提升早停周期時對模型的訓(xùn)練不再產(chǎn)生影響，此時早停策略已經(jīng)“名存實(shí)亡”.

早停周期為60時，10次實(shí)驗(yàn)平均在191周期結(jié)束訓(xùn)練，在新的訓(xùn)練策略下，模型固定在200周期訓(xùn)練完畢，兩者訓(xùn)練周期比較接近，但早停策略下，每個周期訓(xùn)練完畢額外需要將驗(yàn)證集正向通過模型以計(jì)算驗(yàn)證集損失，總體時間相比差別不大.在早停策略下，早停周期為60時早停訓(xùn)練策略取得了最好結(jié)果，在同樣訓(xùn)練集下，新訓(xùn)練策略O(shè)A平均值為95.38%，高于早停訓(xùn)練策略下94.84%最好結(jié)果，此外新訓(xùn)練策略僅使用一半有標(biāo)簽樣本.總體來說，從訓(xùn)練時間、使用有標(biāo)記樣本、識別精度等方面，新訓(xùn)練策略都展現(xiàn)了其有效性.新訓(xùn)練策略的提升一部分來源于早停訓(xùn)練策略的欠擬合，一部分來源于其舍棄了驗(yàn)證集.下一步使用新訓(xùn)練策略，將訓(xùn)練周期上限提高.

早停周期為60時，模型訓(xùn)練以及十分接近周期上限，識別精度穩(wěn)步上升，但仍然無法確定期間有沒有過擬合，為了進(jìn)一步驗(yàn)證模型的過擬合風(fēng)險，將模型訓(xùn)練進(jìn)一步擬合到訓(xùn)練集上.早停策略具有防止過擬合的作用，實(shí)驗(yàn)改用改進(jìn)的訓(xùn)練策略：在原本實(shí)驗(yàn)環(huán)境下，在IP數(shù)據(jù)集DBDA模型上，將訓(xùn)練周期上限分別提升到300以及400進(jìn)行實(shí)驗(yàn)，使用新訓(xùn)練策略實(shí)驗(yàn)重復(fù)10次，在三個訓(xùn)練周期上限下使用的10組不同隨機(jī)訓(xùn)練集與上述實(shí)驗(yàn)完全一致，對于周期上限為300，訓(xùn)練完畢的模型存在于150～300周期，周期為400時同理.表10記錄了實(shí)驗(yàn)結(jié)果.

表10 DBDA模型在IP數(shù)據(jù)集上提高訓(xùn)練周期上限后使用新訓(xùn)練策略的實(shí)驗(yàn)結(jié)果

從表10可以看出訓(xùn)練周期在200時，模型識別精度最佳，300周期和400周期訓(xùn)練結(jié)果相差無幾，而相對于200周期訓(xùn)練識別精度有少量下降，此外，300周期和400周期訓(xùn)練識別精度較200周期更加穩(wěn)定.

這個實(shí)驗(yàn)以及改進(jìn)訓(xùn)練策略相對于早停策略的提升，說明在高光譜數(shù)據(jù)集上，使用早停策略防止模型過擬合是不必要的，因?yàn)槟Ｐ瓦^擬合風(fēng)險不大.

2 結(jié) 語

改進(jìn)的訓(xùn)練策略舍棄了驗(yàn)證集，使用了一半的有標(biāo)記樣本，在作為對比的四個卷積網(wǎng)絡(luò)模型上實(shí)現(xiàn)了識別精度上的提升，其展現(xiàn)的有效性可以使提出的訓(xùn)練策略推廣到其他使用了驗(yàn)證集的模型訓(xùn)練過程中，進(jìn)一步提升模型的識別精度.實(shí)驗(yàn)過程中新訓(xùn)練策略的實(shí)驗(yàn)結(jié)果以及對DBDA模型過擬合風(fēng)險的測試說明上述模型過擬合風(fēng)險較小，使用額外的有標(biāo)記樣本建立驗(yàn)證集是不必要的.在較新的卷積網(wǎng)絡(luò)中，使用了新的深度學(xué)習(xí)方法，比如批歸一化以及稠密連接網(wǎng)絡(luò)，這些方法設(shè)計(jì)的初衷不是專一地用于防止模型過擬合，但在使用中卻證實(shí)具有避免模型過擬合的作用，早停策略的提出比這些方法早，為一種延續(xù)下來的方法，但具體模型在新方法的加持下是否還存在較大過擬合風(fēng)險沒有具體實(shí)驗(yàn)過，這是所提出訓(xùn)練策略簡單有效的原因，此外，不使用驗(yàn)證集而進(jìn)行訓(xùn)練在深度模型上具有一定的難度，這是提出訓(xùn)練策略的創(chuàng)新之處.如圖1所示，其展現(xiàn)FDSSC模型在PU數(shù)據(jù)集上一次實(shí)驗(yàn)訓(xùn)練集正確率，驗(yàn)證集正確率，訓(xùn)練集損失以及驗(yàn)證集損失，可以發(fā)現(xiàn)驗(yàn)證集損失的波動較訓(xùn)練集損失波動小，基于驗(yàn)證集損失，而非基于訓(xùn)練集損失構(gòu)建一個訓(xùn)練策略較為容易，早停策略基于驗(yàn)證集，其作為一個成熟有效的訓(xùn)練策略在訓(xùn)練集損失波動巨大的情況下被自然地使用了.總體來說，這項(xiàng)研究在高光譜圖像分類下，驗(yàn)證了在一些或新或代表性地模型上過擬合風(fēng)險較小的事實(shí)，并提出了一項(xiàng)不基于驗(yàn)證集的訓(xùn)練策略，發(fā)現(xiàn)提出的訓(xùn)練策略在識別精度上具有較大的提升，且伴隨的訓(xùn)練誤差較小.

圖1 FDSSC模型在PU數(shù)據(jù)集上一次實(shí)驗(yàn)過程