基于深度學習的地基云分類技術(shù)研究進展

莊志豪 王敏 王康 李晟 吳佳

0 引言

云是大自然的產(chǎn)物,它由漂浮在空中的微小水滴或冰晶組成[1],這些物質(zhì)組成的云層覆蓋了大約68%的地球表面[2]．對云及其特性的研究在許多應(yīng)用中有著非常重要的作用,例如氣候模擬、天氣預(yù)報、氣象學研究、太陽能生產(chǎn)和衛(wèi)星通信等[3-6]．云與水文循環(huán)也緊密相連,通過與太陽和陸地輻射的相互作用,影響局部和全球尺度的能量平衡．因為不同的云類型對地球的地表-大氣系統(tǒng)有不同的輻射影響[7],所以對云類型的自動分類研究有著重要的意義．

從圖像中提取特征并基于圖像特征執(zhí)行分類是圖像分類的主要手段[8].按照特征提取方式的不同,云圖像分類主要有手工特征和深度學習特征兩種表示方法[9],也即傳統(tǒng)的機器學習方法和深度學習方法[10]．

傳統(tǒng)方法主要使用各種特征提取手段來提取選擇好的特征,然后用機器學習的方法進行分類．大多數(shù)研究者集中研究不同云類別對應(yīng)的特征提取,以此達到對不同云的分類識別．例如:Singh等[11]評價了5種不同的云分類特征提取方法,即自相關(guān)矩陣、共現(xiàn)矩陣、邊緣頻率、Law’s特征和原始長度,最后使用神經(jīng)網(wǎng)絡(luò)和K-最近鄰方法對云進行分類;Calbo等[12]利用統(tǒng)計紋理特征(12個特征)、基于傅里葉頻譜的模式特征(4個特征)和基于閾值圖像的特征(6個特征)對8種預(yù)定義的天空條件進行了分類,但最終準確率僅有62%;Heinle等[13]提出了一種基于能量和熵等紋理特征的自動云分類算法,使用K-最近鄰分類器對7種天空情況進行分類;Kazantzidis等[14]提出一種改進的K-最近鄰算法,利用統(tǒng)計色彩和紋理特征,并考慮了云量、太陽天頂角和天空圖像中雨滴的存在．雖然傳統(tǒng)方法可以在不同程度上對不同類型的云進行分類,但它具有許多局限性:1)人工制作的特征依賴于專家的知識,且提取方法較為復(fù)雜[15];2)結(jié)果和效率高度依賴于訓(xùn)練樣本和使用數(shù)據(jù)集的整體質(zhì)量;3)特征提取和分類器是兩個分割的環(huán)節(jié),受到分類方法和特征提取模型的限制,識別能力不高[16]．

近年來隨著人工智能的快速發(fā)展,深度學習在圖像識別領(lǐng)域取得了成功,深度學習方法能夠從圖像數(shù)據(jù)中自動地提取特征,因此不需要任何特征提取方法[17]．由于深度學習在圖像識別領(lǐng)域的強大性能和優(yōu)秀表現(xiàn),學者們將深度學習應(yīng)用到地基云分類領(lǐng)域并取得了更好的結(jié)果,尤其是最近大規(guī)模地基云數(shù)據(jù)集的出現(xiàn)使得更復(fù)雜的深度學習模型在該領(lǐng)域得到應(yīng)用．

本文首先介紹了國內(nèi)外現(xiàn)有的標準地基云圖數(shù)據(jù)集,然后針對云的特征和云的類別進行分析和討論,接著介紹了最新的基于深度學習方法的地基云分類研究,并選擇幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型在地基云數(shù)據(jù)集上評估其性能,最后對基于地面的云分類的研究做出總結(jié)和展望．

1 地基云圖數(shù)據(jù)集

地基云圖數(shù)據(jù)集的缺乏是制約地基云分類發(fā)展的主要因素之一,直到近年來自動云觀測技術(shù)的完善和使用深度學習制作數(shù)據(jù)集技術(shù)的出現(xiàn),更大規(guī)模地基云的數(shù)據(jù)集才得以問世．本部分將從云圖采集、云分類、公共數(shù)據(jù)集3個方面進行介紹．

1.1 云圖采集儀器

如今,云觀測的自動成像設(shè)備經(jīng)過不斷的發(fā)展已經(jīng)愈發(fā)完善,與人類觀測者相比,自動觀測設(shè)備不僅節(jié)省了大量的人力物力,而且可以連續(xù)記錄天空的原始信息,并儲存圖像供氣象研究者使用[18]．運用于云圖像自動成像的采集方式通常有基于衛(wèi)星(space-based satellite)云圖成像、空基探空儀(air-based radiosonde)、基于地面(ground-based)云圖成像3種．基于衛(wèi)星的采集儀器能夠由上而下地觀測到大面積的云層[19],可以提供大規(guī)模的云信息,但其空間分辨率有限,無法描述局部的小尺度云特征,導(dǎo)致忽略一些小的云,例如低云或薄云由于與地表溫度和亮度相似,經(jīng)常會混淆[20]．而空基探空儀成本大大高出基于地面的設(shè)備[21],故基于地面的成像設(shè)備成為研究人員的最佳選擇．近些年來,用于獲取全天圖像的地面儀器數(shù)量有所增加[22],已經(jīng)有一些地面成像設(shè)備被研發(fā)成功并應(yīng)用于對云的研究中,例如由圣地亞哥加州大學斯克里普斯海洋學研究所開發(fā)的Whole-Sky Imager(WSI),它可以獲取大角度的地面全天空圖像[23],與衛(wèi)星圖像顯示的是空間分辨率有限的大面積云層頂部不同,地面WSI顯示的是局部地區(qū)云層底部,對于當?shù)靥鞖庋芯炕蛱柼綔y具有不可替代的作用[24-25]．

此外YanKee環(huán)境公司研發(fā)的Total-Sky Imager (TSI)也被經(jīng)常使用,TSI可提供白天半球的彩色圖像和一些其他關(guān)鍵的天空和氣象信息[26-27]．另一個常用的地面觀測系統(tǒng)是日本通信實驗室研發(fā)的All-Sky Imager(ASI),它以高時間和空間分辨率克服了衛(wèi)星成像系統(tǒng)時空分辨率低的缺點[28]．目前經(jīng)過研究者的研究和創(chuàng)新,自動云觀測設(shè)備已經(jīng)趨于完善,這些地面觀測設(shè)備大多使用紅-綠-藍(RGB)彩色圖像來捕捉天空的狀況[29],從這些設(shè)備提供的連續(xù)的全天空圖像中,人們可以推斷出云的宏觀屬性,例如云的高度、云的覆蓋率、云的類型[30],這對自動分類的研究有非常大的意義．

1.2 云分類標準

研究人員針對云分類任務(wù)將云分為幾類的問題也有所不同．傳統(tǒng)上,云的分類以云的形狀為基本要素,同時考慮云的形狀成因和其內(nèi)部的微觀結(jié)構(gòu)．氣象學家一般將云分為3類,即卷云、積云和層云[31],根據(jù)云的透明度、擴散和排列,每一種云的類型都可以繼續(xù)細分為許多種類[32]．此外,對于每一種云類型,它可能會與附屬的云及一些特性一起出現(xiàn)且會隨著時間改變形狀,轉(zhuǎn)變?yōu)槠渌愋偷脑芠33].正是由于這種性質(zhì),自動云分類任務(wù)充滿了挑戰(zhàn)和困難．更詳細的,Haward將云分為高、中、低3族10屬29類(分類標準見表1)[34].研究者大多將幾個相似的、區(qū)別度很小的云類別組合成一個天空條件進行自動云分類任務(wù),如積雨云和雨層云,2類云顏色相近且邊緣都不清晰,相似度很高難以區(qū)分,將它們作為不同類別進行分類無疑增大了分類的挑戰(zhàn)性,且2種云出現(xiàn)時都伴有降水,因此常常將這2種云組合成一類進行分類．此外，研究者分類的標準并不一致,Buch等[35]將地面云圖分為5種不同的天空條件,Calbo等[12]為自動云分類定義了8種天空條件,Zhen等[36]將全天圖像定義為4種天空條件．由此可見，研究者們在對云進行分類時標準不一,在地基云分類任務(wù)中將云分成什么類型需要研究者根據(jù)數(shù)據(jù)集樣本的具體情況進行判斷和驗證．

表1 10種云屬簡要介紹[34]

1.3 公共數(shù)據(jù)集

隨著地基云觀測設(shè)備的日趨發(fā)展和完善,越來越多的云圖數(shù)據(jù)被研究人員收集和標注.制作數(shù)據(jù)集對圖片質(zhì)量也有嚴格要求[37],需要挑選出噪聲小、特征信息明顯的云圖像.此外,由于有些云的類別相似度較高,需要專家進行標注提高置信度,這使得制作地基云分類數(shù)據(jù)集充滿了挑戰(zhàn)[38]．由于數(shù)據(jù)集制作困難,一直以來研究者們都使用小數(shù)據(jù)集進行地基云分類的研究,這毫無疑問極大地阻礙了地基云分類領(lǐng)域的發(fā)展．如今,深度學習的出現(xiàn)使得制作數(shù)據(jù)集變得簡單[39].研究人員一般將采集來的云圖使用深度學習模型進行預(yù)分類,然后對分類錯誤、分類置信度低的圖片進行人工分類,這樣大規(guī)模數(shù)據(jù)集的制作就不再復(fù)雜,地基云分類的大規(guī)模數(shù)據(jù)集近兩年也相繼出現(xiàn)．本節(jié)先介紹國內(nèi)外常用的兩種標準云圖小數(shù)據(jù)集:SWIMCAT、CCSN,再對3種新發(fā)布的地基云分類大數(shù)據(jù)集MGCD、GCD(地基云數(shù)據(jù)集)、HBMCD進行介紹．各數(shù)據(jù)集樣本云圖如圖1所示,各數(shù)據(jù)集總結(jié)見表2．

圖1 地基云分類數(shù)據(jù)集各類別樣本圖片F(xiàn)ig.1 Various sample images of ground-based cloud classification data set

1)SWIMCAT數(shù)據(jù)集

SWIMCAT數(shù)據(jù)集全稱為新加坡全天空成像分類數(shù)據(jù)集,是由Dev等[40]使用廣角高分辨率天空成像設(shè)備(WSI)收集和制作的新加坡全天成像地基云數(shù)據(jù)集,它將784張?zhí)暨x好的云圖分為晴空(clear sky)、混合云(patterned clouds)、厚黑云(thick dark clouds)、厚白云(thick white clouds)、薄云(veil clouds)．

2)CCSN數(shù)據(jù)集

CCSN[41]全稱為卷云積云層云雨云數(shù)據(jù)集,將云基于氣象標準分為10個類別,并首次將飛行軌跡(Contrails)納入地基云分類任務(wù)(表2中簡稱Ct).該數(shù)據(jù)集包含了2 543幅云圖像,是常用的SWIMCAT的3倍,但在深度學習環(huán)境中還是不能滿足需求,而且其樣本圖像包含一些房屋樹木等噪聲,在學習云特征時容易造成干擾．

3)MGCD數(shù)據(jù)集

MGCD[42]全稱為多模態(tài)地基云數(shù)據(jù)集,是目前國內(nèi)外第一個記錄地基云圖多模態(tài)信息的數(shù)據(jù)集．Liu等[42]在天津收集了超過22個月,包含8 000幅地基云樣本和每個樣本對應(yīng)的多模態(tài)信息,即溫度、濕度、壓力和風速,由氣象站收集并儲存在一個向量中．8 000 幅圖片將10種云屬組合成5種類型,加上晴空和混合云,共分為7種天空類型,其中云量低于10%的圖片被定義為晴空(clear),含有不少于2種云的圖片被定義為混合云(mixed)．

4)GCD數(shù)據(jù)集

GCD數(shù)據(jù)集[43]全稱為地基云數(shù)據(jù)集,包括19 000 幅地基云圖片,與MGCD分類標準一樣,分為7種天空條件．該數(shù)據(jù)集在中國10個省份收集超過1年,具有很大的多樣性.除此之外,該數(shù)據(jù)集的規(guī)模遠遠超過之前的數(shù)據(jù)集,拓展了深度學習在地基云分類領(lǐng)域上的研究．

5)HBMCD數(shù)據(jù)集

HBMCD數(shù)據(jù)集[44]全稱為華云BJUT-MIP云圖數(shù)據(jù)集,是由北京工業(yè)大學使用華云觀測設(shè)備收集的.該數(shù)據(jù)集將10 942幅地基云圖像分為11類,即10類標準云屬和1類無云(No),是目前按照10類云屬劃分的最大的數(shù)據(jù)集.11類云圖各類別樣本量均勻,易于在該數(shù)據(jù)集上開展深度學習地基云分類的研究．

表2 地基云分類數(shù)據(jù)集

傳統(tǒng)方法使用圖像處理層面的算法對地基云圖像提取特征信息然后使用機器學習算法進行分類.由于公共數(shù)據(jù)集的缺乏,大多研究者使用小樣本數(shù)據(jù)集,如SWIMCAT數(shù)據(jù)集,但其并不包含所有的云類別[45],而CCSN包含10個云屬但圖像中有一些房屋樹木等干擾,且這些數(shù)據(jù)集樣本量較少[46]．隨著深度學習在地基云分類領(lǐng)域的成功應(yīng)用,大規(guī)模的數(shù)據(jù)集是深度學習成功的關(guān)鍵,使得人們對數(shù)據(jù)集的樣本規(guī)模有了更多的要求．最近的GCD和HBMCD分別將云劃分為7種天空條件和氣象標準的10類云屬,數(shù)據(jù)集規(guī)模較大,便于研究者使用深度學習開展地基云自動分類的研究[47]．但面對層數(shù)比較深、結(jié)構(gòu)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型時,仍然會出現(xiàn)因數(shù)據(jù)量不足而導(dǎo)致的過擬合現(xiàn)象,因此還需要規(guī)模更大、分類置信度更高、干擾噪聲更小、各類別樣本數(shù)分布更均勻的數(shù)據(jù)集來推動地基云分類任務(wù)的研究和發(fā)展[48]．

2 深度學習地基云分類研究回顧

深度學習在2012年以來得到了廣泛應(yīng)用．隨著深度學習算法的發(fā)展,如線性整流單元(ReLU)和隨機失活(DropOut)的出現(xiàn),深度學習識別和預(yù)測的準確性和訓(xùn)練速度大大提高,與此同時計算機硬件如GPU性能的提升也是深度學習飛速發(fā)展的重要原因．如今,深度學習已被應(yīng)用于圖像識別、大數(shù)據(jù)處理、自動駕駛等多個領(lǐng)域[49]．

在云分類任務(wù)中,通過將深度學習和傳統(tǒng)提取手工特征再分類的方法比較,可以發(fā)現(xiàn)深度學習可以使計算機自動地識別云的特征,減少人的參與過程[50]．目前,已經(jīng)有多種深度學習方法被應(yīng)用于地基云分類任務(wù)上,并有良好的表現(xiàn),在一些相似類別的區(qū)分任務(wù)上準確率有很大提升．

由于卷積神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域出眾的表現(xiàn),一些研究者將其應(yīng)用到地基云分類任務(wù)中,并評估卷積神經(jīng)網(wǎng)絡(luò)在地基云分類領(lǐng)域的適用性．Shi等[51]使用深度卷積激活的云圖像的特征進行地基云識別,使用了5類784張圖片和7類100張圖片的不同數(shù)據(jù)集進行了實驗,實驗結(jié)果超過了大部分傳統(tǒng)方法．Ye等[52]通過模式挖掘和選擇策略從多個卷積層中采集局部視覺特征,然后使用Fisher向量進行編碼,提出名為DeepCloud的新型特征提取方法對云進行識別,驗證了深度卷積特征在云圖像表示方面的優(yōu)越性．Zhang等[41]提出了一個名為CloudNet的簡單網(wǎng)絡(luò),將地基云圖像分為11個類別,分類結(jié)果超過89%．隨著CNN在地基云分類上展示出卓越的性能,其他一些網(wǎng)絡(luò)也被應(yīng)用在地基云分類上并有良好的表現(xiàn).Liu等[53]將圖卷積網(wǎng)絡(luò)應(yīng)用于云分類,提出一種基于任務(wù)的圖卷積網(wǎng)絡(luò)模型(Task-Based Graph Convolutional Network),在8 000張云圖片中將云分成7類,最高準確率達到89.48%．Liu等[43]還提出一種上下文圖注意網(wǎng)絡(luò)(Context Graph Attention),在19 000張的云圖數(shù)據(jù)集中獲得84.30%的準確率．

然而現(xiàn)有的大多數(shù)深度學習模型參數(shù)較多,需要大規(guī)模的數(shù)據(jù)集進行訓(xùn)練,但現(xiàn)有數(shù)據(jù)集大多規(guī)模較小,實驗結(jié)果可能受到訓(xùn)練過擬合的干擾．針對這一問題,Phung等[54]提出一種在小規(guī)模數(shù)據(jù)集上的云分類方法,設(shè)計了一個簡單的CNN模型,并應(yīng)用兩種正則化方法在SWIMCAT上獲得了最大精度99.36%的結(jié)果．Liu等[55]將多模態(tài)用于云分類,提出多模態(tài)生成對抗網(wǎng)絡(luò)(Mutimodel Gan),可以同時生成云圖像和對應(yīng)的多模態(tài)信息,提高分類網(wǎng)絡(luò)的生成能力,使用Gan網(wǎng)絡(luò)生成的云圖信息可以補足數(shù)據(jù)集小而造成的過擬合問題．深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練前,首先會對網(wǎng)絡(luò)中的參數(shù)初始化,使用隨機初始化的方法充滿著不確定性.針對這個問題,遷移學習有著優(yōu)異的表現(xiàn),其主要思想是將相關(guān)領(lǐng)域中學習到的知識或模式應(yīng)用到其他領(lǐng)域[56].顯然,使用預(yù)訓(xùn)練的網(wǎng)絡(luò)比用隨機初始化的權(quán)重從頭開始訓(xùn)練一個新網(wǎng)絡(luò)更容易、更快．遷移學習在地基云領(lǐng)域也有優(yōu)秀的表現(xiàn),如Fang等[57]使用遷移學習在地基云分類中獲得96.55%的準確率,Manzo 等[58]使用基于投票的遷移學習在多個數(shù)據(jù)集中都獲得了較高的準確率,最高達99.98%．

經(jīng)典的CNN模型對圖像識別具有普遍適用性,在超大規(guī)模數(shù)據(jù)集ImageNet上也能獲得很高的準確率,而地基云圖像作為天空中的自然圖像,特征和顏色較為明顯,相鄰類別相似度較大,因此針對地基云識別提出對云分類更具魯棒性的網(wǎng)絡(luò)是必要的.研究人員對CNN進行了不同的改進,如Li等[59]神經(jīng)網(wǎng)絡(luò)SENet,增大有效特征圖的權(quán)重,減小無效特征圖的權(quán)重;Fang等[44]提出一種輕量級的卷積神經(jīng)網(wǎng)絡(luò)模型LCCNet,對地基云圖有較好的表征能力和較低的運算復(fù)雜度,在11類云分類任務(wù)中達到97.25%的準確率;Zhang等[46]使用集成學習對多個卷積神經(jīng)網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)進行了模型集成用于云分類,集成后的模型實現(xiàn)了較高的云分類精確率,且超過任何單一的深度學習模型．

總體來說,在地基云分類任務(wù)中使用深度學習方法成為研究者的優(yōu)先選擇,其強大的識別性能和簡便的實驗操作促使研究者嘗試更多類型的網(wǎng)絡(luò)結(jié)構(gòu)和深度學習算法來進行地基云分類,對于自動云識別系統(tǒng)暢想目標的實現(xiàn)更進了一步．

3 基于CNN的地基云識別評估

為對CNN在地基云識別上的表現(xiàn)做出詳細的評估,本章先對CNN進行簡單的介紹,然后選取目前性能最好的幾種CNN網(wǎng)絡(luò)分別在小數(shù)據(jù)集和大數(shù)據(jù)集上進行實驗,最后對實驗結(jié)果做出系統(tǒng)的評估．

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[60]是深度學習的代表算法之一,可以學習云圖像中傳統(tǒng)方法難以學習和提取的復(fù)雜的邊緣、紋理信息,CNN在大規(guī)模圖像識別任務(wù)中已經(jīng)獲得了巨大的成功．CNN是一種包含卷積計算的深度前饋神經(jīng)網(wǎng)絡(luò),它的卷積層通過卷積運算來代替網(wǎng)絡(luò)中至少一層的矩陣線性運算,通過權(quán)重共享,減低了網(wǎng)絡(luò)的復(fù)雜度[61]．研究表明,低層CNN捕獲圖像的紋理信息[62],深層反映圖像高級語義信息．根據(jù)CNN中的一系列卷積,逐層捕獲相鄰像素間的信息,可以確保CNN對地基云分類任務(wù)的準確性與魯棒性．為此本文構(gòu)建出一個簡單的CNN網(wǎng)絡(luò),該網(wǎng)絡(luò)由5個卷積層組成,每個卷積層有2個卷積層核進行卷積計算,每2個卷積層之間含有1個池化層．將1張地基云圖像傳輸進該網(wǎng)絡(luò),得到其通過每一層卷積層后的特征圖,如圖2所示.從特征圖可以觀察到,前2層特征圖片紋理較為明顯,通過后面的卷積層后紋理特征逐漸模糊,呈現(xiàn)出語義的特征．目前CNN的深度模型經(jīng)過不斷的改良和創(chuàng)新,有越來越多的優(yōu)秀模型被提出,這些模型在地基云分類領(lǐng)域被應(yīng)用并獲得了令人滿意的效果．經(jīng)典的CNN模型包括VGG、ResNet、DenseNet、Inception、Xception和MobileNet等,這些CNN模型都有各自的優(yōu)點,在圖像識別問題上獲得了優(yōu)良的成果．

圖2 地基云圖傳入CNN的特征圖Fig.2 Feature images of ground-based cloud by CNN

CNN的主要缺點是過多的參數(shù)在數(shù)據(jù)集不足的情況下會導(dǎo)致過擬合的發(fā)生,并且隨著網(wǎng)絡(luò)層數(shù)的加深,容易發(fā)生梯度消失現(xiàn)象使得模型難以優(yōu)化且計算復(fù)雜度很高導(dǎo)致運算時間過長[63]．經(jīng)典的CNN模型針對這些問題也做出了良好的解答,其中深度殘差網(wǎng)絡(luò)ResNet[64]借用Highway Network的思想,允許一部分原始信息直接從輸入層傳遞到最后一層,優(yōu)化了深度網(wǎng)絡(luò)層數(shù)太深而無法訓(xùn)練的問題．牛津大學研發(fā)的VGG模型[65]引入了非線性變換,降低了計算量,且通過Multi-Scale方法訓(xùn)練和預(yù)測,可以增加訓(xùn)練數(shù)據(jù)量,減少過擬合．Google研發(fā)的Inception[66]將較大的卷積層拆分成小的卷積層,這種分解對參數(shù)進行了解離,既減少了過擬合又加快了運算速度．Xception[67]在Inception上加以改進,使用深度可分離卷積(Depthwise Separable Convolution)以更少的參數(shù)來代替普通的3×3卷積核,在基本不增加模型復(fù)雜度的條件下優(yōu)化了模型效果．DenseNet[68]采用網(wǎng)絡(luò)更窄、參數(shù)更少的設(shè)計,使得梯度傳遞更加有效,更容易訓(xùn)練．MobileNet[69]是一種輕量級框架,在保證準確率的情況下,將參數(shù)壓縮至 1/7,參數(shù)量極小,運算速度也超過其他模型．

3.2 實驗設(shè)計與參數(shù)

為了更進一步探究各種CNN模型在地基云分類上的表現(xiàn),本文先是對上述的6種CNN模型及其變體共8種模型在小數(shù)據(jù)集SWIMCAT上進行了評估,實驗的CNN模型分別為:VGG16、VGG19、ResNet50、ResNet101、InceptionV3、Xception、DenseNet201、MobileNet,它們也是目前在圖像識別任務(wù)中表現(xiàn)最好的8種模型．同時為了分析CNN模型在大數(shù)據(jù)集中的表現(xiàn),還選取了在上個實驗中表現(xiàn)較好的其中4種CNN模型DenseNet201、ResNet50、InceptionV3、VGG16在大數(shù)據(jù)集GCD上進行評估．

本次實驗引入了遷移學習,遷移學習的優(yōu)秀之處在于其使用了模型在更大的數(shù)據(jù)集如ImageNet上預(yù)訓(xùn)練的參數(shù),大大加快了訓(xùn)練速度和準確率．為此以VGG網(wǎng)絡(luò)為例,在同樣的參數(shù)下讓VGG分別在遷移學習和非遷移學習下訓(xùn)練,實驗結(jié)果如圖3所示.從實驗結(jié)果可以看出非遷移學習訓(xùn)練了10個epoch準確率才收斂,且準確率僅能達到88%,而遷移學習收斂只用了2～3個epoch,并且準確率高達99.36%．

圖3 遷移學習與非遷移學習對比Fig.3 Comparison between transfer learning and non-transfer learning

本次實驗在Ubuntu環(huán)境上采用Python語言和Tensorflow框架在Jupyter平臺進行編程實現(xiàn).由于SWIMCAT數(shù)據(jù)集較小,為對比訓(xùn)練時間,在型號inter-i7-11的CPU的運行,GCD數(shù)據(jù)集在型號GTX-2080Ti的GPU機器上運行,各個模型的準確率如圖4和圖5所示,模型總結(jié)如表3所示．

圖4 8種CNN模型在SWIMCAT數(shù)據(jù)集上運行結(jié)果Fig.4 Results of eight CNN models running on SWIMCAT data set

圖5 4種CNN模型在GCD數(shù)據(jù)集實驗結(jié)果Fig.5 Experimental results of four CNN models on GCD data set

兩次實驗所使用的參數(shù)基本相同,首先將數(shù)據(jù)集按照4∶1劃分為訓(xùn)練集和驗證集,將圖片大小轉(zhuǎn)化為CNN模型的輸入尺寸大小,各模型輸入尺寸在表3中可見,初始學習率(learning rate)為0.000 1,學習率衰減(decay rate)為0.96,訓(xùn)練周期(epoch)為20,使用交叉熵損失(cross entropy)來更新參數(shù),批量大小(batch size)在SWIMCAT數(shù)據(jù)集上設(shè)為8,在GCD數(shù)據(jù)集上設(shè)為32．模型代碼和預(yù)訓(xùn)練權(quán)重使用Tensorflow提供的網(wǎng)絡(luò)模型及其在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的數(shù)據(jù)進行實驗．

表3 8種卷積神經(jīng)網(wǎng)絡(luò)總結(jié)

3.3 實驗結(jié)果評估

為詳細評估各CNN模型,除訓(xùn)練集和驗證集準確率外,還構(gòu)建出4種CNN模型在GCD數(shù)據(jù)集上的混淆矩陣(圖6)和各分類的召回率(Recall)、F1值(表4).在SWIMCAT上由于樣本量較少,模型表現(xiàn)較好,準確率大多在98%以上,即114張的驗證集僅有2～3張預(yù)測錯誤,這種情況下混淆矩陣和召回率等不適合用于對8種網(wǎng)絡(luò)進行評估.本節(jié)在8種模型的準確率、訓(xùn)練時間和參數(shù)等方面對模型進行評估．

從實驗結(jié)果中得出的結(jié)論如下:

1)在小數(shù)據(jù)集上,使用卷積神經(jīng)網(wǎng)絡(luò)和遷移學習對地基云進行分類的結(jié)果已經(jīng)超過大部分現(xiàn)有的傳統(tǒng)方法,VGG16、ResNet50、ResNet101在驗證集的最高準確率都達到了99.36%,其他幾個模型的準確率也很接近,除MobileNet外均超過98%,這足以表明卷積神經(jīng)網(wǎng)絡(luò)在地基云分類任務(wù)中的適用性和優(yōu)越性．

2)本實驗使用的遷移學習是在超大規(guī)模圖像分類數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的權(quán)重,避免了深度學習隨機初始化權(quán)重的隨機性,使訓(xùn)練速度和效果顯著提升．使用深度學習進行地基云分類的實驗步驟十分簡潔,不需要復(fù)雜的提取特征過程,這是因為卷積神經(jīng)網(wǎng)絡(luò)會自動地學習地基云圖像的形狀、紋理等特征[70],因此不需要對地基云圖進行特征的提取,只需要搭建好模型加載預(yù)訓(xùn)練的權(quán)重,再將數(shù)據(jù)集進行訓(xùn)練即可[71]．實驗結(jié)果展現(xiàn)了遷移學習和CNN結(jié)合后的強大性能,從實驗復(fù)雜性和識別結(jié)果精確性上均超過絕大多數(shù)算法．

3)表3中的VGG參數(shù)量最大,2種模型參數(shù)均超過1億,所以epoch訓(xùn)練時間也較長.準確率上VGG以99.36%在8種模型中最高,因為VGG將卷積層的卷積核參數(shù)改為統(tǒng)一的3×3,這種多次重復(fù)使用統(tǒng)一大小的卷積核的方法使得VGG可以提取更復(fù)雜、更具表達性的特征．DenseNet和ResNet也有良好的表現(xiàn),準確率分別高達98.72%和99.36%,且損失曲線下降速度快．Inception和Xception準確率都達到了98.08%,這2個網(wǎng)絡(luò)參數(shù)量和訓(xùn)練時間都非常相近,也表現(xiàn)出了對地基云識別的強大性能．MobileNet作為輕量級模型,參數(shù)量最小,僅有300多萬,因此每輪訓(xùn)練時間也較短,達到驗證集最高精確率迭代次數(shù)較多,但是在準確率上表現(xiàn)不佳,這可能是由于其參數(shù)過少,在學習特征時將云的部分特征遺失所致．總的來說,這8種網(wǎng)絡(luò)性能最低的MobileNet在SWIMCAT數(shù)據(jù)集上準確率也達到了95.51%,這已經(jīng)超過了許多的傳統(tǒng)方法,準確率最高的VGG和ResNet達到了99.36%,這證明了CNN在小數(shù)據(jù)集地基云分類任務(wù)上發(fā)揮著出色的性能．

4)在包含12 000張圖像的GCD數(shù)據(jù)集上進行的實驗可以發(fā)現(xiàn)DenseNet的準確率最高,達93.3%．且4種網(wǎng)絡(luò)模型在GCD的表現(xiàn)相比SWIMCAT，無論是訓(xùn)練集還是驗證集準確率都有降低,這是因為該數(shù)據(jù)集規(guī)模遠遠超過SWIMCAT數(shù)據(jù)集,且GCD將云圖分為7類,包含了全部的10種云屬．從混淆矩陣(圖6)與召回率、F1值(表4)可以看出,4種模型預(yù)測的效果總體比較相近,其中層積云、積雨云2個種類的預(yù)測容易混淆,這2個類別的云召回率、F1值較其他類別而言偏低,層積云的召回率、F1值大多低于80%．通過查看層積云、積雨云的一些樣本圖片發(fā)現(xiàn),這2個類別樣本非常相似,云體灰暗,一些圖片邊緣不明顯、難以區(qū)分,導(dǎo)致預(yù)測分類結(jié)果不高．其他類別的云召回率、F1值大多超過95%,可以應(yīng)用于自動云分類任務(wù)中．這4種模型在超過1萬張圖片的數(shù)據(jù)集上準確率依然高于90%,遠遠高于許多傳統(tǒng)方法．

總體來看,卷積神經(jīng)網(wǎng)絡(luò)在地基云識別上的性能卓越,準確率、訓(xùn)練速度等超過傳統(tǒng)方法,尤其是最近幾個大數(shù)據(jù)集的誕生,使得更多的神經(jīng)網(wǎng)絡(luò)模型得以在地基云分類上使用．

4 總結(jié)與展望

本文主要針對最新的地基云分類研究進行介紹,從深度學習方法角度對近幾年的研究進展進行了詳細的概括．然后介紹了最新的幾種云圖大數(shù)據(jù)集,這些數(shù)據(jù)集允許更復(fù)雜的深度學習模型在地基云識別領(lǐng)域得到評估和應(yīng)用,解決了之前因云圖數(shù)據(jù)集缺乏而造成的困擾．最后使用遷移學習對卷積神經(jīng)網(wǎng)絡(luò)模型在地基云識別上的性能進行評估．評估時,先是在SWMICAT數(shù)據(jù)集上使用8種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和預(yù)測,8種模型的性能都超過了絕大部分傳統(tǒng)方法,再使用其中4種性能較好的模型在12 000張云圖片的GCD數(shù)據(jù)集上進行評估,得出在大數(shù)據(jù)集上DenseNet201預(yù)測效果最好的結(jié)論．

目前研究人員已經(jīng)將許多新的模型應(yīng)用于地基云分類領(lǐng)域[72],期待有更適合地基云分類任務(wù)的網(wǎng)絡(luò)模型出現(xiàn).除卷積神經(jīng)網(wǎng)絡(luò)外,生成對抗網(wǎng)絡(luò)和注意力機制等都在圖像識別中有良好的表現(xiàn)[73],期待有更多網(wǎng)絡(luò)在地基云分類上得到應(yīng)用．目前基于深度學習的地基云分類研究大多基于模型上的評估和驗證,期待有更多更適合地基云分類的算法被提出,使得地基云分類在深度學習方法上得以發(fā)展和進步．

5 數(shù)據(jù)可用性申明

本文使用的所有模型、代碼可以在https:∥gitee.com/zhuangzhihaoz/deeplearning_cloud上查閱．本文使用的SWIMCAT數(shù)據(jù)集和GCD數(shù)據(jù)集可以分別向其發(fā)布者請求獲得:

SWIMCAT:http:∥vintage.winklerbros.net/swimcat.html

GCD:https:∥github.com/shuangliutjnu/TJNU-Ground-based-Cloud-Dataset

圖6 4種CNN模型在GCD數(shù)據(jù)集上的混淆矩陣Fig.6 Confusion matrices of four CNN models on GCD data set

表4 4種CNN模型在GCD上的召回率和F1值