孫 濤,王 雷,付文博,傅 罡,張 穎
(1.中國水利水電科學(xué)研究院,北京 100038;2.水利部防洪抗旱減災(zāi)工程技術(shù)研究中心,北京 100038;3.華中科技大學(xué)水電與數(shù)字化工程學(xué)院,武漢 430070;4. 清華大學(xué)工程物理系,北京 100084)
水利是國民經(jīng)濟(jì)和社會發(fā)展的重要設(shè)施和基礎(chǔ)產(chǎn)業(yè)[1],隨著科學(xué)技術(shù)和信息技術(shù)的高速發(fā)展,水利信息化已成行業(yè)趨勢,而水利信息化建設(shè)的首要任務(wù)則是吸納國內(nèi)外先進(jìn)的科學(xué)技術(shù)成果和信息化建設(shè)體系。深度學(xué)習(xí)作為近幾年高新技術(shù)最突出的代表,自2006年,Geoffrey Hinton團(tuán)隊在科學(xué)雜志上公開發(fā)表相關(guān)研究內(nèi)容后,便在各行業(yè)引起廣泛關(guān)注[2]。深度學(xué)習(xí)在特征提取和模擬優(yōu)化上有著獨(dú)特的優(yōu)勢,在圖像識別與信息提取、語音識別和計算機(jī)視覺領(lǐng)域上有著成熟的運(yùn)用,在水利行業(yè)上也具有廣泛的應(yīng)用前景。
深度學(xué)習(xí)的整個發(fā)展歷程可以分為三個階段,見圖1,第一階段(1943-1969年,雛形期),該階段最重要的成果便是感知器模型的研發(fā),盡管該模型簡單,但已體現(xiàn)了現(xiàn)代神經(jīng)網(wǎng)絡(luò)輸入線性加權(quán)、非線性激活兩個要素,后期被證實只能解決簡單的線性分類問題,應(yīng)用有限,因此,神經(jīng)網(wǎng)絡(luò)研究陷入近20年的低谷期。第二階段(1986-1998年,發(fā)展期),多層感知器[3]、反向傳播算法[4]的提出使得非線性分類和學(xué)習(xí)問題得到有效解決,開啟了神經(jīng)網(wǎng)絡(luò)研究的第二次熱潮,這一時期,卷積神經(jīng)網(wǎng)絡(luò)[5]、LSTM模型[6]、LeNet模型[7]均獲得了較完善的發(fā)展,后期由于BP算法“梯度消失”現(xiàn)象,即網(wǎng)絡(luò)最后代價函數(shù)產(chǎn)生的梯度無法有效的向網(wǎng)絡(luò)前端傳導(dǎo),網(wǎng)絡(luò)不能得到有效的學(xué)習(xí),導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)展再次陷入低谷。
第三階段(2006-至今,火熱期),2006年,Hinton等人通過基于自編碼器(AutoEncoder)的無監(jiān)督預(yù)訓(xùn)練與有監(jiān)督參數(shù)微調(diào)相結(jié)合的思路,給出了解決深層網(wǎng)絡(luò)梯度消失的方法,同時提出了深度學(xué)習(xí)的概念,至此,神經(jīng)網(wǎng)絡(luò)被再次推入大眾視野,深度學(xué)習(xí)開始飛速發(fā)展。2010年,ReLU(Rectified Linear Units)激活函數(shù)的提出使梯度消失問題得到有效抑制[8]。2012年,在ImageNet圖像分類競賽中,AlexNet網(wǎng)絡(luò)模型力壓SVM方法獲得冠軍。隨后的2013-2015年,在歷屆ImageNet競賽中,參賽者通過進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法,并結(jié)合GPU進(jìn)行算法加速,一次次刷新紀(jì)錄。2015年,何凱明[9]等人提出深度殘差網(wǎng)絡(luò)(Deep Residual Net, ResNet)采用分層預(yù)訓(xùn)練與批歸一化(Batch Normalization, BN)結(jié)合的方法,通過引入單位映射網(wǎng)絡(luò)分支,極大的增強(qiáng)了深度網(wǎng)絡(luò)的表達(dá)能力,使得訓(xùn)練上百層的深層網(wǎng)絡(luò)成為可能,該模型在分類、識別等重要視覺任務(wù)中均取得巨大成功,而且其網(wǎng)絡(luò)結(jié)構(gòu)也成為后續(xù)深度網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)得以廣泛應(yīng)用。
圖1 深度學(xué)習(xí)發(fā)展歷程圖
深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)技術(shù)框架的最新理論體系,相較傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)方法,它具有以下特點(diǎn):①深層模型結(jié)構(gòu):深度學(xué)習(xí)模型往往具有更多的隱含層,隨著層數(shù)的增加,參數(shù)也會隨之增加,其表現(xiàn)力更加強(qiáng)大。②多尺度特征表達(dá):深度學(xué)習(xí)本質(zhì)上是數(shù)據(jù)特征結(jié)構(gòu)抽象逐層表達(dá)的過程,模型中每一層都將上一層的輸出作為輸入進(jìn)行數(shù)據(jù)結(jié)構(gòu)與特征更高層次的表示,從而構(gòu)建復(fù)雜的數(shù)據(jù)結(jié)構(gòu),完成對原始數(shù)據(jù)的抽象表達(dá)。
在深度學(xué)習(xí)方法中,卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)[10]和自動編碼器[11]三種方法最為基本,由該方法及其衍生方法的應(yīng)用也最為廣泛,見表1與圖2。卷積神經(jīng)網(wǎng)絡(luò)是圖像處理領(lǐng)域一種高效的算法,一般由輸入層、卷積層、池化層、全連接層和SoftMax層5種結(jié)構(gòu)組成。卷積神經(jīng)網(wǎng)絡(luò)相比其他人工神經(jīng)網(wǎng)絡(luò)有著兩個突出的特點(diǎn):局部感知與權(quán)值共享,能有效降低網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)數(shù)目[12]。受限玻爾茲曼機(jī)是由顯性變量和隱性變量構(gòu)成,在受限玻爾茲曼機(jī)模型中,顯性變量和隱性變量之間才會存在映射關(guān)系,顯性變量內(nèi)部間、隱性變量內(nèi)部間均不存在連接。自動編碼器是由編碼器和解譯器兩部分組成,編碼器的功能是將上層數(shù)據(jù)信號編碼傳遞至下層,而解譯器的功能則是解譯編碼器編碼的數(shù)據(jù)信號。
表1 深度學(xué)習(xí)主流方法原理
圖2 深度學(xué)習(xí)主流方法結(jié)構(gòu)示意圖
遙感技術(shù)是獲取水文基礎(chǔ)數(shù)據(jù)的有力途徑之一,對于降雨徑流監(jiān)測、下墊面形態(tài)探究等具有重大意義與推動作用。而遙感圖像分類則是遙感技術(shù)中的關(guān)鍵問題,準(zhǔn)確的分類有利于開展多領(lǐng)域研究。遙感圖像分類的方法種類繁多,可以分為監(jiān)督與非監(jiān)督,參數(shù)與非參數(shù),基于像元、亞像元和對象等不同類別,但由于分類方法受影響因素較多,如遙感數(shù)據(jù)源質(zhì)量、遙感數(shù)據(jù)預(yù)處理方法等,往往都存在較大的改進(jìn)空間[19]。深度學(xué)習(xí)作為人工智能最突出的分支代表,其在特征提取上絕對的優(yōu)勢,使其成為遙感圖像分類方向最具潛力,最火熱的方法之一。
2.1.1 遙感影像水體識別與提取
地表水體的空間分布規(guī)律及相關(guān)的地理信息對于研究區(qū)域水文與氣象具有重大意義[20]。早期水體分布規(guī)律的探索主要依靠人工勘測和手工測繪,進(jìn)入信息時代后,遙感技術(shù)開始廣泛應(yīng)用于水體信息提取中,目前,在水體識別提取上應(yīng)用的比較多的方法主要有單波段閾值法[21]、監(jiān)督分類法[22]、水體指數(shù)法[23]等,但是這些方法需要多次實驗設(shè)定閾值,且精度受影像質(zhì)量及人為影響較大。深度學(xué)習(xí)在特征提取上具有極大的優(yōu)勢,為遙感圖像水體提取提供了新思路,現(xiàn)今已有專家學(xué)者將深度學(xué)習(xí)方法應(yīng)用在遙感圖像水體識別上。
2015年,Liu Yang[24]等人建立了一個基于堆疊自動編碼器的水體提取模型。該模型采集當(dāng)前有用的特征為每個像素構(gòu)建獨(dú)特的特征矩陣,通過考慮相鄰像素的影響擴(kuò)展特征矩陣來設(shè)計特征擴(kuò)展算法(Feature Expansion Algorithm,F(xiàn)EA),最后將擴(kuò)展功能設(shè)置為輸入,利用堆疊自動編碼器訓(xùn)練來提取水體。研究選取了新疆、江蘇、四川三地作為研究區(qū)域,并與SVM和NN算法進(jìn)行了對比研究,結(jié)果表明基于堆疊自動編碼器的水體提取模型優(yōu)于支持向量機(jī)模型(SVM)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型(NN)。王知音[25]等人同樣選擇了堆疊自動編碼器來構(gòu)建深度學(xué)習(xí)模型,并將模型應(yīng)用在新疆塔里木河流域的遙感影像水體提取上,設(shè)置了SVM和BP神經(jīng)網(wǎng)絡(luò)與堆疊自動編碼器進(jìn)行對比研究,最終結(jié)果顯示堆疊自動編碼器模型水體提取的精度最高。
Long Yu[26]等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和logistic回歸分類器的多光譜數(shù)據(jù)水體提取新方法,選取新疆、湖北、沈陽三地作為研究區(qū),選擇ANN和SVM法作為對比,最終結(jié)果顯示深度學(xué)習(xí)方法準(zhǔn)確率最高。杜敬[27]構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行無人機(jī)遙感影像水體識別,并采用支持向量機(jī)法、面向?qū)ο蠓ㄟM(jìn)行對比,結(jié)果顯示深度學(xué)習(xí)方法準(zhǔn)確識別率為95.36%,精度最高。楊柳[28]則利用了深度學(xué)習(xí)方法,主要是棧式自編碼器對遙感影像水體識別展開了相關(guān)研究,得到結(jié)論如下,相比支持向量機(jī)模型和人工神經(jīng)網(wǎng)絡(luò)模型,棧式自編碼器模型擁有更高的準(zhǔn)確率,高達(dá)94.35%,而三種模型都在訓(xùn)練量增大時,準(zhǔn)確率都有明顯的上升。
2.1.2 遙感影像土地利用分類
土地利用分類研究對于獲取區(qū)域水文下墊面情況具有重大意義,目前在遙感影像土地利用分類研究上應(yīng)用得較多的方法主要有:人工智能分類法(像神經(jīng)網(wǎng)絡(luò)分類法、決策樹分類法、支持向量機(jī)等)、面向?qū)ο蠓诸惙ā⑦b感與GIS結(jié)合法等,深度學(xué)習(xí)方法作為近幾年火熱的新方法,具有巨大的應(yīng)用潛力。
馮麗英[29]以高分二號遙感影像作為數(shù)據(jù)源,構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型,進(jìn)行土地利用信息提取,并用支持向量機(jī)、決策樹、最近鄰分類器三種方法作為對比研究,結(jié)果顯示在,在不同的分割尺度和精度評價方法下,精度最高的方法均為深度卷積神經(jīng)網(wǎng)絡(luò)。張偉[30,31]則選取不同的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行土地利用分類研究,結(jié)果顯示AlexNet 精度最高,VGG-16次之,GoogLeNet 精度最低。韓潔[32]等人則構(gòu)建深度信念網(wǎng)模型對北京市進(jìn)行城市擴(kuò)展變化檢測,與ISODATA和最大似然分類器法相比,深度學(xué)習(xí)方法表現(xiàn)最高的精度,達(dá)93.4%。
目前,深度學(xué)習(xí)在遙感影像水體識別與土地分類上尚處于起步階段,可支撐的文獻(xiàn)較少,縱觀上述文獻(xiàn),可以發(fā)現(xiàn),深度學(xué)習(xí)方法在與支持向量機(jī)、決策樹、最近鄰分類器、人工神經(jīng)網(wǎng)絡(luò)模型等等方法進(jìn)行比較研究時,均表現(xiàn)出了極高的優(yōu)越性,證實了深度學(xué)習(xí)在遙感圖像分類應(yīng)用上的可行性。現(xiàn)階段,在應(yīng)用深度學(xué)習(xí)方法時,大多還是采取監(jiān)督訓(xùn)練方法,需要大量的標(biāo)簽數(shù)據(jù)支撐。而遙感圖像是多波段數(shù)據(jù),相對于普通圖像,需要預(yù)處理和標(biāo)準(zhǔn)化過程來制作標(biāo)簽數(shù)據(jù),工作量巨大。其次,在遙感數(shù)據(jù)標(biāo)準(zhǔn)化處理方式也對最終的分類結(jié)果有一定的影響。因此,下一階段需要重點(diǎn)研究無監(jiān)督訓(xùn)練方法,加速遙感圖像預(yù)處理工作。
水質(zhì)分析與預(yù)測是水資源管理與水污染防治工作展開的基礎(chǔ),準(zhǔn)確把握水質(zhì)現(xiàn)狀,預(yù)測水質(zhì)未來趨勢對于區(qū)域生產(chǎn)生活與生態(tài)具有重要意義。傳統(tǒng)的水質(zhì)分析大多依賴于已采集的水質(zhì)觀測指標(biāo)(氮、磷等),而水質(zhì)指標(biāo)的采集往往需要復(fù)雜的物化過程,存在著費(fèi)用高、實時性差,覆蓋面窄的問題,難以對整個區(qū)域有很細(xì)致的把握。遙感技術(shù)的發(fā)達(dá)特別是高精度遙感圖像逐漸普及,為水質(zhì)分析提供了新的應(yīng)用,深度學(xué)習(xí)在圖像理解與分析上的優(yōu)越性,使得眾多學(xué)者探索深度學(xué)習(xí)在水質(zhì)分析上的應(yīng)用。而在水質(zhì)預(yù)測方面,目前我國常用的水質(zhì)預(yù)測模型為人工神經(jīng)網(wǎng)絡(luò)模型,該模型目前還存在著收斂速度慢、精度不高以及推廣性差等問題,迫切需要新理念與方法進(jìn)行改進(jìn)創(chuàng)新。
在水質(zhì)分析方面,黃鴻[33]等人提出了基于隨機(jī)子空間深度回歸的分析方法,以深度信念網(wǎng)進(jìn)行特征提取,BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練構(gòu)建深度學(xué)習(xí)TOC濃度反演模型,并成功對水體TOC進(jìn)行了檢測,結(jié)果顯示隨機(jī)子空間深度回歸方法在濃度反演上相對誤差都在1%以內(nèi),精度高于傳統(tǒng)方法。鄭友亮[34]建立了基于卷積神經(jīng)網(wǎng)絡(luò)的沿海水質(zhì)評價模型,以廣東省沿海海域為研究區(qū)域,實現(xiàn)了沿海水質(zhì)的分類,準(zhǔn)確率高達(dá)93.75%。
在水質(zhì)預(yù)測方面,姚俊楊[35]等人建立了基于深度置信網(wǎng)的水華預(yù)測模型,成功對太湖流域水華爆發(fā)進(jìn)行了預(yù)測仿真,結(jié)果顯示向前預(yù)測1 d,相對誤差為7.72%,向前預(yù)測5 d,相對誤差為7.21%,向前預(yù)測10 d,相對誤差為9.3%。王功明[36]等人則以自適應(yīng)學(xué)習(xí)率進(jìn)行深度學(xué)習(xí)無監(jiān)督預(yù)訓(xùn)練,利用PLSR方法改進(jìn)深度置信網(wǎng),構(gòu)建了基于偏最小二乘回歸自適應(yīng)深度信念網(wǎng)模型,并利用該模型實現(xiàn)了水處理過程中的出水總磷預(yù)測。Archana Solanki[37]等人則利用降噪自動編碼器和深度置信網(wǎng)構(gòu)建了深度學(xué)習(xí)模型,并進(jìn)行了水質(zhì)參數(shù)預(yù)測。田亞蘭[38]等人構(gòu)建了基于深度置信網(wǎng)的深度學(xué)習(xí)模型,成功對污水處理數(shù)據(jù)的預(yù)測結(jié)果進(jìn)行了預(yù)測。
現(xiàn)階段,深度學(xué)習(xí)在水質(zhì)分析預(yù)測方向上尚處于小范圍的應(yīng)用,未成體系,大多依靠設(shè)定的研究情景才能得出較好的結(jié)果。盡管深度學(xué)習(xí)方法在水質(zhì)分析上表現(xiàn)出一定的優(yōu)越性,但相比傳統(tǒng)的水質(zhì)分析方法,該方法顯得效率低下,且耗費(fèi)巨大。在水質(zhì)預(yù)測方面,深度學(xué)習(xí)方法的預(yù)測精度和收斂速度還需進(jìn)一步提高。
數(shù)據(jù)驅(qū)動型模型是水文預(yù)報的主要手段之一。模型一般不直接考慮潛在的物理過程,只依靠歷史水文氣象資料,因此,輸入和參數(shù)較少,較為簡單。盡管模型簡單,但模型的精度卻和歷史數(shù)據(jù)的特征提取和學(xué)習(xí)直接相關(guān),由于歷史數(shù)據(jù)復(fù)雜多樣,難以表示,因此,預(yù)測出的結(jié)果往往不夠理想。深度學(xué)習(xí)在特征提取表示上的優(yōu)勢,為水文預(yù)報提供了新方法。
Yun Bai[39]等人建立了多尺度深度特征學(xué)習(xí)方法,進(jìn)行了三峽庫區(qū)入庫流量的預(yù)測。該研究采用集合經(jīng)驗?zāi)B(tài)分解和傅立葉級數(shù)提取流入序列的多尺度特征,然后用三個深度置信網(wǎng)絡(luò)進(jìn)行特征表示,最后通過初始化權(quán)重,將每個DBN融合成神經(jīng)網(wǎng)絡(luò),建立了深度學(xué)習(xí)模型。作者選取BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和基于小波的人工神經(jīng)網(wǎng)絡(luò)作為研究對比,結(jié)果表明多尺度深度特征學(xué)習(xí)方法在峰值流入量預(yù)測中都表現(xiàn)出了所有對等方法中最好的預(yù)測性能,結(jié)果為平均絕對百分比誤差(MAPE= 11.289 6%),歸一化均方根誤差(NRMSE=0.229 2),決定系數(shù)標(biāo)準(zhǔn)(R2= 0.890 5),和峰值百分比閾值統(tǒng)計(PPTS(5)= 10.022 9%)。現(xiàn)階段,深度學(xué)習(xí)在水文預(yù)報上的應(yīng)用極少,Yun Bai等人的研究成果證實了深度學(xué)習(xí)方法在水文預(yù)報上的可行性。
盡管深度學(xué)習(xí)在圖像、語音識別上有一定的成果,但在水利行業(yè)上的應(yīng)用尚處于起步探索階段,需要攻克的難題和問題還有很多,也有許多值得被挖掘應(yīng)用的方向。具體分析如下。
(1)深度學(xué)習(xí)模型的精度和模型訓(xùn)練直接相關(guān),不論是監(jiān)督訓(xùn)練還是無監(jiān)督訓(xùn)練都需要大量的數(shù)據(jù),而水文氣象資料比較寶貴,很多地區(qū)存在著資料不足的情況。其次,模型的訓(xùn)練耗時較長,須投入大量的精力進(jìn)行參數(shù)配置,因此,需要改進(jìn)算法提高模型訓(xùn)練的收斂速度。
(2)現(xiàn)階段的研究都是直接采用的深度學(xué)習(xí)模型,而深度學(xué)習(xí)屬于統(tǒng)計模型。在研究復(fù)雜水文機(jī)理問題時,可能會存在著物理機(jī)制支撐不足導(dǎo)致精度不高的現(xiàn)象,因此,將深度學(xué)習(xí)方法與水文模型有機(jī)整合是一個重要的研究方向。
深度學(xué)習(xí)在遙感影像水體識別提取上的成功應(yīng)用,表明深度學(xué)習(xí)在遙感信息解譯與提取上具備可行性,未來在水利遙感監(jiān)測上有較大的應(yīng)用前景,特別是水土保持動態(tài)監(jiān)測。深度學(xué)習(xí)模型在對三峽庫區(qū)入庫流量仿真模擬的可行性也為深度學(xué)習(xí)應(yīng)用在水文預(yù)報上奠定基石。下一階段,深度學(xué)習(xí)在水利上的應(yīng)用研究應(yīng)重點(diǎn)關(guān)注。①遙感圖像分類方面:深度學(xué)習(xí)模型的訓(xùn)練方式上,應(yīng)逐步由監(jiān)督訓(xùn)練過渡為監(jiān)督訓(xùn)練為主,非監(jiān)督訓(xùn)練為輔的方式,并采用GPU進(jìn)一步加速。②水質(zhì)分析預(yù)測方面:進(jìn)一步優(yōu)化模型結(jié)構(gòu)、簡化模型參數(shù),提高深度學(xué)習(xí)模型水質(zhì)預(yù)測精度。③水文預(yù)報方面:目前可支撐的成果較少,下一階段應(yīng)將現(xiàn)有的深度學(xué)習(xí)模型應(yīng)用范圍擴(kuò)大,驗證并改進(jìn)其模擬效果。
隨著水利信息化進(jìn)程的加快和深度學(xué)習(xí)研究的深入,未來深度學(xué)習(xí)在水利行業(yè)將會有更加廣闊的運(yùn)用前景,發(fā)揮更加重要的作用。
□