常江 丁雷
摘? 要: 通過神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的方法建立遙感影像的光譜信息與土壤濕度之間的模型,采用遙感手段大范圍預(yù)測地表土壤濕度。以“天宮二號”2016年9月24日寬波段成像儀采集的可見光近紅外譜段影像作為模型輸入,選取與“天宮二號”影像相同采集時間和經(jīng)緯度的SMAP/Sentinel?1 L2土壤濕度產(chǎn)品作為輸出,分別通過貝葉斯神經(jīng)網(wǎng)絡(luò)算法和隨機(jī)森林算法建立光譜信息和土壤濕度數(shù)據(jù)之間的關(guān)系。結(jié)果表明:采用貝葉斯線性回歸反演時,當(dāng)隱含層節(jié)點個數(shù)為24時訓(xùn)練效果最好,R2為0.755,均方根誤差RMSE為0.161;采用隨機(jī)森林機(jī)器學(xué)習(xí)算法反演時,當(dāng)決策樹個數(shù)為60時效果最好,R2為0.809,均方根誤差RMSE為0.120。對“天宮二號”影像進(jìn)行土壤濕度反演時,隨機(jī)森林模型比貝葉斯神經(jīng)網(wǎng)絡(luò)模型的精度更高,擬合效果更好,可以實現(xiàn)較為準(zhǔn)確的大范圍土壤水分含量預(yù)測。
關(guān)鍵詞: 土壤濕度反演; 貝葉斯神經(jīng)網(wǎng)絡(luò); 隨機(jī)森林; “天宮二號”; 建立預(yù)測模型; 精度評價
中圖分類號: TN219?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼: A? ? ? ? ? ? ? ? ? ? ? 文章編號: 1004?373X(2020)06?0082?04
Method of soil moisture retrieval in Tiangong?2
CHANG Jiang1,2,3, DING Lei1
(1. CAS Key Laboratory of Infrared Detection and Imaging Technology, CAS Shanghai Institute of Technical Physics, Shanghai 200083, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. Shanghai University of Science and Technology, Shanghai 200031, China)
Abstract: The model between the spectral information of remote sensing image and the soil moisture is established by means of the neural network and machine learning method to predict the surface soil moisture on a large scale by remote sensing. The visible light and near?infrared spectrum image acquired by the Wide?band imager on September 24, 2016 is used as the model input, SMAP/Sentinel?1 L2 soil moisture product with the same time and latitude and longitude as the Tiangong?2 image is selected as the model output, and the relationship between spectral information and soil moisture data is established by means of the Bayesian neural network algorithm and random forest algorithm, respectively. The results show that when using Bayesian linear regression inversion, the training effect is best with the number of hidden layer nodes is 24, R?square is 0.755, and root mean square error is 0.161. In the soil moisture inversion of tiangong?2 image, the random forest model has higher accuracy and better fitting effect than the Bayesian neural network model, which can achieve more accurate prediction of soil moisture content in a large range.
Keywords: soil moisture retrieval; Bayesian neural network; random forest; Tiangong?2; build prediction model; precision evaluation
0? 引? 言
“天宮二號”空間實驗室是繼“天宮一號”完成任務(wù)后,發(fā)射的第二個太空實驗室,從2016年9月起,運行狀態(tài)良好,工作穩(wěn)定,獲取了大量的遙感數(shù)據(jù),覆蓋范圍為南北緯42°以內(nèi)的區(qū)域。而它搭載的寬波段成像儀可以獲取高時間、空間分辨率的多光譜影像,光譜范圍為可見光近紅外譜段、短波紅外譜段以及熱紅外譜段,實現(xiàn)了大視場全推掃的集成功能。研究“天宮二號”對地觀測的多光譜數(shù)據(jù)可以對我國的農(nóng)、林業(yè)的發(fā)展,氣候、水土的預(yù)測以及自然災(zāi)害的防治起到至關(guān)重要的作用。
土壤濕度指數(shù)是輔助農(nóng)林業(yè)觀測的重要參數(shù),代表土壤中水分的含量。目前對于土壤濕度的觀測方法是傳統(tǒng)的探測方法,通過采用質(zhì)量或者探針測量法來測定土壤中水分含量[1]。這種方法的局部精度非常高,但是代價就是需要消耗大量的人力物力,而且不適用于大規(guī)模的土壤濕度預(yù)測。針對傳統(tǒng)探測方法的局限性,遙感觀測方法應(yīng)運而生。遙感技術(shù)可以大規(guī)模獲取地面信息從而預(yù)測大范圍的土壤濕度信息,更好地推動我國水土和農(nóng)林業(yè)的發(fā)展。但是對于如此龐大的數(shù)據(jù)樣本來說,一般的線性回歸算法無法很好擬合出高精度的反演模型[2?3]。神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的方法可以很好地建立大數(shù)據(jù)樣本和輸出之間的關(guān)系,其中的貝葉斯算法和隨機(jī)森林算法在保持高預(yù)測精度的同時還可以有效地解決模型過擬合的問題[4]。
本文選用的影像數(shù)據(jù)是“天宮二號”寬波段成像儀可見光近紅外譜段的二級產(chǎn)品,土壤濕度數(shù)據(jù)采用的是NASA的SMAP/Sentinel?1 L2土壤濕度產(chǎn)品,對影像進(jìn)行大氣校正和云掩膜處理后,分別采用神經(jīng)網(wǎng)絡(luò)中貝葉斯線性回歸的算法和機(jī)器學(xué)習(xí)中隨機(jī)森林的算法對土壤濕度參數(shù)進(jìn)行反演并比較兩種算法的精度,最后生成土壤濕度專題圖。
1? 數(shù)據(jù)選取及預(yù)處理
1.1? “天宮二號”寬波段成像儀影像
“天宮二號”的寬波段成像儀具有寬視場、寬波段以及“圖譜合一”的特點。在國內(nèi)外首次實現(xiàn)了可見近紅外譜段、短波紅外譜段和熱紅外多譜段的組合集成功能,并可以進(jìn)行大視場全推掃的成像。寬波段成像儀在可見近紅外具有通道可編程功能,在可見光近紅外、短波紅外和熱紅外譜段具有多光譜探測的推掃式成像特性。主要用于中等(偏高)地面分辨率、監(jiān)測較大尺度的地面物體,適用于陸地、大氣探測和湖泊、海洋檢測等氣候觀測。
本文中的遙感影像從載人航天空間應(yīng)用數(shù)據(jù)推廣服務(wù)平臺獲取,申請了“天宮二號”的寬波段成像儀可見光近紅外波段的二級產(chǎn)品。因遙感影像需要與對應(yīng)土壤濕度產(chǎn)品進(jìn)行匹配,而本文中選取的土壤濕度數(shù)據(jù)并非全球覆蓋,所以選擇的研究區(qū)域為美國科羅拉多州奎斯塔城市(33°4′48"N, 105°34′98"W),影像空間分辨率100 m,視場角42°,刈幅300 km, 采用大幅寬虛擬相機(jī)高精度傳感器校正模型進(jìn)行寬波段數(shù)據(jù)無控制點幾何校正處理,定位精度在8個像元內(nèi),通道中心波長指標(biāo)如表1所示。
1.2? SMAP土壤濕度數(shù)據(jù)
土壤濕度產(chǎn)品是從Nasa Earthdata Search獲取的SMAP/Sentinel?1 L2 土壤濕度產(chǎn)品,分辨率3 km,數(shù)據(jù)格式為HDF5 [5]。選用2016年9月24日的數(shù)據(jù),從中提取經(jīng)度、緯度、土壤濕度三個參數(shù)與所選“天宮二號”影像進(jìn)行經(jīng)緯度匹配。為了方便程序的讀寫,提取后的土壤濕度用Excel格式存儲,每個單元格記錄經(jīng)度、緯度以及對應(yīng)的土壤濕度。
1.3? 大氣校正和云掩膜處理
從空間數(shù)據(jù)中心獲取的影像已經(jīng)做過幾何校正和輻射定標(biāo),因此僅需進(jìn)行大氣校正即可。
選用ENVI快速大氣QUAC校正工具,該工具可以自動從圖像上收集不同物質(zhì)的波譜信息,獲取經(jīng)驗值來完成較高精度的多光譜影像大氣校正。大氣校正前后的光譜信息如圖1所示。
為了除去遙感影像中云層的影響,還需要對“天宮二號”影像中的厚云進(jìn)行掩膜處理,識別影像中的厚云將其提取出來并剔除掉,使其不參與樣本訓(xùn)練的計算。因“天宮二號”影像年份較新,ENVI等圖像處理軟件無法自動做去云處理,本文選用的云掩膜算法是2018年Han Zhai等人在ISPRS上發(fā)表的基于光譜指數(shù)的多光譜影像云掩膜算法,提取后的云如圖2所示。
云掩膜原理:
式中:T1,T2為約束可見光和近紅外波段云反射設(shè)定的閾值;CI1用來衡量可見光波段和紅外波段反射特性的相似性;CI2用來表示云的亮度特性;CSI用來表示云陰影在較長波長下的反射特性[6]。
對“天宮二號”影像進(jìn)行云掩膜后,得到無云影像,然后可以進(jìn)行影像值提取,采用ArcGIS軟件提取特征值,將云掩膜后的“天宮二號”數(shù)據(jù)與對應(yīng)區(qū)域的SMAP土壤濕度數(shù)據(jù)進(jìn)行匹配,設(shè)定為地理坐標(biāo)系WGS84。最終套合的結(jié)果如圖3所示。
2? 研究算法
2.1? 貝葉斯神經(jīng)算法
本文采用的第一個反演算法是貝葉斯線性回歸神經(jīng)網(wǎng)絡(luò)算法。輸入層設(shè)置為經(jīng)過預(yù)處理后的“天宮二號”影像,輸出層設(shè)置為對應(yīng)的SMAP土壤濕度數(shù)據(jù),隱含層層數(shù)初步設(shè)置為1。貝葉斯算法相較于其他神經(jīng)網(wǎng)絡(luò)算法的一個最大的優(yōu)點是,針對數(shù)據(jù)量不是特別大的樣本,模型也會有比較好的訓(xùn)練效果,不會出現(xiàn)過擬合的情況[7]。
貝葉斯算法的核心是,每當(dāng)一個訓(xùn)練樣本進(jìn)來以后,是以概率密度的形式進(jìn)行學(xué)習(xí)和訓(xùn)練,并不是僅僅以樣本數(shù)據(jù)的形式進(jìn)行學(xué)習(xí)。在訓(xùn)練模型的時候把未知參數(shù)看作隨機(jī)變量,然后用樣本的概率分布計算未知的隨機(jī)變量[8]。
貝葉斯公式:
式中:[θ]表示隨機(jī)變量;[x]表示樣本;[πθx]表示后驗分布。
2.2? 隨機(jī)森林算法
近年來隨著人工智能技術(shù)的普及,機(jī)器學(xué)習(xí)的方法在我國各個領(lǐng)域均取得了比較好的突破。經(jīng)過驗證,在眾多機(jī)器學(xué)習(xí)方法中,隨機(jī)森林的方法具有很好的效果和精度,并且可以有效地防止過擬合的問題。因此,本文選用隨機(jī)森林算法對“天宮二號”的影像進(jìn)行土壤濕度反演。隨機(jī)森林的主要原理是采用一組分類器而不是一個分類器對樣本進(jìn)行學(xué)習(xí)和訓(xùn)練,而這個分類器往往以決策樹為基礎(chǔ)。對原始樣本集進(jìn)行隨機(jī)樣本的抽取,得到樣本的采樣集,然后對這些樣本的采樣集分別建立決策樹模型,最后投票選出一個最優(yōu)的結(jié)果來決定最終的分類模型。
分類決策模型公式為:
式中:[hi]表示第[i]個決策樹分類模型;[Y]表示輸出變量;[I(·)]表示示性函數(shù)[9]。
2.3? 預(yù)測模型建立
在訓(xùn)練的過程中,按照85∶15設(shè)定訓(xùn)練集和測試集樣本的比例,每個“天宮二號”數(shù)據(jù)包含14個可見光近紅外波段,對應(yīng)SMAP土壤濕度數(shù)據(jù)集包含樣本點個數(shù)大約2 279個?;贛atlab 2018a神經(jīng)網(wǎng)絡(luò)工具箱和GUI頁面對貝葉斯神經(jīng)網(wǎng)絡(luò)模型進(jìn)行設(shè)計。設(shè)置學(xué)習(xí)速率為0.01,最大迭代次數(shù)為500。 調(diào)節(jié)隱含層節(jié)點數(shù),記錄每次調(diào)節(jié)后貝葉斯神經(jīng)網(wǎng)絡(luò)模型精度;調(diào)節(jié)決策樹的個數(shù),記錄每次調(diào)節(jié)后隨機(jī)森林模型的精度[10?11]。
3? 結(jié)果與分析
3.1? 精度評價
各個神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)下的模型精度和均方根誤差,以及各個決策樹個數(shù)下的模型精度和均方根誤差如表2所示。
使用神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方法在每次學(xué)習(xí)之后得出的結(jié)果會有小范圍的波動,所以在每個節(jié)點下都訓(xùn)練了至少5次以防止模型精度的偶然性。結(jié)果表明:在進(jìn)行“天宮二號”數(shù)據(jù)土壤濕度反演時,由于樣本數(shù)據(jù)量比較大,在神經(jīng)網(wǎng)絡(luò)節(jié)點數(shù)選取23~26時效果比較好,模型精度穩(wěn)定在0.70以上,其中當(dāng)節(jié)點數(shù)取24時模型精度可達(dá)到0.755,均方根誤差達(dá)到了0.161,節(jié)點數(shù)過少和過多會出現(xiàn)測試集和驗證集收斂過慢的情況并且影響最后的回歸效果。但是通過建模的結(jié)果判斷,在節(jié)點數(shù)較大的情況下模型雖然更為復(fù)雜,但是并未出現(xiàn)過擬合的情況,也就驗證了貝葉斯模型可以很好地防止過擬合的情況出現(xiàn)。使用貝葉斯神經(jīng)網(wǎng)絡(luò)算法得到的預(yù)測值和真實值比較結(jié)果如圖4所示。
隨機(jī)森林算法中重要的參數(shù)是決策樹的個數(shù),選取20,40,60,80進(jìn)行訓(xùn)練比較結(jié)果發(fā)現(xiàn),模型精度穩(wěn)定在0.76以上,當(dāng)決策樹個數(shù)取值為60時,模型精度達(dá)到了0.809,均方根誤差也達(dá)到了0.120。使用隨機(jī)森林算法得到的預(yù)測值和真實值比較結(jié)果如圖5所示。
通過比較,對于本文中的反演方案,當(dāng)輸入為“天宮二號”寬波段成像儀影像而輸出為SMAP土壤濕度數(shù)據(jù)時,隨機(jī)森林機(jī)器學(xué)習(xí)模型比貝葉斯神經(jīng)網(wǎng)絡(luò)模型的精度更高,擬合效果更好。
雖然本文中模型的精度相較于其他傳統(tǒng)探測方法獲取的土壤濕度的精度還有些提升的空間,但是這種方法的優(yōu)勢就在于不需要大量的人力物力,只需要提供足夠多的樣本即可達(dá)到農(nóng)、林業(yè)土壤濕度高效預(yù)測的要求。而如何進(jìn)一步提升模型精度的同時降低預(yù)測值的離散程度,則是未來的研究重點。
3.2? 土壤濕度專題圖
在實驗中獲取了每個像元預(yù)測的土壤濕度數(shù)值,在繪制土壤濕度專題圖時,使用ArcGIS軟件加載云掩膜處理后的“天宮二號”影像作為底圖數(shù)據(jù),然后加載預(yù)測的土壤濕度Excel信息,最后添加圖例信息。預(yù)測的土壤濕度專題圖如圖6所示。白色區(qū)域為云掩膜處理后去除的部分,除白色區(qū)域外,可以通過專題圖的顏色了解該區(qū)域內(nèi)的土壤濕度情況并對土地干旱、洪澇災(zāi)害迅速做出判斷,對于我國水土災(zāi)害預(yù)測防治以及莊稼灌溉等農(nóng)業(yè)生產(chǎn)活動可以起到很好的幫助。
4? 結(jié)? 論
“天宮二號”成像光譜儀可以提供高空間分辨率的多光譜影像,但是因其年份較新,許多圖像處理軟件還未能自動識別和處理該影像,對“天宮二號”數(shù)據(jù)的研究和使用目前也處于一個比較初步的階段。
本文中對“天宮二號”影像進(jìn)行了大氣校正、云掩膜等預(yù)處理步驟,分別選用貝葉斯神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的方法,基于SMAP土壤濕度數(shù)據(jù)對“天宮二號”數(shù)據(jù)中的土壤濕度參數(shù)進(jìn)行反演和提取,均取得了不錯的結(jié)果。采用貝葉斯線性回歸反演算法時,模型精度穩(wěn)定在0.70以上,其中當(dāng)隱含層節(jié)點個數(shù)為24時,訓(xùn)練效果最好,R2為0.755,均方根誤差RMSE為0.161;采用隨機(jī)森林算法進(jìn)行反演時,模型精度穩(wěn)定在0.76以上,當(dāng)決策樹個數(shù)為60時,效果最好,R2為0.809,均方根誤差RMSE為 0.120。比較發(fā)現(xiàn),在對“天宮二號”數(shù)據(jù)進(jìn)行土壤濕度反演時,隨機(jī)森林的方法模型精度更高,訓(xùn)練效果更好。最后,將隨機(jī)森林算法反演的土壤濕度結(jié)果輸出,制成專題圖。
研究表明,針對大尺度范圍內(nèi)的土壤濕度預(yù)測,比起傳統(tǒng)的土壤質(zhì)量和探針測量法,選用基于機(jī)器學(xué)習(xí)的反演方法可以大大減少人力財力的投入,并且在較短時間內(nèi)獲得較高精度的預(yù)測模型,加快推動了我國農(nóng)、林業(yè)大范圍地理信息預(yù)測的發(fā)展。
參考文獻(xiàn)
[1] SENEVIRATNE S I, CORTI T, DAVIN E L, et al. Investigating soil moisture?climate interactions in a changing climate: a review [J]. Earth science reviews, 2010, 99(3): 125?161.
[2] CUI X, PARKER D J, MORSE A P. The drying out of soil moisture following rainfall in a numerical weather prediction model and implications for malaria prediction in west Africa [J]. Weather & forecasting, 2010, 24(6): 1549.
[3] 劉虹利,王紅瑞,吳泉源,等.基于MODIS數(shù)據(jù)的濟(jì)南市農(nóng)田區(qū)土壤含水量模型[J].中國農(nóng)村水利水電,2012(8):12?15.
[4] AREL I, ROSE D C, KARNOWSKI T P. Deep machine learning: a new frontier in artificial intelligence research frontier [J]. Computational intelligence magazine IEEE, 2010, 5(4): 13?18.
[5] ENTEKHABI D, NJOKU E G, O"NEILL P E, et al. The soil moisture active passive (SMAP) mission [J]. Proceedings of the IEEE, 2010, 98(5): 704?716.
[6] ZHAI H, ZHANG H Y, ZHANG L P, et al. Cloud/shadow detection based on spectral indices for multi/hyperspectral optical remote sensing imagery [J]. ISPRS journal of photogrammetry and remote sensing, 2018, 144: 235?253.
[7] VILLEMEREUIL P D, WELLS J A, EDWARDS R D, et al. Bayesian models for comparative analysis integrating phylogenetic uncertainty [J]. BMC evolutionary biology, 2012, 12(1): 102.
[8] HUANG Y, LING B. A Bayesian network and analytic hierarchy process based personalized recommendations for tourist attractions over the Internet [J]. Expert systems with applications, 2009, 36(1): 933?943.
[9] BIAU G. Analysis of a random forests model [J]. Journal of machine learning research, 2010, 13(2): 1063?1095.
[10] 吳春雷,秦其明,李梅,等.基于光譜特征空間的農(nóng)田植被區(qū)土壤濕度遙感監(jiān)測[J].農(nóng)業(yè)工程學(xué)報,2014,30(16):106?112.
[11] 張娜,張棟良,李立新,等.基于高光譜的區(qū)域土壤質(zhì)地預(yù)測模型建立與評價:以河套灌區(qū)解放閘灌域為例[J].干旱區(qū)資源與環(huán)境,2014(5):67?72.