基于殘差網(wǎng)絡(luò)的怒江泥石流溝谷分類及其預(yù)測

劉存熙，王保云，2

（1.云南師范大學(xué) 數(shù)學(xué)學(xué)院，云南 昆明 650500；2.云南省高校復(fù)雜系統(tǒng)建模及應(yīng)用重點實驗室，云南 昆明 650500）

0 引 言

泥石流是山區(qū)常見的自然災(zāi)害，具有突發(fā)性、群發(fā)性、伴生性、時段性、破壞性等顯著特點。泥石流主要受地形地貌、降水量、植被覆蓋、氣候條件等自然因素和人類活動等因素的影響。災(zāi)害發(fā)生區(qū)域分布不均，類別眾多。近年來，我國泥石流災(zāi)害頻繁，云南怒江流域更是高發(fā)地區(qū)，泥石流一旦發(fā)生常常造成巨大損失，甚至人員傷亡。若能正確預(yù)測泥石流發(fā)生溝谷，提前做好防范，便能減少損失。

深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，是一個復(fù)雜的機器學(xué)習(xí)的算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關(guān)技術(shù)。深度學(xué)習(xí)是一類模式分析方法的統(tǒng)稱，其中卷積神經(jīng)網(wǎng)絡(luò)（CNN）就屬于深度學(xué)習(xí)的范疇。隨著信息技術(shù)的發(fā)展，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于泥石流溝谷的圖像分類及預(yù)測已經(jīng)成為主流的方法之一。實驗中經(jīng)常用到的神經(jīng)網(wǎng)絡(luò)模型主要有LeNet網(wǎng)絡(luò)、AlexNet網(wǎng)絡(luò)、VGG網(wǎng)絡(luò)、GooleNet網(wǎng)絡(luò)、ResNet 網(wǎng)絡(luò)等。當卷積網(wǎng)絡(luò)變得越來越深時，一個新的研究問題出現(xiàn)了：隨著輸入信息或者梯度信息穿越很多層網(wǎng)絡(luò)后，它可能會消失。其中ResNet 網(wǎng)絡(luò)可以更好地提取圖片特征，能夠加深網(wǎng)絡(luò)結(jié)構(gòu)來提高準確率，防止過網(wǎng)絡(luò)退化。

怒江傈僳族自治州是云南省泥石流典型的高發(fā)地區(qū)，頻發(fā)的泥石流災(zāi)害給當?shù)鼐用竦纳顜砹藝乐氐挠绊?。區(qū)別于實地考察、對溝谷特征進行調(diào)查的方法，本文通過深度學(xué)習(xí)的方法，結(jié)合數(shù)字高程模型（DEM）圖與殘差網(wǎng)絡(luò)，通過神經(jīng)網(wǎng)絡(luò)卷積運算對圖像進行特征提取，對怒江流域的泥石流溝谷進行了分類以及預(yù)測，取得了良好的效果并節(jié)約了大量的人力資源。

1 研究數(shù)據(jù)

1.1 研究區(qū)域

如圖1所示，怒江傈僳族自治州位于云南省西北部，該地區(qū)跌宕起伏，北高南低，屬典型的高山峽谷深切割地貌。由于區(qū)域內(nèi)條狀高山與縱谷并列的地形特點、線狀褶皺斷裂與巖帶伴生的地質(zhì)特點以及干濕季分明且濕季明顯長于干季的氣候特點，使其成為云南省泥石流災(zāi)害高發(fā)區(qū)。

圖1 研究區(qū)域

1.2 數(shù)據(jù)處理

數(shù)字高程模型（DEM）是以數(shù)字形式按一定結(jié)構(gòu)組織在一起，表示實際地形特征空間分布的數(shù)字模型，也是地表和地形起伏的數(shù)字描述。本文的數(shù)據(jù)來源是通過查閱《云南減災(zāi)年鑒》以及查找有關(guān)怒江流域泥石流的新聞，按記載信息結(jié)合地圖，確定具體發(fā)生的村和溝谷。通過收集處理數(shù)據(jù)，共得到50 條確定發(fā)生過泥石流的溝谷作為正樣本，同樣的，查找50 條沒有任何發(fā)生泥石流記錄且人員密集居住的溝谷作為負樣本，然后我們使用ArcGIS 軟件從DEM圖中將這些溝谷提取出來。根據(jù)溝谷的面積大小，分別將正負樣本各分為三類，如表1所示，并將溝谷圖像分成了六類。我們將六類數(shù)據(jù)集放入PyCharm 中通過代碼編程，將六類數(shù)據(jù)集分別打上標簽，圖2是從六類樣本中分別抽出的一張溝谷圖像。

表1 圖像分類

圖2 部分溝谷DEM 圖

2 研究方法

殘差神經(jīng)網(wǎng)絡(luò)（ResNet）是由微軟研究院的何愷明、張祥雨、任少卿、孫劍等人提出的，作者對殘差網(wǎng)絡(luò)命名的解釋是：網(wǎng)絡(luò)一層通?？梢钥醋?（），而殘差網(wǎng)絡(luò)的一個殘差塊可以表示為（）=（）＋，也就是（）=（）-，在單位映射中，=便是觀測值，而（）是預(yù)測值，所以（）便對應(yīng)著殘差，因此叫殘差網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)通過引入恒等路徑使權(quán)重參數(shù)有效傳遞與更新，解決了卷積神經(jīng)網(wǎng)絡(luò)層數(shù)加深導(dǎo)致的過擬合、權(quán)重衰減、梯度消失等問題，性能表現(xiàn)優(yōu)異。在進入網(wǎng)絡(luò)前先通過Python 將DEM 圖統(tǒng)一放縮為224×224 的大小，為了減少參數(shù)大小，我們將全連接層設(shè)置一層，本文的殘差網(wǎng)絡(luò)結(jié)構(gòu)框架如圖3所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

根據(jù)VGG 網(wǎng)絡(luò)模型得到啟發(fā)，我們以一個卷積核全為3的Conv7 網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，在該網(wǎng)絡(luò)結(jié)構(gòu)上添加了三層殘差模塊，通過最大池化層縮小圖片大小，最后經(jīng)過一層全連接層。

殘差塊的結(jié)構(gòu)圖如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，網(wǎng)絡(luò)中的參數(shù)也隨著梯度下降在不斷地更新。這樣可能會造成上層網(wǎng)絡(luò)需要不斷調(diào)整來適應(yīng)輸入數(shù)據(jù)分布的變化，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)速度的降低，以及網(wǎng)絡(luò)的訓(xùn)練過程容易陷入梯度飽和區(qū)，減緩網(wǎng)絡(luò)收斂速度等問題。因此我們在殘差塊中引入了批歸一化（Batch Normalization, BN）處理，這樣可以加快模型的收斂速度，并且能夠解決深層網(wǎng)絡(luò)中存在的梯度消失的情況，讓模型變得更加穩(wěn)定。

激活函數(shù)我們選擇了Relu 函數(shù)，Relu 函數(shù)的優(yōu)勢主要有：沒有飽和區(qū)，不存在梯度消失的問題，可以防止梯度彌散；其次Relu 函數(shù)沒有復(fù)雜的指數(shù)運算，計算簡單，效率很高，實際的收斂速度較快。池化層我們選擇使用最大池化層，有效地降低了特征圖的大小，減少了參數(shù)量，去除了冗余信息，簡化了我們的網(wǎng)絡(luò)復(fù)雜度。損失函數(shù)的學(xué)習(xí)率我們設(shè)置為0.001，學(xué)習(xí)率如果過大可能會使損失函數(shù)直接越過全局最優(yōu)點，此時loss 會變得過大，如果學(xué)習(xí)率過小，就會使損失函數(shù)的變化速度變得緩慢，會大大增加網(wǎng)絡(luò)的收斂復(fù)雜度，并且很容易被困在局部最小值或者鞍點，經(jīng)過我們多次實驗對比，得出當學(xué)習(xí)率為0.001 使時取得的效果較為理想。momentum 動量我們設(shè)置為0.9，在對網(wǎng)絡(luò)進行訓(xùn)練時，最開始會對網(wǎng)絡(luò)進行權(quán)值初始化，但這個初始化不可能是最合適的；因此可能就會出現(xiàn)損失函數(shù)在訓(xùn)練的過程中出現(xiàn)局部最小值的情況，而沒有到達全局最優(yōu)的狀態(tài)。momentum的出現(xiàn)可以在一定程度上解決這個問題。當momentum 越大時，就有可能擺脫局部凹區(qū)域，從而進入全局凹區(qū)域，Momentum 主要用于權(quán)值優(yōu)化。

對該模型的進行訓(xùn)練和測試的過程為：每次實驗從100張圖片中隨機選取20 張，并且保證每類圖片至少擁有3 張作為測試集，其余的80 張圖片作為訓(xùn)練集，實驗流程如圖5所示。

圖5 實驗流程圖

3 實驗結(jié)果與分析

本文基于怒江流域的溝谷數(shù)字高程模型（DEM）圖，使用殘差網(wǎng)絡(luò)來對溝谷圖像進行訓(xùn)練，實現(xiàn)分類及預(yù)測。我們設(shè)置了兩組神經(jīng)網(wǎng)絡(luò)模型作為對照試驗，模型一是Conv7網(wǎng)絡(luò)，模型二則是在Conv7 的結(jié)構(gòu)上添加了三層殘差模塊的殘差網(wǎng)絡(luò)，通過結(jié)果的預(yù)測正確率，訓(xùn)練函數(shù)，損失函數(shù)來判斷模型的優(yōu)劣。我們共進行了5 次實驗，實驗結(jié)果較為穩(wěn)定，因此選取5 次實驗的平均正確率作為實驗結(jié)果。重要的參數(shù)有：lr：0.001，epochs：200，batch_size：8。優(yōu)化方法為隨機梯度下降法（SGD），損失函數(shù)為交叉熵損失（Cross Entropy Loss），交叉熵能夠衡量同一個隨機變量中的兩個不同概率分布的差異程度，在機器學(xué)習(xí)中就表示為真實概率分布與預(yù)測概率分布之間的差異。交叉熵的值越小，模型預(yù)測效果就越好。每輪訓(xùn)練后使用測試集進行測試，保存最好的測試結(jié)果。實驗結(jié)果如圖6、圖7所示。

從圖6和圖7可以看出，兩個模型損失函數(shù)盡管有波動，但總體呈下降趨勢，并最終都能達到收斂。兩個模型在訓(xùn)練集上的準確率總體呈上升趨勢，最后的訓(xùn)練正確率都收斂到100%。模型一在測試集上的準確率開始呈上升趨勢，隨后在52.381%和57.143%之間波動，沒有收斂；模型二在測試集上的準確率與在訓(xùn)練集上的準確率變化趨勢基本一致，并最終收斂到60%。結(jié)果表明，在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上添加殘差塊，可以提取更多的圖像特征，取得更高的測試正確率，并有助于實現(xiàn)測試正確率的收斂。本文采用殘差網(wǎng)絡(luò)對怒江流域的溝谷數(shù)字高程模型（DEM）圖進行訓(xùn)練能夠?qū)崿F(xiàn)較好的分類以及預(yù)測，為怒江流域泥石流預(yù)警及防治工作提供理論參考，尤其是在雨季來臨時，做好防范準備。

圖6 模型一的損失值與正確率變化曲線

圖7 模型二的損失值與正確率變化曲線

4 結(jié) 論

泥石流的形成受多種因素的影響。通過對卷積神經(jīng)網(wǎng)絡(luò)添加殘差模塊能更好地提取泥石流溝谷圖像的特征，防止過擬合現(xiàn)象，提高模型預(yù)測的正確率。利用殘差網(wǎng)絡(luò)對怒江流域的溝谷數(shù)字高程模型（DEM）圖進行分類和預(yù)測是一種便捷有效的方法，但該方法仍存在很多不足之處，如DEM圖只能體現(xiàn)溝 谷本身的特征，無法反映溝谷上的植被覆蓋情況，而植被的覆蓋情況和泥石流的發(fā)生有著密切的關(guān)系。其次，樣本數(shù)量較少，容易出現(xiàn)偶然性，精度較差。最后本文的殘差神經(jīng)網(wǎng)絡(luò)仍有很多改進的地方，卷積神經(jīng)網(wǎng)絡(luò)需要優(yōu)化結(jié)構(gòu)設(shè)計，尋找更高效的神經(jīng)元和結(jié)構(gòu)單元。