深度學(xué)習(xí)技術(shù)應(yīng)用于自動識別崩塌滑坡體初探

何 欣，賀占勇

深度學(xué)習(xí)技術(shù)應(yīng)用于自動識別崩塌滑坡體初探

何 欣，賀占勇

（四川省國土空間生態(tài)修復(fù)與地質(zhì)災(zāi)害防治研究院，成都 610081）

初步總結(jié)了基于無人機航拍影像使用深度學(xué)習(xí)技術(shù)對崩塌滑坡體進行自動識別的方法、效果以及存在問題，對深度學(xué)習(xí)技術(shù)基于無人機航拍影像自動識別崩塌滑坡體的可行性進行了研究，采用多尺度移動窗方法整合影像分類器以實現(xiàn)目標(biāo)對象的自動識別。希望本文研究總結(jié)的深度學(xué)習(xí)技術(shù)應(yīng)用于地質(zhì)災(zāi)害隱患影像處理領(lǐng)域的可行性和困難能夠供同業(yè)人員借鑒。

崩塌體；滑坡體；無人機影像；深度學(xué)習(xí)技術(shù)；自動識別

本研究對深度卷積神經(jīng)網(wǎng)絡(luò)用于崩塌、滑坡體影像自動識別進行了探索。深度學(xué)習(xí)技術(shù)近年來取得突破性進步，使計算機可有效將非結(jié)構(gòu)化影像數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化特征信息。應(yīng)用這項技術(shù)的機器學(xué)習(xí)模型在多個領(lǐng)域上已經(jīng)達到人類水平 (Goodfellow, Bengio, & Courville, 2016)。無人航空器小型化、智能化和經(jīng)濟化，使得航空攝影和遙感可以較低成本獲得更多高質(zhì)量的航空影像數(shù)據(jù)和遙感數(shù)據(jù)。

表1 研究樣本分布、數(shù)據(jù)表

本文初步總結(jié)基于無人機航拍影像使用深度學(xué)習(xí)對崩塌滑坡體進行自動識別方法、效果以及存在問題。

1 數(shù)據(jù)和方法

1.1 工作數(shù)據(jù)概括

研究樣本，獲取無人機拍攝45處地質(zhì)災(zāi)害隱患點4774張影像。分布在7個縣18處滑坡和27處崩塌（表1）。

1.2 技術(shù)路線

研究的技術(shù)工作流程由三個部分組成：①影像數(shù)據(jù)的人工標(biāo)注和分類；②影像分類器的建立和訓(xùn)練；③自動識別器的建立。

針對小樣本狀況，選擇“融合圖像分類器和多尺度移動窗”技術(shù)方案。使用深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)化圖像特性提取，訓(xùn)練影像分類器，對多尺度移動窗生成信號進行疊加，給出識別結(jié)果（圖1）。

圖1 技術(shù)路線圖

1.3 影像數(shù)據(jù)的人工標(biāo)注和分類

生成用于監(jiān)督式機器學(xué)習(xí)的標(biāo)注數(shù)據(jù)集。專業(yè)地質(zhì)人員選取典型航拍影像進行人工判讀，使用覆蓋目標(biāo)對象全部特征最小矩形框?qū)Ρ浪?、滑坡體進行標(biāo)注，裁切標(biāo)注區(qū)影像。再使用計算機視覺方法對人工標(biāo)注的影像、其他影像進行比對，確定被人工標(biāo)注覆蓋區(qū)域；對未覆蓋區(qū)域隨機裁切影像。

表2 數(shù)據(jù)生產(chǎn)的結(jié)果

專業(yè)地質(zhì)人員對裁切影像按照“崩塌”、“滑坡”、“破碎山體”、“人類活動”、“其它”等組別進行分類。整理分類結(jié)果用于分類器訓(xùn)練的標(biāo)注數(shù)據(jù)集。

1.4 影像分類器的建立和訓(xùn)練

建立、訓(xùn)練針對崩塌滑坡體影像分類器。本研究使用以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的圖像特征提取器結(jié)合淺層分類器的方式建立分類器。

選擇在ImageNet比賽中表現(xiàn)良好的神經(jīng)網(wǎng)絡(luò)模型，對標(biāo)注數(shù)據(jù)集的圖像特征進行提取。權(quán)衡性能、復(fù)雜度和新穎性，選擇 MobileNet v2 (Sandler, Howard, Zhu, Zhmoginov, & Chen, 2018)，Xception (Chollet, 2016)和 InceptionResNet v2 (Szegedy, Ioffe, Vanhoucke, & Alemi, 2016)為備選編碼器。因為本研究規(guī)模，淺層分類器種類不決定分類效果，研究基于標(biāo)注數(shù)據(jù)數(shù)據(jù)集的圖像特征，使用AdaBoost (Freund, Iyer, Schapire, & Singer, 2003)建立和訓(xùn)練影像分類器。

1.5 自動識別器的建立

建立自動識別器，可在航拍影像中將崩塌、滑坡體識別出來。本研究使用多尺度移動窗建立自動識別器。設(shè)定移動窗尺寸和移動步長，按設(shè)定輸入影像范圍內(nèi)移動窗口。在每個位置上，使用該窗口對輸入影像進行截取，使用影像分類器對截取影像進行類別判定。將影像不同位置類別判定結(jié)果作為信號，根據(jù)疊加信號強度對目標(biāo)對象及其在影像中位置進行判定。

項目使用128、256、512三類尺寸移動窗，移動步長為移動窗尺寸的50%。自動識別信號單元為64x64正方形。為了過濾噪聲，使用信號閾值n，即一信號單元需至少n個陽性窗口有交集才能被激活。使用‘崩塌’或‘滑坡’作信號源，設(shè)定信號閾值為2；使用‘破碎山體’作為信號源時，設(shè)定信號閾值為4。

表 3 不同圖像特征編碼在分類任務(wù)上的表現(xiàn)

2 結(jié)果和分析

2.1 標(biāo)注數(shù)據(jù)數(shù)據(jù)集

本研究共產(chǎn)生1766張人工標(biāo)注、分類的影像用于監(jiān)督式機器學(xué)習(xí)。在“核心類別”：滑坡、崩塌、其他、破碎山體、人類活動類型基礎(chǔ)上，將涉及類別交叉或判定困難情況進行了分離（表2）。

表4 分類器在不同類別影像上的表現(xiàn)（測試組）

2.2 影像分類器

為控制數(shù)據(jù)量影響，本研究選擇“破碎山體”、“人類活動”、“其他”三個類別作分析起點。這三類別覆蓋研究對象主要特征，又保持其間距離。

表 3展示三種編碼及監(jiān)督分類結(jié)果。三種編碼方式均有良好表現(xiàn)。綜合考慮模型大小和表現(xiàn)，本研究選擇 Xception為主力編碼器。

值得注意，沒有崩塌、滑坡兩個重要基礎(chǔ)特征類別。原因在采集可以清晰反映崩塌、滑坡全部圖像特征數(shù)據(jù)量太少（崩塌52張和滑坡56張），且變化不足。引入崩塌、滑坡類別后，分類器容易和其它組別（山體裂縫影像、農(nóng)地影像）混淆；在缺失部分圖像特征的崩塌影像和滑坡影像表現(xiàn)也較差（表 4）。綜合而言，分類器在訓(xùn)練集和測試集表現(xiàn)分別為0.999 和 0.919，仍處于可以接受的水平。

2.3 自動識別器

為定量地衡量人工標(biāo)注和自動識別間差異，本研究使用準(zhǔn)確率和回溯率評價。準(zhǔn)確率：一個對象同時被人工標(biāo)注和自動識別所認定，視為準(zhǔn)確（同一）。將人工標(biāo)注區(qū)自動識別信號總面積與人工標(biāo)注區(qū)總面積之比作為回溯率。此外，為衡量自動識別信號信噪比，還計算了人工標(biāo)注區(qū)和自動識別區(qū)交集的面積和并集的面積比值IOU值。

圖2 信號強度和信噪比

圓點為滑坡影像，叉點為崩塌影像

多數(shù)情況，使用“滑坡”信號可以有效地識別滑坡體?；麦w和崩塌體在“滑坡”信號上呈現(xiàn)不同模式。對滑坡體“滑坡”信號強度和IOU值呈現(xiàn)一定程度正相關(guān)性。對于崩塌體，“破碎山體”比“崩塌”表現(xiàn)更有效信號（圖2）。

崩塌體影像自動識別時信號偏弱與拍攝視角有關(guān)。傾斜視角較垂直視角下崩塌體信號更強（圖3，信噪比也高。垂直視角下，弱信號情況多，還存在信號較強但信噪比低情況。

幾點體會：

（1）自動識別和人工標(biāo)注結(jié)果呈現(xiàn)一致性。使用“破碎山體”為信號源可有效識別崩塌體，使用‘滑坡’作信號源可有效地識別滑坡體。

（2）使用傾斜視角拍攝影像可獲得較好效果。崩塌體更易受拍攝視角影響，使用垂直影像識別會有明顯負面影響。對滑坡體使用垂直影像會增加信號的不確定性。

（3）受多尺度移動窗技術(shù)制約，自動識別結(jié)果較于人工標(biāo)注有一定偏移，地質(zhì)災(zāi)害隱患更傾向于山腳一側(cè)。

圖3 拍攝視角的影響

圓點為傾斜視角，叉點為垂直視角

（4）值得注意的是，本研究使用AdaBoost基于人工標(biāo)注影像在“破碎山體”，“崩塌”和“滑坡”三種信號的信息強度上的模式建立分類器以區(qū)分崩塌體影像和滑坡體影像。訓(xùn)練組和測試組正確率分別達0.96和0.92的水平。絕大多數(shù)錯誤出現(xiàn)在人工標(biāo)注有誤的影像上。

3 討論和結(jié)論

3.1 討論

深度卷積神經(jīng)網(wǎng)絡(luò)用于崩塌滑坡體影像自動識別基于圖像特征，深度學(xué)習(xí)模型可有效從無人機拍攝山體影像中識別“破碎山體”、“人類活動區(qū)域”，在一定程度上識別“崩塌”和“滑坡”區(qū)域。

實際應(yīng)用最有效的監(jiān)督式學(xué)習(xí)，需要大量標(biāo)注數(shù)據(jù)，獲取足夠量標(biāo)注數(shù)據(jù)成本高昂。原始影像數(shù)據(jù)采集，后續(xù)人工標(biāo)注成本測算，有經(jīng)驗地質(zhì)工作者在一工作日僅能標(biāo)注100張左右影像。

受標(biāo)注數(shù)據(jù)量限制，本研究未使用YOLO式模型，使用低效多尺度移動窗對目標(biāo)對象的自動識別模型。對崩塌滑坡體由于目標(biāo)對象影像中無模版化幾何比例，需比其他目標(biāo)對象更多標(biāo)注數(shù)據(jù)。

崩塌、滑坡體最適合“語意分割式標(biāo)注”（勾勒出各目標(biāo)對象輪廓）。采用人工標(biāo)注方式時間成本至少是矩形框標(biāo)注的數(shù)十倍。

3.2 結(jié)論

本研究基于深度卷積神經(jīng)網(wǎng)絡(luò)分類器和建立在分類器基礎(chǔ)上的識別器組成。識別器以多尺度移動窗的方式建立，在目標(biāo)類別上的信噪比以IOU計平均可以達到20%（滑坡）和40%（崩塌）。本研究表明，在地質(zhì)災(zāi)害隱患識別應(yīng)用深度學(xué)習(xí)技術(shù)是基本可行的。最大的制因素是標(biāo)注數(shù)據(jù)的數(shù)量和質(zhì)量。

Goodfellow, I., Bengio, Y., & Courville, A. 2016. Deep Learning: Adaptive Computation and Machine Learning. Cambridge, Massachusetts: MIT Press.

歐陽朝軍. 2018. 成都山地所采用新技術(shù)提取北京房山區(qū)崩滑體動力學(xué)特征. Retrieved from www.imde.cas.cn/yjld_2015/201808/ t20180814_5055778.html

Chen, L., Zhu, Y., Papandreou, G., Schroff, F., & Adam, H. 2018. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. arXiv:1802.02611 [cs.CV].

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. 2015. You Only Look Once: Unified, Real-Time Object Detection. arXiv:1506.02640 [cs.CV].

Tzutalin. 2015. LabelImg. Retrieved from Git code: https://github.com/tzutalin/labelImg

Lowe, D. 1999. Object recognition from local scale-invariant features. Proceedings of the Seventh IEEE International Conference on Computer Vision, (pp. 1150-1157). Kerkyra.

Lowe, D. 2004. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 91–110.

Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L. 2018. MobileNetV2: Inverted Residuals and Linear Bottlenecks. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4510-4520.

Chollet, F. 2016. Xception: Deep Learning with Depthwise Separable Convolutions. arXiv:1610.02357 [cs.CV].

Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. 2016. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. arXiv:1602.07261 [cs.CV].

Freund, Y., Iyer, R., Schapire, R., & Singer, Y. 2003. An Efficient Boosting Algorithm for Combining Preferences. Journal of Machine Learning Research, 933-969.

A Preliminary Discussion on the Application of Deep Learning Technology to the Automatic Identification of Landslide

HE Xin and HE Zhan-yong

(Sichuan Research Institute of Land Space Ecological Restoration and Geohazard Prevention, Chengdu 610081)

This paper has a discussion on the method, effect and existing problems of automatic identification of landslide body based on aerial drone imagery and by means of deep learning technology and makes an approach to the feasibility of applying this automatic identification method.

landslide body; aerial drone imagery; deep learning technology; automatic identification

TP18；P641.21；P642.22

A

1006-0995（2021）03-0508-04

10.3969/j.issn.1006-0995.2021.03.032

2020-11-02

何欣（1982— ），男，成都人，工程師，研究方向：大數(shù)據(jù)和統(tǒng)計學(xué)