地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺建設(shè)

馬 娟，張鳴之，韓 冰，黃 喆，石愛軍，薛躍明

(中國地質(zhì)環(huán)境監(jiān)測院，北京 100081)

0 引言

傳統(tǒng)地質(zhì)災(zāi)害野外調(diào)查通常使用的是地質(zhì)錘、羅盤和放大鏡“三大件”，在地質(zhì)災(zāi)害調(diào)查的過程中經(jīng)常遇到無法到達或不便到達災(zāi)害現(xiàn)場重點及核心區(qū)域的情況，一般通過目視法進行災(zāi)害點調(diào)查，缺乏有效數(shù)據(jù)支撐。為了改變這種受制約的調(diào)查方式，中國地質(zhì)環(huán)境監(jiān)測院李媛博士提出了新時期地質(zhì)災(zāi)害調(diào)查“新三大件”，微型無人機、野外數(shù)據(jù)采集PAD和云平臺[1]。通過微型無人機(Micro unmanned aerial vehicle)快速獲取地質(zhì)災(zāi)害體及其周邊小范圍厘米級高精度遙感影像，提高了地質(zhì)災(zāi)害邊界范圍劃分、變形部位、承災(zāi)體類型和空間分布等野外調(diào)查的工作精度和效率，再結(jié)合早期遙感影像數(shù)據(jù)，可以對地質(zhì)災(zāi)害體形變等進行時空對比，為迅速調(diào)查清楚地質(zhì)災(zāi)害體的孕災(zāi)環(huán)境，提供客觀的數(shù)據(jù)支撐[2-4]。

隨著無人機硬件系統(tǒng)性能的不斷提升、新型傳感器技術(shù)的快速發(fā)展，海量遙感圖像數(shù)據(jù)存儲，自動、高速、高質(zhì)量的處理以及web端人機交互服務(wù)成為UAV遙感在地質(zhì)災(zāi)害調(diào)查應(yīng)用的瓶頸[5]。筆者所在的團隊在數(shù)次處理無人機調(diào)查數(shù)據(jù)時發(fā)現(xiàn)，現(xiàn)有的無人機處理數(shù)據(jù)存在如下問題：

(1)數(shù)據(jù)處理過程繁瑣。通常需要Smart3D、ArcGIS等專業(yè)軟件配合使用，才能生成數(shù)據(jù)使用部門所需的成果格式和完成一些基本幾何量的量算工作。

(2)數(shù)據(jù)處理器配置要求高。由于生成的數(shù)據(jù)產(chǎn)品中相當(dāng)大的一部分是三維數(shù)據(jù)，需要進行紋理貼片工作，這對處理機器的GPU、CPU能力是一個挑戰(zhàn)，需要配備專門的工作站來進行數(shù)據(jù)處理。

(3)數(shù)據(jù)量處理耗時長。處理一個面積約5 km2的泥石流溝數(shù)據(jù)，照片數(shù)量1 465張，2臺工作站并行計算，配置在CPU1.7 GHZ(2處理器)，32 G內(nèi)存，顯卡NVIDIA QuadroM4000GPU，生成DOM、DSM和三維模型，耗時長達10天。

針對目前地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)處理存在問題，筆者所在團隊依托國家地質(zhì)調(diào)查計劃項目“全國地質(zhì)災(zāi)害信息系統(tǒng)建設(shè)與服務(wù)”，基于云計算[6-7]、GIS[8]及大數(shù)據(jù)管理[9]等技術(shù)，研發(fā)出一套地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺，該平臺提供由地質(zhì)災(zāi)害數(shù)據(jù)采集、存儲、顯示、分析、集成到產(chǎn)品數(shù)據(jù)發(fā)布一體化無人機數(shù)據(jù)處理云平臺解決方案，在四川雅安、陜西鎮(zhèn)安一些重要地質(zhì)災(zāi)害點調(diào)查中進行了試點運用，取得了較好的效果。

1 設(shè)計原則

地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺的設(shè)計原則首先考慮的是大數(shù)據(jù)背景，無人機在參與地質(zhì)災(zāi)害調(diào)查的過程中生產(chǎn)出的數(shù)據(jù)量是前所未有的，平均調(diào)查一個地質(zhì)災(zāi)害點(1 km2)能產(chǎn)生1G的遙感圖像數(shù)據(jù)，生成2G的數(shù)據(jù)產(chǎn)品。設(shè)計開發(fā)高性能的地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺是海量遙感圖像數(shù)據(jù)的計算、存儲和在線瀏覽的關(guān)鍵。其次云平臺要方便易用、安全可靠、性能穩(wěn)定，具備良好的擴展性和兼容性，它所生產(chǎn)的數(shù)據(jù)產(chǎn)品能夠容易為其他系統(tǒng)調(diào)用[10]。

2 總體架構(gòu)與功能實現(xiàn)

根據(jù)本次云平臺的需求分析及設(shè)計原則，建立了地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺，為無人機數(shù)據(jù)全流程一鍵式處理提供了集大數(shù)據(jù)存儲、管理、處理、服務(wù)于一體的工作平臺。

2.1 總體架構(gòu)

地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺的總體架構(gòu)如圖 1所示。

圖1 云平臺總體架構(gòu)圖Fig.1 Diagram of the cloud platform framework

(1)數(shù)據(jù)采集層

該層以微型無人機為采集端，使用自主研發(fā)的微型規(guī)劃軟件，即后文所提到的微型無人機航線控制系統(tǒng)進行具有地理坐標(biāo)信息的無人機影像數(shù)據(jù)、飛行視頻數(shù)據(jù)采集。

(2)數(shù)據(jù)傳輸層

主要包括衛(wèi)星通信網(wǎng)絡(luò)、CDMA/GPRS網(wǎng)絡(luò)以及4G通信網(wǎng)。充分利用已建成的國土資源衛(wèi)星網(wǎng)，依托公共網(wǎng)絡(luò)資源，搭建地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)云平臺的數(shù)據(jù)傳輸網(wǎng)絡(luò)，實現(xiàn)無人機采集數(shù)據(jù)從地面控制端至云計算中心的數(shù)據(jù)傳輸。

(3)數(shù)據(jù)處理層

本次采用的云資源是青云，通過計算虛擬化、軟件定義網(wǎng)絡(luò)和軟件定義存儲來管理調(diào)度相應(yīng)的IT基礎(chǔ)資源;通過P2P集群架構(gòu)和基于社區(qū)的機器人技術(shù)來實現(xiàn)對資源申請的自動調(diào)配對故障的自動化處理；所有的基礎(chǔ)架構(gòu)服務(wù)都以API方式進行訪問[11]。該層主要實現(xiàn)空三加密、影像密集匹配、紋理映射等數(shù)據(jù)計算，以及數(shù)據(jù)切片、場景索引、DEM擬合、3DTile轉(zhuǎn)換等服務(wù)。

(4)數(shù)據(jù)服務(wù)發(fā)布層

主要是實現(xiàn)二、三維數(shù)據(jù)產(chǎn)品的在線瀏覽、發(fā)布以及下載，并支持航線、任務(wù)的在線管理。

無人機調(diào)查工作流程圖如圖2所示，微型無人機平臺配備圖像采集、傳輸設(shè)備，進行空中圖像數(shù)據(jù)采集，然后通過便攜衛(wèi)星終端、車載衛(wèi)星指揮系統(tǒng)或TD-LTE和FDD-LTE網(wǎng)絡(luò)將數(shù)據(jù)上傳至云平臺，經(jīng)過一鍵式云平臺計算處理后將生成的數(shù)據(jù)產(chǎn)品廣播或推送至指揮中心顯示平臺、野外移動應(yīng)用終端以及各類辦公系統(tǒng)，同時提供在線瀏覽及產(chǎn)品下載。

圖2 無人機調(diào)查工作流程圖Fig.2 Working process of unmanned aerial vehicle survey

2.2 功能實現(xiàn)

地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺核心的功能主要有數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)發(fā)布，系完全自主研發(fā)。功能設(shè)計如圖3所示。

(1)數(shù)據(jù)管理

數(shù)據(jù)管理功能主要是指用圖解的方式對用戶下所有數(shù)據(jù)情況統(tǒng)計，使得用戶及時全面掌握數(shù)據(jù)處理完成情況，實現(xiàn)對數(shù)據(jù)實時控制和管理。其中用柱狀圖的方式顯示災(zāi)害點數(shù)量、圖片數(shù)量、錄像數(shù)量，用餅狀圖的方式顯示災(zāi)害點處理狀態(tài)數(shù)量統(tǒng)計，待處理、排隊中、正在處理、處理完成、處理錯誤每種狀態(tài)數(shù)量。

(2)數(shù)據(jù)處理

數(shù)據(jù)處理功能是云平臺的主體部分，主要是指用戶便捷實現(xiàn)自動化全流程一站式數(shù)據(jù)處理，用戶可在數(shù)據(jù)處理過程中查看某處災(zāi)害點數(shù)據(jù)的處理狀態(tài)。處理過程包括，添加災(zāi)害點、上傳帶有地理坐標(biāo)信息的無人機拍攝影像、選擇需要生成的產(chǎn)品類型、利用空中三角測量加密技術(shù)、圖像拼接技術(shù)等，自動進行空三加密、影像密集匹配、紋理映射，生成四種數(shù)據(jù)產(chǎn)品正射影像圖、數(shù)字表面模型、三維模型、點云模型，期間無需任何人工干預(yù)，全程自動化，極大簡化了數(shù)據(jù)處理流程。

(3)數(shù)據(jù)發(fā)布

數(shù)據(jù)發(fā)布功能是指數(shù)據(jù)成果的在線瀏覽、下載及量算功能。數(shù)據(jù)處理完成后自動生成一份處理報告，生成的處理報告、正射影像圖、三維模型均可在線查看和下載，其中三維模型還提供災(zāi)害體幾何量輔助量算、剖面線繪制、體積估算等功能，極大方便了用戶進行數(shù)據(jù)分析。

圖3 功能模塊框圖Fig.3 The diagram of function module

3 云平臺開發(fā)與應(yīng)用

3.1 云服務(wù)器構(gòu)建

本次研發(fā)使用的是青云(QingCloud)，共配置三臺虛擬主機及4個節(jié)點處理引擎，分別用于部署Web服務(wù)、iTelluro Server服務(wù)、文件服務(wù)及圖形處理引擎，青云具有如下優(yōu)點[12-13]：

(1)高度可擴展能力

青云平臺提供了真正意義上的水平擴展能力，沒有中心節(jié)點，可以按需增加計算資源和存儲資源。

(2)動態(tài)資源調(diào)整

通過虛擬化技術(shù)可以實現(xiàn)硬件資源的整合池化，青云平臺所分配的計算、存儲和網(wǎng)絡(luò)資源都可以根據(jù)需要動態(tài)地調(diào)整，從而達到整個云計算平臺資源的平衡， 最合理地利用硬件計算資源， 提高IT資源的整體使用率。

(3)數(shù)據(jù)安全

青云平臺從多角度提供了數(shù)據(jù)安全，不僅是私有網(wǎng)絡(luò)的二層隔離，角色授權(quán)、操作日志、訪問日志等機制全方位保護云平臺的安全性。

(4)最可靠的平臺

青云平臺從底層就提供了數(shù)據(jù)的多副本，當(dāng)服務(wù)器出現(xiàn)硬件故障時，青云平臺可以將該服務(wù)器上的負載自動遷移到其他可用的服務(wù)器上，保障應(yīng)用負載在硬件失敗時自動恢復(fù)。青云平臺內(nèi)部的物理網(wǎng)絡(luò)都是雙冗余配置，以確保物理網(wǎng)絡(luò)連接的高可用。

節(jié)點建議配置如下：

GPU類型：NVIDIA Quadro M4000

CUDA核心：1 664個

顯存類型：GDDR5

顯存容量：8 GB

顯存位寬：256 bit

3D API：DirectX 12，OpenGL4.5

CPU核數(shù)：四核及以上；

內(nèi)存：64 G

硬盤容量：512 G以上SSD

3.2 云數(shù)據(jù)庫MongoDB開發(fā)

無人機數(shù)據(jù)管理云平臺采用MongoDB數(shù)據(jù)庫。它是一種高性能、可擴展、易部署基于分布式文件存儲的數(shù)據(jù)庫；性能高，集群方便，而且以BSON結(jié)構(gòu)存儲，和Node.js完美集成。實時消息模塊用的emqtt，便于用于及時的了解數(shù)據(jù)的當(dāng)前狀態(tài)。除最大限度地保證您的數(shù)據(jù)安全外，還提供了 Replica Set 節(jié)點、自動備份、在線擴容、監(jiān)控告警等管理功能。數(shù)據(jù)庫核心表 E-R 圖如圖 4所示。

圖4 核心數(shù)據(jù)表E-R圖Fig.4 E-R diagram of core data tables

3.3 云平臺開發(fā)

無人機數(shù)據(jù)管理云平臺是一個單頁應(yīng)用，采用前后端分離的思想進行開發(fā)的，服務(wù)端只提供restful api服務(wù)，便于移動端集成，前端通過調(diào)用api接口直接進行數(shù)據(jù)渲染。前端框架用的是一個MVC(或者MVVM)框架——angular.js,服務(wù)端是構(gòu)建在Node.js之上的，服務(wù)端MVC框架采用的strongloop。

3.4 微型無人機航線規(guī)劃系統(tǒng)開發(fā)

微型無人機航線控制系統(tǒng)(IFlier)是在大疆無人機IOS/Android 系統(tǒng)的 DJI SDK 開發(fā)套件的基礎(chǔ)上開發(fā)的，適用于大疆微型無人機系列機型進行小范圍野外地質(zhì)災(zāi)害調(diào)查。目前實現(xiàn)功能包括自定義航線、定點拍照實時圖傳、垂直攝影、傾斜攝影、拍照及快速拼圖。通過旋轉(zhuǎn)微型無人機機身及鏡頭角度實現(xiàn)其傾斜攝影功能。微型無人機航線控制系統(tǒng)簡單易學(xué)，在空曠場地，空中無障礙物的情況下，規(guī)劃好航線，一鍵起飛，一鍵降落。微型無人機航線控制系統(tǒng)界面如圖5所示。

圖5 航線規(guī)劃系統(tǒng)界面Fig.5 Interface of route planning system

3.5 應(yīng)用試驗

紅巖子滑波位于四川省漢源縣大渡河右岸與西街河交匯帶靠上游側(cè)的谷坡上，距瀑布溝電站壩址約23 km，漢源湖(瀑布溝電站水庫)環(huán)湖路從滑坡體中下部穿過。據(jù)資料，紅巖子滑坡在漢源湖蓄水前處于基本穩(wěn)定狀態(tài)，蓄水后則在每年水位快速下降時期發(fā)生顯著變形。瀑布溝電站于2010年后半年開始蓄水，11月開始發(fā)電，紅巖子滑坡在2011年2月開始發(fā)生變形，整體向下運動1～2 m；2012年水庫水位下降期間，該滑坡又發(fā)生較明顯的變形；2013年和2014年的3～5月，該滑坡最大位移量達到約2 m，屬于重點監(jiān)控對象[14]。

筆者所在團隊對該滑坡進行微型無人機調(diào)查試點工作，使用的是“大疆精靈3P”微型無人機，配合自主研發(fā)的 “IFlier”航線控制系統(tǒng)，進行高空無人機傾斜攝影測量，共飛行6架次，處理無人機拍攝影像286張，對無人機數(shù)據(jù)全流程自動化云平臺處理，共耗時5小時，生成的數(shù)據(jù)產(chǎn)品包括正射影像圖(圖6)、數(shù)字表面模型和三維模型。平臺輔助量算結(jié)果如下：紅巖子滑坡平均坡度約20°，前緣位于瀑布溝電站水庫消落帶，高程約810 m，后緣為古滑坡形成的陡壁，高程約950 m，滑坡長約600 m，寬約400 m，地形剖面上呈階梯狀(圖7)，滑體最厚部位厚度超過50 m，平均厚度30 m，據(jù)體積量算，滑坡體積約7.3×106m3(圖8)，為一大型滑坡，量算數(shù)據(jù)與實地人工調(diào)查結(jié)果完全一致。

圖6 DOM在線查看Fig.6 DOM online view

圖7 基于三維模型剖面線自動繪制Fig.7 Automatic drawing of section lines based on 3D model

圖8 基于三維模型自動體積量算Fig.8 Automatic volume measuring based on 3D model

4 結(jié)語

地質(zhì)災(zāi)害無人機調(diào)查數(shù)據(jù)管理云平臺以地質(zhì)調(diào)查人員的手機、PAD與無人機融合為云端設(shè)備載體，支持處理具有地理坐標(biāo)信息的無人機影像數(shù)據(jù)，“云端”聯(lián)網(wǎng)實時上傳數(shù)據(jù)，利用云平臺計算中心超強的運算能力，高性能GPU配置，生產(chǎn)數(shù)字表面模型(DSM)、大比例尺正射影像圖(DOM)、三維模型等數(shù)據(jù)產(chǎn)品，并支持產(chǎn)品在線查看、下載、及三維模型的幾何量量算，極大減少了地質(zhì)災(zāi)害調(diào)查人員的野外調(diào)查工作量，為地質(zhì)災(zāi)害調(diào)查提供了詳實的數(shù)學(xué)依據(jù)。該平臺具體優(yōu)勢如下：

(1)本文所實現(xiàn)的地質(zhì)災(zāi)害調(diào)查無人機數(shù)據(jù)管理云平臺在擴展性、穩(wěn)定性和安全性方面優(yōu)于傳統(tǒng)工作站計算方式。基于青云云服務(wù)器搭建的無人機數(shù)據(jù)管理云平臺，解決了原有無人機數(shù)據(jù)處理過程繁瑣，時間長等難題。

(2)自主研發(fā)了一款針對大疆系列微型無人機，可裝載在手機和PAD上的航線控制系統(tǒng)，無人機作為云端設(shè)備載體，通過旋轉(zhuǎn)機身和鏡頭的方式達到傾斜攝影測量的目的。

(3)四川紅巖子滑坡無人機調(diào)查的成功試點，證明地質(zhì)災(zāi)害調(diào)查無人機數(shù)據(jù)管理云平臺能夠滿足地質(zhì)災(zāi)害無人機調(diào)查的業(yè)務(wù)需求，生產(chǎn)出1∶1 000正射影像圖以及三維模型，并能夠?qū)崿F(xiàn)三維模型在線量算，剖面繪制，具有實時性、智能性和準(zhǔn)確性。

武漢地大信息工程有限公司提供了相關(guān)材料和技術(shù)支持，在此一并致謝！