無(wú)人機(jī)影像應(yīng)急處理技術(shù)在尼泊爾地震中的應(yīng)用

姚富山 韓瑞丹

（河南建筑職業(yè)技術(shù)學(xué)院，河南鄭州 450064）

引言

重大自然災(zāi)害往往造成災(zāi)區(qū)通訊中斷和道路交通破壞，因此獲取災(zāi)情成為自然災(zāi)害搶險(xiǎn)救災(zāi)的首要問(wèn)題。無(wú)人機(jī)以其機(jī)動(dòng)、快速、經(jīng)濟(jì)等優(yōu)勢(shì)，在災(zāi)害應(yīng)急領(lǐng)域的應(yīng)用日益突出。但受自身?xiàng)l件限制，無(wú)人機(jī)影像數(shù)據(jù)存在畸變大、姿態(tài)差等問(wèn)題，若使用傳統(tǒng)的航空攝影測(cè)量理論和技術(shù)[1]進(jìn)行應(yīng)急情況下的處理，耗時(shí)長(zhǎng)效率低難以滿(mǎn)足時(shí)效性要求。而SfM[2](Structure form Motion)算法利用立體測(cè)量的基本原理，從靜態(tài)序列圖像中提取目標(biāo)物的三維坐標(biāo)進(jìn)行場(chǎng)景重構(gòu)，對(duì)相機(jī)的拍攝位置、攝影焦距沒(méi)有特殊要求且無(wú)需給定初始值和控制點(diǎn)數(shù)據(jù)，因此利用簡(jiǎn)單的無(wú)人機(jī)測(cè)量平臺(tái)采集地面的影像就能獲取災(zāi)區(qū)高質(zhì)量的三維地形數(shù)據(jù)。

本文以2015年尼泊爾樟木震區(qū)無(wú)人機(jī)影像為例，使用SfM算法通過(guò)特征提取，影像匹配及三維重建得到震區(qū)點(diǎn)云數(shù)據(jù)，將點(diǎn)云濾波并構(gòu)網(wǎng)得到相對(duì)精確的數(shù)字高程模型(DEM)，并通過(guò)數(shù)字校正得到災(zāi)區(qū)的正射影像(DOM)?；谏鲜鰯?shù)據(jù)進(jìn)行水文分析、地質(zhì)災(zāi)害點(diǎn)提取及災(zāi)區(qū)影像解譯等工作，以為災(zāi)情調(diào)查、災(zāi)害損失快速評(píng)估及制定救災(zāi)決策提供有益借鑒。

1 基于SfM算法的重建流程

基于SfM重建流程主要包括三個(gè)步驟，首先提取影像特征點(diǎn)，然后進(jìn)行影像的匹配，最后利用SfM算法進(jìn)行運(yùn)動(dòng)與結(jié)構(gòu)重建。

1.1 基于輔助信息和分塊特征提取

特征點(diǎn)提取的方法有Harris角點(diǎn)、SIFT和SURF等[3]，在寬基線(xiàn)條件下SIFT算子在旋轉(zhuǎn)、尺度縮放、光照不變和高斯模糊等衡量參數(shù)上優(yōu)點(diǎn)明顯[4]，且具有很好的魯棒性。但SIFT算法主要針對(duì)低分辨、小像幅的影像，在處理高分辨率無(wú)人機(jī)影像時(shí)易出現(xiàn)內(nèi)存溢出等問(wèn)題，為此可以將原始影像分成大小均等的子塊且保證相鄰子快之間有一定的重疊，然后在每一子塊上建立尺度空間，檢測(cè)極值點(diǎn)，提取特征點(diǎn)；最后合并子塊，將特征點(diǎn)位置轉(zhuǎn)換到原始影像上。

而且在得知無(wú)人機(jī)GPS和IMU數(shù)據(jù)得到粗略的位置、姿態(tài)信息的情況下，可以獲取每幅影像近似的投影矩陣信息[5]。利用這些輔助信息將無(wú)人機(jī)影像的四個(gè)圖像角點(diǎn)投影到與地面平行且GPS高程值最大的平面，判斷投影四邊形區(qū)域是否有重疊，如果有就認(rèn)為相鄰的兩幅影像(記為i，j圖像)具有匹配關(guān)系，并將加入集合S。雖然得到的匹配關(guān)系S只是一個(gè)粗略值，但在放寬重疊度的前提下，真實(shí)的匹配集合S'是S的一個(gè)子集。這樣就限定了圖像匹配的范圍，降低了匹配計(jì)算的復(fù)雜度提高匹配效率。圖1為一張無(wú)人機(jī)影像特征點(diǎn)提取樣圖。

1.2 影像匹配

圖1 特征點(diǎn)提取

在確定了影像特征點(diǎn)的位置并建立局部特征描述子后，可采用特征向量的歐式距離作為特征點(diǎn)的相似性度量，從而建立各影像間的關(guān)聯(lián)關(guān)系。首先基于K-D樹(shù)的近似最近鄰( Approximate Nearest Neighbors，ANN)算法進(jìn)行影像粗匹配，再將隨機(jī)抽取一致性(Random Sample Consensus，RANASC)策 略和8點(diǎn)算法[6]相結(jié)合，估計(jì)一個(gè)魯棒性的基本矩陣，從而進(jìn)一步剔除誤匹配點(diǎn)，最終得到滿(mǎn)足對(duì)極集合約束關(guān)系的匹配特征點(diǎn)對(duì)。設(shè)參與匹配的所有影像中，影像的最大關(guān)聯(lián)影像數(shù)為k，則影像匹配算法的時(shí)間復(fù)雜度為O(n)，公式化表達(dá)為：

其中，n 為重建影像總數(shù)；k為所有重建影像中影像的最大拓?fù)潢P(guān)聯(lián)數(shù)( k＜n）。

圖2 影像幾何連接圖

本文根據(jù)無(wú)人機(jī)影像間的關(guān)聯(lián)關(guān)系建立高度簇聚集的影像幾何連接圖(如圖2所示)，其中藍(lán)點(diǎn)表示特征點(diǎn)，直線(xiàn)連接表示影像間的關(guān)聯(lián)。

1.3 運(yùn)動(dòng)與結(jié)構(gòu)重建

其中，n為影像總數(shù)；t為精匹配特征點(diǎn)個(gè)數(shù)；若點(diǎn)f在影像i上，為點(diǎn) f在相機(jī)i投影面上的投影誤差。

本文參照Bundler開(kāi)源軟件包，基于Levenberg-Marquardt(LM)算法的通用稀疏光束法平差(Sparse Bundler Adjustment)法[7]，通 過(guò) 逐步迭代不斷的減小投影點(diǎn)與觀測(cè)圖像點(diǎn)之間的重投影誤差，最終結(jié)算出相機(jī)的位置、姿態(tài)及精匹配特征點(diǎn)的三維坐標(biāo)(圖3所示)。

圖3 匹配稀疏點(diǎn)云

圖4 測(cè)區(qū)生成的點(diǎn)云

2 尼泊爾地震災(zāi)區(qū)重建應(yīng)用

2.1 震區(qū)數(shù)據(jù)介紹

2015年4月25日，尼泊爾發(fā)生Ms 8.1級(jí)地震，震源深度20 km。地震引起的山體滑坡造成中尼聶拉木至樟木段部分公路阻斷，4月30日有關(guān)部門(mén)聯(lián)合北京安翔動(dòng)力科技公司利用固定翼無(wú)人機(jī)對(duì)中尼邊境樟木段災(zāi)區(qū)進(jìn)行航拍，以為道路疏通及災(zāi)后救援做準(zhǔn)備工作。作業(yè)時(shí)3級(jí)微風(fēng)、多云，飛行穩(wěn)定，平均相對(duì)航高450m，傳感器為SONY DSC-RX1數(shù)碼相機(jī)，焦距35mm，共6條航帶，拍攝3587張影像，影像大小為6000像素 4000像素，航向重疊預(yù)設(shè)為80%，旁向重疊預(yù)設(shè)為60%。選取其中典型的一塊區(qū)域共420張影像作為實(shí)驗(yàn)數(shù)據(jù)影像。

2.2 震區(qū)數(shù)據(jù)處理與重建

本文結(jié)合上述理論，利用SfM通過(guò)運(yùn)動(dòng)結(jié)構(gòu)重建獲得了實(shí)驗(yàn)測(cè)區(qū)的稀疏的三維點(diǎn)云（圖4(a)），通過(guò)稠密化擴(kuò)散算法[8]，最終生成密度為20個(gè)/ ~40個(gè)/ 的密集點(diǎn)云(圖4(b))。為了得到相對(duì)精確的DEM數(shù)據(jù)，本文利用Terrasolid軟件，其采用漸進(jìn)不規(guī)則三角網(wǎng)加密算法對(duì)密集點(diǎn)云進(jìn)行濾波，從圖4(c)中可以看出經(jīng)過(guò)濾波去除了大部分人工建筑物并且保留了道路等重要地物，但在陡坡上一些植被受坡度的影像被錯(cuò)分為人工地物，造成了一些點(diǎn)云漏洞需人工進(jìn)行修補(bǔ)。

圖5 兩塊測(cè)區(qū)DEM及正射圖

3 震災(zāi)區(qū)重建應(yīng)用分析

將DEM建立的真實(shí)地形表面模型與DOM以及衍生的數(shù)據(jù)疊加生成三維地形影像，在計(jì)算機(jī)三維可視化技術(shù)的輔助下進(jìn)行地形、水文和三維等分析，以在較短的時(shí)間內(nèi)對(duì)受災(zāi)情況進(jìn)行模擬，及時(shí)準(zhǔn)確的掌握災(zāi)區(qū)真實(shí)情況，從而為防災(zāi)、減災(zāi)以及救災(zāi)工作提供可靠地依據(jù)。

圖6 水文提取流程圖

3.1 水文分析

流域信息是進(jìn)行水文模擬的必要信息，也是相關(guān)部門(mén)結(jié)合氣象、植被分布等方面的資料進(jìn)行防災(zāi)減災(zāi)的重要前提。圖6為基于ArcHydro水文分析工具從DEM數(shù)據(jù)中提取水文信息的流程圖[10]：

將得到的DEM數(shù)據(jù)經(jīng)過(guò)上述步驟處理之后，把提取的水系網(wǎng)絡(luò)、匯水流域及出水口數(shù)據(jù)與三維地形和影像進(jìn)行疊合以真實(shí)模擬當(dāng)?shù)氐乃木W(wǎng)絡(luò)分布及其特征，其中紅色曲線(xiàn)為該區(qū)干流，藍(lán)色為支流，黃色圓點(diǎn)為流域的出水口，不同顏色的面狀區(qū)域則代表了不同的匯流區(qū)域。從圖7(a)中可以直觀清晰的識(shí)別該區(qū)域河流的主支流分布、河網(wǎng)的密度及流向等水文特征；7(b)是在左圖的基礎(chǔ)上疊加了匯水流域數(shù)據(jù)，不同的顏色代表不同的匯水流域，顏色分布越廣則說(shuō)明該流域的集水能力越強(qiáng)，相同降水條件下河網(wǎng)獲得的雨水越多，徑流越大；黃色圓點(diǎn)則是該區(qū)域最終的出水口點(diǎn)，也是該區(qū)域徑流量最大的地方；圖7(c)是該區(qū)域洪水淹沒(méi)模擬圖，根據(jù)預(yù)測(cè)降水量模擬山洪水位，以直觀的獲取淹沒(méi)范圍同時(shí)對(duì)災(zāi)害作出評(píng)估。

圖7 區(qū)域2水文分布

3.2 地質(zhì)隱患提取及災(zāi)害評(píng)估

實(shí)驗(yàn)區(qū)域地勢(shì)陡峻，溝壑密布，河流的沖刷切割作用強(qiáng)烈，因而會(huì)形成眾多的具有足夠滑動(dòng)空間的斜坡體和切割面，受地形地貌、水文地質(zhì)等條件的影響，極易在坡度10到45度的上陡下緩地區(qū)堆積較厚的松散層形成滑坡等地質(zhì)災(zāi)害。

圖8是利用eCognition軟件使用面向?qū)ο蟮乃枷雽?duì)實(shí)驗(yàn)區(qū)域一塊子區(qū)域進(jìn)行影像解譯分類(lèi)的結(jié)果圖，其中綠色區(qū)域?yàn)橹脖粎^(qū)，藍(lán)色區(qū)域?yàn)榫用駞^(qū)，白色區(qū)域?yàn)榈缆罚S色區(qū)域?yàn)榈刭|(zhì)隱患區(qū)域，紅色區(qū)域?yàn)榛聟^(qū)域。從光譜信息上看道路、房屋及巖土裸露的區(qū)域亮度高，而植被覆蓋區(qū)域亮度低；從坡度信息上看，坡度陡的區(qū)域易發(fā)生災(zāi)害，坡度平緩的地區(qū)不易發(fā)生災(zāi)害。因此把亮度較小的區(qū)域分為植被覆蓋區(qū)，把亮度較高而且長(zhǎng)寬比較大的區(qū)域分類(lèi)為道路區(qū)，坡度大且植被覆蓋少的區(qū)域分為地質(zhì)隱患區(qū)域，把坡度較大無(wú)植被覆蓋的高亮區(qū)域分為滑坡區(qū)。

圖8 解譯分類(lèi)圖

圖9 滑坡掩埋公路

經(jīng)統(tǒng)計(jì)，該子區(qū)域滑坡區(qū)域像元總個(gè)數(shù)為199955個(gè)，面積約為2000；地質(zhì)隱患區(qū)域像元總個(gè)數(shù)為87536個(gè)，面積約為880 ；滑坡掩埋公路區(qū)域(如圖9所示)總像元個(gè)數(shù)為15631個(gè)，面積約170，滑坡體的土方量約為3970，這為道路疏通工作提供了有力參考。從統(tǒng)計(jì)數(shù)據(jù)中可以看出該子區(qū)域滑坡主要發(fā)生在無(wú)人區(qū)，對(duì)道路的影響比較?。蝗藗儜?yīng)當(dāng)重點(diǎn)關(guān)注道路及居民區(qū)附近的地質(zhì)隱患區(qū)域，防患于未然。

結(jié)論

本文基于SfM算法，提取震區(qū)無(wú)人機(jī)影像的特征點(diǎn)并進(jìn)行影像匹配，通過(guò)運(yùn)動(dòng)與結(jié)構(gòu)重建恢復(fù)震區(qū)三維點(diǎn)云。并通過(guò)濾波、構(gòu)網(wǎng)和正射糾正得到震區(qū)DEM和DOM數(shù)據(jù)。最后，將無(wú)人機(jī)影像衍生的數(shù)據(jù)進(jìn)行融合實(shí)現(xiàn)對(duì)受災(zāi)地區(qū)的三維重建，并通過(guò)仿真模擬為防災(zāi)、減災(zāi)和災(zāi)害評(píng)估工作提供了可行性的理論方案。事實(shí)表明基于SfM的無(wú)人機(jī)影像后處理方法對(duì)受災(zāi)區(qū)域進(jìn)行精確三維描述是切實(shí)可行并具有現(xiàn)實(shí)意義的，當(dāng)然，如何在現(xiàn)有的硬件條件基礎(chǔ)上，近一步提高數(shù)據(jù)處理的效率和精度，減小無(wú)人機(jī)姿態(tài)的不利影響等方面，還需要進(jìn)行更加深入的研究。