一種基于SLAM的無人機(jī)影像快速三維重建方法

宋志勇 白皓 張海龍 庫新勃

摘 ?要：無人機(jī)技術(shù)在電力通道巡檢、選線等應(yīng)用中發(fā)揮中越來越重要的作用。傳統(tǒng)的基于影像的三維重建方法是以離線方式獲取三維重建結(jié)果，效率不高。文章提出一種基于SLAM的無人機(jī)影像快速三維重建方法，通過視覺SLAM獲取無人機(jī)序列影像的初始位姿信息，建立圖像匹配優(yōu)先度隊(duì)列，有效減少無效的影像匹配，同時(shí)融合無人機(jī)GPS結(jié)果，實(shí)現(xiàn)快速的三維重建。實(shí)驗(yàn)表明，文章所提方法在效率上得到了顯著提升，并且精度滿足1：1000大比例尺測圖要求。

關(guān)鍵詞：無人機(jī)影像;三維重建;方法

中圖分類號(hào)：P231 文獻(xiàn)標(biāo)志碼：A ? ? ? 文章編號(hào)：2095-2945（2019）15-0004-03

Abstract： UAV technology plays a more and more important role in the application of power channel inspection， line selection and so on. The traditional image-based 3D reconstruction method is to obtain 3D reconstruction results offline， and the efficiency is not high. In this paper， a fast 3D reconstruction method of UAV image based on SLAM is proposed. the initial position and pose information of UAV sequence image is obtained by visual SLAM， and the priority queue of image matching is established， which can effectively reduce the invalid image matching. At the same time， the GPS results of UAV are fused to realize fast 3D reconstruction. The experimental results show that the efficiency of the method proposed in this paper has been significantly improved， and the accuracy meets the requirements of 1：1000 large-scale mapping.

Keywords： UAV image; 3D reconstruction; method

1 概述

無人機(jī)技術(shù)的迅猛發(fā)展，使得獲取地表遙感數(shù)據(jù)的效率得到了大大的提升。利用無人機(jī)獲取的影像進(jìn)行三維重建構(gòu)建技術(shù)已被廣泛應(yīng)用于環(huán)境監(jiān)察監(jiān)測、資源勘探、地表測繪及應(yīng)急救災(zāi)等領(lǐng)域[1]。隨著業(yè)務(wù)需求的不斷拓展與深入，在電力通道巡檢、選線等應(yīng)用中，利用無人機(jī)平臺(tái)進(jìn)行高效率乃至實(shí)時(shí)的三維重建有著至關(guān)重要意義，可大大提高野外作業(yè)效率[2]。然而，目前由于影像處理算法的復(fù)雜性與高計(jì)算量，傳統(tǒng)的基于影像的三維重建方法需要配備強(qiáng)力的計(jì)算性能平臺(tái)，以離線處理方式獲取三維重建結(jié)果，無法野外處理，導(dǎo)致作業(yè)效率不高。因而，針對(duì)無人機(jī)相機(jī)研究開發(fā)快速的三維重建算法，對(duì)于提升野外作業(yè)效率有著重要意義。

目前，隨著計(jì)算機(jī)視覺與攝影測量領(lǐng)域技術(shù)的發(fā)展，基于影像的三維重建方法融合了多方面的理論基礎(chǔ)，形成了若干的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法（Structure From Motion，SFM）[3]。SFM方法以增量式重建方法為代表，主要依靠從影像數(shù)據(jù)集中選取一堆交會(huì)條件最好的立體圖像作為“種子”形成影像網(wǎng)，依次加入與影像網(wǎng)交會(huì)效果最好的圖像，直至完成所有有效圖像的加入。然而，該方法的缺點(diǎn)則是處理過程中重復(fù)進(jìn)行了多次平差，且每一幅圖像均需要參與兩兩圖像的匹配，計(jì)算量巨大，效率較低，且處理時(shí)并非按照?qǐng)D像獲取的順序，無法進(jìn)行實(shí)時(shí)處理。

同時(shí)定位與制圖（Simultaneous Localization And Mapping， SLAM）是機(jī)器人在未知環(huán)境下自主作業(yè)的核心關(guān)鍵技術(shù)，為機(jī)器人構(gòu)建周圍環(huán)境圖，同時(shí)提供機(jī)器人在環(huán)境圖中的位置，并隨著機(jī)器人的移動(dòng)而進(jìn)行環(huán)境圖的增量式構(gòu)建與機(jī)器人的連續(xù)定位，是實(shí)現(xiàn)機(jī)器人環(huán)境感知與自動(dòng)化作業(yè)的基礎(chǔ)[4]。相比SfM，視覺SLAM以增量式方式進(jìn)行特征點(diǎn)的追蹤，并引入局部影像網(wǎng)平差技術(shù)處理序列圖像，快速獲取影像的位姿參數(shù)，實(shí)現(xiàn)了實(shí)時(shí)定位，并具有高效制圖能力。

本文提出一種基于視覺SLAM的無人機(jī)影像三維重建方法，將視覺SLAM序貫處理方法引入無人機(jī)三維重建中，通過視覺SLAM獲取無人機(jī)序列影像的初始位姿信息，建立圖像匹配優(yōu)先度隊(duì)列，并采用ORB特征描述子有效減少匹配計(jì)算量;同時(shí)，依據(jù)影像GPS定位結(jié)果校正制圖結(jié)果，最終結(jié)合視差圖融合方法快速獲得三維重建結(jié)果，實(shí)現(xiàn)無人機(jī)影像快速三維重建。

2 方法

無人機(jī)影像快速三維重建算法主要包括特征點(diǎn)提取與追蹤、影像初始位姿解算、位姿參數(shù)優(yōu)化及視差圖快速融合。其中，特征點(diǎn)提取與追蹤采用ORB特征算子，實(shí)現(xiàn)序列影像特征快速匹配;影像初始位姿解算通過特征點(diǎn)多幀追蹤結(jié)果構(gòu)建優(yōu)化的局部影像區(qū)域網(wǎng)，通過平差獲取的初始位姿參數(shù);參數(shù)優(yōu)化通過引入影像GPS位置信息進(jìn)行平差優(yōu)化，獲取優(yōu)化的影像定位定姿結(jié)果;視差圖快速融合通過構(gòu)建融合權(quán)重分布，實(shí)現(xiàn)快速的視差融合，最終獲得三維重建結(jié)果。相應(yīng)算法流程如圖1。

2.1 特征提取與追蹤

特征提取與追蹤是建立影像間幾何關(guān)系的基礎(chǔ)。本文中采用ORB算子進(jìn)行特征的提取與追蹤。ORB算法特征檢測首先采用FAST角點(diǎn)檢測算子，通過灰度尋找區(qū)域內(nèi)灰度值差異超過閾值的像素點(diǎn)作為特征點(diǎn)，即將像素點(diǎn)P一定半徑上的一圈點(diǎn)像素值同點(diǎn)P處像素值進(jìn)行比較，若大于或小于P處像素值的像素個(gè)數(shù)大于閾值，則該點(diǎn)為特征點(diǎn);然后，采用BRIEF描述子對(duì)特征進(jìn)行描述，即對(duì)圖像塊內(nèi)的各個(gè)像素做二值判斷：

2.2 初始位姿解算

基于上述的圖像間的匹配結(jié)果，可以通過計(jì)算獲得圖像間的相對(duì)位置姿態(tài)，無法得到世界坐標(biāo)系下的決定位姿參數(shù)。由于無人機(jī)影像獲取時(shí)，通過GPS模塊記錄了采集時(shí)刻的絕對(duì)位置信息，可引入此信息進(jìn)行影像位姿模型的絕對(duì)定向。該部分包括：

（1）相對(duì)位姿參數(shù)解算

影像的相對(duì)位姿姿態(tài)參數(shù)有同名匹配點(diǎn)求取本質(zhì)矩陣，通過對(duì)其進(jìn)行分解，得到影像間的近似相對(duì)關(guān)系，對(duì)于每一本質(zhì)矩陣，可解出4組旋轉(zhuǎn)矢量R與平移矢量T，如下：

（2）序列影像上的同名點(diǎn)可在多幀影像間形成影像區(qū)域網(wǎng)，因而，針對(duì)當(dāng)前幀影像上的同名點(diǎn)分布，將符合一定數(shù)量同名點(diǎn)的相鄰影像與當(dāng)前幀圖像一起構(gòu)建局部區(qū)域網(wǎng)，通過光束法平差獲得優(yōu)化后的位姿參數(shù)。在平差解算時(shí)，認(rèn)為區(qū)域網(wǎng)中離當(dāng)前幀最遠(yuǎn)的立體像對(duì)其外方位元素為真值，故該像對(duì)上立體匹配點(diǎn)通過前方交會(huì)得到的三維坐標(biāo)認(rèn)為是真值。

2.3 位姿參數(shù)優(yōu)化

SLAM是針對(duì)序列圖像進(jìn)行的，上述局部平差后得到的位姿信息隨著影像數(shù)量的增多后不可避免存在誤差累計(jì)，因而，需要更多的約束條件進(jìn)行位姿參數(shù)的優(yōu)化。考慮到無人機(jī)飛行的軌跡可能存在多條航線重疊，上述的基于采集順序的區(qū)域網(wǎng)構(gòu)建方法可能忽略了多航帶圖像形成的幾何約束，因而此部分進(jìn)行優(yōu)化時(shí)需以當(dāng)前影像為核心重新構(gòu)建影像區(qū)域網(wǎng)。首先，以當(dāng)前影像的初始位姿及包含的連接點(diǎn)三維坐標(biāo)參數(shù)為基礎(chǔ)，計(jì)算這些連接點(diǎn)在相鄰影像上的投影范圍，若這些投影點(diǎn)占影像面積的比例大于閾值，則認(rèn)為該影像同當(dāng)前影像具有強(qiáng)相關(guān)的約束，同時(shí)對(duì)跨航帶的強(qiáng)相關(guān)影像進(jìn)行匹配;然后，確定相鄰影像中所有的強(qiáng)相關(guān)影像集合作為一級(jí)相關(guān)影像，并以上述步驟重復(fù)確定同一級(jí)相關(guān)影像存在強(qiáng)約束關(guān)系且與當(dāng)前影像存在共同連接點(diǎn)的影像作為二級(jí)相關(guān)影像。以此類推，直至最后找到所有滿足條件的強(qiáng)相關(guān)影像，并組建影像區(qū)域網(wǎng)進(jìn)行平差優(yōu)化處理。優(yōu)化處理時(shí)，考慮到無人機(jī)影像獲取時(shí)可同時(shí)記錄GPS位置信息，因而基于傳統(tǒng)平差誤差方程，利用影像GPS信息作為附加觀測值納入迭代計(jì)算中，如下：

其中，xs為當(dāng)前影像位置參數(shù)改正數(shù)矩陣，PE為對(duì)應(yīng)的影像GPS觀測結(jié)果的權(quán)重，由GPS定位誤差決定。

2.4 密集匹配與視差融合

基于上述位姿參數(shù)優(yōu)化后，即可獲得影像的位置姿態(tài)結(jié)果。對(duì)于當(dāng)前影像尋找交會(huì)角大小滿足要求的連接點(diǎn)數(shù)量最多的影像作為密集匹配的基礎(chǔ)像對(duì)，進(jìn)行單像對(duì)的密集點(diǎn)云生成。首先，依據(jù)位姿參數(shù)對(duì)影像進(jìn)行核線重采樣，生成分辨率降采樣后的核線圖像，確保通過一維搜索進(jìn)行同名點(diǎn)的匹配并降低計(jì)算量;其次，引入SGM匹配算法，基于核線圖像快速生成相應(yīng)的視差圖;然后，在代價(jià)空間在以影像的原分辨率進(jìn)行視差的內(nèi)插;最后獲得完整的視差圖數(shù)據(jù)。

3 實(shí)驗(yàn)

為了驗(yàn)證本文所提方法的有效性，在選擇湖北恩施地區(qū)利用大疆精靈4無人機(jī)獲取了對(duì)該區(qū)域的無人機(jī)航拍影像。從獲取的影像中選擇了229張有效的影像，經(jīng)相機(jī)畸變校正后如圖2。

采用本文所提的特征點(diǎn)提取與匹配、初始位姿估計(jì)等處理方法對(duì)無人機(jī)影像進(jìn)行處理，以SLAM方式獲取了影像的初始位姿信息?；谶@些初始位姿信息，結(jié)合無人機(jī)上的RTK GPS信息，獲取了準(zhǔn)確的無人機(jī)影像位姿信息，并實(shí)現(xiàn)了視差圖的生成與全局融合，得到以下三維重建結(jié)果：

在重建過程中采用了SLAM方法獲取了初始位姿信息，為后續(xù)姿態(tài)優(yōu)化提供了良好的初值，避免了大量無效的匹配查找計(jì)算。經(jīng)統(tǒng)計(jì)，得到了整個(gè)重建過程的處理時(shí)間，并引入Photoscan軟件的處理時(shí)間作為對(duì)比，如下：

為了驗(yàn)證重建模型的精度，引入4個(gè)控制點(diǎn)作為檢查點(diǎn)評(píng)價(jià)三維重建結(jié)果的精度，控制點(diǎn)平面誤差為0.78米，高程精度為0.79米，均滿足1：1000測圖精度要求。

4 結(jié)束語

本文提出一種基于SLAM的無人機(jī)影像快速三維重建方法，通過視覺SLAM獲取無人機(jī)序列影像的初始位姿信息，建立圖像匹配優(yōu)先度隊(duì)列，有效減少無效的影像匹配，同時(shí)融合無人機(jī)GPS結(jié)果，實(shí)現(xiàn)快速的三維重建。實(shí)驗(yàn)表明，本文所提方法在效率上得到了顯著提升，并且精度滿足1：500大比例尺測圖要求。

參考文獻(xiàn)：

[1]劉國嵩，賈繼強(qiáng).無人機(jī)在電力系統(tǒng)中應(yīng)用與發(fā)展方向[J].東北電力大學(xué)學(xué)報(bào)，2012，32（1）：53-56.

[2]金芳芳，詹斌.無人機(jī)攝影測量在山區(qū)電力線路工程的應(yīng)用[J].建筑技術(shù)開發(fā)，2017，44（16）：103-104.

[3]蔣華強(qiáng)，蔡勇，張建生，等.基于改進(jìn)SFM的三維重建算法研究[J].電子技術(shù)應(yīng)用，2019，45（2）：88-92.

[4]邸凱昌，萬文輝，趙紅穎，等.視覺SLAM技術(shù)的進(jìn)展與應(yīng)用[J].測繪學(xué)報(bào)，2018，47（6）：770-779.