無人機(jī)全景技術(shù)在現(xiàn)場(chǎng)監(jiān)測(cè)中的應(yīng)用

陳文龍,張 煜,葉 松,沈定濤,魏思奇

(長江科學(xué)院 空間信息技術(shù)應(yīng)用研究所，武漢 430010)

?

無人機(jī)全景技術(shù)在現(xiàn)場(chǎng)監(jiān)測(cè)中的應(yīng)用

陳文龍,張 煜,葉 松,沈定濤,魏思奇

(長江科學(xué)院 空間信息技術(shù)應(yīng)用研究所，武漢 430010)

現(xiàn)場(chǎng)監(jiān)測(cè)在科研和工程領(lǐng)域中都有著重要的作用，將新技術(shù)應(yīng)用于現(xiàn)場(chǎng)監(jiān)測(cè)，提高現(xiàn)場(chǎng)監(jiān)測(cè)的信息化和實(shí)用化水平是目前研究熱點(diǎn)。為此，將無人機(jī)全景技術(shù)應(yīng)用于現(xiàn)場(chǎng)監(jiān)測(cè)，構(gòu)建監(jiān)測(cè)環(huán)境的三維虛擬實(shí)景，在此基礎(chǔ)上利用計(jì)算機(jī)網(wǎng)絡(luò)，將其與傳感器集成起來，形成三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)。該平臺(tái)能夠?qū)崿F(xiàn)現(xiàn)場(chǎng)的三維場(chǎng)景實(shí)時(shí)監(jiān)測(cè)，增強(qiáng)現(xiàn)場(chǎng)監(jiān)測(cè)系統(tǒng)的用戶體驗(yàn)效果，證明了無人機(jī)全景技術(shù)在現(xiàn)場(chǎng)監(jiān)測(cè)的應(yīng)用潛力。

三維全景；無人機(jī)；現(xiàn)場(chǎng)監(jiān)測(cè)；BS系統(tǒng)；移動(dòng)平臺(tái)；遠(yuǎn)程數(shù)據(jù)采集

1 研究背景

在生態(tài)保護(hù)、工程建設(shè)、環(huán)境科學(xué)研究等領(lǐng)域，現(xiàn)場(chǎng)監(jiān)測(cè)都有著提供實(shí)時(shí)數(shù)據(jù)、輔助問題診斷和決策支持的作用，隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展，現(xiàn)場(chǎng)監(jiān)測(cè)開始逐漸利用傳感器、視頻監(jiān)控、衛(wèi)星航空遙感等技術(shù)來提升監(jiān)測(cè)手段[1-3]。目前，采用這些新技術(shù)的遠(yuǎn)程現(xiàn)場(chǎng)監(jiān)測(cè)系統(tǒng)已經(jīng)成為現(xiàn)場(chǎng)監(jiān)測(cè)研究和應(yīng)用的熱點(diǎn)，這種監(jiān)測(cè)系統(tǒng)集成多種監(jiān)測(cè)技術(shù)，將實(shí)際現(xiàn)場(chǎng)采集的目標(biāo)數(shù)據(jù)經(jīng)計(jì)算機(jī)網(wǎng)絡(luò)傳輸至遠(yuǎn)程信息中心，并通過計(jì)算機(jī)系統(tǒng)分析處理后將監(jiān)測(cè)數(shù)據(jù)和分析結(jié)果呈現(xiàn)給監(jiān)測(cè)人員。

全景技術(shù)是一種基于圖像的建模與渲染技術(shù)(IBMR)，其在空間一點(diǎn)連續(xù)采集視野范圍上的圖像，經(jīng)過處理形成該視點(diǎn)的無縫隙全景圖像，并利用全景顯示引擎在計(jì)算機(jī)上模擬從視點(diǎn)任意角度觀察的三維虛擬場(chǎng)景[4]。這種三維虛擬場(chǎng)景實(shí)現(xiàn)方式采集的是視點(diǎn)所見的真實(shí)影像，能夠準(zhǔn)確地反映現(xiàn)場(chǎng)實(shí)際情況，且無需對(duì)視野中場(chǎng)景進(jìn)行具體的建模，是一種偽3D的效果[5]。所以場(chǎng)景繪制只與采集的分辨率有關(guān)，具有渲染效果逼真、硬件要求低、傳輸繪制速度快的優(yōu)勢(shì)。如果能與傳感器、計(jì)算機(jī)網(wǎng)絡(luò)等集合起來，就能形成監(jiān)測(cè)現(xiàn)場(chǎng)的三維場(chǎng)景實(shí)時(shí)監(jiān)測(cè)，大大增強(qiáng)現(xiàn)場(chǎng)監(jiān)測(cè)系統(tǒng)的用戶體驗(yàn)效果。全景影像的采集方式具有多種，但比較常見多的是采用全景專業(yè)攝像器材拍攝若干張照片后再進(jìn)行拼接，過程比較繁瑣。

本文利用無人機(jī)進(jìn)行現(xiàn)場(chǎng)影像的快速采集，并結(jié)合監(jiān)測(cè)傳感器設(shè)備，構(gòu)建現(xiàn)場(chǎng)監(jiān)測(cè)的多平臺(tái)應(yīng)用系統(tǒng)方案，實(shí)現(xiàn)三維場(chǎng)景的實(shí)時(shí)現(xiàn)場(chǎng)監(jiān)測(cè)。

2 無人機(jī)全景技術(shù)的實(shí)現(xiàn)

2.1 全景影像數(shù)據(jù)的采集

全景瀏覽的基礎(chǔ)是全景圖像，全景圖像的制作前提是采集現(xiàn)場(chǎng)環(huán)境相應(yīng)的影像數(shù)據(jù)，目前比較常用的采集手段包括：①使用全景云臺(tái)等專業(yè)設(shè)備直接采集全景圖像；②采用普通相機(jī)重疊拍攝多張普通相片，以供后期拼接成全景圖像[6]。上述數(shù)據(jù)采集手段存在的問題是步驟較多，時(shí)間較長，采集過程有一定的拍攝要求，而且全景云臺(tái)和相機(jī)都存在拍攝盲點(diǎn)，設(shè)備下方采集的圖像畸變也較大，難以滿足現(xiàn)場(chǎng)監(jiān)測(cè)快速采集數(shù)據(jù)和全面反映環(huán)境情況的要求。

無人機(jī)航攝技術(shù)是將無人小型飛行器作為采集平臺(tái)，搭載高分辨率影像采集系統(tǒng)獲取航片的影像數(shù)據(jù)，具有工作時(shí)間長、采集方便靈活、成本低、精度高的特點(diǎn)[7]。目前無人機(jī)平臺(tái)的類型按照構(gòu)型大致可以分為大型固定翼無人機(jī)、大型旋翼無人機(jī)和小型旋翼無人機(jī)等，小型旋翼無人機(jī)主要用于小范圍高精度航拍影像的采集，而且操縱簡單、拍攝姿態(tài)比較穩(wěn)定，所以非常適合用于全景圖像的數(shù)據(jù)采集。本文主要的全景數(shù)據(jù)采集手段就是利用小型旋翼無人機(jī)來實(shí)現(xiàn)的。在視點(diǎn)上方一定高度懸停無人機(jī)，根據(jù)視野范圍旋轉(zhuǎn)鏡頭進(jìn)行拍攝，每次旋轉(zhuǎn)保證航片一定程度的重合度，旋轉(zhuǎn)360°便獲得視點(diǎn)觀察范圍內(nèi)的所有地物及地貌影像(圖1)，這種基于無人機(jī)的全景圖像采集方式可以在短時(shí)間內(nèi)采集完所需數(shù)據(jù)，而且圖像清晰、作業(yè)步驟簡單，且視點(diǎn)正下方的影像也可同時(shí)完整采集，不存在關(guān)鍵拍攝盲點(diǎn)。

圖1 無人機(jī)采集現(xiàn)場(chǎng)環(huán)境影像Fig.1 Images of field environment obtained by UAV(unmanned aerial vehicle)

2.2 平面全景圖像的制作

全景圖的實(shí)現(xiàn)方式其實(shí)就是將視野范圍內(nèi)的影像照片投影到以視點(diǎn)為中心的投影面上，為了實(shí)現(xiàn)影像的正確投影和平滑過渡，需要將無人機(jī)上所采集的航拍照片數(shù)據(jù)拼接融合生成為360°平面全景圖像。

平面全景圖像制作首先是航拍照片的拼接，由于相鄰航片之間有一定程度的重合區(qū)域，可以根據(jù)之間的相同特征進(jìn)行拼接。本文采用SIFT特征點(diǎn)法對(duì)航片進(jìn)行特征描述，建立相鄰圖像之間的特征點(diǎn)對(duì)應(yīng)關(guān)系，然后將圖像旋轉(zhuǎn)、扭曲和偏移實(shí)現(xiàn)相鄰圖像相同區(qū)域的無縫像素拼接[8]，這樣兩兩拼接直到拼接完所有航片生成全視野的平面全景圖像。在此基礎(chǔ)上，還要對(duì)相鄰圖像接縫處的像素亮度和色調(diào)進(jìn)行計(jì)算融合，消除明顯的圖片接縫線，使得平面全景圖像整體平滑真實(shí)，而且要對(duì)平面全景圖像上面的缺失區(qū)域(如部分天空)進(jìn)行填充。完成拼接、融合和補(bǔ)缺這些步驟后，就得到了可用于全景瀏覽的基礎(chǔ)平面全景圖像(圖2)。

圖2 平面全景圖像Fig.2 Panoramic plane image

2.3 全景瀏覽的實(shí)現(xiàn)

根據(jù)全景瀏覽時(shí)視點(diǎn)投影面類型的不同，全景可以分為柱面全景和球面全景。柱面全景的投影面為圓柱面，而球面全景是將平面全景圖像投影在一個(gè)具有經(jīng)緯度的球面上，除了0°經(jīng)緯線外，其他位置的投影畫面會(huì)有一定程度的畸變，使得瀏覽觀測(cè)的水平以及垂直視角分布可以分別達(dá)到360°和180°，比較適用于大視角的全景觀察[9]，所以相比較柱面全景而言，球面全景更加適合應(yīng)用于現(xiàn)場(chǎng)監(jiān)測(cè)的應(yīng)用。

由于平面全景圖像的數(shù)據(jù)量一般較大，整體一次性加載渲染顯示會(huì)導(dǎo)致瀏覽不平滑、加載時(shí)間長的問題?？梢詫⑵矫嫒皥D像按照視野的觀測(cè)范圍，處理成不同分辨率的影像金字塔緩存[10]，這樣可以在大范圍內(nèi)加載粗分辨率的影像數(shù)據(jù)瀏覽，而過渡到局部位置時(shí)采用精細(xì)高清的影像顯示，既保證了瀏覽速度又能兼顧全景觀測(cè)的清晰程度。在對(duì)平面全景圖像進(jìn)行完預(yù)處理后，利用球面全景顯示引擎加載平面全景圖的數(shù)據(jù)，可實(shí)現(xiàn)基于視點(diǎn)的全景瀏覽。

3 三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)

現(xiàn)場(chǎng)監(jiān)測(cè)的任務(wù)不僅僅是現(xiàn)場(chǎng)環(huán)境的觀察，而且需要對(duì)現(xiàn)場(chǎng)各種監(jiān)測(cè)數(shù)據(jù)進(jìn)行記錄和分析，以輔助監(jiān)測(cè)人員決策實(shí)施。本文在現(xiàn)場(chǎng)環(huán)境全景瀏覽的基礎(chǔ)上，結(jié)合自動(dòng)觀測(cè)站設(shè)備，設(shè)計(jì)構(gòu)建三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)，以實(shí)現(xiàn)現(xiàn)場(chǎng)環(huán)境的遠(yuǎn)程監(jiān)測(cè)。

圖3 三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)架構(gòu)示意圖Fig.3 Structure of 3D panoramic site monitoring platform

平臺(tái)采用B/S架構(gòu)，B/S架構(gòu)作為一種基于WEB技術(shù)的平臺(tái)模式，數(shù)據(jù)的分析與存儲(chǔ)主要集中在服務(wù)端(Server)，而在客戶端只需要使用瀏覽器(Browser)就可以使用系統(tǒng)進(jìn)行現(xiàn)場(chǎng)情況的監(jiān)測(cè)。整個(gè)架構(gòu)分為3個(gè)層次，分別為數(shù)據(jù)層、業(yè)務(wù)層和表現(xiàn)層(圖3)。數(shù)據(jù)層是平臺(tái)的數(shù)據(jù)收集和存儲(chǔ)中心，平臺(tái)在現(xiàn)場(chǎng)環(huán)境的關(guān)鍵位置布設(shè)有一定數(shù)量的自動(dòng)采集站，采集站會(huì)在一定時(shí)間間隔內(nèi)自動(dòng)采集所需監(jiān)測(cè)數(shù)據(jù)，通過無線或者有線網(wǎng)絡(luò)傳輸?shù)狡脚_(tái)數(shù)據(jù)層的數(shù)據(jù)庫中，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)采集。數(shù)據(jù)層除了采集監(jiān)測(cè)業(yè)務(wù)數(shù)據(jù)外，還存儲(chǔ)有全景影像、系統(tǒng)的配置信息、用戶信息等數(shù)據(jù)。監(jiān)測(cè)平臺(tái)的全景瀏覽引擎以及監(jiān)測(cè)數(shù)據(jù)處理模塊集中在平臺(tái)業(yè)務(wù)層，根據(jù)用戶的遠(yuǎn)程請(qǐng)求，全景瀏覽引擎加載用戶興趣區(qū)域的全景并為客戶端瀏覽器提供全景瀏覽的功能，同時(shí)向數(shù)據(jù)層提取所需的監(jiān)測(cè)數(shù)據(jù)，處理后再返回至客戶端。表現(xiàn)層則是現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)在用戶瀏覽器中的具體實(shí)現(xiàn)，全景瀏覽畫面以及具體的監(jiān)測(cè)數(shù)據(jù)都是在表現(xiàn)層中通過合適的渲染方式最終展現(xiàn)給用戶，以滿足用戶在遠(yuǎn)程下全景瀏覽現(xiàn)場(chǎng)監(jiān)測(cè)的要求。

圖4 三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)Fig.4 Platform of 3D panoramic site monitoring

采用3層架構(gòu)實(shí)現(xiàn)的WEB三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)，可以實(shí)現(xiàn)現(xiàn)場(chǎng)環(huán)境的三維景觀瀏覽、自動(dòng)觀測(cè)站數(shù)據(jù)的多形式展示與查詢(圖4)，并且能夠在PC、手機(jī)、平板等多平臺(tái)下遠(yuǎn)程使用(圖5)，能夠滿足管理人員對(duì)于現(xiàn)場(chǎng)監(jiān)測(cè)應(yīng)用的需求。

圖5 移動(dòng)端使用三維全景現(xiàn)場(chǎng)監(jiān)測(cè)平臺(tái)Fig.5 Platform of 3D panoramic site monitoring on mobile

4 結(jié) 論

現(xiàn)場(chǎng)監(jiān)測(cè)要求監(jiān)測(cè)人員充分了解現(xiàn)場(chǎng)的具體環(huán)境情況，并能時(shí)刻觀察到監(jiān)測(cè)數(shù)據(jù)從而做出分析判斷，傳統(tǒng)的現(xiàn)場(chǎng)監(jiān)測(cè)方式通常需要人員到現(xiàn)場(chǎng)記錄數(shù)據(jù)，或者只能傳輸原始數(shù)據(jù)到遠(yuǎn)程數(shù)據(jù)中心，難以對(duì)現(xiàn)場(chǎng)情況有直觀且清楚的認(rèn)識(shí)。

本文利用無人機(jī)全景技術(shù)以及網(wǎng)絡(luò)計(jì)算機(jī)技術(shù)等，構(gòu)建從數(shù)據(jù)采集到結(jié)果綜合展示的三維場(chǎng)景實(shí)時(shí)監(jiān)測(cè)方案：無人機(jī)全景技術(shù)能夠真實(shí)還原現(xiàn)場(chǎng)的具體環(huán)境，提供監(jiān)測(cè)人員實(shí)景般的用戶體驗(yàn)，并能在監(jiān)測(cè)區(qū)域內(nèi)自由移動(dòng)，任意查看；網(wǎng)絡(luò)計(jì)算機(jī)技術(shù)則將監(jiān)測(cè)數(shù)據(jù)與三維場(chǎng)景相結(jié)合，以多種方式把監(jiān)測(cè)數(shù)據(jù)展示給監(jiān)測(cè)人員，實(shí)現(xiàn)了在虛擬三維環(huán)境中動(dòng)態(tài)觀察現(xiàn)場(chǎng)情況，極大地提高了遠(yuǎn)程現(xiàn)場(chǎng)監(jiān)測(cè)的用戶體驗(yàn)，有利于輔助監(jiān)測(cè)人員進(jìn)行分析決策。

綜上所述，將無人機(jī)全景技術(shù)應(yīng)用于現(xiàn)場(chǎng)監(jiān)測(cè)，能提高現(xiàn)場(chǎng)監(jiān)測(cè)的信息化水平，增強(qiáng)現(xiàn)場(chǎng)監(jiān)測(cè)系統(tǒng)的使用效果，為現(xiàn)場(chǎng)監(jiān)測(cè)技術(shù)的發(fā)展提供新的思路。

[1] 趙起越，白俊松. 國內(nèi)外環(huán)境應(yīng)急監(jiān)測(cè)技術(shù)現(xiàn)狀及發(fā)展[J]. 安全與環(huán)境工程, 2006，13(3):13-16.

[2] 李學(xué)哲，羅建國，宮新勇，等. 基于無線傳感器網(wǎng)絡(luò)的巷道支護(hù)智能監(jiān)測(cè)系統(tǒng)研究[J]. 華北科技學(xué)院學(xué)報(bào), 2015，(5): 60-63.

[3] 龐長英, 侯讀杰，連軍利. 天然氣中硫化氫現(xiàn)場(chǎng)監(jiān)測(cè)技術(shù)研究[J]. 石油天然氣學(xué)報(bào), 2010，(2):142-143.

[4] 郭長青，曹 芳. 三維全景技術(shù)在旅游景區(qū)介紹中的應(yīng)用[J]. 地理空間信息, 2009，(1):46-48.

[5] 明 鏡,向 煜. 基于三維全景技術(shù)的高速公路設(shè)施采集與管理[J].城市勘測(cè), 2016，(3): 5-11.

[6] 馮建平，吳麗華. 基于全景圖像的三維全景漫游系統(tǒng)的構(gòu)建[J]. 計(jì)算機(jī)與數(shù)字工程, 2013，41(1):115-117.

[7] 石 林，張志斌，湯喜春，等. 無人機(jī)技術(shù)在湖南省防汛抗旱工作中的探索與應(yīng)用[J].中國防汛抗旱, 2016，(3): 40-42.

[8] 李艷麗，向 輝. 穩(wěn)健的球面全景圖全自動(dòng)生成算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2007，(11):1393-1398.

[9] 李曉輝, 周蔭清，王祖林. 基于曲面拼接的球面全景生成算法[J]. 北京航空航天大學(xué)學(xué)報(bào), 2007，(6):668-671.

[10]李建勛，沈 冰，姜仁貴，等. 面向影像金字塔的四叉樹空間索引算法[J]. 計(jì)算機(jī)工程, 2011，(10):11-13.

(編輯：王 慰)

Application of UAV Panoramic Technologyto Site Monitoring

CHEN Wen-long, ZHANG Yu, YE Song, SHEN Ding-tao, WEI Si-qi

(Spatial Information Technology Application Department, Yangtze River Scientific Research Institute, Wuhan 430010, China)

Site monitoring plays an important role in scientific research and engineering fields. Improving the information level and practical level by applying new technology in site monitoring is currently a research hotspot. In this research, UAV (unmanned aerial vehicle) panoramic technology is applied to site monitoring to build a 3D virtual reality environment, which is integrated with monitor sensors to form a 3D panoramic site-monitoring platform using computer networks. On this platform, the 3D real-time monitoring is implemented and the user experience of site monitoring system is enhanced, which demonstrates the potential of UAV panoramic technology in site monitoring.

three-dimensional panorama technology; UAV; site monitoring; BS system; mobile platform; remote data acquisition

2016-08-20

國家自然科學(xué)基金青年基金項(xiàng)目(41501558)；云南省水利重大科技項(xiàng)目(CKSK2015852/KJ)

陳文龍(1989-)，男，四川綿陽人，碩士研究生，研究方向?yàn)榭臻g信息技術(shù)，(電話)027-82926497(電子信箱)Cowerling@163.com。

張 煜(1971-)，男，湖北武漢人，高級(jí)工程師，博士，研究方向?yàn)閿z影測(cè)量與遙感技術(shù)研究,(電話)027-62775940(電子信箱)zhangyu_1999.@hotmail.com。

10.11988/ckyyb.20160856

2016,33(11):89-92

TP317.4

A

1001-5485(2016)11-0089-04