無人機(jī)視頻圖像遙感質(zhì)量監(jiān)控的實(shí)時拼接關(guān)鍵技術(shù)

竇智 馬軍 楊可明 李小薈 胡靖宇 李木若 朱桐作

摘? 要：無人機(jī)（UAV）遙感是獲取視頻圖像的重要手段，但因無人機(jī)體積小質(zhì)量輕而易受氣流擾動、飛行狀況不穩(wěn)定、飛行路線多變等因素而在一定程度上影響了圖像采集質(zhì)量，所以給工程和生產(chǎn)應(yīng)用帶來較大影響。因此，低空無人機(jī)遙感視頻圖像采集過程中的序列圖像實(shí)時拼接在監(jiān)測無人機(jī)飛行狀態(tài)、驗(yàn)證視頻圖像質(zhì)量好壞等方面具有重要意義。文章結(jié)合OpenCV技術(shù)進(jìn)行了視頻圖像的提取，運(yùn)用尺度不變特征轉(zhuǎn)換（SIFT）算法實(shí)現(xiàn)了無人機(jī)視頻圖像實(shí)時拼接。研究成果顯示序列圖像拼接效果理想，能有效監(jiān)控和保障視頻圖像采集的質(zhì)量。

關(guān)鍵詞：無人機(jī)遙感;視頻圖像;OpenCV;SIFT;實(shí)時拼接;質(zhì)量監(jiān)控

中圖分類號：P23? ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號：2095-2945（2020）35-0034-04

Abstract： Remote sensing of unmanned aerial vehicle （UAV） is an important means to obtain video images. However it is easy to be disturbed by air flow， unstable flight conditions， changeable flight routes and other factors due to the small size and light weight of UAV， so that the quality of images acquired by UAV can be affected to a certain extent. As a result， it has some great impacts on engineering and production applications. Therefore， the real-time mosaicking of sequence images is of great significance in monitoring the flight status of UAV and verifying the quality of video images during the process on acquiring the remote sensing video images of low altitude UAV. In the paper， the OpenCV technology was used to extract video images and scale invariant feature transform （SIFT） algorithm was used to realize real-time mosaicking of UAV video images. The research results showed that the mosaicking effect of sequence images was ideal and could effectively monitor and ensure the acquiring quality of video images.

Keywords： UAV remote sensing; video image; OpenCV; SIFT; real-time mosaicking; quality control

1 概述

隨著遙感技術(shù)和無人機(jī)技術(shù)（Unmanned Aerial Vehicle，UAV）的快速發(fā)展，現(xiàn)今無人機(jī)遙感已經(jīng)被廣泛運(yùn)用到減災(zāi)減害，國土資源信息獲取，生態(tài)環(huán)境變化監(jiān)測等眾多領(lǐng)域[1-5]。無人機(jī)體積小，具有使用實(shí)時便捷、機(jī)動性好、費(fèi)用低且空間分辨率高等優(yōu)勢，可以完成很多復(fù)雜環(huán)境下的監(jiān)測和工程實(shí)施任務(wù)。然而無人機(jī)遙感具有所獲取視頻圖像的場景幅寬小、序列性數(shù)量多且重疊不規(guī)則以及受飛行姿態(tài)不穩(wěn)定影響、旋轉(zhuǎn)變形大等缺點(diǎn)[5]，所以能否對實(shí)時的視頻序列圖像進(jìn)行快速拼接以檢查或監(jiān)控數(shù)據(jù)采集質(zhì)量和效果是低空無人機(jī)遙感中較為關(guān)鍵的技術(shù)之一。早期關(guān)于無人機(jī)等航攝圖像拼接技術(shù)常采用相關(guān)法[6]、最小二乘法[7]、松弛法[8，9]、跨接法[10]等匹配方法，但它們的主要缺點(diǎn)是拼接結(jié)果會受到圖像變形、比例尺不一致和旋轉(zhuǎn)變化等情況的影響較大;所以目前較多采用了不受旋轉(zhuǎn)和比例尺等影響的尺度不變特征變換（Scale-invariant Feature Transform， SIFT）[11]、最小生成樹（Minimum Spanning Tree， MST）[12]和加速穩(wěn)健特征（Speeded-up Robust Features， SURF）[13，14]等拼接算法，而其中MST、SURF等算法本質(zhì)上還是基于SIFT算法發(fā)展或改進(jìn)得到的。本文重點(diǎn)是基于SIFT算法實(shí)現(xiàn)視頻序列圖像提取和拼接技術(shù)，旨在通過實(shí)時地拼接視頻圖像，監(jiān)測和調(diào)整無人機(jī)飛行狀態(tài)，保證獲取高質(zhì)量的視頻圖像。

2 理論與方法

2.1 OpenCV與視頻圖像提取技術(shù)

OpenCV[15-18]是開源計算機(jī)視覺（Open Computer Vision）類庫，含有較多計算機(jī)視覺與圖像處理等通用算法，它具有可使用一些外部庫功能，但并不依賴其它外部庫，其中在存取視頻文件、抓取圖像方面較為高效。在無人機(jī)遙感視頻圖像提取時，可結(jié)合VC++并利用OpenCV中CV、CXCORE、HIGHGUI等主要函數(shù)和模塊的圖形用戶界面（GUI）構(gòu)建、圖像和視頻數(shù)據(jù)輸入輸出、圖像數(shù)據(jù)處理等功能實(shí)現(xiàn)遙感攝像頭視頻幀的圖像提取，并能保存為avi、jpg等文件格式。

2.2 SIFT算法

由David Lowe于1999年發(fā)表并于2004年完善總結(jié)的尺度不變特征轉(zhuǎn)換（SIFT）是在空間尺度上尋找極值點(diǎn)的偵測或描述圖像中局部性特征算法[11]，能定義所提取極值點(diǎn)的位置、尺度和旋轉(zhuǎn)不變量。SIFT算法在極值點(diǎn)提取方面有很多算法[19，20]，能夠在不同的空間和圖像區(qū)域中準(zhǔn)確地檢測到大量的匹配特征點(diǎn)。而這些特征點(diǎn)具有良好的尺度和旋轉(zhuǎn)不變性，對光照和視角的變化不敏感。SIFT算法獲取圖像特征點(diǎn)的主要步驟是：（1）尺度空間生成，（2）空間極值點(diǎn)的檢測，（3）關(guān)鍵點(diǎn)的定位，（4）關(guān)鍵點(diǎn)方向的分配，（5）關(guān)鍵點(diǎn)描述子生成，（6）特征數(shù)據(jù)匹配。

2.3 最小二乘法

最小二乘法（least squares method， LSM）是一種數(shù)學(xué)優(yōu)化算法。它是基于誤差最小化方法使誤差的平方和最小化以尋找數(shù)據(jù)的最佳函數(shù)匹配。利用LSM能簡便地求得未知的數(shù)據(jù)，因而在序列圖像的拼接過程中可以使用LSM與多元線性回歸對不同圖像的像對中同名點(diǎn)進(jìn)行坐標(biāo)轉(zhuǎn)換。

2.4 實(shí)時拼接方法

無人機(jī)遙感視頻圖像實(shí)時拼接的主要步驟是：采用OpenCV技術(shù)提取視頻幀的序列圖像，再利用SIFT算法尋找序列圖像中各像對的同名點(diǎn)，然后根據(jù)同名點(diǎn)進(jìn)行圖像拼接等后續(xù)操作。

（1）提取視頻圖像。讀取攝像頭并獲取視頻幀信息;根據(jù)視頻幀信息設(shè)置攝像頭屬性信息，定義視頻寫入器，定義計數(shù)器，進(jìn)入視頻幀循環(huán)，對每一幀創(chuàng)建窗口實(shí)時顯示，并將每一幀寫入視頻文件，同時抓取視頻幀并編號保存。

（2）選出基準(zhǔn)片。從第一時段內(nèi)提取的航拍圖像序列中選出基準(zhǔn)片;這一過程要檢測相鄰圖像的重疊度、同名點(diǎn)的誤差、變換模型誤差等;選出合適的基準(zhǔn)片之后，在隨后的航拍序列中選取待匹配的圖像，這一過程也要檢測待處理圖像與基準(zhǔn)片的重疊度、同名點(diǎn)誤差等。

（3）圖像拼接。利用SIFT特征的圖像融合方法將待處理的圖像鑲嵌到基準(zhǔn)片上，最后判斷圖像序列中的所有圖像是否均處理完畢，如果沒有，則重復(fù)執(zhí)行上述處理過程。

3 視頻圖像提取與拼接研發(fā)

3.1 多線程應(yīng)用關(guān)鍵技術(shù)

為了有效的利用計算機(jī)資源，提高無人機(jī)遙感視頻圖像的實(shí)時拼接處理速度，可采用多線程并發(fā)技術(shù)。開辟多線程并行運(yùn)算能在一定程度上提升計算機(jī)CPU利用率，降低無人機(jī)視頻圖像處理的運(yùn)行時間。

3.1.1 線程和消息實(shí)現(xiàn)思路

（1）播放打開的視頻文件或是由無人飛機(jī)傳輸下來的實(shí)時視頻。實(shí)時傳遞播放的信息（如視頻幀數(shù)，視頻圖像的位置）給拼接線程。（2）拼接線程接收傳來的實(shí)時消息，進(jìn)行拼接，并把拼接的信息實(shí)時傳送給顯示窗口和航線顯示的窗口。（3）實(shí)時視頻顯示窗口和整體航線窗口接收到播放傳來的信息后，顯示當(dāng)前的拼接結(jié)果和實(shí)時的航線圖。

3.1.2 線程和消息傳遞的實(shí)現(xiàn)

無人機(jī)遙感圖像實(shí)時拼接技術(shù)開辟兩個線程，即視頻播放線程和拼接線程。視頻播放線程實(shí)現(xiàn)關(guān)鍵代碼如下：

StitchingThread=AfxBeginThread（StitchingThreadFunc， stitchingHandle）;

VideoPlayThread=AfxBeginThread（VideoPlayingFunc， videoplayHandle）;

在拼接過程中，發(fā)送消息并等消息返回實(shí)現(xiàn)實(shí)時準(zhǔn)確無誤的拼接結(jié)果，由于拼接結(jié)果實(shí)時顯示所耗費(fèi)的時間僅為20～30ms，所以顯示只是輕微影響拼接的時間。其中消息的傳送代碼如下：

：：SendMessage（hStitch， WM_STITCH， （WPARAM）tPositionMSG， NULL）;

：：SendMessage（hDiplay， WM_DISPLAY， （WPARAM）tPositionMSG， NULL）;

其中，WM_STITCH，WM_DISPLAY為自定義的消息;hStitch，hDiplay為實(shí)時顯示和總體航線顯示線程的句柄;tPositionMSG為自定義的消息結(jié)構(gòu)體。顯示窗口接收到消息后進(jìn)行窗口刷新和顯示。

3.2 視頻圖像提取編程關(guān)鍵技術(shù)

視頻圖像提取編程主要包括獲取視頻、抓取視頻幀和設(shè)置響應(yīng)時間等關(guān)鍵技術(shù)，在獲取的每一幀圖像時重復(fù)下述操作即可。

（1）獲取攝像頭視頻：

pCapture = cvCaptureFromCAM（0）;

（2）創(chuàng)建視頻寫入器：

pVideoWriter=cvCreateVideoWriter（pVideoSaveName，CV_FOURCC（'X'，'V'，'I'，'D'），m_iFbs，cvSize（frameW，frameH），1）;

（3）寫入視頻文件：

cvWriteFrame（pVideoWriter，pFrame）;

（4）顯示視頻幀：

cvShowImage（"Frame_By_Frame"，pFrame）;

（5）間隔一定幀數(shù)抓圖：

cvSaveImage（buff2，pFrame）;

（6）設(shè)置視頻播放每一幀時等待用戶的鍵盤響應(yīng)時間（單位為：毫秒）。

key=cvWaitKey（nWaitKeyTime）。

3.3 視頻圖像實(shí)時拼接關(guān)鍵技術(shù)

（1）基準(zhǔn)片的選取。利用SIFT算法找出相鄰兩張圖像的一定數(shù)量的同名點(diǎn)，連接兩張圖片的同名點(diǎn)得到同名點(diǎn)矢量，分別計算同名點(diǎn)矢量在x，y方向的分量，然后分別計算平均值t，若圖像的同名點(diǎn)矢量在x，y方向的分量集中在t周圍，說明飛機(jī)此時飛行平穩(wěn)，可以進(jìn)行圖像的選取和拼接。

（2）待配準(zhǔn)圖像選取。根據(jù)基準(zhǔn)片從視頻抓取的圖像序列中選取待配準(zhǔn)片，其中要檢測航向重疊度、旁向重疊度、同名點(diǎn)誤差等，選取滿足要求的圖像為待配準(zhǔn)圖像。

（3）圖像配準(zhǔn)。根據(jù)同名點(diǎn)坐標(biāo)（剔除了誤差較大的點(diǎn)）計算出坐標(biāo)轉(zhuǎn)換參數(shù)，然后將待配準(zhǔn)片各像素點(diǎn)坐標(biāo)值代入坐標(biāo)轉(zhuǎn)換方程，求出它們在基準(zhǔn)片中的坐標(biāo)，之后根據(jù)坐標(biāo)值將每一像素點(diǎn)的像素值拷貝到拼接圖像中。

（4）圖像重采樣和融合。我們采用了雙線性內(nèi)插的方法進(jìn)行圖像融合。雙線性內(nèi)插值法計算量大，但圖像質(zhì)量高，不會出現(xiàn)像素值不連續(xù)的情況。由于雙線性插值具有低通濾波器的性質(zhì)，使高頻分量受損，所以可能會使圖像輪廓在一定程度上變得模糊。

對航拍序列重復(fù)進(jìn)行上述（1）-（4），即完成整個航帶圖像的拼接。圖1中（a）～（c）為拼接前視頻圖像，圖1（d）為拼接后效果圖。

3.4 視頻圖像采集質(zhì)量監(jiān)控系統(tǒng)

無人機(jī)飛行時存在著路線多變、氣流擾動和飛行狀態(tài)不穩(wěn)等因素，在很大程度上影響了無人機(jī)視頻圖像的質(zhì)量，會使圖像存在較大的投影誤差?；谶@些因素，首先在系統(tǒng)窗口的設(shè)計方面，將系統(tǒng)界面設(shè)計成三個窗口，如圖2所示，分別是視頻窗口（左上窗口），圖像實(shí)時拼接窗口（右側(cè)窗口）和航線跟蹤窗口（左下窗口），這樣可以更直觀地體現(xiàn)視頻播放與視頻實(shí)時拼接的同步。視頻窗口可以實(shí)時呈現(xiàn)飛機(jī)當(dāng)前飛行到的區(qū)域，可以根據(jù)客戶的需要實(shí)時調(diào)整飛行航線。根據(jù)拼接圖像質(zhì)量調(diào)整飛機(jī)飛行姿態(tài)以達(dá)到良好的拼接效果?？梢酝ㄟ^航線跟蹤窗口中矩形框的拖動，在圖像實(shí)時拼接窗口來查看所飛區(qū)域的圖像拼接效果圖，以便檢核飛行過的區(qū)域內(nèi)成像質(zhì)量，決定是否重新飛行這塊區(qū)域。對于圖像的顯示要占用一定的時間，這就影響了圖像拼接的實(shí)時顯示效果，可采取分塊顯示和從內(nèi)存區(qū)讀取圖像的方法，由于存儲圖像的內(nèi)存是不斷更新的，把拼接好的圖像實(shí)時存儲后，就可利用MFC的GDI+類將拼接好的最新圖像顯示在圖像實(shí)時拼接窗口中，這樣可以更好地達(dá)到實(shí)時顯示拼接的效果。

4 總結(jié)

基于OpenCV以及SIFT算法開發(fā)的無人機(jī)遙感視頻圖像提取和實(shí)時拼接技術(shù)能很好的實(shí)現(xiàn)快速、高質(zhì)量圖像采集過程監(jiān)控以及準(zhǔn)確穩(wěn)健的航拍序列的圖像配準(zhǔn)。經(jīng)過測試，視頻采集與抓圖效率與質(zhì)量監(jiān)控效果都比較好，且也能取得很好的圖像拼接效果。但還存在在圖像配準(zhǔn)時需反復(fù)尋找基準(zhǔn)片、某些區(qū)域線狀地物拼接效果不理想以及算法處理效率還有待提高等不足，仍需要對拼接算法與融合技術(shù)等方向做進(jìn)一步改進(jìn)。

參考文獻(xiàn)：

[1]胡文藝，王緒本.岷江流域無人機(jī)遙感影像拼接及災(zāi)害信息提取[J].物探化探計算技術(shù)，2012，34（3）：340-343.

[2]陳竹安，施陳敬，馮祥瑞，等.低空多旋翼無人機(jī)航測在秀美鄉(xiāng)村規(guī)劃建設(shè)中的應(yīng)用[J].測繪通報，2019（8）：144-148.

[3]岳本江，徐佳，高云飛，等.無人機(jī)航測成圖精度探究及在水土保持行業(yè)中的應(yīng)用[J].中國水土保持，2020（6）：48-51.

[4]張臘平.無人機(jī)技術(shù)在關(guān)閉建筑石料礦山生態(tài)環(huán)境綜合治理工程中的應(yīng)用[J].浙江國土資源，2017（2）：50-52.

[5]謝濤，劉銳，胡秋紅，等.基于無人機(jī)遙感技術(shù)的環(huán)境監(jiān)測研究進(jìn)展[J].環(huán)境科技，2013，26（4）：55-60+64.

[6]易俐娜，許筱，張桂峰，等.輕小型無人機(jī)高光譜影像拼接研究[J].光譜學(xué)與光譜分析，2019，39（6）：1885-1891.

[7]秦向南，王慧，李爍，等.無人機(jī)載多面陣組合寬角五相機(jī)影像拼接技術(shù)[J].測繪科學(xué)技術(shù)學(xué)報，2017，34（3）：294-299.

[8]常津，李浩，楊彪.一種適用于近景數(shù)碼影像的概率松弛匹配方法[J].科學(xué)技術(shù)與工程，2013，13（7）：1713-1717.

[9]李宇光，王新華.一種自適應(yīng)的概率松馳影像匹配算法的研究[J].中國圖象圖形學(xué)報，1999，4A（1）：19-22.

[10]張祖勛，張劍清，吳曉良.跨接法概念之?dāng)U展及整體影象匹配[J].武漢測繪科技大學(xué)學(xué)報，1991，16（3）：1-11.

[11]David G Lowe. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision， 2004，60（2）：91-110.

[12]張冬梅，盧小平，張航，等.一種基于最小生成樹的無人機(jī)影像拼接方法[J].測繪科學(xué)，2020，45（5）：42-48.

[13]王冬梅，陳普智.一種改進(jìn)的無人機(jī)序列影像快速拼接方法研究[J].黃河水利職業(yè)技術(shù)學(xué)院學(xué)報，2020，32（1）：45-49.

[14]劉慶元，劉有，鄒磊，等.無人機(jī)遙感影像拼接方法探討[J].測繪通報，2012（5）：53-55.

[15]劉瑞禎，于仕琪.OpenCV教程[M].北京：北京航空航天大學(xué)出版社，2007：10-44.

[16]王力超，陳熙，陸起涌.基于OpenCV的運(yùn)動目標(biāo)檢測跟蹤實(shí)驗(yàn)平臺[D].上海：復(fù)旦大學(xué)，2004.

[17]尹俊超，劉直芳.基于OpenCV的運(yùn)動目標(biāo)檢測與跟蹤[J].計算機(jī)工程與設(shè)計，2011，32（8）：2817-2820.

[18]高向.基于OpenCV運(yùn)動目標(biāo)檢測與跟蹤算法研究[D].銀川：寧夏大學(xué)，2019.

[19]王國美.SIFT特征匹配算法研究[D].貴州大學(xué)，2007.

[20]CHEN Zhi-xiong. The SIFT Research and Implementation based on the image Registration[D]. WUHAN： WU-HAN University of Technology， 2008.