基于無(wú)人機(jī)與計(jì)算機(jī)視覺(jué)技術(shù)的違章建筑的智能檢測(cè)

王嘉儀，熊方瑩，劉鴻基

（南華大學(xué)計(jì)算機(jī)學(xué)院，湖南衡陽(yáng)，421000）

0 引言

違章建筑逐漸成為困擾城市管理以及建設(shè)的重要難題，針對(duì)此類(lèi)問(wèn)題，無(wú)人機(jī)航拍相比于人工巡查更加低廉和高效，且無(wú)人機(jī)航空攝影可及時(shí)獲取城市重點(diǎn)區(qū)域高分辨率影像數(shù)據(jù)[1]，通過(guò)影像可對(duì)違法建設(shè)施工數(shù)據(jù)進(jìn)行判讀，甄別疑似違章建筑，為主管部門(mén)提供出一條新的決策依據(jù)。近幾年，無(wú)人機(jī)技術(shù)的高速發(fā)展為排查違章建筑提供了一條新路徑，但依然存在著排查難度較高，效率低下等問(wèn)題。然而，隨著圖像識(shí)別技術(shù)的不斷發(fā)展和計(jì)算機(jī)視覺(jué)在各大領(lǐng)域中的廣泛應(yīng)用，深度學(xué)習(xí)技術(shù)的引入為無(wú)人機(jī)檢測(cè)違章建筑提供了一條全新的思路[2]。

1 系統(tǒng)框架

本項(xiàng)目中的無(wú)人機(jī)設(shè)計(jì)架構(gòu)見(jiàn)圖1，可總共分為兩個(gè)部分：(1)硬件系統(tǒng)設(shè)計(jì)；(2)軟件系統(tǒng)結(jié)構(gòu)。通過(guò)這兩部分的分別設(shè)計(jì)，可以實(shí)現(xiàn)設(shè)定起點(diǎn)與終點(diǎn)后，無(wú)人機(jī)的自動(dòng)搜尋與自動(dòng)判斷是否存在違章建筑。

圖1 無(wú)人機(jī)違章建筑物檢測(cè)系統(tǒng)構(gòu)成圖

2 飛行器控制設(shè)計(jì)

在飛行器飛行的過(guò)程中，傳感器的數(shù)據(jù)勢(shì)必會(huì)受到各種干擾，例如風(fēng)吹過(guò)時(shí)的抖動(dòng)、傳感器自身的溫漂、突然出現(xiàn)的加速度等，都會(huì)使飛行數(shù)據(jù)變得抖動(dòng)。為了避免這種抖動(dòng)的數(shù)據(jù)對(duì)飛行器飛行過(guò)程的干擾，本文引入了卡爾曼濾波算法來(lái)對(duì)數(shù)據(jù)進(jìn)行濾波處理。由于四旋翼為四輸入——六輸出的欠驅(qū)動(dòng)系統(tǒng)，其數(shù)學(xué)模型的構(gòu)建較為復(fù)雜，所以本文在設(shè)計(jì)中拋棄了控制整體數(shù)學(xué)模型系統(tǒng)的思想，而是只考慮飛行器姿態(tài)的控制，這種只需控制姿態(tài)而忽略其自身數(shù)學(xué)結(jié)構(gòu)的控制系統(tǒng)中，經(jīng)典PID算法便可以很好地解決問(wèn)題。

2.1 卡爾曼濾波算法

卡爾曼濾波，一般稱(chēng)為 “最優(yōu)化自回歸數(shù)據(jù)處理算法”。對(duì)于許多濾波估值問(wèn)題，這種算法可能是效率最高的。卡爾曼濾波算法應(yīng)用較為廣泛，多用于傳感器數(shù)據(jù)融合，機(jī)器人導(dǎo)航和雷達(dá)系統(tǒng)導(dǎo)彈追蹤等方面。而近年來(lái)也被用于計(jì)算機(jī)圖像處理計(jì)算，例如頭像識(shí)別，圖像分割，圖像邊沿檢測(cè)等等，對(duì)于四軸飛行器而言，得到系統(tǒng)的最優(yōu)狀態(tài)量是實(shí)現(xiàn)控制效果的先決條件，因而可以通過(guò)卡爾曼濾波器來(lái)對(duì)系統(tǒng)狀態(tài)進(jìn)行驗(yàn)證。這得益于卡爾曼濾波器的工作原理。通過(guò)估計(jì)輸入系統(tǒng)狀態(tài)量，然后參考加速度計(jì)的測(cè)量值，以這兩個(gè)參數(shù)來(lái)實(shí)現(xiàn)對(duì)系統(tǒng)狀態(tài)量的驗(yàn)證，以此修正誤差。然后在此基礎(chǔ)上實(shí)時(shí)更新系統(tǒng)的參數(shù)矩陣。而重要的是，這種濾波器能夠?qū)ν勇輧x的常值漂移進(jìn)行估計(jì)，從而保證角速度的測(cè)量能正常進(jìn)行，并在加速度計(jì)受各種有害加速度影響時(shí)得到更加準(zhǔn)確的姿態(tài)檢測(cè)值。

2.2 飛行控制算法

四旋翼飛行器可以有六種狀態(tài)輸出（3個(gè)位置改變量與3個(gè)姿態(tài)改變量），但只有四個(gè)控制輸入（即四個(gè)電機(jī)的轉(zhuǎn)速），因此是一種四輸入——六輸出的欠驅(qū)動(dòng)系統(tǒng)。這種系統(tǒng)具有多變量又強(qiáng)耦合、非線性又干擾敏感的特性，這些特性的存在使得飛控系統(tǒng)的設(shè)計(jì)變得非常困難。而且，由于四旋翼飛行器的數(shù)學(xué)模型難以精確構(gòu)建的特性，控制器性能必然受到影響。在四旋翼的位置和姿態(tài)控制中，姿態(tài)控制更為關(guān)鍵。因?yàn)樗男盹w行器的姿態(tài)與位置存在直接耦合關(guān)系，這體現(xiàn)在俯仰姿態(tài)和橫滾姿態(tài)會(huì)直接導(dǎo)致機(jī)體的前后移動(dòng)和左右移動(dòng)，所以在能精確控制飛行姿態(tài)的前提下，可以通過(guò)調(diào)整姿態(tài)來(lái)改變位置量。這種控制可以忽略其本身的數(shù)學(xué)模型而直接使用PID控制律。

2.3 PID控制

PID算法的控制方法是根據(jù)系統(tǒng)輸出的反饋值與預(yù)定值進(jìn)行做差，再將偏差的大小運(yùn)用比例、積分、微分計(jì)算出控制的輸出量。將這個(gè)控制量輸入系統(tǒng)中，再次獲得輸出量，通過(guò)反饋再與預(yù)定值進(jìn)行差運(yùn)算，循環(huán)上述過(guò)程，直到系統(tǒng)輸出的控制值無(wú)限接近或達(dá)到預(yù)定值。

位置式PID算法為：

增量式PID算法對(duì)應(yīng)可由位置式推出：

在PID算法中，P是比例環(huán)節(jié)，作用是將輸出值與預(yù)期值的差值成比例地反映出來(lái)，一旦產(chǎn)生偏差，比例環(huán)立馬相應(yīng)來(lái)降低偏差，優(yōu)點(diǎn)是響應(yīng)快，缺點(diǎn)為在無(wú)限接近預(yù)定值時(shí)，比例環(huán)的控制效果便趨近于零，容易在預(yù)定值附近產(chǎn)生抖動(dòng)。I是積分環(huán)節(jié)，作用是消除靜態(tài)誤差，提高精準(zhǔn)度，為了抑制積分環(huán)累計(jì)而飽和，造成系統(tǒng)超調(diào)，一般會(huì)對(duì)積分環(huán)的輸出進(jìn)行限幅以減小積分飽和的影響。D是微分環(huán)節(jié)，作用是反應(yīng)偏差信號(hào)的變化趨勢(shì)，在變差信號(hào)變化前引入一個(gè)有效的修正信號(hào)，加快系統(tǒng)的調(diào)節(jié)時(shí)間。在PID的應(yīng)上，由于控制需要的響應(yīng)較慢，一般過(guò)程控制系統(tǒng)中使用PI控制。而控制需要較快響應(yīng)的隨動(dòng)控制系統(tǒng)中使用PD控制。

在本四旋翼結(jié)構(gòu)中，通過(guò)MPU9250來(lái)反饋飛行器的加速度與傾斜角度，作為控制的輸入，然后再由微控制器進(jìn)行計(jì)算，進(jìn)而控制四個(gè)電機(jī)的轉(zhuǎn)速，實(shí)現(xiàn)飛行器的加速、減速，轉(zhuǎn)向、懸停等功能。由于控制過(guò)程較為復(fù)雜，本設(shè)計(jì)采用增量是式PID控制算法。

3 軟件系統(tǒng)設(shè)計(jì)

3.1 尋徑系統(tǒng)

本方案中尋徑模塊是將路徑規(guī)劃算法與機(jī)器視覺(jué)結(jié)合實(shí)現(xiàn)無(wú)人機(jī)的自動(dòng)定位，利用定位模塊獲取北斗導(dǎo)航系統(tǒng)，再通過(guò)北斗導(dǎo)航系統(tǒng)獲取無(wú)人機(jī)三維定位數(shù)據(jù),最后綜合目的地信息，使用路徑規(guī)劃算法對(duì)無(wú)人機(jī)進(jìn)行路徑規(guī)劃。但對(duì)于低空飛行的無(wú)人機(jī)而言，在飛行中難免會(huì)遇到障礙，所以也需要為無(wú)人機(jī)提供一種盡可能規(guī)避更多障礙的方案；在數(shù)據(jù)獲取方面，使用樹(shù)莓派獲得建筑物圖片，之后將圖片傳到視覺(jué)模塊做進(jìn)一步處理與分析。

圖2 尋徑模塊分析圖

3.1.1 路徑規(guī)劃算法

由于無(wú)人機(jī)飛行需要考慮第三維度——高度，所以在規(guī)劃路徑的一開(kāi)始需要確定一個(gè)相對(duì)恒定的數(shù)據(jù)，也就是高度。確定高度同時(shí)還有一個(gè)好處：可以在原先算法的基礎(chǔ)上不做太大改變。而在《無(wú)人駕駛航空器飛行管理暫行條例（征求意見(jiàn)稿）》第四章飛行空域的第二十八條中寫(xiě)道：真高120米以上空域?yàn)檩p型無(wú)人機(jī)管控空域。所以當(dāng)無(wú)人機(jī)處于較高高度時(shí)，其道路所受樓房建筑的影響較小。從而本文選擇RRT算法對(duì)路徑進(jìn)行規(guī)劃。

快速擴(kuò)展隨機(jī)樹(shù)（RRT/Rapidly Exploring Random Tree）方法通過(guò)對(duì)狀態(tài)空間中的采樣點(diǎn)進(jìn)行碰撞檢測(cè)，通過(guò)對(duì)空間區(qū)域的隨機(jī)采樣點(diǎn)，自動(dòng)尋找一條從起點(diǎn)到目標(biāo)終點(diǎn)的規(guī)劃路徑[3]。此方法可以很好地解決多維并且復(fù)雜的路徑問(wèn)題，最重要的是，在無(wú)人機(jī)的飛行過(guò)程中，系統(tǒng)需要快速地對(duì)空中物體或偏移的路徑進(jìn)行反應(yīng)，以此來(lái)保證無(wú)人機(jī)與行人的安全。盡管RRT算法對(duì)狹小空間的路徑尋找效果并不好，但對(duì)于無(wú)人機(jī)的低空域飛行而言，這并不是問(wèn)題。使用 RRT算法隨機(jī)數(shù)拓展過(guò)程可表示為以下式子:

通過(guò)RRT算法的處理過(guò)程，不難看出RRT方法的隨機(jī)生成點(diǎn)是快速的。在無(wú)人機(jī)的飛行過(guò)程中，很容易出現(xiàn)一些問(wèn)題，如盡管我們?cè)O(shè)定了一個(gè)相對(duì)安全的高度，仍然有可能因?yàn)槎ㄎ幌到y(tǒng)的精度問(wèn)題遇到障礙物，或因?yàn)橥蝗坏恼系K物，如飛鳥(niǎo)、垃圾等不可通過(guò)規(guī)劃路徑來(lái)規(guī)避的物體，而緊急避障。本文使用RRT算法，最看重的一點(diǎn)就是他可以在進(jìn)行緊急避障過(guò)后，快速地重新規(guī)劃路徑，以保證無(wú)人機(jī)的飛行安全。

3.1.2 四方向的超聲波感應(yīng)避障

本系統(tǒng)在無(wú)人機(jī)的前后左右四個(gè)方向上裝HC-SR04超聲波模塊，用來(lái)檢測(cè)無(wú)人機(jī)飛行時(shí)四周的狀態(tài)，確保飛行安全。HC-SR04作為一款高精度超聲波模塊，具有探測(cè)距離遠(yuǎn)（2cm—450cm）、精度高（誤差在0.2cm）、易于控制等優(yōu)點(diǎn)。在無(wú)人機(jī)飛行時(shí)，可以檢測(cè)四周的環(huán)境，防止無(wú)人機(jī)撞到飛鳥(niǎo)、樹(shù)木、建筑物等。

在主控芯片上為超聲波模塊留出IO接口，超聲波模塊使用方法為：給模塊一個(gè)觸發(fā)信號(hào)，當(dāng)超聲波模塊得到觸發(fā)信號(hào)后開(kāi)始工作，并且返回給控制芯片一個(gè)脈沖信號(hào)，控制芯片得到該脈沖信號(hào)后開(kāi)啟定時(shí)器，等待超聲波另一個(gè)脈沖信號(hào)，再次接收到脈沖信號(hào)時(shí)，讀取定時(shí)器的時(shí)間，通過(guò)測(cè)試距離=(高電平時(shí)間×聲速(340m/s))/2計(jì)算出障礙物與無(wú)人機(jī)間的距離。預(yù)先設(shè)定一個(gè)閾值，當(dāng)四方向上的任意一個(gè)方向有障礙物達(dá)到這個(gè)閾值時(shí)，無(wú)人機(jī)做出相應(yīng)的內(nèi)置避障動(dòng)作，來(lái)規(guī)避障礙物，保證無(wú)人機(jī)的飛行安全。

3.1.3 視覺(jué)預(yù)警設(shè)計(jì)

視覺(jué)的預(yù)警主要是防止無(wú)人機(jī)在低空飛行的過(guò)程中遇到障礙，防止無(wú)人機(jī)發(fā)生因意外撞擊物體而發(fā)生的墜毀事件。而對(duì)于該部分的設(shè)計(jì)，主要是通過(guò)使用攝像頭對(duì)周?chē)h(huán)境進(jìn)行信息采集。在通過(guò)實(shí)現(xiàn)建立好的鳥(niǎo)類(lèi)識(shí)別模型進(jìn)行判定。

對(duì)于模型的建立，本文采用全連接神經(jīng)網(wǎng)絡(luò)的方法對(duì)數(shù)據(jù)進(jìn)行處理。同時(shí)通過(guò)對(duì)模型的建模可以推導(dǎo)出以下公式：

本文結(jié)合了謝紅霞等人的方法[4]，使用網(wǎng)絡(luò)上開(kāi)源的鳥(niǎo)類(lèi)圖片進(jìn)行訓(xùn)練。首先定義自己的開(kāi)始數(shù)據(jù)，然后開(kāi)始設(shè)計(jì)模型的每層網(wǎng)絡(luò)，在通過(guò)一次卷積處理，一次池化處理之后，就可以得到鳥(niǎo)類(lèi)識(shí)別器模型。同時(shí)本文還設(shè)計(jì)了一個(gè)丟棄函數(shù)，以防止過(guò)擬合。

3.2 視覺(jué)系統(tǒng)

無(wú)人機(jī)通過(guò)尋徑模塊實(shí)現(xiàn)自動(dòng)定位，利用樹(shù)莓派獲取的建筑物照片在視覺(jué)模塊進(jìn)行處理以得到相應(yīng)的特征信息。由于無(wú)人機(jī)在空中飛行時(shí)可能會(huì)因?yàn)樵S多不確定性因素出現(xiàn)抖動(dòng)、左右傾斜等問(wèn)題，故首先利用SURF算法對(duì)無(wú)人機(jī)獲取到的建筑物圖片做圖像拼接與裁剪操作，將得到的完整且單一的建筑物圖片使用Faster R-CNN算法產(chǎn)生特征候選框，以進(jìn)行特征提取與違章建筑物識(shí)別。

3.2.1 圖像預(yù)處理

訓(xùn)練模型的第一步是輸入數(shù)據(jù)，而數(shù)據(jù)的獲得來(lái)源于無(wú)人機(jī)飛行所獲取的圖片。而無(wú)人機(jī)在飛行中，很難恒定地保持持續(xù)的水平，所以其所拍攝的照片也同樣會(huì)出現(xiàn)抖動(dòng)波紋、傾斜等問(wèn)題，而為了保持所檢測(cè)物體在照片上的單一性，無(wú)人機(jī)所飛行的高度與離物體的距離會(huì)相對(duì)較近，這也可能導(dǎo)致無(wú)人機(jī)所拍攝的物體不完整的問(wèn)題。所以，在無(wú)人機(jī)拍攝完照片后，需要對(duì)其進(jìn)行圖像預(yù)處理操作。同時(shí)，無(wú)人機(jī)所拍攝照片的影像分辨率為0.05～0.1m不等，其圖片像素過(guò)大，很難直接運(yùn)用到模型中，所以在圖像預(yù)處理后，需要將圖片進(jìn)行裁剪，然后依次放入模型中進(jìn)行預(yù)測(cè)[5]。

本系統(tǒng)使用基于 SURF 的特征提取算法的圖像拼接技術(shù)，再將圖片的物體進(jìn)行扶正、穩(wěn)定，最后再對(duì)圖片進(jìn)行裁剪。

3.2.2 SURF算法

SURF算法是基于SIFT算法的改進(jìn)。由于SIFT算法的計(jì)算量過(guò)大，所以在無(wú)人機(jī)航拍技術(shù)中使用它效果并不理想，而SIFT算法的改進(jìn)算法——SURF算法則在速度方面有了明顯的提高。對(duì)于圖像拼接技術(shù)，一般的流程的順序?yàn)椋合仁褂锰卣鼽c(diǎn)提取算法對(duì)特征點(diǎn)進(jìn)行提取，再對(duì)各個(gè)特征點(diǎn)進(jìn)行匹配，匹配成功過(guò)后，進(jìn)行圖像的配準(zhǔn)與重疊邊界處理。而對(duì)于本文所設(shè)計(jì)的圖像處理技術(shù)，筆者采用SURF算法進(jìn)行特征點(diǎn)提取。

由于處理完成后的圖片一般存在拼接處不自然，圖像光澤問(wèn)題不容和等問(wèn)題，所以對(duì)圖片進(jìn)行處理完成過(guò)后，我們需要對(duì)圖片的效果進(jìn)行二次處理。本文的處理思路是：通過(guò)加權(quán)融合的方法，將兩幅圖片相互過(guò)渡，讓圖像重疊區(qū)域的像素按照一定的加權(quán)比例，合成新的圖片。

3.2.3 Faster R-CNN算法

Faster R-CNN算法創(chuàng)造性的采用卷積網(wǎng)絡(luò)自行產(chǎn)生輸入圖片候選框，和目標(biāo)檢測(cè)網(wǎng)絡(luò)共享卷積網(wǎng)絡(luò)，使候選框數(shù)量大大減小，由于預(yù)檢測(cè)的違章建筑物圖片大小存在不確定性，且Faster R-CNN產(chǎn)生的候選框大小形狀各有不同，可以更加準(zhǔn)確的解決多尺度、小目標(biāo)問(wèn)題，非常貼合預(yù)檢測(cè)目標(biāo)。故本文選用Faster R-CNN目標(biāo)識(shí)別算法進(jìn)行對(duì)違章建筑物的識(shí)別。Faster R-CNN算法的精髓在于RPN，算法利用RPN對(duì)輸入圖片產(chǎn)生候選區(qū)域，主要是將特征圖上的像素對(duì)應(yīng)到原圖上去，對(duì)于特征圖上的每個(gè)3×3滑動(dòng)窗口，計(jì)算出滑動(dòng)窗口中心點(diǎn)對(duì)應(yīng)原始圖像上的中心點(diǎn)，生成k個(gè)不同大小的anchor boxes。利用RPN方法產(chǎn)生多個(gè)不同大小的候選框是因?yàn)楸粰z測(cè)目標(biāo)大小不定，生成多個(gè)大小不同的候選區(qū)域可以更好地進(jìn)行對(duì)目標(biāo)的檢測(cè)。RPN的本質(zhì)是對(duì)所有候選框（根據(jù)設(shè)定的9個(gè)anchors在原始圖像中掃描）進(jìn)行判定，其候選框內(nèi)的內(nèi)容是否為前景，若是前景則計(jì)算候選框所需要的修正因子，預(yù)訓(xùn)練Faster R-CNN算法可直接采用RPN Loss + Faster R-CNN Loss的聯(lián)合訓(xùn)練方法。

3.3 地面站

無(wú)人機(jī)在識(shí)別到固定區(qū)域的違章建筑后，將該區(qū)域的實(shí)時(shí)數(shù)據(jù)與位置返回到客戶(hù)端，在客戶(hù)端可以得到無(wú)人機(jī)飛行的實(shí)時(shí)位置，以及所檢測(cè)區(qū)域的違章建筑判斷信息，綜合無(wú)人機(jī)所返回的信息，可以對(duì)該區(qū)域的建筑進(jìn)行判定，以達(dá)到我們通過(guò)無(wú)人機(jī)檢測(cè)違章建筑的目的。

4 結(jié)語(yǔ)

本文利用了無(wú)人機(jī)和北斗定位技術(shù)對(duì)違章建筑物進(jìn)行識(shí)別和檢測(cè)，采用主流的Faster R-CNN目標(biāo)識(shí)別算法，進(jìn)一步加快了對(duì)目標(biāo)物體識(shí)別的精確度，在一定程度上減少了電腦內(nèi)存的占用量，加快了對(duì)違章建筑物的識(shí)別速度，最終將違章建筑物照片分類(lèi)完成后移交上級(jí)城市建設(shè)管理監(jiān)察部門(mén)進(jìn)行處理。另外采用無(wú)人機(jī)技術(shù)對(duì)城市的建筑物進(jìn)行識(shí)別，可以有效避免人工在高危地區(qū)受到危及生命的情況，截止2020年7月，北斗導(dǎo)航衛(wèi)星的定位精度可達(dá)2.5m，測(cè)速精度0.2m/s，這一定位精度對(duì)于大型違章建筑的識(shí)別具有較高的使用意義，無(wú)人機(jī)與神經(jīng)網(wǎng)絡(luò)的結(jié)合可以更高效地對(duì)違章建筑物進(jìn)行識(shí)別，以減輕人工實(shí)地勘測(cè)的危險(xiǎn)性與不確定性。