基于北斗定位的無人機(jī)路面檢測系統(tǒng)分析

閆宇航，金冶純，徐中林

（滄州師范學(xué)院，河北滄州， 061001）

1 設(shè)計(jì)背景

本次設(shè)計(jì)研究一種基于機(jī)器深度圖像識(shí)別和北斗定位的路面檢測報(bào)警系統(tǒng)，實(shí)現(xiàn)無人機(jī)對(duì)路面損壞信息以及防護(hù)林火災(zāi)情況的自主判定并定位損壞以及事故地點(diǎn)位置，上報(bào)至終端控制器，為路面檢修工作提高效率。

本系統(tǒng)的應(yīng)用場景包括：

（1）路面異物檢測：在高速公路中，有異物落下或者撞死的動(dòng)物遺體等物品，道路養(yǎng)護(hù)人員不能及時(shí)發(fā)現(xiàn)及清理[1]，可以派出本系統(tǒng)的無人機(jī)在道路上空進(jìn)行檢查，通過視覺識(shí)別，自主判別與汽車模型不相似的異物，并通過實(shí)時(shí)圖傳技術(shù)上報(bào)控制端，提前做出預(yù)警。

（2）防護(hù)林火災(zāi)檢測：在公路附近存在的防護(hù)林容易出現(xiàn)火災(zāi)的情況，并且不易發(fā)現(xiàn)，通過無人機(jī)用紅外攝像頭在空中進(jìn)行檢測，識(shí)別火焰模型，及時(shí)地做出預(yù)警，發(fā)送火災(zāi)的消息。

（3）公路事故堵塞情況預(yù)報(bào)：在公路行駛中，可以通過無人機(jī)的巡航攝像頭視覺檢測識(shí)別道路上汽車的密度，以此來判斷道路中行駛情況，若檢測出道路擁堵，可發(fā)送擁堵信息傳輸給后面的往來車輛，避免更大的擁堵情況，使交通情況得到緩解。

根據(jù)設(shè)計(jì)需要，由于飛行距離遠(yuǎn)，回傳數(shù)據(jù)工作量大，實(shí)時(shí)數(shù)據(jù)傳送可能造成數(shù)據(jù)堵塞，延遲等系列不利因素，因此無人機(jī)在工作時(shí)需要自主飛行。在地面工作人員根據(jù)地圖信息設(shè)置好巡航路線的經(jīng)緯度。即起點(diǎn)，途經(jīng)點(diǎn)，終點(diǎn)。對(duì)指定路段進(jìn)行巡視識(shí)別。此時(shí)BDS定位系統(tǒng)顯得尤為重要。

2 無人機(jī)選型

■2.1 無人機(jī)選型

民用無人機(jī)可分為固定翼機(jī)、單旋槳直升機(jī)、多旋翼飛行器等。近年來，四旋翼無人機(jī)在農(nóng)業(yè)生產(chǎn)、精細(xì)化巡檢、國防和社會(huì)安全等方面有著廣泛使用并發(fā)揮了重要的作用。但是根據(jù)設(shè)計(jì)需求，采用旋翼式無人機(jī)進(jìn)行測試時(shí)，我們發(fā)現(xiàn)其續(xù)航里程遠(yuǎn)遠(yuǎn)不能達(dá)到檢測需求標(biāo)準(zhǔn)，尤其以常見的大疆四旋翼航拍無人機(jī)為例，通用空中滯留時(shí)間一般為20～30分鐘，往返距離也不足30公里，更何況無人機(jī)還需給攝像頭和BDS定位模塊供電，其續(xù)航里程還將會(huì)大大下降。

通過測試設(shè)計(jì)比對(duì)之后采用固定翼后推式無人機(jī)，對(duì)于續(xù)航里程問題能夠得到很大的緩解。一般的固定翼無人機(jī)，即使使用純電動(dòng)驅(qū)動(dòng)，巡航時(shí)間也輕松突破2個(gè)小時(shí)。

圖1 固定翼無人機(jī)設(shè)計(jì)圖

采用固定翼無人機(jī)進(jìn)行實(shí)際飛行時(shí)，只需通過北斗導(dǎo)航系統(tǒng)沿著指定的路線自主飛行即可，無需飛行人員操控。因此對(duì)于遙控距離也沒有特定的要求，測試距離可以達(dá)到數(shù)百公里，完全適用于偏遠(yuǎn)地區(qū)，其次對(duì)于高速公路而言， 也不存在著90度急轉(zhuǎn)彎等特殊路段，固定翼無人機(jī)完全可以勝任遠(yuǎn)距離公路巡檢。

在本次檢測系統(tǒng)設(shè)計(jì)中就采用了固定翼無人機(jī)為主體，樹莓派進(jìn)行圖像處理并結(jié)合BDS定位系統(tǒng)，快速實(shí)現(xiàn)異常路面的定位和信息上報(bào)。

■2.2 系統(tǒng)整體搭建

無人機(jī)的核心飛控和傳感器放置在整個(gè)機(jī)架的中心位置，攝像頭放置在中心位置的下方。在實(shí)際飛行時(shí)，多種傳感器實(shí)時(shí)接收無人機(jī)的飛行姿態(tài)和位置數(shù)據(jù)，并傳輸給控制模塊，根據(jù)給孔算法，解算出各種控制數(shù)據(jù)驅(qū)動(dòng)舵機(jī)，來調(diào)整飛行方向、路線、飛行高度，采用BDS定位模塊設(shè)定巡檢路線，使用高度計(jì)，標(biāo)定無人機(jī)飛行的高度，空速計(jì)計(jì)算飛行的速度，三軸加速度傳感器+磁場計(jì)控制飛行高度以及姿態(tài)穩(wěn)定調(diào)整。飛機(jī)前部采用攝像頭或者激光測距進(jìn)行自主避障。

2.2.1 姿態(tài)解算

完成無人機(jī)的姿態(tài)解算具體辦法是將各個(gè)位置的方向或加速度傳感器得到的數(shù)據(jù)通過MCU計(jì)算轉(zhuǎn)換成姿態(tài)角，一般有歐拉角表示法、方向余弦矩陣法以及四元數(shù)表示法等運(yùn)算方法。但是三者與機(jī)體角速度存在不一樣的關(guān)系，歐拉角與機(jī)體角速度（陀螺儀）是奇異且非線性的關(guān)系；旋轉(zhuǎn)矩陣與機(jī)體角速度（陀螺儀）是不奇異且維數(shù)高的關(guān)系；四元數(shù)與機(jī)體角速度（陀螺儀）是不奇異且維數(shù)適中的關(guān)系。通過分析計(jì)算，最終為了節(jié)約MCU資源，減少計(jì)算量以及避免萬向節(jié)鎖死等問題，設(shè)計(jì)中采用了四元數(shù)表示法進(jìn)行無人機(jī)的姿態(tài)解算。四元數(shù)表示法不需要考慮坐標(biāo)換算的中間過程，只需要考慮原始坐標(biāo)系與無人機(jī)實(shí)時(shí)產(chǎn)生的實(shí)際坐標(biāo)系的關(guān)系，即可進(jìn)行全姿態(tài)解算。

定義四元數(shù)等式：

具有如下關(guān)系：

四元數(shù)為：

四元數(shù)中無人機(jī)的定點(diǎn)轉(zhuǎn)動(dòng)用W表示，即認(rèn)為原始坐標(biāo)系通過一次轉(zhuǎn)換即可得到機(jī)體坐標(biāo)系。在四組關(guān)系中[x,y,z]表示方向向量，是原始坐標(biāo)與實(shí)際坐標(biāo)的變化矩陣。因此，姿態(tài)矩陣可由四元數(shù)表示為：

再由四元數(shù)進(jìn)行反解得：

通過上述計(jì)算，可得出三姿態(tài)的歐拉角，進(jìn)而完成姿態(tài)解算的任務(wù)。通過數(shù)據(jù)分析過程，無人機(jī)的自主控制系統(tǒng)可以實(shí)現(xiàn)三個(gè)姿態(tài)角（俯仰角、滾轉(zhuǎn)角、偏航角）的穩(wěn)定控制，保證閉環(huán)姿態(tài)系統(tǒng)能夠在實(shí)際應(yīng)用中具有期望的動(dòng)態(tài)特性，進(jìn)而使無人機(jī)沿受控的航跡方向飛行。

但是，實(shí)際飛行環(huán)境中會(huì)受到來自外界的不確定性因素干擾，如：參數(shù)誤差、測量噪聲等未進(jìn)行建模因素的動(dòng)態(tài)影響。所以，必須要考慮系統(tǒng)的抗干擾性能。因此在此次設(shè)計(jì)中，將每一個(gè)通道中都引入適當(dāng)?shù)挠^測器和控制器對(duì)不確定性因素的影響進(jìn)行估計(jì)和補(bǔ)償，以此來保證四旋翼無人機(jī)在干擾條件下依然能夠?qū)ζ湓O(shè)定的理想姿態(tài)的有效追蹤。其流程如圖2所示。

圖2 實(shí)際運(yùn)轉(zhuǎn)流程圖

2.2.2 控制系統(tǒng)

飛行控制系統(tǒng)（Flight control system），無人機(jī)的CPU系統(tǒng)，是無人機(jī)的核心部件。其功能是發(fā)送各種指令，處理外設(shè)傳回的數(shù)據(jù)[2]，如偏航、懸停，各種姿態(tài)變化都是由傳感器將無人機(jī)的數(shù)據(jù)傳回飛控，再由飛控通過運(yùn)算和判斷下達(dá)指令，完成動(dòng)作和姿態(tài)調(diào)整。

本次的設(shè)計(jì)中，主控采用PixHawk飛行控制器作為主控單元[3]，IMU（慣性測量單元）作為信息的提供者。搭配樹莓派4B與攝像頭完成圖像采集與信息處理。并通過MJPG-streamer來進(jìn)行數(shù)字圖傳，以此來輔助客戶端。控制系統(tǒng)在整機(jī)中的通信如圖3所示。

圖 3 飛行控制系統(tǒng)

3 傳輸功能

■3.1 BDS定位應(yīng)用

我國自行研制的全球衛(wèi)星導(dǎo)航系統(tǒng)—BDS導(dǎo)航定位系統(tǒng)，可提供導(dǎo)航、高精度定位等服務(wù).在數(shù)據(jù)通信方面，其還具備短報(bào)文通信功能，精度可達(dá)厘米級(jí)別，測速精度0.2m/s。

其中BDS系統(tǒng)可以通過數(shù)據(jù)鏈來完成對(duì)移動(dòng)基準(zhǔn)站實(shí)時(shí)發(fā)送的RTK差分來修正數(shù)據(jù)[4]。通過北斗 RTK 信息和卡爾曼濾波融合SINS，實(shí)時(shí)解算在基準(zhǔn)站的固定坐標(biāo)系中無人機(jī)的坐標(biāo)及航向、姿態(tài)、速度等參數(shù)[5]，通過這些參數(shù)很快計(jì)算出無人機(jī)和基準(zhǔn)站之間的距離，引導(dǎo)無人機(jī)完成精確路面裂縫檢測作業(yè)。

利用北斗衛(wèi)星導(dǎo)航系統(tǒng)的上述導(dǎo)航定位優(yōu)勢，可為路面裂縫精確分類提供高精度的經(jīng)緯坐標(biāo)，為后續(xù)的路面的精確養(yǎng)護(hù)提供精確的經(jīng)緯度信息，具有重要的社會(huì)經(jīng)濟(jì)現(xiàn)實(shí)意義。

在無人機(jī)上安裝北斗定位部分，選擇采用SKG1223定位模塊獲取定位信息，SKG1223是一款高性能的導(dǎo)航定位模塊，支持北斗二號(hào)、三號(hào)的 B1L/B1C/B2A 三頻衛(wèi)星接收，能夠更好地消除高階電離層延遲的影響，固定在無人機(jī)上，在露天的環(huán)境中定位更快、精度更高。

另外，該模塊擁有-162dBm 的跟蹤靈敏度，使得模塊在信號(hào)較弱的山區(qū)環(huán)境下依然能夠提供精準(zhǔn)位置服務(wù)。BDS定位模塊與主控樹莓派的通信接口采用UART串口方式，并采用NMEA-0183協(xié)議輸出的定位信息[6]。該協(xié)議采用ASCII碼傳輸模塊定位信號(hào)，并通過串口通信將信息傳輸回主控芯片，最后借助數(shù)據(jù)傳輸模塊將經(jīng)過代碼解析后的定位信息傳送到終端監(jiān)測中心。

系統(tǒng)定位經(jīng)過驗(yàn)證之后，能夠獲取精確定位數(shù)據(jù)，之后可以通過GIS軟件來繪制我們定位信息的圖像，增強(qiáng)數(shù)據(jù)的可視性。

圖 6 安裝圖片

■3.2 GPRS/GSM通信

GPRS/GSM通信方式，廣泛應(yīng)用在物聯(lián)網(wǎng)/車載/電力環(huán)境檢測等領(lǐng)域范圍，本系統(tǒng)采用A6 GPRS模塊，其是一款GPRS數(shù)據(jù)傳輸核心模塊，提供串口轉(zhuǎn)GPRS/短信息/語音通話等信息傳輸功能，在遠(yuǎn)程通信的設(shè)備端斷開網(wǎng)絡(luò)連接，客戶端無法接收數(shù)據(jù)時(shí)，系統(tǒng)將采用GPRS/GSM通信的方式進(jìn)行每次評(píng)估檢測定位數(shù)據(jù)以短信形式傳輸，做到實(shí)時(shí)傳送。

圖4 模塊圖片

圖 5 A6 GSM模塊

本系統(tǒng)中主控樹莓派與A6 GSM模塊配合實(shí)現(xiàn)數(shù)據(jù)發(fā)送。選用gammu作為短信發(fā)送工具，而A6 GSM模塊需要進(jìn)行相關(guān)的設(shè)置才可正常使用。在樹莓派上要徹底禁用串口的console登錄功能，之后可以執(zhí)行GSM模塊的激活步驟，sudo gammu-config，端口寫ttyAMA0，波特率選擇at115200，其余默認(rèn)。最后保存，此時(shí)返回GSM模塊的相關(guān)信息，等待配置完成，就能實(shí)現(xiàn)短信的發(fā)送。sudo gammu sendsms TEXT “對(duì)方手機(jī)號(hào)碼”-text“英文內(nèi)容”，在手機(jī)號(hào)碼后加一個(gè)參數(shù)“-unicode”可以實(shí)現(xiàn)中文支持。

通過以上的步驟配置并測試好樹莓派GSM短信通信功能，隨后將樹莓派和GSM模塊安裝在無人機(jī)主控上方，在實(shí)際飛行工作中，需要實(shí)時(shí)短信發(fā)送GPRS所采集到的位置信息，保證在信息接收的即時(shí)性。

■3.3 MJPG實(shí)時(shí)圖傳

本次設(shè)計(jì)中，對(duì)于遠(yuǎn)距離傳輸采用較為新穎的MJPGstreamer來進(jìn)行數(shù)字圖傳。MJPG-streamer可以通過HTTP和其他的方式訪問linux上面的兼容攝像頭，并且MJPG-streamer圖像傳輸流暢度比較高，從而做到遠(yuǎn)程視頻傳輸?shù)男Ч?/p>

在地面控制端，將遙控、MJPG實(shí)時(shí)圖傳和BDS位置通知集成為APP形式，便于控制，為地面控制人員及時(shí)掌控路面裂縫信息提供可視化的解決方案。系統(tǒng)所需的APP采用Qt軟件進(jìn)行編寫，Qt編寫之后的應(yīng)用，可以多次編譯到不同終端平臺(tái)，如Windows、MAC、Android、iOS等。搭建好Qt軟件所需的環(huán)境后，進(jìn)行構(gòu)建APP測試并進(jìn)行下一步的APP實(shí)際創(chuàng)建。

首先搭建環(huán)境以及硬件設(shè)備連接，安裝好MJPGStreamer，并進(jìn)行相關(guān)代碼的分析：絡(luò)socket發(fā)送出去 ＊/

完成PC端樹莓派環(huán)境的搭建，Enable（啟用）樹莓派攝像頭，供電開機(jī)。

啟用攝像頭支持，然后選擇Interface Options，選擇Camera然后按回車，再次回車，重啟樹莓派就完成了設(shè)置。在接收端可以創(chuàng)建一個(gè).html文件就可以直接打開網(wǎng)址http://＜樹莓派ip＞:＜port＞/javascript.html進(jìn)行視頻實(shí)時(shí)追蹤。效果如圖 7所示。

圖 7 實(shí)時(shí)圖傳效果

■3.4 紅外識(shí)別

在防護(hù)林火災(zāi)檢測部分采用基于紅外攝像頭的監(jiān)控平臺(tái)，利用熱成像原理，通過接收物體發(fā)射的紅外線，將被測目標(biāo)物體表面的紅外輻射轉(zhuǎn)變成視頻信號(hào)，同時(shí)接收被探測目標(biāo)自身輻射的熱能，并將其轉(zhuǎn)換成反映目標(biāo)特征的實(shí)時(shí)物體表面的熱圖像，來監(jiān)測火災(zāi)及其他異常事件，是結(jié)合現(xiàn)今行業(yè)發(fā)展水平的集成化，網(wǎng)絡(luò)化的紅外熱成像公路防護(hù)林監(jiān)控的解決方案。

當(dāng)火災(zāi)發(fā)生后，尤其是森林火災(zāi)的情況下，火焰產(chǎn)生的煙霧很大，往往遮蓋了真正的著火點(diǎn)，以及火災(zāi)的蔓延趨勢。紅外熱像儀有很強(qiáng)的穿透煙霧的能力，可有效地發(fā)現(xiàn)真正的著火點(diǎn)，以及火災(zāi)的蔓延趨勢，因此，可用于指揮救火，盡量減少經(jīng)濟(jì)、人員的損失。而森林火災(zāi)在地面火被撲滅的情況下，在地下往往還存在地下火的情況，因此，經(jīng)常會(huì)出現(xiàn)死灰復(fù)燃的情況。紅外熱像儀可通過監(jiān)控火災(zāi)后森林地表的溫度，及時(shí)發(fā)現(xiàn)地表溫度的異常，確定地下火可能存在的地點(diǎn)。

4 檢測算法分析

在路面裂縫的識(shí)別中，傳統(tǒng)識(shí)別模式大多采用圖像處理的方法，對(duì)圖像進(jìn)行灰度化、二值化以及裂縫邊緣檢測，常用Canny和Roberts邊緣檢測算子[7]，但采用這幾種方法均會(huì)出現(xiàn)大量圖像處理過程，效率較為低下且準(zhǔn)確率不高。本次介紹中采用CNN網(wǎng)絡(luò)模型，只需要進(jìn)行裂縫圖像的灰度化，一般可直接進(jìn)行模型訓(xùn)練，CNN能夠自主學(xué)習(xí)并完成分類目標(biāo)，壓縮了圖像處理時(shí)間，并且能夠快速地完成分類。

本次設(shè)計(jì)中所實(shí)現(xiàn)的功能是對(duì)路面異物以及裂縫、防護(hù)林失火情況進(jìn)行識(shí)別判斷，對(duì)兩種識(shí)別功能分別構(gòu)建算法識(shí)別，應(yīng)用到MCU，并結(jié)合GPRS/GSM通信方式報(bào)警提醒地面控制端及時(shí)處理為此設(shè)計(jì)出能夠?qū)β访鎴D像進(jìn)行提取計(jì)算完成識(shí)別的方法。采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)路面異物、裂縫數(shù)據(jù)進(jìn)行學(xué)習(xí)，開發(fā)框架使用Keras，通過Python編程。

路面基本特征信息的識(shí)別和提取，采用多層感知機(jī)和深度卷積神經(jīng)網(wǎng)絡(luò)共同對(duì)路面裂縫圖像分析，如圖 8所示。首先，將一定數(shù)量的路面裂縫圖像進(jìn)行灰度化、標(biāo)簽化和歸一化處理，形成訓(xùn)練集。隨后使用訓(xùn)練后的模型對(duì)測試集判斷預(yù)測，將多層感知機(jī)和深度卷積神經(jīng)網(wǎng)絡(luò)兩模型效果進(jìn)行對(duì)比。

圖 8 路面物體識(shí)別

■4.1 原始數(shù)據(jù)收集

在采集原始路面信息數(shù)據(jù)時(shí)，每一類路況采集400張照片，主要對(duì)路面的完好路況以及龜裂路況進(jìn)行了采集，在采集過程中保證圖像的質(zhì)量和大小一致，將影響模型訓(xùn)練結(jié)果的因素降到最低。

■4.2 數(shù)據(jù)預(yù)處理

原始數(shù)據(jù)采集后不能夠直接進(jìn)行使用，需要進(jìn)行特殊化標(biāo)準(zhǔn)處理，篩除相關(guān)圖像，來提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

在采集數(shù)據(jù)之后，在保證每一類路況照片分辨率降低的情況下，不會(huì)影響裂縫的分布特征的前提下，統(tǒng)一進(jìn)行照片的分辨率降低處理工作。

完成分辨率減低后，進(jìn)行圖片標(biāo)簽化處理。針對(duì)四類路面信息圖片，采用批量處理程序進(jìn)行標(biāo)簽化的工作。完好路況采用0_x.jpg系列統(tǒng)一命名，橫向裂縫路況采用1_x.jpg系列統(tǒng)一命名，縱向裂縫路況采用2_x.jpg系列統(tǒng)一命名，龜裂路況采用3_x.jpg系列統(tǒng)一命名。圖像對(duì)比如圖9所示。

圖9 矩陣圖

隨后生成路況數(shù)據(jù)集，使用OpenCV接口進(jìn)行處理，完成圖像標(biāo)簽與圖像數(shù)據(jù)信息的對(duì)應(yīng)，寫入csv文件。

■4.3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

在選擇卷積層數(shù)時(shí)，對(duì)應(yīng)的層數(shù)越多，則最終擬合出的結(jié)果模型效果越好，但是針對(duì)此次設(shè)計(jì)中是小批量的數(shù)據(jù)，不需要過高的層數(shù)，所以最終選取了5層的卷積網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行訓(xùn)練。各層參數(shù)如表 1所示，為了防止出現(xiàn)過擬合的情況，增加了Dropot層[8]，以此來完成神經(jīng)元隨機(jī)失活的功能，保證良好的測試集結(jié)果。

表 1 結(jié)構(gòu)參數(shù)

得到準(zhǔn)確的識(shí)別模型后，進(jìn)行實(shí)驗(yàn)驗(yàn)證，隨機(jī)選取200張圖像（55張完好路況，43張橫向裂縫路況，48張縱向裂縫路況，54張龜裂路況），卷積神經(jīng)網(wǎng)絡(luò)對(duì)測試集路面圖像的預(yù)測和分類準(zhǔn)確率平均為98.9%。較為準(zhǔn)確，能夠完成分類任務(wù)。