基于多傳感器融合的無(wú)人機(jī)電力線巡檢

錢金菊， 潘子宇， 麥曉明， 宇文旋

(1.廣東電網(wǎng)有限責(zé)任公司 電力科學(xué)研究院 人工智能與機(jī)器人研究所，廣東 廣州 510000； 2.中山大學(xué) 數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

我國(guó)電網(wǎng)現(xiàn)行高壓電力線路結(jié)構(gòu)復(fù)雜、規(guī)模龐大，線路通道環(huán)境十分復(fù)雜，異物纏掛、線路下方存在樹(shù)木、違規(guī)施工、違章建筑等易導(dǎo)致線路安全距離不足而發(fā)生短路事故。事故一旦發(fā)生，后果嚴(yán)重，巨大的電流可能造成人員嚴(yán)重傷害，故障造成線路設(shè)備損壞、跳閘停運(yùn)、對(duì)電網(wǎng)運(yùn)行造成沖擊，同時(shí)，故障對(duì)城市區(qū)域供電造成影響，擾亂企業(yè)和居民的正常生產(chǎn)生活秩序，帶來(lái)重大經(jīng)濟(jì)損失[1-2]。針對(duì)不同的電力設(shè)備維護(hù)，遠(yuǎn)程控制機(jī)器人在電纜管道內(nèi)進(jìn)行設(shè)備檢查[3]，對(duì)電力運(yùn)輸線的溫度進(jìn)行實(shí)時(shí)監(jiān)控[4]，保障電力設(shè)備的安全運(yùn)行。

在智能電網(wǎng)的新時(shí)代，用于電力線測(cè)量的無(wú)人機(jī)技術(shù)越來(lái)越受到電力行業(yè)的關(guān)注[5-6]。目前，檢查受到人為因素的影響太多。在一些危險(xiǎn)區(qū)域，無(wú)人機(jī)可以避免人工檢查造成的人員傷亡和錯(cuò)誤。目前常用的方式是在電力工人巡線過(guò)程中，對(duì)線路段進(jìn)行人工目視判斷或全站儀量測(cè)，但線路安全距離不足的多發(fā)點(diǎn)通常在人跡難至之地，這種測(cè)量方式由于樹(shù)木、建筑等遮擋以及視覺(jué)透視偏差，難以對(duì)疑似超限點(diǎn)做出準(zhǔn)確有效的判斷，不能適應(yīng)現(xiàn)代化電網(wǎng)的發(fā)展和安全運(yùn)行需要，超、特高壓電網(wǎng)急需高效、先進(jìn)、科學(xué)的方式實(shí)現(xiàn)電力線路安全檢測(cè)。為了保證輸電網(wǎng)的安全運(yùn)行，迫切需要開(kāi)發(fā)一種自動(dòng)、靈活的電力線檢測(cè)方法。

有人直升機(jī)[7]及大型無(wú)人機(jī)[8-9]攜帶激光掃描系統(tǒng)電力線路通道巡檢技術(shù)[10]，已在我國(guó)電網(wǎng)巡檢中逐漸得到應(yīng)用。機(jī)載激光雷達(dá)測(cè)量系統(tǒng)可以很好地解決空間定位和測(cè)量精度等問(wèn)題，可直接、快速地采集線路走廊高精度三維激光點(diǎn)云數(shù)據(jù)，進(jìn)而快速獲得高精度三維線路走廊的地形、地貌、地物和線路設(shè)施的空間信息[8]。隨著Light Detection And Ranging(LiDAR)點(diǎn)云數(shù)據(jù)處理技術(shù)的逐漸成熟，目前國(guó)內(nèi)大部分無(wú)人機(jī)電力巡線系統(tǒng)都配備有LiDAR系統(tǒng)[11]。隨著傳感器技術(shù)的進(jìn)步，激光掃描儀和定位定姿系統(tǒng)都在逐步小型化，LiDAR系統(tǒng)也隨之輕小型化，從而能被多旋翼無(wú)人機(jī)所搭載。但激光雷達(dá)只能獲取外部三維信息，無(wú)法提供更豐富的外界信息，如色彩信息。

本文提出了一種基于激光雷達(dá)與圖像數(shù)據(jù)融合的無(wú)人機(jī)三維場(chǎng)景重建檢測(cè)電力線下方地物安全距離的方法，編寫了用于數(shù)據(jù)同步的復(fù)雜可編程邏輯器件(Complex Programmable Logic Device,CPLD)。在GPS/IMU(Global Positioning System/Inertial Measurement Unit)與相機(jī)以及GPS/IMU與激光雷達(dá)配準(zhǔn)過(guò)程中，可以利用公式計(jì)算GPS/IMU、相機(jī)和激光雷達(dá)之間的剛性位置關(guān)系。將AprilTag[12]固定在長(zhǎng)方形紙板上，可以從單個(gè)圖像或激光雷達(dá)數(shù)據(jù)中獲取特征的6自由度定位信息。從序列中隨機(jī)抽取1000對(duì)標(biāo)定數(shù)據(jù)進(jìn)行隨機(jī)樣本一致性采樣，擬合得到想要的標(biāo)定結(jié)果。將多模態(tài)神經(jīng)網(wǎng)絡(luò)(Multimodal Neural Networks,MNN)算法[13]引入到電力線分割中，它包含了一些改進(jìn)，可以通過(guò)其他方式(如深度圖像和單一顏色信息)，利用自己的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行檢驗(yàn)。利用Voxel Hashing[14]進(jìn)行快速三維語(yǔ)義場(chǎng)景重建，再利用該場(chǎng)景數(shù)據(jù)實(shí)時(shí)擬合電力線弧垂方程，得到電力線的三維模型。最后采用鉛垂線方法對(duì)下方地物安全距離進(jìn)行實(shí)時(shí)檢測(cè)。實(shí)現(xiàn)了對(duì)電力線下方地物安全距離的實(shí)時(shí)檢測(cè)。

1 傳感器配準(zhǔn)

在多旋翼無(wú)人機(jī)上裝備了一個(gè)PointGrey Flea3彩色相機(jī)(15 Hz，分辨率為1328像素×1024像素)、RTK GPS/IMU定位定姿單元、16線Velodyne激光雷達(dá)、數(shù)據(jù)存儲(chǔ)芯片、4G通信模塊和同步控制器。把設(shè)備安裝在無(wú)人機(jī)的底部，相機(jī)與激光雷達(dá)的視場(chǎng)合理重疊是數(shù)據(jù)融合和分割的關(guān)鍵。

1.1 傳感器同步采集

在標(biāo)定激光雷達(dá)和相機(jī)的內(nèi)部參數(shù)，修正設(shè)備內(nèi)部因素引起的畸變等，使標(biāo)定后的相機(jī)符合針孔成像模型后，對(duì)GPS/IMU、相機(jī)以及雷達(dá)之間的相對(duì)位姿進(jìn)行配準(zhǔn)，為數(shù)據(jù)融合做準(zhǔn)備。

傳感器同步用于保證圖像、激光雷達(dá)和位置信息在時(shí)間維度上的對(duì)齊。如圖1所示，利用復(fù)雜CPLD實(shí)現(xiàn)多傳感器的同步。CPLD可以以高頻率、低延遲的方式并行同步采集數(shù)據(jù)。利用其特性，可以同時(shí)觸發(fā)多個(gè)傳感器，在存在GPS/DR信號(hào)的情況下，PPS將用于產(chǎn)生同步控制器的觸發(fā)信號(hào)。采集到的數(shù)據(jù)保存在存儲(chǔ)芯片上，通過(guò)4G模塊回傳。

圖1 同步系統(tǒng)設(shè)計(jì)

1.2 傳感器標(biāo)定

在機(jī)載測(cè)量系統(tǒng)中，GPS/IMU組合導(dǎo)航系統(tǒng)提供了平臺(tái)在世界大地測(cè)量坐標(biāo)系下的位置。利用AprilTag得到了AprilTag相對(duì)于傳感器的6自由度位姿。相機(jī)與激光雷達(dá)、GPS/IMU的相對(duì)關(guān)系如圖2所示。

圖2 傳感器標(biāo)定的位置關(guān)系

(1)

機(jī)載測(cè)量系統(tǒng)在平臺(tái)移動(dòng)過(guò)程中，傳感器高頻率記錄測(cè)量數(shù)據(jù)，經(jīng)后處理得到平臺(tái)的位置和姿態(tài)信息。在慣導(dǎo)坐標(biāo)系下的任一掃描點(diǎn)可通過(guò)式(2)轉(zhuǎn)換到全局坐標(biāo)系：

(2)

(3)

假設(shè)機(jī)載測(cè)量對(duì)同一標(biāo)志物點(diǎn)P進(jìn)行了兩次測(cè)量，多次掃描的AprilTag定位為

(4)

(5)

x=[χ0,γ0,z0,θ0,φ0,ψ0]T

(6)

采用LM(Levenberg-Marquart)[15]非線性優(yōu)化算法解算6個(gè)標(biāo)定參數(shù)，該算法通過(guò)迭代獲得一組非線性方程的最小平方和：

(7)

(8)

2 電力線巡檢

2.1 融合數(shù)據(jù)語(yǔ)義分割

對(duì)于獲取的圖像與激光雷達(dá)數(shù)據(jù)，將多幀激光雷達(dá)數(shù)據(jù)投影到校正后的相機(jī)坐標(biāo)系中，生成深度圖像。然后將最先進(jìn)的語(yǔ)義分割方法MNN引入到電力走廊提取的解決方案中。新穎的多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)架構(gòu)實(shí)現(xiàn)了一種中層融合，允許網(wǎng)絡(luò)利用已經(jīng)在中等功能級(jí)別上的跨模態(tài)相互依賴。該體系結(jié)構(gòu)的優(yōu)點(diǎn)在RGB-D圖像理解任務(wù)中得到了體現(xiàn)。

Schneider等[13]提出的體系結(jié)構(gòu)包含了一些改進(jìn)，這些改進(jìn)可以利用除單一顏色信息之外的其他方式，如深度圖像等。網(wǎng)絡(luò)結(jié)構(gòu)主要由深度網(wǎng)絡(luò)、Network in Network(NiN)[16]與RGB網(wǎng)絡(luò)兩個(gè)部分組成。其中，深度網(wǎng)絡(luò)主要處理圖像信息的深度；NiN與RGB網(wǎng)絡(luò)是GoogLeNet[17]，對(duì)網(wǎng)絡(luò)中RGB圖像的輸入特征進(jìn)行特征提取，并將深度網(wǎng)絡(luò)的特征作為輸入。由于早期融合， RGB和深度輸入可以直接連接起來(lái)，從而產(chǎn)生一個(gè)新的第一卷積層。然后，將RGB網(wǎng)絡(luò)和深度分支網(wǎng)絡(luò)的得分連接到最后，再使用1×1 卷積層作為分類器。它被稱為后期融合。

對(duì)于深度分支，可使用NiN提取深度數(shù)據(jù)。NiN由多個(gè)模塊組成，每個(gè)模塊都進(jìn)一步由一個(gè)卷積層和多個(gè)1×1卷積核組成，卷積層的核大小大于捕獲空間信息的核大小。該模塊相當(dāng)于多層感知(MLP)，可以提高劃分模型的表達(dá)能力，并可以在分類層次上對(duì)特征圖進(jìn)行全局平均匯聚，這是有意義和可解釋的。對(duì)于RGB網(wǎng)絡(luò)，GoogLeNet由卷積層和最大池層組成，這些層可以快速降低空間分辨率。由此推導(dǎo)出獲取目標(biāo)對(duì)象的方法，如電力線和電力塔。

2.2 三維電力走廊場(chǎng)景重建

提取出RGBD圖像的語(yǔ)義特征后，通過(guò)校正將GPS/IMU定位單元的輸出投影到左側(cè)攝像機(jī)坐標(biāo)系中，重構(gòu)出三維語(yǔ)義場(chǎng)景。該方法名為Voxel Hashing[14]，它能夠有效重建場(chǎng)景，重建細(xì)粒度的細(xì)節(jié)和尺度的環(huán)境。

為了利用稀疏性，Voxel Hashing只圍繞重建的表面幾何形狀分配體素塊。一個(gè)高效的Graphics Processing Unit(GPU)加速散列表用于管理體素塊的分配和檢索。體素塊可以使用世界坐標(biāo)(x,y,z)從散列表中進(jìn)行檢索。通過(guò)簡(jiǎn)單的乘法和四舍五入來(lái)求世界空間中三維點(diǎn)的坐標(biāo)。散列表可以用來(lái)進(jìn)一步重建和過(guò)濾歧義。在實(shí)現(xiàn)中，體素存儲(chǔ)了標(biāo)志字段、顏色、語(yǔ)義信息和權(quán)重。

在重建的過(guò)程中，將檢查前后幀在圖像序列中的一致性，并針對(duì)語(yǔ)義模糊的體素塊進(jìn)行優(yōu)化。在插入和檢索過(guò)程中，散列塊的語(yǔ)義信息和權(quán)重將被更新。如果不同的圖像對(duì)相同的體素有不明確的分割，權(quán)重將會(huì)被減弱。在完成整個(gè)序列的重構(gòu)之后，將更新散列表，并刪除存在語(yǔ)義信息模糊的塊。

2.3 電力線提取及建模

根據(jù)分類得到的電力線激光點(diǎn)云，手動(dòng)選擇屬于同一直線上的多個(gè)點(diǎn)，在獲取同一條電力線多個(gè)節(jié)點(diǎn)(3個(gè)點(diǎn)以上)的三維絕對(duì)坐標(biāo)(lng,lat,h)后，通過(guò)弧垂方程擬合得到電力線三維模型。

電力線上任意一點(diǎn)的弧垂是指該點(diǎn)距兩懸點(diǎn)連線的垂直距離?；陔娏€多個(gè)節(jié)點(diǎn)的三維絕對(duì)坐標(biāo)，根據(jù)架空線弧垂公式[18]進(jìn)行電力線擬合。

等高懸點(diǎn)電力線任意一點(diǎn)的弧垂的計(jì)算公式為

(9)

不等高懸點(diǎn)電力線任意一點(diǎn)弧垂f計(jì)算公式為

(10)

式中，σ0為電力線最低點(diǎn)應(yīng)力，單位為kg/mm2；g為電線比載，單位為kg/(m·mm2)；l為檔距，單位為m；φ為懸點(diǎn)高差角，單位為(°)。

獲得電力線弧垂矢量模型后，同時(shí)考慮地球重力場(chǎng)，使用鉛垂線方法，自動(dòng)計(jì)算電力線在鉛垂線上與電力線下方地物密集三維點(diǎn)云的距離?；诰嚯x計(jì)算結(jié)果，自定義不同的閾值以統(tǒng)計(jì)和顯示不同閾值下的結(jié)果，從而達(dá)到自動(dòng)進(jìn)行電力線與下方地物安全距離檢測(cè)目的。

其中，使用鉛垂線方法的計(jì)算公式為

Δh(lng,lat)=hline(lng,lat)-hbottom(lng,lat)

(11)

式中，Δh(lng,lat)為電力線在(lng,lat)點(diǎn)處與地物之間的垂直距離；(lng,lat)為導(dǎo)線上任意點(diǎn)的經(jīng)緯度坐標(biāo)；hline(lng,lat)為點(diǎn)(lng,lat)處電力線的高度；hbottom(lng,lat)為地物點(diǎn)云在以(lng,lat)為中心的圓形區(qū)域中最高點(diǎn)的高度。

3 巡檢實(shí)驗(yàn)

通過(guò)設(shè)計(jì)無(wú)人機(jī)檢測(cè)試驗(yàn)平臺(tái)，并進(jìn)行大量的線路檢測(cè)試驗(yàn)，以驗(yàn)證本文檢測(cè)方案的合理性。測(cè)試場(chǎng)地為東莞市供電局管轄線路中一段11 kV線路，如圖3所示?？倻y(cè)試時(shí)間為60 min，分兩架次，每次約18 min。兩架次分別命名為T1-T2檔號(hào)段和T3-T4檔號(hào)段。

圖3 測(cè)試場(chǎng)地為東莞供電局管轄線路中一段11 kV線路

根據(jù)測(cè)試區(qū)域，無(wú)人機(jī)是按照路線行駛，多個(gè)傳感器同時(shí)采集數(shù)據(jù)。收集到的數(shù)據(jù)一方面存儲(chǔ)在本地磁盤上，另一方面通過(guò)4G網(wǎng)絡(luò)發(fā)送回處理中心。

為了完成特定的語(yǔ)義分割任務(wù)，制作了一個(gè)由機(jī)載測(cè)量系統(tǒng)捕獲的數(shù)據(jù)集，分辨率為1328像素×1048像素。數(shù)據(jù)集分為兩個(gè)部分，分別包含2817張訓(xùn)練圖像和200張測(cè)試圖像，所有的圖像都包含人工標(biāo)注的真值，使用LabelMe[19]進(jìn)行標(biāo)記。

語(yǔ)義場(chǎng)景重構(gòu)示例如圖4所示，用不同顏色表達(dá)不同的語(yǔ)義分類。圖5為激光雷達(dá)與相機(jī)數(shù)據(jù)融合的重建鳥(niǎo)瞰圖，圖5(a)為測(cè)試路段通過(guò)激光雷達(dá)重建的地形模型，將相機(jī)得到的色彩信息融合后得到圖5(b)。圖6為安全距離的分析曲線，紅色虛線是報(bào)警距離。圖6(a)和圖6(b)分別為兩個(gè)檔號(hào)段的距離分布曲線。從圖6(b)可以看出，在T3-T4檔號(hào)中存在著超限異常，達(dá)到報(bào)警容限的數(shù)據(jù)被記錄在表1中，Δh全站儀是利用全站儀測(cè)量對(duì)異常點(diǎn)進(jìn)行檢測(cè)后得到的距離數(shù)據(jù)，當(dāng)安全距離設(shè)置為5 m時(shí)，本方法與全站儀量測(cè)出的數(shù)據(jù)基本一致，且可以得出全序列密集曲線分布，可滿足導(dǎo)線安全距離檢測(cè)的要求。

圖4 語(yǔ)義場(chǎng)景重建

圖5 激光雷達(dá)與相機(jī)數(shù)據(jù)融合重建圖

圖6 測(cè)試場(chǎng)地安全距離分布

表1 T3-T4檔號(hào)段巡檢異常數(shù)據(jù)

4 結(jié)束語(yǔ)

提出了一種基于激光雷達(dá)與圖像融合的無(wú)人機(jī)輸電線路異常檢測(cè)方法。設(shè)計(jì)了一種基于CPLD的低成本、低功耗同步采集板，并利用AprilTag實(shí)現(xiàn)了GPS/IMU和傳感器的快速標(biāo)定。提出了一種基于多傳感器融合的電力線異常檢測(cè)方法，包括語(yǔ)義分割、場(chǎng)景重建和距離測(cè)量。得到電力線的三維模型，采用鉛垂線方法對(duì)下方地物安全距離進(jìn)行實(shí)時(shí)檢測(cè)。用實(shí)驗(yàn)驗(yàn)證了方法的有效性。該檢測(cè)解決方案可以充分利用多傳感器不同特性實(shí)現(xiàn)對(duì)電力線的高效檢測(cè)，促進(jìn)無(wú)人機(jī)在線路巡檢中的推廣應(yīng)用。