一種直升機(jī)避障電力線檢測方法*

朱佩佩

(中國西南電子技術(shù)研究所,成都 610036)

0 引 言

近年來，隨著技術(shù)的發(fā)展，直升機(jī)、無人機(jī)在各行各業(yè)發(fā)揮著不可替代的作用[1]。電力線作為一種特殊的直線目標(biāo)，是無人機(jī)、直升機(jī)等飛行器重點(diǎn)關(guān)注的障礙物目標(biāo)，也是電網(wǎng)巡檢過程中的主要目標(biāo)[2-3]。為了應(yīng)對實(shí)際飛行過程中的復(fù)雜惡劣環(huán)境和狀況，保障執(zhí)行任務(wù)的無人機(jī)、直升機(jī)的安全，需要對電力線目標(biāo)進(jìn)行準(zhǔn)確檢測與識別，該類目標(biāo)的檢測識別是機(jī)器視覺領(lǐng)域的經(jīng)典問題之一[4-7]?？偟膩碚f，現(xiàn)有電力線檢測識別算法可以分為傳統(tǒng)方法[8-12]和人工智能算法[13-14]兩大類。

現(xiàn)有的基于深度學(xué)習(xí)的電力線檢測識別算法采用常規(guī)目標(biāo)檢測識別算法，利用正矩形框的坐標(biāo)對其位置進(jìn)行描述。然而，電力線是一類形狀細(xì)長、特征稀疏、隨著視角的變化容易混在大量背景信息中的特殊障礙物，常規(guī)電力線檢測識別算法得到的目標(biāo)框?qū)﹄娏€所在位置的估計(jì)不夠準(zhǔn)確，而電力線位置估計(jì)的準(zhǔn)確程度直接影響飛機(jī)成功避開障礙物的概率。因此，本文通過估計(jì)電力線相對角度，提煉電力線位置范圍來提高電力線的位置準(zhǔn)確度。

電力線的絕對角度估計(jì)是一類回歸問題。角度的回歸需要結(jié)合角度標(biāo)簽并設(shè)計(jì)相應(yīng)的分支對其進(jìn)行估計(jì)，計(jì)算量大，實(shí)時(shí)性不高，且電力線目標(biāo)長寬比較大，其絕對角度的估計(jì)準(zhǔn)確度不高。通過觀察電力線目標(biāo)特征，將其連續(xù)的絕對角度轉(zhuǎn)化為不連續(xù)的相對角度，即可將絕對角度的回歸問題轉(zhuǎn)化為相對角度的分類問題。分類結(jié)果中的類別信息包含了電力線相對角度信息，無需重新設(shè)計(jì)網(wǎng)絡(luò)分類分支。將該角度信息提取出來調(diào)整水平矩形框，可以將電力線的大致走向表示出來，提高了電力線位置估計(jì)的準(zhǔn)確性。

1 電力線檢測識別方法

為了提高電力線目標(biāo)的檢測識別率，且對該類細(xì)長目標(biāo)的位置信息進(jìn)行提煉，采用實(shí)時(shí)目標(biāo)檢測與識別網(wǎng)絡(luò)YOLO[15]對其進(jìn)行檢測。

1.1 電力線目標(biāo)特征分析

電力線是一類常見的線性目標(biāo)，線性目標(biāo)自身的長寬比較大，且因路面高低差、拍攝視角的差異等因素而在光學(xué)圖像中存在不同的角度信息。對電力線進(jìn)行檢測與識別時(shí)，需制作標(biāo)簽用矩形框?qū)㈦娏€目標(biāo)框出來。觀察人工標(biāo)注的目標(biāo)矩形框真值(Ground Truth,GT)發(fā)現(xiàn)，矩形框囊括電力線頭尾時(shí)，因電力線自身直徑較小且長度方向尺寸較長，會帶入大量背景信息，導(dǎo)致飛行器遇到電力線目標(biāo)時(shí)警示區(qū)域過大。若直接對電力線進(jìn)行帶角度的傾斜框標(biāo)注，圖像進(jìn)行縮放后角度信息需重新變化計(jì)算，且算法實(shí)時(shí)性不高。

因電力線本身是近乎直線的線狀目標(biāo)，矩形標(biāo)注框中的目標(biāo)角度特征可以分為四種情況，即以矩形框左上角和右下角為電力線頭尾，以矩形框右上角和左下角為電力線頭尾，電力線呈90°絕對角度，電力線呈0°絕對角度。對圖像進(jìn)行尺寸變換，使電力線目標(biāo)框調(diào)整為正方形，則上述四種情況下的電力線角度分別為135°、45°、90°、0°。將這四種角度稱為相對電力線角度，用來表示電力線在標(biāo)注矩形框中相對位置，如圖1所示。因此，為了減少算法復(fù)雜度，減少不必要的計(jì)算，將電力線的絕對角度預(yù)測轉(zhuǎn)化為電力線的相對角度預(yù)測，即將一類電力線檢測識別轉(zhuǎn)化為四類電力線檢測識別。類別信息中包含了電力線相對角度信息，進(jìn)一步將該角度信息提取出來調(diào)整水平矩形框，使其可以表示電力線的走向。

圖1 電力線絕對角度和相對角度的對比

1.2 實(shí)時(shí)目標(biāo)檢測與識別網(wǎng)絡(luò)

利用飛行器光電傳感器獲得的圖像指導(dǎo)其躲避障礙物時(shí)，需要對圖像中的障礙物進(jìn)行實(shí)時(shí)檢測與識別。實(shí)時(shí)目標(biāo)檢測與識別網(wǎng)絡(luò)中，YOLO網(wǎng)絡(luò)系列是一類端到端、可以較好平衡速度和精度的實(shí)時(shí)目標(biāo)檢測識別模型。本文采用YOLO系列中較新的YOLOv4[15]作為電力線目標(biāo)檢測識別網(wǎng)絡(luò)。YOLOv4系列中主要包含YOLOv4和YOLOv4_tiny兩類模型，因目標(biāo)類型及數(shù)量不多，本文采用YOLOv4_tiny作為障礙物檢測識別網(wǎng)絡(luò)。YOLOv4_tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[15]，主要包含主干網(wǎng)絡(luò)、檢測頭等部分。

圖2 YOLOv4_tiny結(jié)構(gòu)示意圖

不同于YOLOv3_tiny，YOLOv4_tiny訓(xùn)練時(shí)采用的IOU損失函數(shù)為CIoU損失，定義如下：

(1)

(2)

(3)

式中：v是真值框和預(yù)測框長寬比的相似性，c是兩個(gè)矩形框最遠(yuǎn)角點(diǎn)的距離，α是權(quán)重參數(shù)，IOU表示預(yù)測框b和真值框bGT之間的交并比。CIoU損失綜合考慮了檢測框預(yù)測值和真值之間的重疊面積以及中心點(diǎn)距離和長寬比，可改善復(fù)雜檢測場景中目標(biāo)框預(yù)測值的準(zhǔn)確度。網(wǎng)絡(luò)訓(xùn)練時(shí)，將誤差函數(shù)計(jì)算得到的誤差反向傳播至各個(gè)節(jié)點(diǎn)，對可調(diào)參數(shù)進(jìn)行調(diào)節(jié)，利用訓(xùn)練完成的模型實(shí)現(xiàn)對電力線目標(biāo)框坐標(biāo)及電力線相對角度的估計(jì)。

1.3 目標(biāo)框提煉

將包含在類別信息中的相對角度和目標(biāo)框坐標(biāo)結(jié)合起來，可達(dá)到提煉目標(biāo)所在區(qū)域范圍的效果。網(wǎng)絡(luò)輸出的目標(biāo)框坐標(biāo)為不含角度的正矩形框。假設(shè)原始目標(biāo)框的中心點(diǎn)坐標(biāo)為x、y，高為h，寬為w，當(dāng)模型輸出目標(biāo)框的類別后，可以根據(jù)類別獲得電力線相對角度，按照以下規(guī)則計(jì)算電力線提煉框四個(gè)點(diǎn)的坐標(biāo)。

(1)電力線相對角度為135°

提煉出來的電力線目標(biāo)框坐標(biāo)為

(4)

(5)

(6)

(7)

(2)電力線相對角度為90°

提煉出來的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)不變，即

(8)

(9)

(10)

(11)

(3)電力線相對角度為45°

提煉出來的電力線目標(biāo)框坐標(biāo)為

(12)

(13)

(14)

(15)

(4)電力線相對角度為0°

提煉出來的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)：

(16)

(17)

(18)

(19)

當(dāng)提煉后的電力線目標(biāo)框超出圖像邊界時(shí)，則丟棄提煉框的超出部分，始終保持提煉框在圖像范圍內(nèi)。

圖3給出了電力線目標(biāo)框提煉示意圖。

圖3 電力線目標(biāo)框提煉示意圖

2 實(shí)驗(yàn)結(jié)果

被檢目標(biāo)的精確率P和召回率R分別為

(20)

(21)

式中：TP為模型正確檢測出來的目標(biāo)個(gè)數(shù)，F(xiàn)P為模型誤檢的目標(biāo)個(gè)數(shù)，F(xiàn)N為模型漏檢的目標(biāo)個(gè)數(shù)。

以精確率P和召回率R為橫縱坐標(biāo)，繪制出PR曲線p(r)，計(jì)算PR曲線下的面積，可以得到平均精確率

(22)

多個(gè)類別的AP的均值即為mAP(mean Average Precision)：

(23)

將包含電力線電力塔的圖像整理制作成數(shù)據(jù)集，并將其劃分為訓(xùn)練集和驗(yàn)證集。其中，訓(xùn)練集有796個(gè)圖像樣本，驗(yàn)證集89張。利用Mosaic數(shù)據(jù)增強(qiáng)擴(kuò)充訓(xùn)練集，擴(kuò)充后的數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練。模型訓(xùn)練在具有兩塊P40(12T)GPU的服務(wù)器上進(jìn)行，訓(xùn)練網(wǎng)絡(luò)大小為512×384，共訓(xùn)練30 000次，批量大小(batch size)設(shè)為64，初始學(xué)習(xí)率為0.001。網(wǎng)絡(luò)訓(xùn)練過程中，記錄的模型誤差和mAP變化如圖4所示。

圖4 訓(xùn)練誤差變化及mAP

經(jīng)過多次訓(xùn)練，模型可以達(dá)到的最佳mAP(@0.50)為62.50%。其中，單個(gè)類別的AP分別為

AP(power_line_0) =38.04%，AP(power_line_45) =54.90%，AP(66.67%) =66.67%，AP(57.22%) =57.22%，AP(power_tower)=95.68%。

模型檢測結(jié)果如圖5所示。電力線目標(biāo)根據(jù)角度信息又分為了四類，根據(jù)矩形框提煉方法將這四類目標(biāo)的矩形框調(diào)整為范圍更小的旋轉(zhuǎn)框，提煉框效果如圖6所示。對比圖5和圖6可以看出，相比于原始正矩形框(虛線框)，提煉后的目標(biāo)框(實(shí)線框)可以明顯減少背景區(qū)域，更加準(zhǔn)確地表示電力線所在位置，且YOLOv4-tiny算法的實(shí)時(shí)性高，可實(shí)現(xiàn)電力線的實(shí)時(shí)檢測。

圖5 初始電力線檢測識別結(jié)果

將本文中利用深度學(xué)習(xí)和目標(biāo)框提煉的電力線檢測結(jié)果(見圖6)和傳統(tǒng)Hough變換算法得到的電力線檢測結(jié)果(見圖7)進(jìn)行對比。基于Hough變換的電力線檢測方法首先通過Sobel算子對原圖中進(jìn)行邊緣檢測，然后通過Hough變換對邊緣檢測結(jié)果進(jìn)行直線檢測，最后將直線檢測結(jié)果作為電力線檢測結(jié)果。從圖6和圖7的檢測結(jié)果可以看出，本文采用的人工智能的方法能夠準(zhǔn)確地檢測到更多的電力線，且本文的相對角度分類方法對電力線所在范圍進(jìn)行了進(jìn)一步確定，對背景區(qū)域進(jìn)行了抑制；而傳統(tǒng)方法難以區(qū)分背景直線和電力線直線，且直線檢測不完整、不連續(xù)。因此，相比于傳統(tǒng)方法，本文方法在電力線檢測中效果更好。

圖7 基于Hough變換的電力線檢測結(jié)果

3 結(jié)束語

本文針對形狀細(xì)長、特征稀疏的電力線目標(biāo)檢測與識別的位置精度不夠的問題，提出估計(jì)電力線相對角度、提煉電力線位置范圍來提高電力線的位置準(zhǔn)確度，進(jìn)而提高飛機(jī)避開障礙物的成功率。首先通過分析電力線特征將其絕對角度的回歸轉(zhuǎn)化為相對角度的分類問題，進(jìn)而采用實(shí)時(shí)目標(biāo)檢測與識別模型YOLOv4_tiny對電力線的位置及角度進(jìn)行估計(jì)，估計(jì)完成后通過提出的矩形框提煉方法對電力線的準(zhǔn)確位置進(jìn)行描述。通過實(shí)驗(yàn)結(jié)果可看出，該檢測估計(jì)方案可以實(shí)時(shí)對電力線進(jìn)行檢測，且明顯縮小了電力線目標(biāo)框的背景區(qū)域，提高了電力線的位置估計(jì)準(zhǔn)確度。

如何結(jié)合相對角度估計(jì)和高性能模型來提高電力線識別召回率是下一步需要重點(diǎn)研究的內(nèi)容。