一種基于圖像目標檢測的無人機相機精準對焦拍照方法*

劉高 饒成成 王昊

(1.廣東電網(wǎng)有限責任公司機巡管理中心，廣東廣州 510163;2.南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州 510700)

0 引言

隨著我國電網(wǎng)系統(tǒng)不斷擴建和擴容，傳統(tǒng)的人工巡檢方式已經(jīng)不能滿足維護電網(wǎng)系統(tǒng)正常穩(wěn)定運行的需求。為了提高巡檢的效率和質(zhì)量國內(nèi)各電網(wǎng)公司已經(jīng)開始逐步推廣無人機對輸電線路的巡檢作業(yè)方式；無人機巡檢雖然在很大程度上提高的巡檢的效率，降低了巡檢成本以及減少了野外作業(yè)的風險，但是無人機巡檢過程中會生成海量的關(guān)于輸電線路部件的圖像數(shù)據(jù)，如果通過人工的方式對這些數(shù)據(jù)進行辨識那么也是一項巨大的工程。因此，研發(fā)智能化的識別輸電線路部件缺陷圖像的算法具有非常重要的意義，在數(shù)字圖像處理領(lǐng)域中基于深度學習思想的對象檢測框架已經(jīng)成為了主流的技術(shù)；數(shù)據(jù)的質(zhì)量直接關(guān)系到機器學習模型的識別性能，高質(zhì)量的數(shù)據(jù)往往可以帶來較高的缺陷識別率。

目前我們通過無人機搭載的攝像機對輸電線路進行巡檢，在我們預(yù)先設(shè)置的位置和角度上進行拍照，只保存單幀圖像沒有錄制視頻，所以不能進行時間序列上的分析，這給精確缺陷檢測的工作帶來了很大的難度；此外由于無人機巡檢都是俯視拍攝，這樣巡檢圖像往往都有很復(fù)雜的背景；雖然無人機可以根據(jù)GPS信息大體的定位到作業(yè)對象如桿塔等對象的坐標信息，在圖像識別領(lǐng)域內(nèi)從特征工程的角度來講，在早期研究者將目光集中在了圖像的低層次特征(如邊緣、輪廓)上，如對缺陷部件防震錘的識別，可以使用hough圓檢測算法獲取到防震錘的圓形部分[1]；劉營軍等在文獻[2]中提出了通過圖像中的紋理特征來檢測直升機巡檢圖像中的絕緣子部件；付晶等在文獻[3]中提出利用層次模型與或圖對目標進行分解表達。從實際應(yīng)用的角度來講，這些方法在一定程度上提高了巡檢的效率，但是在缺陷識別的準確度和時間效率上仍然存在很多局限性，因為以上的方法都是來自于特征工程的方法，這種方法的局限性在于這些特征都是由人工設(shè)計他們對缺陷的表達能力是有限的，不能從復(fù)雜的背景中檢測識別出輸電線路上的部件。

近年來深度學習技術(shù)的出現(xiàn)打破了特征表達能力不足的這種限制，在圖像識別和分類這個領(lǐng)域取得了舉世矚目的成就，將圖像分類任務(wù)的精度提升到了與人類相當?shù)乃?。因為在深度學習中特征提取的步驟是通過機器自動完成的不在受人工的控制，特征表達器的節(jié)點達到了幾百萬個甚至上億個[3]。目前，F(xiàn)aster Rcnn[4]模型在圖像識別和分類領(lǐng)域是最優(yōu)的模型，但是其在檢測效率上遠遠落后于SSD模型。王萬國等在文獻[4]利用Faster RCNN模型識別輸電線路中的部件，分析了不同參數(shù)對間隔棒，均壓環(huán)和防震錘的識別效果進行了分析，然而文獻中沒有進行部件缺陷的判斷，而且分析中所使用的圖像數(shù)據(jù)都是經(jīng)過人工截取得到的，在定位的角度來說缺少了全局信息。我們可以利用深度學習模型強大的特征表達和回歸能力檢測出復(fù)雜場景下物體對象，可以獲取到圖像中物體的尺度和位置信息利用這些信息對無人機上的云臺進行控制，實現(xiàn)相機鏡頭的自動對焦拍照獲取高清圖像數(shù)據(jù)用于做后續(xù)的對輸電線路部件檢測，本文中所提出算法的流程圖如圖1所示。

圖2 SSD物體檢測模型

1 自動對焦拍照算法

1.1 自動物體檢測模型

在基于圖像的物體對象檢測領(lǐng)域內(nèi)存在兩種主流的框架：基于背景差分技術(shù)的模型，基于深度神經(jīng)網(wǎng)絡(luò)框架的模型。屬于背景差分模型的技術(shù)有混合高斯背景建模，貝葉斯背景建模，碼書模型等，屬于深度神經(jīng)網(wǎng)絡(luò)的技術(shù)有SSD、YOLO、RCNN、faster RCNN等，而基于神經(jīng)網(wǎng)絡(luò)的模型又可以被分為兩個類型，SSD和YOLO為單階段網(wǎng)絡(luò)模型，RCNN和faster RCNN為二階段網(wǎng)絡(luò)模型。單階段網(wǎng)絡(luò)模型的檢測速度要遠遠快于二階段網(wǎng)絡(luò)模型，所以目前能夠?qū)旊娋€路部件進行實時性檢測的只有SSD和YOLO模型，兩個模型在網(wǎng)絡(luò)的整體結(jié)構(gòu)上是一致的，SSD模型是在YOLO初級模型的基礎(chǔ)上加入了多尺度和多種層次信息融合的思想，故我們以SSD模型為例對基于深度神經(jīng)網(wǎng)絡(luò)模型的物體檢測框架做簡要的介紹。

SSD物體識別模型的工作原理為：(1)輸入一張待識別的圖像和在訓(xùn)練過程中所標識的每一個識別目標的真實邊框；(2)通過卷積神經(jīng)網(wǎng)絡(luò)的方法來評價不同尺度的特征圖上每一個位置的不同縱橫比例的默認邊框小集合，例如8×8的特征圖如圖2中右圖所示；(3)我們預(yù)測每一個默認邊框的形狀偏移和與每個待識別目標類的相似信度。

1.2 自動對焦拍照

為了讓無人機在飛行過程中獲取到高清質(zhì)量的圖像，無人機在飛行過程中需要對云臺進行實時控制，保持被檢測的物體出現(xiàn)在圖像的視場范圍內(nèi)，并對目標物體進行準確的對焦和測光最后進行拍照。一般情況下相機的自動對焦和光測算法都是針對整幅圖像，無法根據(jù)需要拍攝的特定物體進行對焦和測光，如果在大光比，復(fù)雜場景下出現(xiàn)對焦和測光錯誤的情況時常發(fā)生，進而生成質(zhì)量較差的圖像。

要準確的獲取到高質(zhì)量的圖像我們必須設(shè)計一套可靠、準確的視覺目標識別跟蹤算法，識別出圖像中的目標信息，才能進行無人機云臺的自動控制、對焦和測光。我們利用無人機搭載的物體檢測模型實時的對無人機實時運行飛行過程中獲取到的圖像進行分析處理，獲取到其中待識別物體的尺度和坐標信息，并根據(jù)這些信息控制無人云臺的轉(zhuǎn)動和相機鏡頭的自動對焦光測拍照得到高清的圖像數(shù)據(jù)用于后續(xù)的缺陷檢測。

2 實驗結(jié)果和分析

在本文中我們所使用的圖像數(shù)據(jù)均來自于大疆精靈4系列無人機巡檢輸電線路時候所拍攝的圖像。我們共計收集了5988張圖像對其中的23個類別部件進行了標記，再在其中隨機的抽取具有玻璃絕緣子、復(fù)合絕緣子、連接金具、均壓環(huán)和屏蔽環(huán)五種部件的子集進行一下三種影響模型識別性能因素的測試實驗，以及研究這些因素與模型最終識別精度的相關(guān)性。SSD模型的識別結(jié)果如圖2所示，其中，標號1代表的是玻璃絕緣子，標號2代表的是復(fù)合絕緣子，標號3代表連接金具，標號4代表均壓環(huán)，標號5代表屏蔽環(huán)。在實驗過程中我們使用的硬件配置為i7第八代12核，顯卡為GEFORCE GTX1080TI。

表1 不同卷積核尺寸下模型識別率

我們從總體樣本五個樣本子集，樣本容量分別為500、1000、2000、4000、5500。為了使模型在測試時有更好的泛化能，我們通過旋轉(zhuǎn)圖像的方法來擴充樣本的數(shù)量，將圖像按逆時針方向旋轉(zhuǎn)90°、180°、270°，并對目標的坐標進行對應(yīng)的轉(zhuǎn)換即將旋轉(zhuǎn)后的坐標變換為從左上頂點為原點的坐標系中。

由于在整體的架構(gòu)上SSD模型是端到端的檢測思想；所以在研究卷積核的大小對神經(jīng)網(wǎng)絡(luò)檢測方法檢測精度的影響中，我們可以使用同樣的方法得出卷積核大小與SSD模型檢測精度的相關(guān)性。我們將SSD模型網(wǎng)絡(luò)的第一個卷積層的卷積核大小設(shè)置為7、5、3、1，其它參數(shù)保持不變，通過5000次的迭代訓(xùn)練，500條樣本數(shù)據(jù)進行測試計算模型的檢測精度。實驗結(jié)果如表1所示。

我們可以從表1中觀察到，對于不同的部件在相同迭代次數(shù)和參數(shù)下模型對它們的檢測率是不相同的；隨著模型卷積層卷積核尺寸的增大，模型對該部件的檢測率逐漸提高。導(dǎo)致以上現(xiàn)象的原因是在訓(xùn)練樣本中包含絕緣子數(shù)量最多，再次說明訓(xùn)練數(shù)據(jù)豐富可以產(chǎn)生泛化能力好的模型；卷積核的尺寸越大可以捕獲圖像中更多的結(jié)構(gòu)信息，這樣可以產(chǎn)生更有區(qū)分度的特征進行分類。從整體上來看，模型的識別精度和識別率與卷積核的尺寸呈現(xiàn)正相關(guān)性。

3 結(jié)語

隨著互聯(lián)的發(fā)展各種數(shù)據(jù)都以幾何式的增長，硬件技術(shù)的發(fā)展使得運算和存儲設(shè)備的性能有了極大的提升，基于以上兩方面的原因促使了大數(shù)據(jù)和人工智能時代的到來。智能輸電線路部件缺陷巡檢技術(shù)出現(xiàn)，并代替原有的人工巡檢已經(jīng)只是時間問題。在本文中，我們利用實際無人機巡檢數(shù)據(jù)，通過人工挑選和標注了輸電線路上五種常見的輸電線路對象，在不同樣本容量，不同圖像分辨率和不同卷積核的大小的情況下對SSD模型進行了訓(xùn)練和測試，從橫向和縱向上對比了這三種參數(shù)對模型識別精度的影響。從實驗結(jié)果上我們可以看到隨著樣本容量的增大，圖像分辨率的提高，卷積核尺寸的增大模型的檢測精度都有所提高，并且利用實時物體檢測的尺度和位置信息對云臺進行控制和對鏡頭的焦距進行對焦光測拍照可以有效的提高無人機所獲取到的圖像質(zhì)量。