基于改進ORB的巡檢機器人視覺算法研究

孫溫和，張國偉，，盧秋紅

（1.上海電力學院自動化工程學院，上海 200090；2.上海合時智能科技有限公司，上海 201100)

基于改進ORB的巡檢機器人視覺算法研究

孫溫和1，張國偉1，2，盧秋紅2

（1.上海電力學院自動化工程學院，上海 200090；2.上海合時智能科技有限公司，上海 201100)

針對目前變電站巡檢機器人存在的不足，提出一種改進的視覺伺服算法。當巡檢機器人采集到儀表圖像時，利用改進的ORB與模板圖像匹配，以驗證捕獲的圖像包含感興趣區(qū)域（ROI），若ROI是實時圖像的一部分或全部，則云臺控制（PTZ）計算偏移像素來補償缺陷。改進的ORB克服傳統(tǒng)ORB不具尺度不變性的缺點，使圖像匹配結(jié)果更加精確，機器人能夠采集更準確的目標圖像，有利于后續(xù)識別工作的進行。實驗結(jié)果表明，該算法提高機器人捕獲圖像的效率，為變電站使用機器人進行巡檢提供可行性。

上海市電站自動化技術(shù)重點實驗室（NO.13DZ2273800）

0 引言

隨著變電站智能化程度的不斷提高，利用機器人來完成巡檢任務(wù)成為一種趨勢。由于國內(nèi)變電站大多數(shù)儀表設(shè)備均為指針儀表，因此，基于機器視覺實現(xiàn)對變電站儀表自動識別是關(guān)鍵技術(shù)之一[1]。機器人巡檢過程中，首先要采集需要識別的儀表圖像，但由于誤差的存在，目標儀表會偏移視野。即需要識別的設(shè)備部分或整個區(qū)域?qū)⑵x圖像，會導致機器人無法正常識別，從而導致電力系統(tǒng)的隱患。因此，巡檢機器人能夠捕獲高質(zhì)量的圖像非常關(guān)鍵。

1 視覺伺服

為了解決機器人拍攝儀表圖像時的視覺偏移問題，需要建立機器人視覺伺服系統(tǒng)。視覺伺服系統(tǒng)的主要目的是使用視覺系統(tǒng)提供的信息來控制和調(diào)整機器人的動作[2-3]。機器人視覺伺服系統(tǒng)的一般結(jié)構(gòu)如圖1所示。相機作為視覺傳感器執(zhí)行，以計算機器人與周圍環(huán)境之間的相對位置。根據(jù)期望的設(shè)定點和反饋信息，視覺控制器產(chǎn)生機器人的運動控制指令，以控制機器人實現(xiàn)給定的任務(wù)[4]。

圖1 機器人視覺伺服結(jié)構(gòu)

1

1.1 視覺伺服算法

目前，變電站巡檢機器人是輪式車輛平臺并且在預(yù)先設(shè)定的路線上行駛[5]。機器人停在設(shè)備前面的固定預(yù)設(shè)點，并調(diào)整攝像機參數(shù)以捕獲設(shè)備圖像，在固定點從RFID標簽讀取參數(shù)。然而在獲取圖像時不包括機器人的姿勢和目標設(shè)備之間的關(guān)系描述，因此不會對機器人姿態(tài)做出校正和調(diào)整。為了提高巡檢機器人的圖像采集的質(zhì)量，本文提出了一種改進的視覺伺服算法，具體過程如下：

步驟1巡檢機器人捕獲每個設(shè)備圖像并保存到模板庫；

步驟2機器人使用模板圖像拍攝參數(shù)在預(yù)設(shè)點連續(xù)拍攝儀表圖像；

步驟3在每個預(yù)設(shè)點處，捕獲的圖像被上傳到模式識別功能服務(wù)器；

步驟4服務(wù)器調(diào)用儀表模板圖像，并通過改進的ORB將特征點與捕獲的圖像匹配[6-7]；

步驟5計算模板圖像和實時捕獲圖像之間的偏移距離，以確定要識別的儀表是否在捕獲的圖像中；

步驟6驗證捕獲的圖像是否包含完整的目標儀表，如果圖像包含完整的目標儀表，根據(jù)模板參數(shù)確定是否需要放大焦距執(zhí)行“輔助伺服”。若需要改變焦距，則保持PTZ位置，只調(diào)整焦距參數(shù)，轉(zhuǎn)到步驟3；否則，轉(zhuǎn)到步驟8。如果目標儀表部分或全部偏離圖像，根據(jù)距離和焦距像切線計算像素偏移和PTZ旋轉(zhuǎn)角度偏移。將旋轉(zhuǎn)角度偏移量轉(zhuǎn)換為PTZ移動參數(shù)，調(diào)用PTZ偏移量控制補償圖像采集誤差，轉(zhuǎn)到步驟7；

步驟7步驟3至6完成了一個完整“視覺伺服”。計數(shù)“視覺伺服”次數(shù)，如果計數(shù)達到預(yù)設(shè)值，則機器人無法捕獲圖像。

1.2 改進的OORRBB算法

圖像特征匹配在視覺伺服算法中是比較關(guān)鍵的一步，一旦匹配失誤，很可能無法捕獲準確的圖像，因此對圖像特征匹配算法的魯棒性要求較高。目前主要的圖像特征匹配算法有[8]：SIFT、SURF及ORB算法。其中SIFT和SURF匹配精確度高，具有尺度不變性，但運算速度慢。ORB算法是目前最為快速的圖像特征匹配算法之一，但由于FAST檢測不包含特征點尺度信息，故ORB不具備尺度不變性，所以在圖像尺度發(fā)生變化的情況下，特征點匹配效果較差。因此，本文結(jié)合SIFT算法思想，對ORB進行改進，改進后的ORB算法具備尺度不變性。改進的ORB算法步驟如下[9]：

（1）通過SIFT思想建立尺度空間，檢測極值點；

（2）去除低對比度和邊緣上的極值點，獲得具有尺度不變性的穩(wěn)定特征點；

（3）求取特征點的質(zhì)心方向；

（4）通過ORB描述符獲得具有尺度和旋轉(zhuǎn)不變性的特征點二元描述子；

（5）漢明距離實現(xiàn)特征點匹配。

（1）圖像偏差計算采用文中提出的改進的ORB算法將實時檢測圖像和設(shè)備模板圖像的特征點對。在兩個圖像中對每對特征點的位置進行排序，然后可以通過以下公式計算實時圖像和模板圖像的像素誤差偏移：

其中，offset(pix)是像素誤差偏移的結(jié)果，H為水平方向，V為垂直方向；Ctemp模板圖像中特征點的位置；Ccap為實時捕獲圖像中另一個特征點的位置。

（2）PTZ角度偏移

基于正切比例作為距離和焦距，計算PTZ角偏移與圖像像素偏差?！捌啤北硎綜CD或IR設(shè)備的相機投影中的圖像像素偏差的實際距離。它可以通過以下公式計算：

其中，offset是成像裝置中的圖像像素的距離，resolution是相機成像裝置中的一個像素寬度。

模板圖像和實時圖像之間的旋轉(zhuǎn)角偏移可以通過以下公式來計算[10]：

offset(Ang)是模板圖像和實時圖像之間的旋轉(zhuǎn)角偏移，f是圖像采集的焦距。

高校和社會合作方的合作往往比較隨意，由于合作方領(lǐng)導層人員的變動等原因，有可能導致合作項目流失、擱淺，甚至被取消。合作機制往往停留在口頭協(xié)議、框架協(xié)議上，很難進入合同協(xié)議、制度協(xié)議等層面，有可能導致合作時有時無、前途不定。

2 實驗結(jié)果

圖2和圖3分別為ORB匹配效果圖和改進的ORB匹配效果圖?？梢钥闯?，ORB采用FAST角點檢測，故檢測到更多的特征點；此外，ORB不具尺度不變性，匹配較為雜亂。改進的ORB算法借鑒SIFT思想，具備尺度不變性，當目標尺度變化時依然有較好的匹配效果。從圖4、圖5可以看出，相比SIFT和傳統(tǒng)的ORB算法，改進的ORB算法同時具備匹配精度高和匹配速度快優(yōu)點。

在一個預(yù)設(shè)位置，使用相同的變電站設(shè)備來證明所提出的視覺伺服算法的精度。圖6是在檢查任務(wù)中，實時捕獲儀表的圖像，儀表設(shè)備部分偏移；進行視覺伺服校正后，目標幾乎在圖像的中間，如圖7；為了觀察設(shè)備的細節(jié)，機器人需要放大相機的焦距，放大到儀表區(qū)域，如圖8。

圖2 ORB匹配效果

圖3 改進的ORB匹配效果

圖4 匹配時間對比

圖5 匹配精度對比

圖6 校正前

圖7 校正后

圖8 儀表圖像放大

3 結(jié)語

本文提出了一種改進的視覺伺服方法。首先通過改進的ORB算法將實時圖像與模板圖像匹配。借鑒SITF的思想改進ORB算法，改進的ORB算法克服了不具尺度不變性的缺陷并保留ORB算法的快速性。然后通過計算實時圖像與模板圖像之間的誤差偏移來自動控制機器人的姿態(tài)，最終捕獲高質(zhì)量的儀表圖像，為后續(xù)的識別工作奠定了良好的基礎(chǔ)。

參考文獻：

[1]楊墨，隋天日，曹濤，等．變電站巡檢機器人自動充電系統(tǒng)[J]．制造業(yè)自動化，2013，35（3）：47-49.

[2]康慶生，孟正大，戴先中．圖像雅可比矩陣偽逆估計在視覺伺服中的應(yīng)用[J]．機器人，2006，28（4）：406-409.

[3]黃穎怡，汪仁煌，岳利軍．機器視覺儀表識別方法的研究進展[J]．自動化儀表，2009，30（8）：58-60.

[4]肖鵬，張彩友，馮華，等．變電站巡檢機器人GPS導航研究[J]．傳感器與微系統(tǒng)，2010，29（8）：23-25.

[5]王麟琨,徐德,譚民.機器人視覺伺服研究進展[J].機器人,2004,26（3）：277-282.

[6]Li L，Wu L，Gao Y.Improved Image Matching Method Based on ORB[C].Ieee/acis International Conference on Software Engineerin，Artificial Intelligence，NETWORKING and Parallel/distributed Computig.IEEE，2016：465-468.

[7]Lowe D.Distance Image Feature from Scale-invariant Key Points[J]．International Journal of Computer Vision．2004，60（2）：91-100.

[8]Gauglitz S，Llerer T，Turk M.Evaluation of Interest Point Detectors and Feature De-scriptors for Visual Tracking[J]．International Journal of Computer Vision，2011，94（3）：335-360.

[9]許宏科，秦嚴嚴，陳會茹．基于改進ORB的圖像特征點匹配[J]．科學技術(shù)與工程，2014，14（18）：105-109.

[10]曾晶，黃自力，王雪梅，等.基于相關(guān)匹配算法的目標角度和尺度檢測研究[J].激光與紅外，2010，40（3）：319-324.

Research on Vision Algorithm of Inspection Robot Based on Improved ORB

SUN Wen-he1，ZHANG Guo-wei1，2，LU Qiu-hong2
（1.Automation Engineering College，Shanghai University of Electric Power，Shanghai 200090；2．Shanghai HRSTEK Co.，Ltd，Shanghai 201100）

Presents a visual navigation method based on Improved ORiented Brief(ORB)mobile robot.In view of the fact that ORB algorithm does not have scale invariance at feature point matching,proposes an improved ORB algorithm based on the idea of SIFT algorithm.Firstly,gener?ates the multi-scale space of the image,and detects the stable extremum in the multi-scale space,so that the extracted feature points have the scale invariant information.Then,describes the feature points by the ORB descriptor to generate the binary invariant descriptor.Uses Improved ORB to extract the ORB features of the input scene,and combined with the robot odometer information to achieve robot naviga?tion.The experimental results show that the algorithm improves the efficiency of the robot to capture the image and provides the feasibility of using the robot to inspect the substation.

1007-1423（2017）23-0051-04

10.3969/j.issn.1007-1423.2017.23.012

孫溫和（1993-），女，碩士研究生，研究方向為機器視覺、機器人導航，Email：402094040@qq.com

張國偉（1970-），男，副教授，研究方向為信息檢測、機器人控制。

盧秋紅（1973-），女，高級工程師，研究方向為機器人技術(shù)、精密儀器

2017-05-11

2017-08-12

視覺伺服；特征點匹配；尺度不變性；改進的ORB

Mobile Robots;Feature Point Matching;Scale Invariance;Improved ORB