航拍圖像中電力桿號(hào)牌的檢測(cè)與信息識(shí)別

成云朋， 丁亞杰， 嚴(yán) 鋼， 雷 萍， 吳 藝， 鄭 欣

(1.江蘇省電力有限公司鹽城供電分公司， 鹽城 224000； 2.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院， 常州 213022； 3.江蘇優(yōu)埃唯智能科技有限公司， 常州 213000)

電力桿號(hào)牌包含了所在塔桿的標(biāo)號(hào)及桿塔所承載的電力線的電壓、位置等信息，若輸電線路或電力設(shè)備發(fā)生故障時(shí)，可通過電力桿號(hào)牌快速準(zhǔn)確地定位到故障位置，提高工作效率。近年來，以自動(dòng)識(shí)別技術(shù)為核心的自動(dòng)巡檢成為了當(dāng)前電力巡檢的新方式[1]。無(wú)人機(jī)搭載的系統(tǒng)在電力巡檢上能夠代替人工完成大部分常規(guī)的巡檢工作，不但能有效降低巡檢工作人員的強(qiáng)度，而且安全系數(shù)高。但是當(dāng)機(jī)巡任務(wù)較重時(shí)，需要處理的機(jī)巡照片數(shù)量很大，若檢測(cè)出某張航拍圖像中存在故障，沒有電力桿號(hào)牌的位置索引，很難快速知道故障所在地址，使得電力故障不能被及時(shí)快速處理。現(xiàn)提供一種電力桿號(hào)牌的檢測(cè)與信息識(shí)別算法，能夠從無(wú)人機(jī)巡檢的圖像中定位出電力桿號(hào)牌的位置并對(duì)桿號(hào)牌中的文本信息進(jìn)行識(shí)別與智能分類存儲(chǔ)。算法流程包括對(duì)無(wú)人機(jī)采集的圖像進(jìn)行預(yù)處理、提取桿號(hào)牌并校正、字符分割、文本識(shí)別與文本信息分類存儲(chǔ)。

電力桿號(hào)牌的形狀特征與車牌相近，電力桿號(hào)牌定位與車牌定位同屬于目標(biāo)定位問題。目前車牌定位方法比較成熟，不同方式具有不同的特點(diǎn)。基于形態(tài)學(xué)的車牌定位方法[2-4]，無(wú)法對(duì)車牌進(jìn)行精確定位，并且算法本身對(duì)光照較為敏感；灰度檢測(cè)的方法以及基于彩色空間的車牌分割等方法[5-7]根據(jù)特定顏色空間和相似度對(duì)車牌圖像進(jìn)行分割以實(shí)現(xiàn)車牌的檢測(cè)與定位，該算法對(duì)拍攝的顏色，光照敏感，只能針對(duì)特定顏色檢測(cè)，通用性不強(qiáng)。為保證系統(tǒng)的實(shí)時(shí)性和定位的準(zhǔn)確性，提出一種矩形檢測(cè)的方法實(shí)現(xiàn)桿號(hào)牌的精確定位。

字符識(shí)別是塔桿巡檢信息識(shí)別算法的最重要一步。目前常用的字符識(shí)別方法有模板匹配法[8-10]，特征提取法[11-13]、基于深度學(xué)習(xí)的字符識(shí)別方法[14-16]等。模板匹配法算法簡(jiǎn)單，計(jì)算量小，但是傳統(tǒng)的模板匹配算法識(shí)準(zhǔn)確率并不高；特征提取法魯棒性能好，然而耗時(shí)長(zhǎng)且對(duì)特征的選擇有一定要求；此外還有基于筆畫寬度變換(SWT)的圖像文本定位算法等[17]，但由于該算法是針對(duì)拉丁文設(shè)計(jì)，對(duì)中文的識(shí)別效果并不理想?，F(xiàn)采用改進(jìn)的模板匹配法進(jìn)行字符識(shí)別，以保證較高準(zhǔn)確率的同時(shí)減小運(yùn)算復(fù)雜度。

1 桿號(hào)牌檢測(cè)與識(shí)別流程圖

航拍圖像中電力桿號(hào)牌的檢測(cè)與信息識(shí)別的總體結(jié)構(gòu)流程主要為桿號(hào)牌檢測(cè)與提取校正模塊、字符識(shí)別模塊，桿號(hào)牌檢測(cè)與提取校正模塊包含對(duì)航拍圖像的預(yù)處理、輪廓提取與篩選、桿號(hào)牌校正，為提高桿號(hào)牌檢測(cè)準(zhǔn)確率，該模塊對(duì)圖像的3個(gè)通道都進(jìn)行處理，再綜合提取出電力桿號(hào)牌；字符識(shí)別模塊包含對(duì)提取出的桿號(hào)牌部分進(jìn)行字符分割與字符識(shí)別，流程如圖1所示。

圖1 桿號(hào)牌檢測(cè)與識(shí)別流程圖Fig.1 Flow chart of tower plate detection and information recognition algorithm

2 電力桿號(hào)牌的定位與提取

2.1 圖像預(yù)處理

電力桿號(hào)牌圖像由無(wú)人機(jī)采集，當(dāng)搭載相機(jī)的無(wú)人機(jī)至塔桿周圍時(shí)，以鏡頭與電力桿號(hào)牌間無(wú)遮擋的角度拍攝塔桿，實(shí)時(shí)捕獲電力桿號(hào)牌圖像。航拍圖像易受到天氣影響等因素，需要對(duì)航拍圖像進(jìn)行預(yù)處理，提高圖片的質(zhì)量。為避免后續(xù)處理過程中找不到桿號(hào)牌的輪廓，算法從預(yù)處理開始對(duì)圖像的三通道都進(jìn)行處理。預(yù)處理步驟包括對(duì)圖像進(jìn)行金字塔濾波[18]、灰度化、邊緣檢測(cè)、膨脹處理、二值化等，預(yù)處理流程如圖2所示。

圖2 圖像預(yù)處理流程圖Fig.2 Flow chart of image preprocessing

2.2 桿號(hào)牌提取

桿號(hào)牌同車牌一樣本身具有許多固有的特征。車牌的形狀、色彩空間與紋理特征等先驗(yàn)知識(shí)是車牌定位算法的基礎(chǔ)。邊緣輪廓和角點(diǎn)是矩形桿號(hào)牌的主要特征[19]，現(xiàn)根據(jù)桿號(hào)牌的形狀特征，提出了一種圖像中矩形檢測(cè)算法，該算法對(duì)圖像中三通道的輪廓進(jìn)行檢測(cè)并用多邊形逼近，實(shí)現(xiàn)對(duì)標(biāo)識(shí)牌的粗檢測(cè)提取，對(duì)圖像的三通道進(jìn)行圖像輪廓檢測(cè)，降低了算法對(duì)光照的敏感度，使無(wú)人機(jī)在不同光照條件下拍攝的圖像都能準(zhǔn)確檢測(cè)出桿號(hào)牌，提高了檢測(cè)的準(zhǔn)確率。

2.2.1 輪廓粗提取

通過輪廓跟蹤算法[20]提取二值圖像中的所有輪廓，其中提取的每條輪廓采用點(diǎn)序列表示，為減少輪廓的頂點(diǎn)數(shù)目，使用多邊形逼近算法近似表示每一條輪廓，從而減少輪廓的頂點(diǎn)數(shù)目，實(shí)現(xiàn)航拍圖像中的輪廓粗提取。為篩選出桿號(hào)牌的輪廓，需要對(duì)輪廓進(jìn)行多條件判定。

2.2.2 面積判定(多邊形頂點(diǎn)數(shù)目與面積判定)

提取輪廓中滿足定點(diǎn)數(shù)目為4且面積在閾值范圍內(nèi)的輪廓，即提取出輪廓中合適大小的凸四邊形，并存儲(chǔ)。其中選取頂點(diǎn)數(shù)目為4的輪廓是為了篩選出輪廓中的凸四邊形，設(shè)定面積閾值是為了過濾掉面積過大或過小的凸四邊形，減少計(jì)算量，面積閾值依據(jù)電力桿號(hào)牌與整個(gè)航拍圖像的比例設(shè)定，本文的航拍圖像尺寸為2 048×1 536，設(shè)定的面積閾值為30 000～100 000像素。

2.2.3 角度判定

對(duì)滿足面積判定條件中的輪廓進(jìn)行角度篩選，即選取出四個(gè)角都為“直角”的輪廓。角度判定的目的是為了提取出凸四邊形中的“矩形”。但由于拍攝角度、多邊形逼近輪廓誤差等因素的影響，矩形電力桿號(hào)牌在圖像中也多為不規(guī)則的四邊形，因此需要設(shè)定一個(gè)角度的誤差閾值，若角度在誤差允許范圍內(nèi)，則認(rèn)為該角符合條件。本文獲取的航拍圖像由無(wú)人機(jī)攝像頭正對(duì)桿號(hào)牌拍攝得到，桿號(hào)牌傾斜程度較低，因此在90°直角基礎(chǔ)上設(shè)定了±6°的誤差閾值來判定輪廓中的“直角”。

(1)

(2)

2.3 桿號(hào)牌校正

從圖像的3個(gè)通道中檢測(cè)到符合條件的凸四邊形通常有多個(gè)，由于電力桿號(hào)牌的外形特征，檢測(cè)到的凸四邊形很可能僅為桿號(hào)牌的一部分，即檢測(cè)到凸四邊形不一定為完整的桿號(hào)牌輪廓，如圖3所示。因此需對(duì)這多個(gè)凸四邊形進(jìn)行合并，篩選出完整的標(biāo)志牌。

圖3 電力桿號(hào)牌檢測(cè)到的矩形框Fig.3 Rectangular frame detected on plate

2.3.1 合并凸四邊形

(1)求出多個(gè)凸四邊形的最小外接矩形。如圖4所示，以兩個(gè)凸四邊形的合并為例，假設(shè)檢測(cè)到兩個(gè)凸四邊形的頂點(diǎn)分別為P11、P12、P13、P14與P21、P22、P23、P24，且這些點(diǎn)的順序未知，其中P11=(x11,y11)，P12=(x12,y12)，P13=(x13,y13)，P14=(x14,y14)；P21=(x21,y21)，P22=(x22,y22)，P23=(x23,y23)，P24=(x24,y24)。

圖4 多個(gè)凸四邊形時(shí)合并原理圖Fig.4 Merge schematic of multi convex quadrilateral

求出這兩個(gè)凸四邊形的最小外接矩形，最小外接矩形的4個(gè)點(diǎn)以左上角為起始點(diǎn)順時(shí)針排序分別為P1、P2、P3、P4。設(shè)p1=(x1,y1)，p3=(x3,y3)，則p2=(x3,y1)，p4=(x1,y3)。其中，

x1=min{x11,x12,x13,x14,x21,x22,x23,x24}

(3)

y1=min{y11,y12,y13,y14,y21,y22,y23,y24}

(4)

x3=max{x11,x12,x13,x14,x21,x22,x23,x24}

(5)

y3=max{y11,y12,y13,y14,y21,y22,y23,y24}

(6)

式中：min{}和max{}表示求集合的最小元素和最大元素。

(2)根據(jù)最小外接矩形求電力桿號(hào)牌的4個(gè)頂點(diǎn)。根據(jù)最小外接矩形判定電力桿號(hào)牌4個(gè)頂點(diǎn)的位置與順序。設(shè)電力桿號(hào)牌的4個(gè)頂點(diǎn)以左上角為起點(diǎn)順時(shí)針排序依次為分別為A、B、C、D，且{A,B,C,D}∈{P11,P12,P13,P14,P21,P22,P23,P24}；通過以下條件求出A、B、C、D。

|AP1|=min{|P11P1|,|P12P1|,|P13P1|,|P14P1|,|P21P1|,|P22P1|,|P23P1|,|P24P1|}

(7)

|BP2|=min{|P11P2|,|P12P2|,|P13P2|,|P14P2|,|P21P2|,|P22P2|,|P23P2|,|P24P2|}

(8)

|CP3|=min{|P11P3|,|P12P3|,|P13P3|,|P14P3|,|P21P3|,|P22P3|,|P23P3|,|P24P3|}

(9)

|DP4|=min{|P11P4|,|P12P4|,|P13P4|,|P14P4|,|P21P4|,|P22P4|,|P23P4|,|P24P4|}

(10)

式中：|AP1|表示點(diǎn)A到點(diǎn)P1之間的距離，其他同理。

若電力桿號(hào)牌被拆分為若干個(gè)凸四邊形，同樣可以先求出若干個(gè)凸四邊形的最小外接矩形，再求出若干個(gè)凸四邊形的角點(diǎn)中與最小外接矩形4個(gè)角點(diǎn)距離最近的四點(diǎn)作為電力桿號(hào)牌的4點(diǎn)，由此來精確定位出桿號(hào)牌。

2.3.2 透視變換校正

透視變換也稱作投影映射，即通過投影的方式把當(dāng)前圖像投影到一個(gè)新的視平面。透視變換對(duì)圖像的校正需要獲得原始圖像4個(gè)點(diǎn)的坐標(biāo)和變換后的圖像4個(gè)點(diǎn)坐標(biāo)，通過原圖和變換后圖像的對(duì)應(yīng)坐標(biāo)點(diǎn)計(jì)算透視變換的變換矩陣。透視變換的矩陣變換公式為

(11)

(12)

其中a33=1，得到一個(gè)點(diǎn)的情況為

(13)

則4個(gè)點(diǎn)可得到8個(gè)方程，利用最小二乘法即可解得A。四個(gè)源目標(biāo)點(diǎn)分別表示為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)；分別對(duì)應(yīng)變換后圖像上的點(diǎn)(X′1,Y′1)、(X′2,Y′2)、(X′3,Y′3)、(X′4,Y′4)。

(14)

根據(jù)最小外接矩形的4點(diǎn)P1、P2、P3、P4求得桿號(hào)牌的4點(diǎn)A、B、C、D，再設(shè)定校正后圖像的4點(diǎn)坐標(biāo)，求出投影變換矩陣，然后對(duì)圖像中變形的電力桿號(hào)牌根據(jù)上述公式進(jìn)行校正。電力桿號(hào)牌檢測(cè)與校正效果如圖5所示。

圖5 電力桿號(hào)檢測(cè)與校正示意圖Fig.5 Schematic diagram of tower plate detection and correction

3 桿號(hào)牌文本分割

目前對(duì)車牌字符分割的算法是只適用于單行的車牌圖像，而中國(guó)塔桿桿號(hào)牌一般分成上、下兩部分，且不同桿號(hào)牌的字符大小，數(shù)目不一致，因此傳統(tǒng)的車牌字符分割算法無(wú)法正確分割桿號(hào)牌字符。

現(xiàn)采用結(jié)合桿號(hào)牌文字分布特征的先驗(yàn)知識(shí)，利用投影法分割字符。首先對(duì)桿號(hào)牌圖像二值化，由于不同桿號(hào)牌的顏色不同，需要根據(jù)白色像素個(gè)數(shù)與黑色像素個(gè)數(shù)大小的關(guān)系將二值化圖像統(tǒng)一為白底黑字，最后再利用投影法分割字符。

3.1 桿號(hào)牌的特點(diǎn)及文本信息

目前中國(guó)塔桿桿號(hào)牌沒有標(biāo)準(zhǔn)的格式，一般包含電壓(10、35、110、220、330、500、750、800 kV)，線路編號(hào)，塔桿編號(hào)等信息，通常由上、下兩部分組成，且上、下部分有一條明顯的分割線。電力桿號(hào)牌結(jié)構(gòu)如圖6所示。

圖6 電力桿號(hào)牌結(jié)構(gòu)Fig.6 Tower plate structure

3.2 字符分割與歸一化

根據(jù)桿號(hào)牌特點(diǎn)對(duì)桿號(hào)牌進(jìn)行水平投影并以水平分界線截取將桿號(hào)牌分成兩部分，再分別對(duì)水平分割后的兩部分進(jìn)行垂直分割。

根據(jù)單字符的投影圖像對(duì)分割后的字符進(jìn)行邊緣修正使得字符布滿整個(gè)圖像，減少后續(xù)字符識(shí)別誤差，同時(shí)對(duì)字符進(jìn)行歸一化處理，字符分割并歸一化效果如圖7所示。

4 字符識(shí)別與存儲(chǔ)

4.1 字符識(shí)別

傳統(tǒng)的模板匹配法直接根據(jù)字符圖像的相似函數(shù)判別的方法在實(shí)際應(yīng)用中準(zhǔn)確率較低，沒有實(shí)用性?，F(xiàn)使用改進(jìn)的模板匹配方法對(duì)字符進(jìn)行識(shí)別。即計(jì)算兩幅圖像的歐式距離，距離越小，相似度越高。

本文字符識(shí)別步驟如下：

(1)建立標(biāo)準(zhǔn)模板庫(kù)。模板庫(kù)是根據(jù)巡檢電力線路的名稱100個(gè)、0～9數(shù)字和26個(gè)英文字母按標(biāo)準(zhǔn)字符圖像尺寸大小12×36建立，字符以相應(yīng)的字符信息命名。

(2)計(jì)算歐式距離。遍歷字符庫(kù)，計(jì)算待識(shí)別字符與每一個(gè)模板字符的歐式距離，找到距離最小的匹配字符后，讀取模板字符名稱并輸出。字符識(shí)別效果如圖8所示。

圖8 字符識(shí)別結(jié)果Fig.8 Result of character recognition

4.2 巡檢信息存儲(chǔ)

對(duì)字符識(shí)別輸出的標(biāo)識(shí)牌文本進(jìn)行分類存儲(chǔ)，建立關(guān)聯(lián)文件夾，并保存巡檢信息，完成塔桿巡檢信息智能分類。

5 實(shí)驗(yàn)結(jié)果分析

為評(píng)價(jià)本文提出的航拍圖像中電力桿號(hào)牌檢測(cè)與信息識(shí)別算法性能，從兩個(gè)部分進(jìn)行對(duì)比測(cè)試：①桿號(hào)牌檢測(cè)與提取性能測(cè)試；②字符識(shí)別性能測(cè)試。實(shí)驗(yàn)所用軟件平臺(tái)為VS2017以及MATLAB2015a，硬件配置為：Intel Core i7，4G RAM，2.4GHz CPU。

5.1 桿號(hào)牌檢測(cè)與提取

為了突出本文矩形檢測(cè)算法的檢測(cè)優(yōu)勢(shì)，把文獻(xiàn)[4]與文獻(xiàn)[7]中的算法作為實(shí)驗(yàn)的對(duì)照組，實(shí)驗(yàn)對(duì)象為圖9(a)。文獻(xiàn)[4]提出的基于形態(tài)學(xué)與邊緣檢測(cè)結(jié)合的車牌檢測(cè)方法對(duì)電力桿號(hào)牌的檢測(cè)效果如圖9(b)所示，由于包含了塔桿等邊緣豐富的復(fù)雜背景，因此無(wú)法精確定位，甚至?xí)霈F(xiàn)定位多個(gè)目標(biāo)的情況；文獻(xiàn)[7]提出的基于HSV(hue, saturation, value)空間的車牌定位方法對(duì)桿號(hào)牌檢測(cè)效果如圖9(c)所示，該算法僅能粗略提取出藍(lán)色目標(biāo)，但是對(duì)于其他顏色特征的圖像，檢測(cè)不出來目標(biāo)物，基于HSV空間的車牌定位方法僅適用單一顏色的桿塔牌，通用性不強(qiáng)；本文的矩形檢測(cè)方法對(duì)桿號(hào)牌的檢測(cè)效果如圖9(d)所示，該算法能精確定位出兩種航拍圖像中的桿號(hào)牌，使后續(xù)提取校正的桿號(hào)牌信息更加完整、端正。通過該對(duì)比實(shí)驗(yàn)可以得出本文算法對(duì)于不同顏色，背景復(fù)雜的桿號(hào)牌圖像也具有較好的檢測(cè)效果。

航拍圖像容易受天氣等因素影響，因此對(duì)不同光照情況下的航拍圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖10所示。結(jié)果表明，本文提出的矩形檢測(cè)與校正算法在不同光照條件下，也能實(shí)現(xiàn)對(duì)桿號(hào)牌的準(zhǔn)確提取與校正。

圖10 不同光照下桿號(hào)牌檢測(cè)與校正效果圖Fig.10 Effect of plate detection and correction in different lighting conditions

5.2 桿號(hào)牌字符識(shí)別

為了驗(yàn)證本文改進(jìn)的模板匹配的字符識(shí)別效果，在不同干擾條件下進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖11所示，原圖字符識(shí)別效果如圖11(a)所示，加入椒鹽噪聲后識(shí)別效果如圖11(b)所示，圖片臟污時(shí)識(shí)別效果如圖11(c)所示。結(jié)果表明，結(jié)合歐式距離的模板匹配算法在圖像存在噪點(diǎn)或識(shí)別字符有輕微污損時(shí)字符識(shí)別效果也較好。

圖11 不同干擾下桿號(hào)牌字符結(jié)果Fig.11 The results of character recognition with different interference

6 結(jié)論

(1)提出一種矩形檢測(cè)的方法實(shí)現(xiàn)對(duì)航拍圖像中電力桿號(hào)牌的檢測(cè)，從圖像的3個(gè)通道對(duì)圖像中的矩形輪廓進(jìn)行篩選，最后將符合條件的矩形進(jìn)行合并，得出完整的電力桿號(hào)牌。實(shí)驗(yàn)結(jié)果表明本算法可以在圖像背景復(fù)雜，桿號(hào)牌顏色不一，光照不同的情況下實(shí)現(xiàn)航拍圖像中電力桿號(hào)牌的有效地檢測(cè)、提取，并且投影變換后的電力桿號(hào)牌完整、端正，適用于后續(xù)的字符分割與字符識(shí)別。算法具有較強(qiáng)的魯棒性。

(2)實(shí)驗(yàn)結(jié)果表明，電力桿號(hào)牌在存在噪聲或字符上有輕微臟污時(shí)，也能實(shí)現(xiàn)對(duì)桿號(hào)牌的準(zhǔn)確分割與識(shí)別，便于工作人員根據(jù)識(shí)別信息快速定位輸電線路所在位置，實(shí)用性強(qiáng)。