自適應×字算法識別儀表數(shù)字

鄒 彤，樂 健，3，諶珺瑤，徐 繁，張 華

(1.南昌大學信息工程學院，江西南昌 330031；2.南昌大學江西省機器人與焊接自動化重點實驗室，江西南昌 330031；3.上海交通大學材料科學與工程學院，上海 200240)

0 引言

數(shù)字儀表相對于傳統(tǒng)的指針式儀表更加方便，易讀，精準，在工業(yè)環(huán)境中大量使用。在許多情況下，仍然需要人工識別數(shù)字，如焊接時需要不斷調(diào)整焊接電源的電壓與電流大小，操作人員需要往返于焊接點與焊接電源之間,耗時且不安全，同時焊接自動化研究中[1-4],對于焊接電源的電流與電壓的自動識別研究較少，不能做到真正的自動化;一些變電站中的數(shù)字儀表不能自動同步到系統(tǒng)中，需要人工抄寫，既存在數(shù)據(jù)質(zhì)量問題，也不能保證實時性[5]，大多數(shù)變電站的巡檢機器人數(shù)字儀表的識別度不高[6]。船舶等行業(yè)也存在類似問題。

針對數(shù)字儀表的數(shù)字字符識別問題，國內(nèi)外研究人員發(fā)明改進了許多識別算法。孫順遠等利用改進的SSD目標檢測算法對儀表進行定位檢測與數(shù)字識別[7]。段會川等基于模糊理論，模糊識別最大隸屬原則的數(shù)字識別器，快速識別儀表數(shù)字[8]。周曼等基于OCR光學字符識別的數(shù)字儀表自動識別[9]。朱立倩提出基于深度學習的DDICRNet的數(shù)顯儀表字符識別算法[10]。

在工業(yè)設備中許多儀表沒有人機接口，不能將設備信息及時錄入系統(tǒng)，需要人工識別，既費時也不能保證準確率，不利于工業(yè)智能化，依據(jù)儀表數(shù)字的特征，提出了一種自適應×字算法識別儀表顯示數(shù)字，既不需要收集大量的數(shù)據(jù)圖片進行訓練，也相比模板匹配[11]、穿針引線法[12]等更快速，具備普遍性。利用USB攝像頭采集圖片，進行預處理后裁剪出ROI(regio of interest)即數(shù)字區(qū)域，去除圖片中的小數(shù)點，將數(shù)字單個剪裁出來，利用橫縱比識別數(shù)字1，其他數(shù)字畫出×字，根據(jù)交點個數(shù)與交點位置做出判斷，進行識別。

1 預處理

1.1 二值化

圖像中過多的其他色彩對于識別的數(shù)字來說相當于“噪聲”，所以要對圖像進行灰度化并且灰度化對要識別的數(shù)字沒有影響,故將圖像中的所有像素點變成只含有亮度信息的像素點，常用計算像素點的亮度值L的公式為

L=0.299×R+0.114×B+0.587×G

(1)

式中:R、G、B分別代表像素點對應的紅、綠、藍的顏色值。

灰度化后邊緣檢測，并設定灰度圖像的上下值消除數(shù)字區(qū)域以外的其他線條，使圖像成為二值圖像。再進行膨脹，腐蝕操作方便下一步水平矯正，剪裁出ROI。

1.2 水平矯正

利用radon算子進行水平矯正，其原理如圖1所示。圖1(a)中線段L的像素點在X軸上累加的結果為線段T，在Y軸上累加的結果為線段P，可以看出X、Y坐標軸上像素點的累加都很平均，不存在突變，即某一個位置像素點的累加要多于其他像素點。在坐標軸從0°逐漸旋轉至179°過程中，當坐標軸旋轉到線段L水平偏移角度θ，如圖1(b)所示位置時，線段L的像素點在旋轉后的X′軸上累加的結果為線段T′，在旋轉后的軸上Y′累加的結果為線段P′，相較于坐標軸旋轉角度小于θ時線段P′發(fā)生了突變，并且當坐標軸旋轉角度大于θ時，線段P′又將變得平緩，以此得到旋轉角度θ，將圖像順時針旋轉θ后就可以完成水平矯正。當對象為一副圖像時，可以對圖像進行膨脹處理，然后邊緣提取，再通過radon算子提取直線，旋轉角度為提取直線中像素累計點最大的直線所對應的角度。

1.3 裁剪ROI

定位ROI的方法有基于顏色特征的HSV色彩空間[13],基于數(shù)學形態(tài)學的腐蝕、膨脹[14]，小波變換[15]、遺傳算法[16]、神經(jīng)網(wǎng)絡[17]等。逐行累加圖像中的像素點的值并按行保存，圖像膨脹腐蝕后，只有數(shù)字區(qū)域存在大量的圖像，脫離數(shù)字區(qū)域時像素點的值存在突變。傳統(tǒng)的像素點的值累加為逐行逐點或逐列逐點的累加，圖像的分辨率往往很高，識別速度過慢，采用式(2)累加像素點的值可大幅度提高識別速度。

(2)

式中:sum為(x+1)行1列的矩陣，存放像素點的值的累加;m、n為圖片分辨率即長、寬;N為步長，每行每列移動的距離;f為圖片所對應的矩陣;i為像素點的橫坐標;AxN為步長整數(shù)倍行的像素點值的累加。

取分辨率為1 280像素×720像素的圖片，當步長N為20時，像素點的累加程序改進后運行時間由1.03 s變?yōu)?.08 s，速度顯著提高且剪裁出的數(shù)字區(qū)域與傳統(tǒng)方法得到的剪裁區(qū)域基本相同，分別如圖2(a)、圖2(b)所示。

1.4 字符分割

需將數(shù)字單個分割出來分別進行識別，分別使用傳統(tǒng)的投影法，將數(shù)字的上下多余空間去除以及分割提取出單個數(shù)字，分割后的結果如圖3所示。

2 垂直矯正

當USB攝像頭超出數(shù)字區(qū)域的右邊或左邊一定距離時，數(shù)字存在垂直傾斜，影響數(shù)字識別，不能正確分割出小數(shù)點并進行識別。大多數(shù)算法依據(jù)小數(shù)點位置直接在識別結果中添加小數(shù)點，不具備普遍性。提出一種方法矯正垂直傾斜，并識別出小數(shù)點，在需要進行垂直矯正時可作如下處理。其原理為:將圖片底部固定不動，頂部向傾斜相對的方向移動，將原本的矩形拉伸為平行四邊形，如圖4所示，矯正前后如圖5(a)、圖5(b)所示，移動的單位個數(shù)l由式(3)～式(5)得出。

tanθ=k

(3)

(4)

(5)

式中:θ為垂直傾斜的角度;k為線段3、5的斜率，k=tanθ；x1、y1，x2、y2為l1、l2與線段3、5的交點;d為過中心點做一條豎線與線段6交點的縱坐標與交點p的縱坐標的差值;l為移動的單位個數(shù)。

長、寬為m、n的圖片，即n×m的二值矩陣，將矩陣大小由n×m拓展為n×(m+l)，新增的像素點的值都為0。矩陣按從上往下每行元素向傾斜相對的方向移動l個單位，每向下一行更新d值即減1，l值隨著d值改變，元素向傾斜相對的方向移動l個單位，至d值為0即到線段1后d值為負數(shù)即每行開始向著傾斜的方向移動l個單位至最后一行，完成后字符分割，判別分割后的2張圖片是否有小數(shù)點。公式求解過程:中心點為(m/2,n/2)，中心點上或下移動(有時中心點會在線段1的上方)距離s與線段1的交點記為p(m/2,n/2±s)，若無交點則將中心點作為交點p,利用交點p與圖片右方邊界上兩點確定l1、l2，用x1、y1，x2、y2求出斜率后根據(jù)d值求出l。

計算得到l后進行垂直矯正，矯正后可以準確分割出小數(shù)點，再結合小數(shù)點的統(tǒng)計特征和幾何特征[18]、位置特征等進行識別。

3 數(shù)字識別

傳統(tǒng)的數(shù)字識別方法有穿針引線法、模板匹配法等，現(xiàn)在的數(shù)字識別方法多為支持向量機、深度學習、神經(jīng)網(wǎng)絡算法等。傳統(tǒng)的數(shù)字識別有識別率不高、識別速度慢的缺點，而深度學習、神經(jīng)網(wǎng)絡算法需要大量的數(shù)據(jù)進行學習，數(shù)據(jù)的收集過于繁鎖。本文根據(jù)數(shù)字儀表顯示的數(shù)字具有的結構特征，設計一種準確識別數(shù)字的×字法，如圖6所示，原理如下:m、n為圖片的長、寬，取圖像長寬的一半為中心點，在圖片左右邊界上分別取n/4與3n/4兩點，共4點分別與中心點得到4條線段。將中心點與線段向上或向下移動小段距離，若中心點與水平線段1有交點則將對應線段編號值置1;反之置0，且中心點與線段回到起始位置。所求得的4條線段分別對應線段2、3、4、5，同理當與對應線段有交點時對應線段編號值置1，反之置0。數(shù)字3識別過程如圖7所示。

數(shù)字的識別由以下過程確定:

(1)線段1是否有交點:有交點的為1、2、3、4、5、6、8、9歸為A類，無交點的為0、7歸為B類。

(2)線段2、3、4、5與所求得的4條線段的交點個數(shù):A類中，1的交點個數(shù)為0;2、3、5的交點個數(shù)為2;4、6、9的交點個數(shù)為3;8的交點個數(shù)為4。B類中，0的交點個數(shù)為4;7的交點個數(shù)為2。可識別出數(shù)字0、1、7、8，將2、3、5歸為C類，4、6、9歸為D類。

(3)線段2、3、4、5與所求得的4條線段編號的值:C類中，2為0、1、0、1;3為0、1、1、0;5為1、0、1、0;D類中，4為1、1、1、0;6為1、0、1、1;9為1、1、1、0?？勺R別出數(shù)字2、3、5、6，剩余4、9。

(4)識別數(shù)字4、9:以中心點的橫坐標做豎線，統(tǒng)計豎線與圖像的交點個數(shù)，個數(shù)為1時，識別為數(shù)字4，個數(shù)為3時，識別為數(shù)字9。

當?shù)玫骄€段2、3、4、5上的4個交點后，識別下一張分割出的數(shù)字圖片時，可根據(jù)得到的交點位置，以交點為中心拓寬成I×J的矩陣，檢測該矩陣內(nèi)的像素點值是否含有1即可確定該交點所對應的線段是否有交點，不需要再作“×”，實現(xiàn)自適應。

在實際識別中發(fā)現(xiàn)對數(shù)字1的識別準確率不高，原因是數(shù)字1字符分割后像素點在X軸上的投影范圍為其他數(shù)字的一半左右，當將分割后的圖片歸一化為統(tǒng)一的分辨率后，數(shù)字1被橫向拉伸，垂直壓縮，骨架提取，骨刺消除后仍存在許多骨刺，干擾識別。故提出一種基于橫縱比的方法識別數(shù)字1與其他數(shù)字，算法的描述如下:

li=ci-di

(6)

(7)

(8)

式中:li為除數(shù)字1外其余數(shù)字在X軸上的投影范圍長度;ci、di為對應數(shù)字在X軸上的投影起點與終點橫坐標;m為圖片寬度;ki為其余數(shù)字的橫縱比；V為選取的其余數(shù)字圖片的個數(shù);W為判別數(shù)字1的閾值。

當識別圖片的橫縱比小于0.7W時，判定其為數(shù)字1，反之為其余數(shù)字用×字法進一步識別。

4 結果與分析

使用USB攝像頭采集焊接電源的電壓與電流圖像，并且圖像具有一定傾斜，統(tǒng)計各個數(shù)字在不同位置下的識別準確度。

由表1能夠看出，在一定傾斜角度下，不同數(shù)字在不同位置下識別的準確率非常高。識別的時間在0.60～0.75 s之間,能夠適用于大多數(shù)實時識別的場合。

表1 數(shù)字的識別結果

5 結束語

依據(jù)儀表顯示數(shù)字的結構特點設計了一種識別儀表數(shù)字的算法，本設計不需要收集大量數(shù)據(jù)進行權值訓練，依據(jù)儀表數(shù)字的特征，相比部分算法更準確、更快速；當需要進行垂直傾斜矯正時，與自適應×字算法配備了相容的垂直傾斜矯正的算法；具有自適應性，可進一步提高識別速度。