大角度透視變形集裝箱圖像箱號(hào)識(shí)別方法

張紹明， 毛藝凡， 王建梅， 馮甜甜

(同濟(jì)大學(xué) 測(cè)繪與地理信息學(xué)院， 上海 200092)

集裝箱箱號(hào)是每個(gè)集裝箱的全球唯一身份標(biāo)識(shí)，是集裝箱運(yùn)輸、管理等行業(yè)的重要基礎(chǔ)信息，智慧港口、集裝箱堆場(chǎng)自動(dòng)化管理系統(tǒng)都需要對(duì)集裝箱箱號(hào)進(jìn)行提取.基于計(jì)算機(jī)視覺(jué)的字符識(shí)別方法，因其無(wú)需對(duì)集裝箱增加額外附件，只要獲取包含集裝箱箱號(hào)的圖像即可實(shí)現(xiàn)，因此已成為現(xiàn)代化港口箱號(hào)識(shí)別采用的主流方式.

傳統(tǒng)的基于計(jì)算機(jī)視覺(jué)的箱號(hào)識(shí)別方法通常包含圖像預(yù)處理、箱號(hào)區(qū)域定位、字符分割和字符識(shí)別4個(gè)流程.其中圖像預(yù)處理主要通過(guò)圖像去噪、圖像增強(qiáng)、變形校正等增強(qiáng)圖像質(zhì)量，有利于提高后期處理速度與箱號(hào)識(shí)別精度.箱號(hào)區(qū)域定位根據(jù)箱號(hào)和字符的先驗(yàn)知識(shí)，將箱號(hào)區(qū)域與圖像背景區(qū)別開(kāi)來(lái)，字符分割則進(jìn)一步將箱號(hào)區(qū)域分割為11個(gè)獨(dú)立的字符區(qū)域，最后由字符識(shí)別算法將圖像翻譯為字符.He等[1]將彩色圖像轉(zhuǎn)換為灰度圖像，采用自適應(yīng)濾波器降噪，再通過(guò)圖像二值化和水平投影得到文本區(qū)域，接著依據(jù)箱號(hào)排列模式的相關(guān)知識(shí)定位箱號(hào)區(qū)域，最后通過(guò)一系列標(biāo)準(zhǔn)模板完成字符識(shí)別.Kim等[2]首先依據(jù)字符的顏色、大小、寬高比等特征，采用基于自適應(yīng)諧振網(wǎng)絡(luò)(ART-2)的量化方法定位箱號(hào)區(qū)域，接著通過(guò)模糊二值化提取字符區(qū)域，最后采用ART網(wǎng)絡(luò)識(shí)別字符.王志明等[3]運(yùn)用改進(jìn)的單程分裂與歸并算法對(duì)圖像進(jìn)行自適應(yīng)閾值分割，統(tǒng)計(jì)各個(gè)區(qū)域的灰度、形狀、邊緣強(qiáng)度等特征，依據(jù)字符區(qū)域特征定位箱號(hào)區(qū)域，最后采用神經(jīng)網(wǎng)絡(luò)與模板匹配相結(jié)合的方法識(shí)別字符.Wu等[4]針對(duì)集裝箱箱號(hào)字符排列緊湊難以分割的情況，用連通區(qū)分析將箱號(hào)區(qū)域分割為單字符塊和多字符塊，單字符塊采用傳統(tǒng)字符識(shí)別方法，如支持向量機(jī)，進(jìn)行字符識(shí)別；多字符塊則采用隱馬爾可夫模型進(jìn)行字符識(shí)別.近年來(lái)，隨著深度學(xué)習(xí)的興起，一些學(xué)者嘗試在字符分割后采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別，如楊楣[5]在LeNet-5網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行結(jié)構(gòu)改進(jìn)，設(shè)計(jì)了兩種卷積神經(jīng)網(wǎng)絡(luò)，一種網(wǎng)絡(luò)用于字母識(shí)別，另一種網(wǎng)絡(luò)用于數(shù)字識(shí)別;黃深廣等[6]則進(jìn)一步將卷積神經(jīng)網(wǎng)絡(luò)算法與模板匹配算法相結(jié)合進(jìn)行字符識(shí)別.

跟車牌相比，集裝箱箱號(hào)背景更復(fù)雜，箱體中非目標(biāo)字符較多，箱號(hào)印刷的位置不固定，箱號(hào)排列形式多樣，箱號(hào)字體和字符大小也不盡相同，并且箱面經(jīng)常出現(xiàn)污損干擾，這些都增加了箱號(hào)區(qū)域定位的難度.雖然近30年來(lái)人們提出了大量箱號(hào)區(qū)域定位算法[7-8]，但對(duì)于碼頭這類復(fù)雜的工作環(huán)境，雨雪天氣、夜間補(bǔ)光都會(huì)導(dǎo)致圖像質(zhì)量嚴(yán)重下降，安裝在吊具上方的相機(jī)拍攝的箱體圖像又存在嚴(yán)重透視變形，這些因素常常使箱號(hào)定位算法失效.

與車牌、自然場(chǎng)景中的字符相比，箱號(hào)中只包含26個(gè)大寫(xiě)英文字母和10個(gè)阿拉伯?dāng)?shù)字，字符簡(jiǎn)單，種類有限，完全可以將箱號(hào)識(shí)別問(wèn)題轉(zhuǎn)化為36類字符檢測(cè)問(wèn)題.基于以上考慮，本論文提出了一種新的箱號(hào)識(shí)別方法，該方法可以避開(kāi)箱號(hào)區(qū)域定位這一難題，直接對(duì)經(jīng)過(guò)透視校正后的集裝箱圖像進(jìn)行36類字符檢測(cè)，在完成字符定位與識(shí)別的基礎(chǔ)上，充分利用箱號(hào)先驗(yàn)知識(shí)，如距離、形態(tài)等幾何信息，以及編碼規(guī)則等語(yǔ)義信息進(jìn)行箱號(hào)識(shí)別，從而有效提高箱號(hào)識(shí)別精度.

1 箱號(hào)識(shí)別方法

本論文首先對(duì)圖像進(jìn)行透視變換校正，然后利用深度卷積神經(jīng)網(wǎng)絡(luò)模型定位并識(shí)別出集裝箱圖像中的26個(gè)大寫(xiě)英文字母和10個(gè)阿拉伯?dāng)?shù)字，最后利用集裝箱箱號(hào)的先驗(yàn)知識(shí)，通過(guò)級(jí)聯(lián)決策規(guī)則從候選字符集中識(shí)別出集裝箱箱號(hào).具體技術(shù)路線如圖1所示.

圖1 集裝箱圖像箱號(hào)識(shí)別流程圖 Fig.1 Flowchart of container code recognition

1.1 透視變換

受裝卸碼頭工作場(chǎng)地限制，相機(jī)只能安裝在吊具上方，由此拍攝的集裝箱圖像存在嚴(yán)重的透視變形，若要保證字符識(shí)別精度，必須進(jìn)行透視變換校正.透視變換是將圖像投影到一個(gè)新的視平面，也稱作射影變換.設(shè)(u,v,1)為原始圖像上一個(gè)點(diǎn)的齊次坐標(biāo)，(x,y,1)為變換后圖像上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)，則透視變換公式為

(1)

(2)

一對(duì)匹配坐標(biāo)列2個(gè)方程式，只要找到4個(gè)不共線的匹配點(diǎn)就可以解算單應(yīng)矩陣.

基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型對(duì)輕微的平移、旋轉(zhuǎn)、變形和缺失有很好的魯棒性，再加上吊具上方的相機(jī)與集裝箱的相對(duì)位置并不固定，因此沒(méi)必要求出精確的透視變換模型.考慮到集裝箱的箱體是標(biāo)準(zhǔn)的長(zhǎng)方體，因此在圖像上選取集裝箱四個(gè)角點(diǎn)作為控制點(diǎn)，標(biāo)注其理想的位置，解算單應(yīng)矩陣.

1.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的字符定位與識(shí)別

目前主流的目標(biāo)檢測(cè)算法主要是基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型，其可以分為兩大類：①兩段式(two-stage)檢測(cè)算法，其將檢測(cè)問(wèn)題劃分為兩個(gè)階段，首先產(chǎn)生候選區(qū)，然后對(duì)候選區(qū)分類并進(jìn)行位置回歸，這類算法的典型是Regions with CNN(R-CNN)系列[9-11]，其中精度最高、速度最快的是Faster R-CNN算法；②一段式(one-stage)檢測(cè)算法，其沒(méi)有區(qū)域推薦階段，直接產(chǎn)生目標(biāo)的類別概率和位置坐標(biāo)，典型的是You Only Look Once(YOLO)[12-13]和Single Shot Multi-Box Detector(SSD)[14].一般情況下，兩段式算法在準(zhǔn)確度上有優(yōu)勢(shì)，一段式算法在速度上有優(yōu)勢(shì).考慮到碼頭裝卸貨物速度以及對(duì)箱號(hào)識(shí)別精度的實(shí)際要求，文中采用Faster R-CNN算法.

集裝箱圖像上字符目標(biāo)比較小，大約在80像素×50像素左右，若采用過(guò)深的網(wǎng)絡(luò)在下采樣過(guò)程中會(huì)丟失部分信息，所以在Faster R-CNN算法中選擇只有5個(gè)卷積層的ZFNet網(wǎng)絡(luò)，其網(wǎng)絡(luò)架構(gòu)參數(shù)如表1所示.ZFNet網(wǎng)絡(luò)基于AlexNet網(wǎng)絡(luò)[15]做了改善.輸入層的大小為224像素×224像素，不符合此尺寸的圖像必須先進(jìn)行尺寸調(diào)整.在層數(shù)固定的情況下，深度神經(jīng)網(wǎng)絡(luò)的計(jì)算量與占用的內(nèi)存主要取決于輸入層的大小、每層卷積核的滑動(dòng)步長(zhǎng)、是否采用池化，使用224像素×224像素作為輸入層大小的好處是，在控制了計(jì)算量與內(nèi)存消耗的同時(shí)保證了圖像中中小目標(biāo)的特征信息完好.第一層的卷積核大小為7像素×7像素，相比于AlexNet的11像素×11像素，能更有效地從輸入圖像中提取中頻信息，降低極高頻和極低頻信息的比重，同時(shí)第一層的卷積步長(zhǎng)從AlexNet的4像素下降到了2像素，有效消除了混疊現(xiàn)象.此外，基于對(duì)檢測(cè)速率的工程化需求，采用PVANET的網(wǎng)絡(luò)壓縮技術(shù)對(duì)ZFNet進(jìn)行改造，提升卷積層的計(jì)算速度.Faster R-CNN的輸出結(jié)果為屬于“A”～“Z”、“0”～“9”36類字符中某一類的概率估計(jì)，以及該字符的位置和大小描述，具體表現(xiàn)形式為C={ck)k=1,…,K，其中ck={bk,ak,sk)，b表示字符包圍矩形框，a表示字符類別，s表示得分，K是候選字符的個(gè)數(shù).

表1 ZFNet架構(gòu)Tab.1 Architecture of ZF network

1.3 級(jí)聯(lián)決策提取集裝箱編號(hào)

36類字符檢測(cè)網(wǎng)絡(luò)提取得到的候選字符集包含了集裝箱箱面上所有的大寫(xiě)英文字母和阿拉伯?dāng)?shù)字，還需要進(jìn)一步將11位箱號(hào)從候選字符集中提取出來(lái).依據(jù)先驗(yàn)知識(shí)，設(shè)計(jì)了一個(gè)包含三級(jí)規(guī)則的級(jí)聯(lián)決策樹(shù)，決策樹(shù)中的三級(jí)規(guī)則分別描述了字符序列排列形態(tài)、字符序列內(nèi)部分組和字符序列校驗(yàn).

集裝箱箱號(hào)知識(shí)包括：①前4位是字母，后7位是數(shù)字；②字母在圖像的左側(cè)，數(shù)字在字母右側(cè)或者下方；③字符兩兩相鄰，相隔距離在一定范圍內(nèi)，左右字符擁有相似的高度和寬高比；④11位編號(hào)形成字符線特征，字符的中心點(diǎn)大致可形成直線；⑤由集裝箱箱號(hào)規(guī)則可知，第11位是校驗(yàn)字符，由前10位可以計(jì)算出第11位的字符.

根據(jù)上述5條知識(shí)，設(shè)計(jì)的三級(jí)決策規(guī)則如下:

(1) 基于“集裝箱箱號(hào)知識(shí)①、②、③”，首先根據(jù)得分閾值和寬高比閾值初步篩選字符目標(biāo)矩形框，搜尋集裝箱圖像最左上方的字母，作為箱號(hào)的第一個(gè)成員，放入子集C′后，依次向右尋找，將間隔小于字符間隔閾值的成員放入C′中.

(3) 若子集C′不滿足“集裝箱箱號(hào)知識(shí)⑤”，則從全集C中尋找合適的成員加入C′，使它通過(guò)集裝箱編碼規(guī)則的驗(yàn)證：首先遍歷全集C，將到字符線β的距離小于設(shè)定閾值的所有字符加入子集C′中，保證C′中的字符個(gè)數(shù)不少于11個(gè)，遍歷所有組合方案直至11位箱號(hào)通過(guò)編號(hào)規(guī)則的檢驗(yàn)，輸出此結(jié)果作為集裝箱箱號(hào).

圖2為從候選字符集中提取集裝箱箱號(hào)的流程圖.

2 實(shí)驗(yàn)與分析

2.1 透視變換

實(shí)驗(yàn)數(shù)據(jù)如圖3所示.由于照明條件不同，部分箱號(hào)字符有污損，且都存在明顯的透視變形，為了保證箱號(hào)識(shí)別精度，必須進(jìn)行透視變換校正.由于相機(jī)和集裝箱的相對(duì)位置隨著每次裝卸改變，成像模式不固定，本文通過(guò)對(duì)大量圖像進(jìn)行分析，選取了6張代表性圖像計(jì)算對(duì)應(yīng)的單應(yīng)矩陣，相當(dāng)于得到6組轉(zhuǎn)換參數(shù).對(duì)于一張新圖像，因無(wú)法知曉最適合的轉(zhuǎn)換參數(shù)是哪組，因此每張圖像進(jìn)行6組透視變換校正，在這6張校正后的圖像上分別提取箱號(hào)，取概率最高的箱號(hào)作為最后結(jié)果.圖4為圖3所示集裝箱圖像進(jìn)行透視變換后的結(jié)果.

圖2 從候選字符集中提取集裝箱箱號(hào)的流程圖 Fig.2 Flowchart of extracting container code from candidate character set

圖3 大角度透視變形的集裝箱圖像 Fig.3 Container images with large perspective deformation

圖4 透視校正后的集裝箱圖像Fig.4 Container images after perspective rectification

2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的字符定位與識(shí)別

在350張透視變換校正的集裝箱圖像上，手工標(biāo)注集裝箱號(hào)碼、字符和矩形框，通過(guò)加入微小透視變換進(jìn)行樣本增強(qiáng)，得到2 100張訓(xùn)練樣本，總共23 100個(gè)字符，按照6∶2∶2的比例分為訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集.為了顯示Faster R-CNN強(qiáng)大的魯棒性，圖5給出了部分實(shí)驗(yàn)結(jié)果，證明在圖像成像條件不佳、字符存在污損的情況下仍能正確定位并識(shí)別出正確的字符.表2給出了36類字符的檢測(cè)精度，其中平均精度PA0.5(average precision)代表檢測(cè)框與標(biāo)注框的交集與并集之比大于50%時(shí)才認(rèn)為檢測(cè)正確的平均精度.從表2可以看出，數(shù)字的檢測(cè)精度都在99%以上，字母的檢測(cè)精度普遍低于數(shù)字，其中Q、V、W、X、Y這5個(gè)字母的精度最低.究其原因在于訓(xùn)練樣本的豐富性與多樣性的差異，數(shù)字的訓(xùn)練樣本數(shù)量平均每類1 400個(gè)以上，字母的訓(xùn)練樣本數(shù)量平均每類300多個(gè), Q、V、W、X、Y這5類字母的訓(xùn)練樣本最少，平均每類50多個(gè).雖然用標(biāo)準(zhǔn)字體和集裝箱背景圖片合成了一定數(shù)量的訓(xùn)練樣本，但從最后的結(jié)果看，人工合成的訓(xùn)練樣本無(wú)法很好地替代真實(shí)樣本.

圖5 Faster RCNN的字符檢測(cè)結(jié)果 Fig.5 Character detection results of Faster RCNN

表2 字符檢測(cè)精度Tab.2 Average precision of character detection

為了進(jìn)一步驗(yàn)證Faster R-CNN的有效性，將其與Neumann算法[16]、基于深度卷積神經(jīng)網(wǎng)絡(luò)的YOLO和SSD方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示.由表3可知，F(xiàn)aster R-CNN的總體檢測(cè)精度為97.0%， Neumann的為85.5%，YOLO的為89.8%，SSD的為90.5%.

表3 不同方法實(shí)驗(yàn)結(jié)果比較Tab.3 Comparison of experimental results of different methods

2.3 集裝箱箱號(hào)識(shí)別

在字符檢測(cè)的基礎(chǔ)上，利用三級(jí)級(jí)聯(lián)決策規(guī)則識(shí)別集裝箱箱號(hào).如圖6所示，對(duì)1 035張集裝箱實(shí)景圖像進(jìn)行測(cè)試，箱號(hào)正確率達(dá)到97%.開(kāi)發(fā)的系統(tǒng)運(yùn)行在Intel(R)Core(TM)CPU i7-5820K @3.30GHz處理器、48.0 GB內(nèi)存、NVIDIA GeForce GTX1080顯卡上，識(shí)別速度為每秒2～5幀.

圖6 集裝箱箱號(hào)識(shí)別結(jié)果 Fig.6 Results of container code recognition

3 結(jié)語(yǔ)

近年來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法發(fā)展迅猛.本文在Faster R-CNN算法的基礎(chǔ)上，提出了一種新的集裝箱箱號(hào)識(shí)別方法，該方法避開(kāi)箱號(hào)區(qū)域定位的難題，直接對(duì)經(jīng)過(guò)透視校正后的集裝箱圖像進(jìn)行36類字符檢測(cè)，然后充分利用箱號(hào)知識(shí)，通過(guò)三級(jí)級(jí)聯(lián)決策規(guī)則從候選字符集中提取集裝箱箱號(hào).基于該方法開(kāi)發(fā)的集裝箱箱號(hào)識(shí)別系統(tǒng)運(yùn)行于重慶港集裝箱堆場(chǎng)的管理中，展現(xiàn)出良好的識(shí)別精度與運(yùn)行速度.在今后的研究中，將進(jìn)一步完善基于深度卷積神經(jīng)網(wǎng)絡(luò)的字符檢測(cè)模型，在提高速度和精度的同時(shí)，降低硬件配置，讓其更具工程應(yīng)用價(jià)值.