基于機(jī)器視覺(jué)的食品包裝袋噴碼字符識(shí)別方法

姚 勇，吳 田

（湖北第二師范學(xué)院 計(jì)算機(jī)學(xué)院，武漢 430205）

1 引言

食品包裝袋的應(yīng)用非常廣泛，在包裝袋上印刷著當(dāng)前商品的生產(chǎn)日期、合格狀況、保質(zhì)期、生產(chǎn)批次等重要信息，這些信息一般是通過(guò)噴碼機(jī)印刷到包裝袋上的，字符呈點(diǎn)陣狀。噴碼大多數(shù)用噴墨技術(shù)實(shí)現(xiàn)的，但是噴碼機(jī)會(huì)出現(xiàn)震動(dòng)擾亂的情況導(dǎo)致噴碼字符會(huì)傾斜，或者因?yàn)橛湍蛔銓?dǎo)致噴碼字符出現(xiàn)殘缺，或者因?yàn)閲娔痪鶆虺霈F(xiàn)噴碼模糊等情況。為了不讓產(chǎn)品在流通和銷售時(shí)因?yàn)閲姶a問(wèn)題產(chǎn)生影響，因此需要在出廠前檢測(cè)識(shí)別產(chǎn)品外包裝噴碼，篩選剔除噴碼有問(wèn)題的產(chǎn)品。

傳統(tǒng)的噴碼檢測(cè)基本都是人工檢測(cè)，方法是目視法，雖然能檢測(cè)出一些不合格的產(chǎn)品，但是人會(huì)產(chǎn)生疲勞，導(dǎo)致檢測(cè)精度降低，同時(shí)人工檢測(cè)的速度也較低，因此還會(huì)存在部分不合格品流入下道工序，導(dǎo)致需要耗費(fèi)更多人力資源去進(jìn)一步篩選，增加了生產(chǎn)成本。因此自動(dòng)化的噴碼檢測(cè)方法是非常必要的，能夠提高識(shí)別效率，降低企業(yè)生產(chǎn)成本，保障產(chǎn)品安全。

2 相關(guān)工作

字符識(shí)別的實(shí)現(xiàn)分為三個(gè)步驟，即字符定位、字符分割和字符識(shí)別，首先對(duì)字符區(qū)域進(jìn)行定位，然后對(duì)該區(qū)域進(jìn)行分割，最后進(jìn)行識(shí)別。對(duì)于字符定位，吳慧瑩等人采用數(shù)學(xué)形態(tài)學(xué)與連通域分析組合的方式對(duì)預(yù)處理圖像進(jìn)行定位，選取行列位置信息和面積大小作為定位特征。[1]閔鋒等提出了基于形態(tài)學(xué)變換定位的方法，通過(guò)腐蝕，膨脹的形態(tài)學(xué)操作使字符特征，但是該方法適用于字符與背景顏色對(duì)比明顯的情況。[2]Etemad E 等提出了基于邊緣特征定位的方法，利用字符與背景顏色搭配固定的特征以及字符與邊緣距離固定的約束條件，對(duì)圖像進(jìn)行了多次濾波，使字符區(qū)域的邊緣點(diǎn)顏色對(duì)比突出，以此快速定位出字符區(qū)域[3]，但是該方法對(duì)字符區(qū)域顏色的固定搭配限制性比較強(qiáng)。Li H等提出了利用顏色空間定位的方法，對(duì)于某種目標(biāo)顏色，可以通過(guò)H、S、V三個(gè)分量分別設(shè)定范圍把其像素分離出來(lái)，但是這種過(guò)濾對(duì)于黑色或者白色區(qū)域的效果比較差。[4]Kumuda T等提出了基于紋理特征空間定位的方法，根據(jù)圖像中像素及其周圍的空間鄰域的灰度分布來(lái)確定字符區(qū)域，但是此種方法僅適用于區(qū)域內(nèi)紋理的粗細(xì)和疏密程度存在較大差異的情況。[5]Maonan Weng等提出了基于連通域分析定位的方法，首先通過(guò)邊緣檢測(cè)對(duì)字符區(qū)域進(jìn)行大致定位，然后再篩選連通域結(jié)合字符區(qū)域模板確定位置。[6]

目前的字符分割方法主要分為三種，第一種是基于投影法的字符分割。Dan等人使用投影法分割圖像，對(duì)單行的字符有較好的分割效果，但投影法單一統(tǒng)計(jì)各個(gè)像素點(diǎn)，受噪聲的影響較大。[7]焦慧華等人采用垂直投影法分割字符，把二值化后的圖像進(jìn)行垂直方向上的投影，然后確定字符位置，采用此方法的弊端在于分割的區(qū)域多為矩形，在正方形條件下效果最好。[8]馬永杰等人對(duì)雙行字符的分割采用了自適應(yīng)投影法分割字符，利用圖像在HSV顏色空間上的特性，進(jìn)行改進(jìn)的二值化，然后通過(guò)自適應(yīng)投影把雙行的字符分割為單行，再進(jìn)行單個(gè)字符分割，該方法對(duì)字符顏色以及背景顏色的局限性比較大。第二種方法是基于連通域法的字符分割方法。[9]姚夢(mèng)潔等人利用形態(tài)學(xué)算法對(duì)邊緣特征進(jìn)行優(yōu)化，獲取了穩(wěn)定性更強(qiáng)的邊緣特征，然后根據(jù)連通域的方法對(duì)粘連字符進(jìn)行分割。[10]朱亞萍等人針對(duì)不連通字符干擾和邊框干擾提出了基于連通域的改進(jìn)算法，首先用連通域方法進(jìn)行粗分割，然后用二分投影法進(jìn)行第二次分割，不過(guò)此種方法對(duì)字符區(qū)域的尺寸有所限制。[11]路敬祎等人提出了改進(jìn)的八連通標(biāo)記法，只需要一次遍歷就可以完成標(biāo)記，降低了連通域算法多次標(biāo)記的運(yùn)算量。[12]第三種方法是基于神經(jīng)網(wǎng)絡(luò)的字符分割方法。Shi等人提出了一種能夠識(shí)別日常場(chǎng)景下字符的端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。[13]林東婷等人搭建了基于SVM的字符分割模型，可以把字符進(jìn)行分割后送入ANN分類器進(jìn)行字符識(shí)別。[14]張彩珍等人提出了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及聯(lián)結(jié)時(shí)間分類的免字符分割的字符識(shí)別算法，采用神經(jīng)網(wǎng)絡(luò)的方法分割字符準(zhǔn)確率比較高，但是需要大量的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練，所需時(shí)間比較長(zhǎng)。[15]

對(duì)于字符識(shí)別來(lái)說(shuō)，目前主要用到的方法有模板匹配算法，基于機(jī)器學(xué)習(xí)的字符識(shí)別方法，基于深度學(xué)習(xí)的字符識(shí)別方法。李強(qiáng)等人用改進(jìn)的模板匹配方法先進(jìn)行字符識(shí)別，然后通過(guò)把字符的差異值累積擴(kuò)大，通過(guò)比較差異值判斷識(shí)別的準(zhǔn)確性。[16]黃志斌等人把SVM算法應(yīng)用到英文字符的識(shí)別，在滿足實(shí)時(shí)性的條件下取得了不錯(cuò)的效果。[17]羅月童等人用深度學(xué)習(xí)在LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，根據(jù)字符檢測(cè)特點(diǎn)，研究了數(shù)據(jù)增廣的方法，應(yīng)用到字符識(shí)別中，對(duì)于相似的字符檢測(cè)性準(zhǔn)確率比較高。[18]

當(dāng)前針對(duì)包裝袋噴碼的字符分割與識(shí)別雖然在一定程度上取得了一定的效果，但是仍然存在以下兩個(gè)問(wèn)題：（1）字符區(qū)域定位不準(zhǔn)確；（2）字符分割準(zhǔn)確率低。針對(duì)問(wèn)題（1），目前主要所用到的方法有形態(tài)學(xué)法和連通域分析法。針對(duì)問(wèn)題（2），目前采用最多的是投影分析法。

針對(duì)上述兩個(gè)問(wèn)題，本文以面粉包裝袋的圖像作為實(shí)驗(yàn)對(duì)象，提出一種基于機(jī)器視覺(jué)的包裝袋噴碼字符識(shí)別方法，其中字符分割用了一種二次分割的方法來(lái)提升噴碼字符分割的準(zhǔn)確率。首先對(duì)圖像進(jìn)行灰度化、閾值分割、濾波處理和形態(tài)學(xué)處理等預(yù)處理后，進(jìn)行連通域分析以便提取字符特征，實(shí)現(xiàn)字符定位。由于噴碼字符整體是在包裝袋上占據(jù)一塊區(qū)域，因此第一次分割是依據(jù)連通域分割出字符區(qū)域，在第二次分割中先對(duì)字符進(jìn)行外接矩形繪制，然后用等間距分割分割出單個(gè)字符，進(jìn)行字符提取，之后采用模板匹配法進(jìn)行字符識(shí)別。

3 研究方法

本研究分三部分：字符定位、字符分割、字符識(shí)別。字符定位采用的是連通域分析法來(lái)實(shí)現(xiàn)字符區(qū)域的定位以及特征提取，字符分割采用的本文提出的二次分割法，先用連通域分割法進(jìn)行第一次粗分割，然后二次分割中用等間距分割的方法進(jìn)行細(xì)分割提取出字符，最后的把提取到的字符采用模板匹配法進(jìn)行識(shí)別。總體算法流程如圖1所示，下面分別對(duì)這些部分進(jìn)行介紹。

圖1 系統(tǒng)整體算法流程圖

3.1 字符定位

包裝袋上的噴碼具有圖像背景復(fù)雜，字符不明顯，字符傾斜等特點(diǎn)。由于包裝袋噴碼字符的尺寸，顏色都是相同的，所以采用連通域分析的方法可以很好地通過(guò)篩選字符特征實(shí)現(xiàn)定位。具體流程如圖2所示。

圖2 字符定位流程

3.1.1 圖像預(yù)處理

圖像的預(yù)處理的主要目的在于消除圖像中與所需要檢測(cè)目標(biāo)無(wú)關(guān)的信息，把目標(biāo)的信息特征更加明顯地展現(xiàn)出來(lái)，便于下一步的處理。在本次實(shí)驗(yàn)中，圖像預(yù)處理包含四個(gè)步驟，圖像灰度化、閾值分割、濾波處理、形態(tài)學(xué)處理。

3.1.1.1 圖像灰度化

圖像灰度化就是把彩色圖像轉(zhuǎn)換為灰色圖像，使其RGB三個(gè)通道的色彩分量相等，灰度圖像中的每個(gè)像素都只具有一種樣本顏色，灰度值大的地方會(huì)比較亮，其他的就相反，為之后的圖像處理做基礎(chǔ)。由于人的眼睛對(duì)綠色的敏感度比較高，對(duì)藍(lán)色的敏感度低，所以本文采取的灰度化方法是加權(quán)平均法。此方法的效果比較合理，公式如下：

其中RGB 為某點(diǎn)的顏色組成，分別為紅色、綠色、藍(lán)色分量，對(duì)這三種分量以上式中的權(quán)值進(jìn)行加權(quán)平均?；叶然蟮男Ч鐖D3：

圖3 灰度化圖像

3.1.1.2 閾值分割

閾值分割的主要目的是從數(shù)字圖像中提取出目標(biāo)物體，通過(guò)設(shè)定合適的閾值，把圖像數(shù)據(jù)分為兩部分。一部分是大于設(shè)定閾值的，一部分是小于設(shè)定閾值的。經(jīng)過(guò)閾值分割后可以得到黑白的二值化圖像，適用于目標(biāo)灰度對(duì)比強(qiáng)烈的情況，可以得到封閉連通區(qū)域的邊界，為之后的連通域分割做準(zhǔn)備。本文用到的閾值分割方法公式如下：

公式中設(shè)置了一個(gè)最佳閾值，大于此閾值的圖像背景部分，以此可以很好地把目標(biāo)與圖像分割出來(lái)，效果如圖4所示。

圖4 閾值分割圖像

3.1.1.3 濾波處理

經(jīng)過(guò)閾值分割后的圖像還存在著許多噪聲，因此需要用到濾波來(lái)去除噪聲，使圖像變得更加平滑。這里需要用到高斯濾波，其主要原理是，使用高斯核與輸入圖像中的每個(gè)點(diǎn)作卷積運(yùn)算，然后對(duì)卷積結(jié)果求和，從而得到輸出圖像。二維高斯函數(shù)如下公式所示。

通過(guò)上述函數(shù)，就可以計(jì)算每個(gè)像素點(diǎn)的權(quán)重，對(duì)鄰域內(nèi)像素進(jìn)行平均時(shí)，給予它們不同的權(quán)重。經(jīng)過(guò)高斯濾波后的圖像如圖5所示。

圖5 高斯模糊處理

3.1.1.4 形態(tài)學(xué)處理

由于經(jīng)過(guò)處理后的圖像中還存在著許多干擾，字符區(qū)域仍無(wú)法與其他區(qū)域具有大的差異化，不能很好地分離出來(lái)，因此需要用到形態(tài)學(xué)處理來(lái)增大字符區(qū)域的特征，或者是根據(jù)干擾因素的特征將其抹除。這里用到了膨脹的處理方法，能夠加長(zhǎng)或者加粗二值圖像中的對(duì)象。膨脹操作的公式如下：

經(jīng)過(guò)膨脹操作后可以讓字符粘連起來(lái)，把字符之間的空隙填滿，形成連通域，從而實(shí)現(xiàn)與干擾區(qū)域的區(qū)分。經(jīng)過(guò)膨脹操作后的圖像如圖6所示。

圖6 膨脹處理

3.1.2 連通域分析

對(duì)形成連通域的區(qū)域進(jìn)行連通域分析，把圖像中的連通域找出并進(jìn)行標(biāo)記，是一種比較常用的圖像區(qū)域提取方法，這里采用二次遍歷法。第一遍掃描對(duì)圖像中像素值相等且位置相鄰的前景像素點(diǎn)進(jìn)行標(biāo)記，同一個(gè)連通域的像素點(diǎn)可能會(huì)有一個(gè)或者多個(gè)不同的標(biāo)記，記錄像素點(diǎn)之間的相等關(guān)系;第二遍掃描就是將具有相等關(guān)系的不同標(biāo)記像素點(diǎn)賦予相同的標(biāo)記值并將其合并得到完整的連通域，從而實(shí)現(xiàn)連通域分割。由此可以把不同的連通域標(biāo)記出來(lái)，接下來(lái)就可以根據(jù)字符區(qū)域的特征進(jìn)行篩選。連通域標(biāo)記后的效果如圖7 所示。

圖7 連通域分析

3.1.3 特征提取

把連通域部分進(jìn)行填充，填充為矩形后可以計(jì)算連通域的坐標(biāo)以及面積，由于噴碼字符的區(qū)域比較固定，所以設(shè)定一個(gè)閾值范圍，把連通域的坐標(biāo)和面積特征與閾值進(jìn)行比較，能夠提取出合適的連通域，從而實(shí)現(xiàn)字符定位。

3.2 字符分割

在對(duì)字符定位后，就可以分割字符。把字符區(qū)域內(nèi)的字符單個(gè)地分割出來(lái)，常用的方法有投影法和連通域分割法。由于噴碼字符具有粘連性，因此單一的分割方法并不適用于噴碼字符的分割；由于噴碼字符的尺寸都是確定的，所以這里采用二次分割的方法。在第一次連通域分割出字符區(qū)域的基礎(chǔ)上，對(duì)字符區(qū)域用等間距分割的方法進(jìn)行細(xì)分割提取出字符，具體是對(duì)需要檢測(cè)圖像中的單個(gè)字符繪制外接矩形，然后把外接矩形與設(shè)定字符的尺寸大小進(jìn)行對(duì)比，以此與原圖取交集，分割出粘連字符。步驟如下：

（1）連通域分割。首先對(duì)定位好的字符區(qū)域進(jìn)行膨脹操作找出連通域，然后進(jìn)行連通性分析，對(duì)字符進(jìn)行第一次分割，結(jié)果中有的連通域分割并不完全。效果如圖8所示。

圖8 連通域分割效果圖

（2）繪制外接矩形。對(duì)第一次分割的圖像繪制外接矩形，并計(jì)算外接矩形的長(zhǎng)，寬以及面積。繪制外接矩形后的效果如圖9所示。

圖9 外接矩形圖

（3）等間距分割。把繪制好的外接矩陣尺寸與設(shè)定好的尺寸進(jìn)行對(duì)比，長(zhǎng)和寬分別進(jìn)行對(duì)比，若最小外接矩形比設(shè)定的矩形尺寸大1.5倍，則進(jìn)行等間距分割，分割出單個(gè)字符。

（4）字符提取。經(jīng)過(guò)二次分割后的圖像與原圖像對(duì)比取一個(gè)交集，可獲得單個(gè)字符區(qū)域，然后進(jìn)行分割。

3.3 字符識(shí)別

由于噴碼字符的類型比較單一，由字母以及數(shù)字組成，因此這里采用簡(jiǎn)單的模板匹配法來(lái)進(jìn)行字符識(shí)別，設(shè)立字庫(kù)，即26個(gè)字母和10個(gè)數(shù)字，把分割好的字符進(jìn)行歸一化，然后與字庫(kù)中的字符進(jìn)行比較，就可以得到字符的結(jié)果。

模板匹配算法就是在圖像中尋找特定的目標(biāo)，設(shè)定一個(gè)模板T，遍歷圖像區(qū)域S，看哪些地方與模板相似，若相似度比較高，則找到目標(biāo)，計(jì)算相似性的公式如下：

其中i，j為圖片中像素點(diǎn)的坐標(biāo)，通過(guò)逐個(gè)像素點(diǎn)的對(duì)比，把相似度最高的字符顯示出來(lái)。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)

本實(shí)驗(yàn)的噴碼字符圖片來(lái)源于益海嘉里（鄭州）食品工業(yè)有限公司采集的面粉包裝袋圖像，圖像樣如圖10所示。樣本數(shù)為67，每個(gè)圖像中包含19個(gè)字符，由數(shù)字“0-9”，字母“A-Z”組成，操作系統(tǒng)是Windows10，編譯器是Visual 2017，開發(fā)包包含OpenCV。

圖10 樣本圖像

4.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中采取了字符定位、字符分割、字符定位三步進(jìn)行實(shí)驗(yàn)。首先通過(guò)圖像灰度化、二值化，再進(jìn)行去噪來(lái)處理圖像，然后進(jìn)行膨脹處理，再建立連通域進(jìn)行連通域分析。根據(jù)特征提取出字符位置，然后通過(guò)連通域分割與等間距分割的二次分割方法分割出字符。最后進(jìn)行模板匹配，識(shí)別字符。字符分割后效果如圖11所示，分割后提取識(shí)別結(jié)果如圖12所示?？梢钥闯鰷?zhǔn)確率為94.8%，誤檢率為3%，表明此方法對(duì)于噴碼字符識(shí)別比較適用。

圖11 字符分割結(jié)果

圖12 字符識(shí)別結(jié)果

為了進(jìn)一步驗(yàn)證本文方法的有效性，實(shí)驗(yàn)還與傳統(tǒng)的分割方法進(jìn)行了對(duì)比，分別是垂直投影法、連通域分割法、投影二分法。單使用垂直投影法，如果字符粘連則不能分割出字符區(qū)域。連通域分割法，由于字符都在一個(gè)連通域，因此無(wú)法分割出粘連字符對(duì)于投影二分法，它根據(jù)字符固定寬度，在垂直投影法的基礎(chǔ)上進(jìn)行分割，比單使用垂直投影法效果要好。本文采用分割準(zhǔn)確性來(lái)對(duì)比本文提出的字符分割的方法，具體為正確分割的字符數(shù)與圖像中字符總數(shù)的比值，實(shí)驗(yàn)結(jié)果對(duì)比如圖13所示，明顯優(yōu)于其他三種方法，可用于面粉包裝袋噴碼字符的分割。

圖13 不同方法分割準(zhǔn)確率比較

5 結(jié)論

本文主要研究了對(duì)食品包裝袋上的噴碼字符的分割識(shí)別問(wèn)題，主要研究問(wèn)題是針對(duì)噴碼字符的定位及分割問(wèn)題。本文用了二次分割的方法，首先對(duì)圖像進(jìn)行預(yù)處理，然后利用連通與特征提取定位字符區(qū)域，再進(jìn)行字符分割。為了解決字符分割不完全的問(wèn)題，首先根據(jù)連通域采用第一次分割，然后根據(jù)字符的大小進(jìn)行第二次細(xì)分割，然后根據(jù)與原圖像對(duì)比分割出單個(gè)字符。從實(shí)驗(yàn)結(jié)果可以看出，此種方法的準(zhǔn)確率還是比較高的。但是，對(duì)于噴碼字符的識(shí)別研究仍比較少，因此準(zhǔn)確率還有很大的提升空間，未來(lái)可以引入深度學(xué)習(xí)，通過(guò)深度學(xué)習(xí)提高字符分割識(shí)別的準(zhǔn)確率。