基于HALCON的票據(jù)字符提取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

彭繼彬+陳曉榮

摘要：票據(jù)特殊字符提取識(shí)別工作量大、效率低。針對(duì)該問(wèn)題，以HALCON作為機(jī)器視覺(jué)和圖像處理核心軟件，將計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)應(yīng)用于票據(jù)的特定字符識(shí)別，包括閾值分割、填充縫隙與濾波、圖像分割和ORC圖像處理等圖像處理關(guān)鍵技術(shù)，實(shí)現(xiàn)圖像采集、預(yù)處理和檢測(cè)識(shí)別。

關(guān)鍵詞：字符提取；HALCON；機(jī)器視覺(jué)；圖像處理

中圖分類號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：16727800（2017）004008003

0引言

我國(guó)專利申請(qǐng)量居世界前列，每年都有數(shù)以百萬(wàn)項(xiàng)專利申請(qǐng)。專利號(hào)是每個(gè)專利的唯一標(biāo)識(shí)，數(shù)目繁多，統(tǒng)計(jì)工作量巨大，人工管理專利作業(yè)不僅效率低，還容易出錯(cuò)。因此，設(shè)計(jì)一種自動(dòng)識(shí)別專利發(fā)票上的專利申請(qǐng)?zhí)栂到y(tǒng)十分必要。本文以專利發(fā)票為實(shí)驗(yàn)對(duì)象，介紹一種票據(jù)字符提取系統(tǒng)。 隨著計(jì)算機(jī)技術(shù)和數(shù)字圖像處理技術(shù)的飛速發(fā)展，機(jī)器視覺(jué)廣泛應(yīng)用于生產(chǎn)生活中。視覺(jué)檢測(cè)技術(shù)作為機(jī)器視覺(jué)的重要研究領(lǐng)域，不僅能提高自動(dòng)化程度，還能顯著提升檢測(cè)的安全性與可靠性[1]。當(dāng)今幾乎所有需要人類視覺(jué)的場(chǎng)合都可以用機(jī)器視覺(jué)技術(shù)來(lái)代替，尤其對(duì)于需要快速、重復(fù)地從圖像中獲取精確信息的場(chǎng)合，機(jī)器視覺(jué)技術(shù)是實(shí)現(xiàn)計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù)[23]。 HALCON是德國(guó)MVtec公司開(kāi)發(fā)的具有強(qiáng)大圖像處理功能的軟件，包含所有標(biāo)準(zhǔn)和高級(jí)的圖像處理方法，擁有非常完善的函數(shù)庫(kù)，包括定位、匹配、識(shí)別等高級(jí)算法，能夠進(jìn)行圖像獲取、模板匹配、Blob分析、邊緣提取、測(cè)量、識(shí)別等[4]，具有全面的視覺(jué)處理庫(kù)和應(yīng)用廣泛的機(jī)器視覺(jué)集成開(kāi)發(fā)環(huán)境。HALCON通過(guò)交互編程開(kāi)發(fā)應(yīng)用程序，或加入新的算子來(lái)實(shí)現(xiàn)視覺(jué)功能，是應(yīng)用效果最好的機(jī)器視覺(jué)處理軟件[2，5]。本文利用HALCON機(jī)器視覺(jué)技術(shù)設(shè)計(jì)并實(shí)現(xiàn)票據(jù)特定字符——專利申請(qǐng)?zhí)柕奶崛　?/p>

1系統(tǒng)設(shè)計(jì)

基于機(jī)器視覺(jué)的專利收費(fèi)票據(jù)檢測(cè)系統(tǒng)需要對(duì)置物臺(tái)上的專利收費(fèi)票據(jù)進(jìn)行采集和識(shí)別，最終提取出申請(qǐng)?zhí)栕址?。申?qǐng)?zhí)栕址崛∠到y(tǒng)主要由電源光源部分、攝像機(jī)傳感器單元、圖像采集單元和圖像處理操作平臺(tái)等構(gòu)成。通過(guò)調(diào)節(jié)器控制光源，攝像機(jī)傳感器和圖像采集單元由檢測(cè)元件控制。系統(tǒng)架構(gòu)如圖1所示。

系統(tǒng)流程如圖2所示。 申請(qǐng)?zhí)栕址崛∠到y(tǒng)中，用CMOS數(shù)字像機(jī)進(jìn)行圖像采集，圖像采集單元主要完成置物臺(tái)上整個(gè)票據(jù)圖像的獲取。圖像采集和處理是機(jī)器視覺(jué)系統(tǒng)的核心，攝像機(jī)獲取的圖像包含了需要的所有信息，圖像質(zhì)量的好壞將直接影〖HJ*3〗響系統(tǒng)檢測(cè)效率和精度，是整個(gè)機(jī)器視覺(jué)系統(tǒng)的關(guān)鍵。光源則影響整個(gè)圖像質(zhì)量，合適的光源能很好地區(qū)分目標(biāo)信息和背景信息，影響輸入圖像的質(zhì)量和至少30%的應(yīng)用效果[6]。根據(jù)應(yīng)用需求，系統(tǒng)光源采用LED光源。系統(tǒng)工作時(shí)，采用檢測(cè)觸發(fā)抓拍方式獲取圖像，攝像機(jī)由檢測(cè)元件觸發(fā)控制。檢測(cè)元件由光電觸發(fā)器與反射板組成，它是一個(gè)反射型的觸發(fā)器。當(dāng)票據(jù)通過(guò)置物臺(tái)時(shí)，信號(hào)強(qiáng)度會(huì)變化，檢測(cè)元件據(jù)此輸出控制信號(hào)來(lái)觸發(fā)攝像機(jī)拍攝圖像[7]。拍攝的圖像傳送到采集單元，再經(jīng)過(guò)像機(jī)數(shù)據(jù)接口傳輸?shù)綑C(jī)器視覺(jué)圖像庫(kù)中，利用軟件中的算子功能對(duì)圖像進(jìn)行相應(yīng)處理、識(shí)別和輸出。機(jī)器視覺(jué)軟件為HALCON 10.0。

2圖像處理技術(shù)

采用 OCR圖像處理方法檢測(cè)專利收費(fèi)票據(jù)申請(qǐng)?zhí)栕址?。OCR指通過(guò)圖像處理和模式識(shí)別技術(shù)對(duì)光學(xué)字符進(jìn)行識(shí)別，用于閱讀和識(shí)別特定區(qū)域字符?；谀０鍣C(jī)制，針對(duì)不同票據(jù)，定制不同的識(shí)別要素，專利票據(jù)為印刷票據(jù)，因此采用OCR圖像處理方法對(duì)票據(jù)申請(qǐng)?zhí)栕址M(jìn)行提取，基本步驟為：獲取圖像→預(yù)處理圖像→分割圖像→OCR匹配→識(shí)別字符→輸出結(jié)果。

2.1獲取圖像

圖像獲取由攝像機(jī)傳感器、檢測(cè)元件等硬件設(shè)備和HALCON軟件算子共同完成，HALCON軟件首先調(diào)用open_framegrabber算子訪問(wèn)圖像采集設(shè)備，再調(diào)用grab_image算子完成采集圖像，將采集得到的圖像加以保存，然后再調(diào)用read_image和dev_display把圖像顯示出來(lái)。票據(jù)圖像如圖3所示。

2.2預(yù)處理圖像

為使采集的圖像區(qū)域特征更加明顯，目標(biāo)信息更加突出，要經(jīng)過(guò)一系列預(yù)處理，主要有圖像增強(qiáng)、灰度值調(diào)節(jié)、濾波、填充縫隙、圖像分割等[7]。

2.2.1圖像增強(qiáng)與灰度值調(diào)整

調(diào)用emphasize算子，使發(fā)票上的信息顯示更為明顯。為了得到更清晰的申請(qǐng)?zhí)栕址?，需要將申?qǐng)?zhí)栃畔恼麄€(gè)票據(jù)復(fù)雜的背景中提取出來(lái)，消除噪聲，以降低后續(xù)步驟難度。采用閾值分割，調(diào)節(jié)灰度值調(diào)用threshold算子，調(diào)節(jié)灰度值過(guò)后的圖像突出了申請(qǐng)?zhí)栕址畔ⅲ?jiàn)圖4。

2.2.2填充縫隙與濾波 灰度值調(diào)整后的數(shù)字圖像仍存在許多噪聲，去除這些噪聲干擾，常采用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行去噪[8]。數(shù)學(xué)形態(tài)學(xué)有4個(gè)基本運(yùn)算：膨脹、腐蝕、開(kāi)運(yùn)算和閉運(yùn)算。數(shù)學(xué)形態(tài)學(xué)利用結(jié)構(gòu)元素作為探針不斷移動(dòng)圖像信息來(lái)了解圖像的結(jié)構(gòu)特征。為使圖像數(shù)字特征更為明顯，調(diào)用fill_up_shape和dilation_circle算子填充字符內(nèi)部的黑色部分；對(duì)深色部分進(jìn)行處理時(shí)，調(diào)用形態(tài)學(xué)opening_circle算子以抑制雜波。為滿足申請(qǐng)?zhí)栕址珳?zhǔn)檢測(cè)提取要求，在圖像預(yù)處理階段需將灰度值調(diào)整、填充縫隙、濾波等3種處理方式相互協(xié)調(diào)使用。

2.3申請(qǐng)?zhí)柖ㄎ慌c分割圖像

申請(qǐng)?zhí)栕址ㄎ凰惴ㄊ钦麄€(gè)字符識(shí)別的核心，從專利票據(jù)可以看到許多數(shù)字組合，但是申請(qǐng)?zhí)柕奈粩?shù)是固定的，而且距離整個(gè)方框中心最近?；诖耍梢愿鶕?jù)申請(qǐng)?zhí)柕拈L(zhǎng)度定位申請(qǐng)?zhí)?，但最下排漢字會(huì)存在干擾，如圖5所示綠色部分。 通過(guò)申請(qǐng)?zhí)柕姆娇騼蓷l豎線定位中心，尋找距離中心較近目標(biāo)，即為申請(qǐng)?zhí)栁恢茫?jiàn)圖5。HALCON主要程序如下：MiddleColumnSum：=0 for i ：= 1 to NumIntermediate2 by 1 MiddleColumnSum：=（Row22[i-1]+Row21[i-1]）/2+MiddleColumnSum endfor MiddleColumn：= MiddleColumnSum/NumIntermediate2 **尋找與豎線中心坐標(biāo)最接近的目標(biāo)，即為申請(qǐng)?zhí)杁evbig：=0 dev：=0 for i ：= 1 to NumIntermediate3 by 1 dev ：=（Row22[i-1]+Row21[i-1]）/2 if（dev>devbig） devbig：=dev n：=i endif endfor

確定申請(qǐng)?zhí)栁恢煤?，單?dú)分割提出申請(qǐng)?zhí)柌糠謭D像，見(jiàn)圖6，再應(yīng)用圖像處理技術(shù)，對(duì)申請(qǐng)?zhí)栕址M(jìn)行分割。首先進(jìn)行圖像分割，通過(guò)對(duì)原始圖像進(jìn)行某種方式的分割處理，提取圖像的某些特征，最常用的方法是閾值分割[910]。經(jīng)過(guò)處理后，申請(qǐng)?zhí)栕址赡艽嬖谝恍┪⑿〉臄嗔?，此時(shí)調(diào)用closing_circle算子以連接這些微小斷裂，減少誤識(shí)別。因?yàn)樯暾?qǐng)?zhí)栕址脚帕谐梢慌?，可以調(diào)用closing_rectanglel算子將申請(qǐng)?zhí)栕址谒椒较蚝喜⒊梢粋€(gè)整目標(biāo)，調(diào)用connection算子把合并后的目標(biāo)區(qū)域轉(zhuǎn)換為一個(gè)個(gè)分離的對(duì)象，采用聯(lián)合與分割方法分開(kāi)字符，調(diào)用intersection算子和connection算子得到分割好的數(shù)字圖像。經(jīng)過(guò)以上步驟，整個(gè)申請(qǐng)?zhí)栕址旧夏軌蚯逦仫@示出來(lái)，再使用sort_region算子將數(shù)字排列，調(diào)用region_to_bin算子把區(qū)域轉(zhuǎn)化成二值圖像，最后將圖像顯示出來(lái)，結(jié)果如圖7所示。

2.4OCR匹配

在HALCON軟件中進(jìn)行OCR圖像處理和識(shí)別：根據(jù)申請(qǐng)?zhí)栕址卣?，將?jīng)過(guò)處理后的圖像與已知 “模板”進(jìn)行比對(duì)，把置信度最高的值返回到class中，進(jìn)行自動(dòng)識(shí)別然后輸出結(jié)果。字符檢測(cè)提取 “模板”非常重要，它將決定最后匹配結(jié)果的精準(zhǔn)度。申請(qǐng)?zhí)栆话闶欠浅：?jiǎn)單的數(shù)字和字母組合，所以本系統(tǒng)采用HALCON自帶的OCR模板庫(kù)即可。但是如果想識(shí)別其它文字等符號(hào)，則需要使用函數(shù)庫(kù)，或者創(chuàng)建及訓(xùn)練ORC分類器，即建立相應(yīng)的“模板”。

2.5識(shí)別字符

采用模板匹配法識(shí)別字符。將待識(shí)別的字符逐個(gè)與建立好的模板字符匹配。識(shí)別過(guò)程就是利用模板，對(duì)要識(shí)別的對(duì)象進(jìn)行圖形處理，最后通過(guò)OCR模板匹配度算子得到結(jié)果。 首先調(diào)用read_ocr_class_mlp算子讀取分類文件，讀取 HALCON 自帶的 'Industrial_0-9A-Z.omc' 模板文件。do_ocr_multi_class_mlp算子將最終處理后得到的圖像與模板逐一匹配，得到匹配結(jié)果和匹配置信度，再調(diào)用smallest_rectangle1算子提取特征，得到該圖像上的字符方位，為后面定位操作提供參考。最后選擇一個(gè)起始位置顯示識(shí)別結(jié)果，這里要用到set_tposition 和write_string 兩個(gè)算子。程序運(yùn)行結(jié)果見(jiàn)圖8。

3結(jié)語(yǔ)

票據(jù)特殊字符人工提取不僅工作量大、速度慢，而且枯燥乏味，容易因疏忽導(dǎo)致錯(cuò)誤。本文將機(jī)器視覺(jué)技術(shù)應(yīng)用到專利票據(jù)申請(qǐng)?zhí)柼崛≈?，能?zhǔn)確識(shí)別出專利發(fā)票收據(jù)上的申請(qǐng)?zhí)?，?shí)現(xiàn)了自動(dòng)快速檢測(cè)提取，大幅降低了成本，提高了效率和準(zhǔn)確度。此技術(shù)還可識(shí)別增值稅發(fā)票等不同種類票據(jù)，在財(cái)務(wù)管理等領(lǐng)域用途廣泛。

參考文獻(xiàn)：[1]趙杰文，陳振濤，鄒小波.機(jī)器視覺(jué)實(shí)現(xiàn)方便面破損在線檢測(cè)的研究[J].微計(jì)算機(jī)信息，2007，23（10）：238240.

[2]孫懷遠(yuǎn)，廖躍華，周夫之，等.基于HALCON的藥品包裝瓶批號(hào)檢測(cè)技術(shù)研究[J].包裝工程，2008，29（8）：7173.[3]彭曉輝.基于HALCON的IC卡噴碼符號(hào)識(shí)別技術(shù)研究與實(shí)現(xiàn)[D].廣州：廣東工業(yè)大學(xué)，2006.

[4]肖?？?，葛廣英，姚坤，等.基于HALCON的噴碼字符識(shí)別技術(shù)的研究與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2015，38（15）：9598.

[5]郭佳寅，岳秀江，吳雙，等.基于HALCON的乳制品箱體噴碼字符識(shí)別方法研究[J].制造業(yè)自動(dòng)化，2013（3）：2122.

[6]楊莉，潘豐.基于機(jī)器視覺(jué)的硬盤(pán)磁體檢測(cè)系統(tǒng)設(shè)計(jì)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，11（5）：505-508.[7]孫懷遠(yuǎn)，楊麗英，周夫之.基于機(jī)器視覺(jué)技術(shù)的藥品瓶包裝在線檢測(cè)系統(tǒng)[J].自動(dòng)化與控制，2011（2）：4650.[8]春霞，魏敏，唐正寧.基于數(shù)學(xué)形態(tài)學(xué)的印刷網(wǎng)點(diǎn)圖像分割方法[J].包裝工程，2007，28（6）：14-15，36.

[9]李程鵬，范彥斌，胡青春.基于HALCON的PCB光學(xué)定位點(diǎn)的3種識(shí)別方法及比較[J].佛山科技學(xué)院：自然科學(xué)版，2010，28（2）：2933.

[10]鄭南寧.計(jì)算機(jī)視覺(jué)與模式識(shí)別[M].北京：國(guó)防工業(yè)出版社，1998.（責(zé)任編輯：杜能鋼）