基于視頻的手寫(xiě)數(shù)字識(shí)別

王敏+蔣海峰

摘??要：隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，視頻跟蹤技術(shù)越來(lái)越成為計(jì)算機(jī)領(lǐng)域中研究的熱點(diǎn)。視頻跟蹤技術(shù)的研究涉及范圍很多，包括視頻圖像處理、模式識(shí)別以及人工智能等，具有較強(qiáng)的研究?jī)r(jià)值。手勢(shì)檢測(cè)識(shí)別技術(shù)作為一種基于計(jì)算機(jī)視覺(jué)的新型人機(jī)交互方式，是其中備受矚目的研究和應(yīng)用技術(shù)之一。文章采用一種簡(jiǎn)單高效的顏色直方圖對(duì)目標(biāo)（紅色手指）進(jìn)行主色定位，并在圖像序列中進(jìn)行目標(biāo)區(qū)域提取，得到運(yùn)動(dòng)軌跡，進(jìn)行手寫(xiě)數(shù)字識(shí)別。最后利用八段視頻驗(yàn)證了該方法的簡(jiǎn)單高效，并能成功進(jìn)行實(shí)時(shí)跟蹤與識(shí)別。

關(guān)鍵詞：顏色直方圖;跟蹤;手寫(xiě)數(shù)字識(shí)別

中圖分類(lèi)號(hào)：TP391.4???文獻(xiàn)標(biāo)識(shí)碼：A

Recognition?of??Handwritten?Numeral?Based?on?Video

WANG?Min?，JIANG?Hai-feng?（Control?theory?and?control?engineering，Nanjing?university?of?science?and?technology，nanjing??210094，China）

Abstract：?With?the?continuous?development?of?computer?technology，?video?tracking?technology?has?become?a?hot?research?field?of?computer.?Study?of?video?tracking?has?strong?research?value，?including?video?and?image?processing?，?pattern?recognition?and?artificial?intelligence.?As?a?new?type?of?human-computer?interaction?based?on?computer?vision，?gesture?detection?and?identification?technology?is?one?of?the?high-profile?research?and?applied?technology.?The?article?positions?the?target?（red?fingers）?with?the?main?color?by?using?a?simple?and?efficient?color?histogram，?extracts?the?target?area?in?the?image?sequence?to?get?the?motion?trajectory，?and?identify?handwritten?numeral.?Finally，?experiment?on?eight?videos?shows?that?this?method?is?simple?and?efficient.?With?this?method，?real-time?tracking?and?gesture?recognition?is?successful.

Key?words：?Color?histogram;?Tracking;?Handwritten?numeral?recognition

1?引言

光學(xué)字符識(shí)別（OCR）被廣泛地應(yīng)用在護(hù)照、汽車(chē)牌照以及身份證號(hào)碼識(shí)別等領(lǐng)域，是模式識(shí)別研究的一個(gè)熱點(diǎn)。它能夠采用非光電非接觸的方式準(zhǔn)確、快速地識(shí)別字符，這使得工作效率大大提高[1]。

手寫(xiě)數(shù)字檢測(cè)識(shí)別技術(shù)是由計(jì)算機(jī)針對(duì)某一視頻，對(duì)視頻中的符號(hào)進(jìn)行檢測(cè)與識(shí)別分析，從而輸出預(yù)先設(shè)定結(jié)果的一種計(jì)算機(jī)技術(shù)。不同的人有不同的手寫(xiě)習(xí)慣，光照、背景的變化等干擾因素對(duì)檢測(cè)和識(shí)別有較大影響，是對(duì)其檢測(cè)識(shí)別精度的一大挑戰(zhàn)。

2?手寫(xiě)數(shù)字識(shí)別

某些數(shù)字字形相似，區(qū)分相當(dāng)困難，并且千萬(wàn)種手寫(xiě)數(shù)字的寫(xiě)法使得手寫(xiě)數(shù)字的識(shí)別更加困難。

手寫(xiě)體數(shù)字識(shí)別技術(shù)主要包括以下幾點(diǎn)[2]：

1）圖像預(yù)處理，包括彩色圖像轉(zhuǎn)成灰度圖像、二值化，歸一化，濾除干擾噪聲等;

2）基于數(shù)字圖像的特征選擇和提取;

3）數(shù)字串的分割;

4）模式分類(lèi)識(shí)別。

圖1?手寫(xiě)字符識(shí)別流程

2.1?手寫(xiě)數(shù)字圖像預(yù)處理

2.1.1?圖像的二值化

對(duì)手寫(xiě)數(shù)字識(shí)別時(shí)并不關(guān)注手寫(xiě)數(shù)字的顏色、灰度級(jí)，因此可以通過(guò)二值化來(lái)提高識(shí)別率，刪除冗余信息。圖像的二值化關(guān)鍵在于設(shè)定閾值，通過(guò)設(shè)定某些閾值，對(duì)背景和目標(biāo)占據(jù)不同灰度級(jí)的圖像進(jìn)行分割[3]。

2.1.2?圖像歸一化

不規(guī)范是手寫(xiě)數(shù)字的主要特征。千變?nèi)f化的書(shū)寫(xiě)風(fēng)格，以及采集到的不同規(guī)格的數(shù)字圖像對(duì)提取數(shù)字特征有重要影響。為了減少這種影響，要對(duì)采集的數(shù)字圖像進(jìn)行歸一化。利用圖像的不變矩陣，可以得到一組參數(shù)，這組參數(shù)可以消除變換函數(shù)對(duì)圖像變換的影響。通過(guò)這些變換，將原始圖像轉(zhuǎn)換成對(duì)平移、縮放、旋轉(zhuǎn)等變換具有不變換性的標(biāo)準(zhǔn)形式圖像，這一過(guò)程就稱(chēng)為圖像的歸一化。圖像歸一化分為坐標(biāo)中心化、x-shearing歸一化、縮放歸一化和旋轉(zhuǎn)歸一化[4]。

2.2?手寫(xiě)數(shù)字的特征提取

預(yù)處理后的數(shù)據(jù)量大，不能直接將其作為分類(lèi)器的輸入量。另外，預(yù)處理時(shí)附帶一些干擾以及手寫(xiě)字體有千萬(wàn)種，若直接進(jìn)行分類(lèi)計(jì)算對(duì)分類(lèi)器的容錯(cuò)能力具有較高要求。因此從分析數(shù)字的拓?fù)浣Y(jié)構(gòu)入手，進(jìn)行特征提取，將數(shù)字的一些結(jié)構(gòu)特征提取出來(lái)，使得數(shù)字的大小、位移變化以及字形畸變等干擾相對(duì)減小。將反映數(shù)字特征的關(guān)鍵信息提供給分類(lèi)器相當(dāng)于增加了分類(lèi)器的容錯(cuò)能力，并且數(shù)據(jù)量在特征提取之后大大減少。

特征提取的主要原則有[5]：特征數(shù)量盡可能的少;特征的提取方法簡(jiǎn)單、快速;特征應(yīng)有較好的抗干擾能力;特征應(yīng)能盡量包含字符的有用信息;各個(gè)特征之間的相關(guān)性應(yīng)盡可能的小。

2.2.1?逐像素特征提取方法

它是對(duì)圖像進(jìn)行逐行掃描，黑色像素特征值記為1，白色像素特征值記為0。這樣在掃描結(jié)束之后就得到一個(gè)特征向量矩陣，其維數(shù)跟圖像中像素點(diǎn)的個(gè)數(shù)相同。該方法的算法簡(jiǎn)單，運(yùn)算速度快，但算法的適應(yīng)性不強(qiáng)[6]。

2.2.2?骨架特征提取方法

骨架特征提取法利用細(xì)化來(lái)提取骨架，該方法適用于線(xiàn)條粗細(xì)不同的數(shù)字，對(duì)于出現(xiàn)偏移的圖像無(wú)法識(shí)別[1]。

2.2.3?垂直方向數(shù)據(jù)統(tǒng)計(jì)特征提取法

垂直方向數(shù)據(jù)統(tǒng)計(jì)特征提取法就是對(duì)圖像從左向右逐列掃描，統(tǒng)計(jì)每列黑色像素的個(gè)數(shù)，然后自上而下逐行掃描，統(tǒng)計(jì)每行的黑色像素的個(gè)數(shù)，將統(tǒng)計(jì)結(jié)果作為字符的特征向量。

2.3?手寫(xiě)數(shù)字的識(shí)別

在手寫(xiě)體數(shù)字圖像特征提取結(jié)束后，即可進(jìn)行數(shù)字的識(shí)別。識(shí)別手寫(xiě)數(shù)字的方法總體有兩大類(lèi)：全局分析和結(jié)構(gòu)分析。

對(duì)于全局分析，可以使用模板匹配、數(shù)學(xué)變換、特征點(diǎn)、像素密度、矩等技術(shù)，并且常常和統(tǒng)計(jì)分類(lèi)方法一起使用[7]。

對(duì)于結(jié)構(gòu)分析，需要從字符的輪廓或骨架上提取字符形狀的基本特征，包括：圈、端點(diǎn)、節(jié)點(diǎn)、弧、突起、凹陷，與這些結(jié)構(gòu)特征配合使用的往往是句法的分類(lèi)方法。

2.4?手寫(xiě)數(shù)字識(shí)別的研究現(xiàn)狀

市場(chǎng)經(jīng)濟(jì)日益發(fā)達(dá)，數(shù)據(jù)成為人們每天不可缺少的處理工作，例如支票、發(fā)票、匯款單、成績(jī)單等這些都需要處理數(shù)據(jù)，并且阿拉伯?dāng)?shù)字是唯一被世界各國(guó)通用的符號(hào)，手寫(xiě)數(shù)字的識(shí)別越來(lái)越引起各國(guó)重視，成為研究熱點(diǎn)之一。但是數(shù)字寫(xiě)法的千差萬(wàn)別以及字形的相似導(dǎo)致其識(shí)別率不如印刷體漢字的識(shí)別率[8]。

3?實(shí)驗(yàn)及分析

基于視頻的運(yùn)動(dòng)手指軌跡分析與符號(hào)識(shí)別的系統(tǒng)流程如圖2所示。整個(gè)系統(tǒng)由圖像序列的獲得、指尖檢測(cè)與跟蹤、得到指尖運(yùn)動(dòng)軌跡、分析軌跡得到符號(hào)、符號(hào)識(shí)別五個(gè)部分組成。

圖2?系統(tǒng)流程圖

本文以8與0為例，基于檢測(cè)符號(hào)特征對(duì)其進(jìn)行識(shí)別。對(duì)于8與0，可以采用的是通過(guò)檢測(cè)符號(hào)的內(nèi)外輪廓，根據(jù)圖像中輪廓的個(gè)數(shù)及內(nèi)部輪廓的位置關(guān)系，進(jìn)行0與8的區(qū)分?？梢钥闯?只具有1個(gè)外輪廓及1個(gè)內(nèi)輪廓，而8具有1個(gè)外輪廓及2個(gè)內(nèi)輪廓。0可以用包含輪廓最小矩形的高寬比來(lái)識(shí)別橫向還是豎向，而8可以根據(jù)2個(gè)含內(nèi)輪廓最小矩形的位置關(guān)系來(lái)確定橫向還是豎向。如果內(nèi)輪廓過(guò)小，則認(rèn)為是噪聲。本方法需要數(shù)字不能出現(xiàn)斷點(diǎn)，需要一定的預(yù)處理。

本文對(duì)8段手指視頻進(jìn)行符號(hào)識(shí)別，視頻中手指指尖均套有紅色手套，顏色比較單一、鮮明，故先對(duì)該問(wèn)題進(jìn)行建模，使用camshift算法在實(shí)際圖像序列中尋找匹配的運(yùn)動(dòng)目標(biāo)。實(shí)驗(yàn)先對(duì)視頻進(jìn)行初始模板的獲取，獲得其顏色直方圖，然后對(duì)其進(jìn)行模板匹配。

經(jīng)過(guò)縮放處理后歸一化到64*48大小的各視頻紅色手指軌跡圖片如圖3所示。圖4為各數(shù)字符號(hào)輪廓分析結(jié)果。由圖3可知，在背景顏色與目標(biāo)顏色相差較大時(shí)，使用本文所采用的方法可以獲得較好的跟蹤結(jié)果，并且8段視頻都可以采用本文所提出的對(duì)8與0識(shí)別的方法進(jìn)行正確識(shí)別。

1-1??????1-2?????1-3?????1-4

2-1??????2-2?????2-3?????2-4

圖3?8段視頻處理后跟蹤軌跡圖

1-1?????1-2??????1-3?????1-4

2-1??????2-2?????2-3?????2-4

圖4?各數(shù)字符號(hào)輪廓分析結(jié)果

• 結(jié)論

本文較好的完成了對(duì)8段測(cè)試視頻中手指符號(hào)的識(shí)別。本文首先提出了一種簡(jiǎn)單高效的顏色直方圖對(duì)目標(biāo)（紅色手指）進(jìn)行主色定位，并在圖像序列中進(jìn)行目標(biāo)區(qū)域提取，得到運(yùn)動(dòng)軌跡。該方法簡(jiǎn)單高效，能進(jìn)行實(shí)時(shí)跟蹤。另外，在背景中出現(xiàn)和目標(biāo)顏色類(lèi)似的顏色也會(huì)給目標(biāo)的檢測(cè)提取帶來(lái)一定的影響。相對(duì)而言，基于裸手的指尖檢測(cè)與跟蹤更具有魯棒性，是今后手指符號(hào)研究的努力方向。

參考文獻(xiàn)

• 馮偉興，梁洪，王臣業(yè).Visual?C++數(shù)字圖像模式識(shí)別典型案例詳解[M].北京：機(jī)械工業(yè)出版社，2012：267-273.
• 吳忠，朱國(guó)龍，黃葛峰等.基于圖像識(shí)別技術(shù)的手寫(xiě)數(shù)字識(shí)別方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011，21（12）：48-51.
• 宮淑蘭.手寫(xiě)數(shù)字識(shí)別的研究與應(yīng)用[D].山東大學(xué)，2006.
• 林桂芳.印刷體數(shù)學(xué)公式識(shí)別中符號(hào)識(shí)別技術(shù)的研究[D].哈爾濱工程大學(xué)，2004.
• 瞿海金.手寫(xiě)體數(shù)字識(shí)別方法的研究與實(shí)現(xiàn)[D].南京理工大學(xué)，2005.
• 陳展東，白寶興，韓成等.數(shù)字識(shí)別算法研究[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，33（1）：147-151.
• 李歌.基于BP神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別研究[D].燕山大學(xué)，2013.
• 朱婷婷，魏海坤，張侃健.基于AP和BP神經(jīng)網(wǎng)絡(luò)算法的手寫(xiě)數(shù)字識(shí)別[J].中國(guó)科技論文，2014，9（4）：479-482.
• 王明佳，武治國(guó)，韓廣良等.?自適應(yīng)窗口選取的Mean?Shift目標(biāo)跟蹤[J].?光子學(xué)報(bào)，2012，41（1）：67-70.
• 彭娟春，顧立忠，蘇劍波.?基于Camshift和Kalman濾波的仿人機(jī)器人手勢(shì)跟蹤[J].?上海交通大學(xué)學(xué)報(bào)，2006，40（7）.
• 陳宗雄.一種數(shù)碼顯示數(shù)字識(shí)別算法[J].電腦知識(shí)與技術(shù)，2014，10（23）：5496-5500.