基于粗細(xì)粒度深度學(xué)習(xí)的脫機(jī)手寫(xiě)漢字識(shí)別

陳 悅 ，黃寄洪

(1.2.梧州學(xué)院 信息與電子工程學(xué)院，廣西 梧州 543002)

0 引言

由于在拍照文檔、證件、票據(jù)、郵政信封、手稿文書(shū)等光學(xué)字符識(shí)別(Optical character recognition，OCR)系統(tǒng)以及手寫(xiě)文字輸入設(shè)備中的廣泛應(yīng)用，自上個(gè)世紀(jì)80年代以來(lái)，手寫(xiě)漢字識(shí)別一直是模式識(shí)別的一個(gè)重要研究領(lǐng)域。手寫(xiě)體漢字識(shí)別可以分為脫機(jī)(Offline)識(shí)別和聯(lián)機(jī)(Online)識(shí)別兩大類，聯(lián)機(jī)識(shí)別所處理的手寫(xiě)文字是通過(guò)觸摸屏或數(shù)字手寫(xiě)板等設(shè)備獲取到的在線實(shí)時(shí)書(shū)寫(xiě)的文字信號(hào)，而脫機(jī)手寫(xiě)文字識(shí)別所處理的手寫(xiě)文字是通過(guò)掃描儀或攝像頭等圖像捕捉設(shè)備獲取到的手寫(xiě)文字圖片。由于識(shí)別的對(duì)象不同，使得這兩類手寫(xiě)識(shí)別技術(shù)所采用的方法和策略也不盡相同。前者的識(shí)別對(duì)象是一系列按時(shí)間先后排列的采樣點(diǎn)信息，而后者則是丟失了書(shū)寫(xiě)筆順信息的二維像素信息，由于沒(méi)有筆順信息，加上在不同光照、分辨率、書(shū)寫(xiě)紙張等條件下進(jìn)行圖像采集，難免會(huì)受到噪聲干擾。一般來(lái)說(shuō)，脫機(jī)手寫(xiě)文字識(shí)別比聯(lián)機(jī)手寫(xiě)文字識(shí)別更加困難，本文研究的是脫機(jī)手寫(xiě)漢字識(shí)別。

盡管經(jīng)過(guò)了多年的研究發(fā)展，手寫(xiě)漢字識(shí)別目前仍然是一個(gè)極具挑戰(zhàn)性的模式識(shí)別問(wèn)題[1]，主要表現(xiàn)在：第一，漢字個(gè)數(shù)多，僅1980年制定的國(guó)標(biāo)GB2312-80編碼就定義了多達(dá)6763類常用漢字，而在2000年發(fā)布的國(guó)標(biāo)GB18010-2000則大幅度擴(kuò)展了字符集，定義了27533類漢字編碼標(biāo)準(zhǔn)，因此漢字識(shí)別問(wèn)題屬于超大規(guī)模數(shù)據(jù)集的模式識(shí)別問(wèn)題。第二，字形變化多，相比較于印刷體漢字，手寫(xiě)字體的書(shū)寫(xiě)缺乏規(guī)范性，隨意性較大而且變化也多樣，如常用的橫、豎、撇、捺、點(diǎn)等筆劃容易變形為其他筆劃，此外不同人的書(shū)寫(xiě)風(fēng)格各有特點(diǎn)也造成手寫(xiě)體的變化多種多樣。第三，漢字相似字多，例如：“己-已” “囗-口” “淚-汩-汨”“菜-萊”“睢-雎”“汆-氽”等，這些高度相似的漢字給計(jì)算機(jī)自動(dòng)識(shí)別帶來(lái)極大的挑戰(zhàn)。

經(jīng)過(guò)研究學(xué)者們的不懈努力，近年來(lái)手寫(xiě)漢字識(shí)別取得了極大的進(jìn)展，基于鑒別特征提取方法(Discriminative feature learning，DFE)和鑒別學(xué)習(xí)二次判決函數(shù)(Discriminative learning quadratic discriminant function，DLQDF)分類器，在極具挑戰(zhàn)的脫機(jī)手寫(xiě)漢字?jǐn)?shù)據(jù)集CASIA-HWDB[2]的DB1.1上，手寫(xiě)單字識(shí)別取得的最高識(shí)別率是[3]92.08%；在國(guó)際文檔分析與識(shí)別大會(huì)漢字單字識(shí)別競(jìng)賽(ICDAR 2013 Competition DB)中最高識(shí)別率是92.72%。但是近年來(lái)基于傳統(tǒng)的“預(yù)處理+特征提取+分類器”的手寫(xiě)漢字識(shí)別框架遇到了瓶頸，識(shí)別正確率難以得到較大幅度的提升，隨著深度學(xué)習(xí)的興起以及不斷發(fā)展[4-6]，特別是深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)[7-8]、深度置信網(wǎng)絡(luò)(Deep belief network，DBN)[4]、深度遞歸神經(jīng)網(wǎng)絡(luò)(Deep recurrent neural network，DRNN)[9]等深度模型在圖像識(shí)別及計(jì)算機(jī)視覺(jué)各領(lǐng)域大量突破性成果的涌現(xiàn)，相關(guān)的方法也被逐步應(yīng)用到手寫(xiě)體文字識(shí)別領(lǐng)域[10-12]，并取得了不少突破性發(fā)展，例如自2011年起，連續(xù)兩屆的ICDAR(International Conference on Document Analysis and Recognition)手寫(xiě)漢字識(shí)別比賽的獲勝者都是采用基于深度學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)的方法[13-14]，在2013年的ICDAR手寫(xiě)漢字比賽中，來(lái)自富士通公司的團(tuán)隊(duì)采用改進(jìn)的CNN網(wǎng)絡(luò)，獲得了脫機(jī)手寫(xiě)漢字識(shí)別的第一名，因此基于深度學(xué)習(xí)的方法所取得的結(jié)果大幅度領(lǐng)先傳統(tǒng)的方法，顯示出深度學(xué)習(xí)的強(qiáng)大潛力。

基于深度學(xué)習(xí)的手寫(xiě)漢字識(shí)別方法相比傳統(tǒng)方法有了質(zhì)的提高，但離終極目標(biāo)100%識(shí)別正確率還是有一定的差距，而且這只是在給定的標(biāo)準(zhǔn)數(shù)據(jù)集下得到的最好結(jié)果，因此不斷提高手寫(xiě)漢字的識(shí)別率將是今后很長(zhǎng)一段時(shí)間內(nèi)的研究重點(diǎn)和難點(diǎn)。基于深度學(xué)習(xí)方法識(shí)別率的提高通?？梢酝ㄟ^(guò)優(yōu)化漢字特征提取、加深深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)、加大深度學(xué)習(xí)每一層網(wǎng)絡(luò)的規(guī)模以及增加學(xué)習(xí)樣本來(lái)實(shí)現(xiàn)，本文提出一種方法，可以在不對(duì)特征提取方法、深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)樣本數(shù)量做優(yōu)化的情況下，僅利用相似漢字之間內(nèi)在的相似性特性來(lái)提高識(shí)別正確率，實(shí)驗(yàn)結(jié)果表明該方法能夠有效提高識(shí)別正確率。

1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

用于圖像識(shí)別的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一般按照輸入層、卷積層、數(shù)據(jù)采樣層、全連接層、輸出層這樣的基本結(jié)構(gòu)進(jìn)行設(shè)計(jì)[15]，其中輸入層接受的是二維圖像數(shù)據(jù)，為了盡可能減少不必要的干擾因素，輸入圖像首先應(yīng)該經(jīng)過(guò)噪聲去除、歸一化、二值化甚至特征提取等預(yù)處理操作。卷積層使用多個(gè)卷積核對(duì)輸入的二維圖像數(shù)據(jù)進(jìn)行卷積操作，每一個(gè)卷積核對(duì)應(yīng)一個(gè)或者是一類的漢字特征，卷積之后的結(jié)果還是二維圖像。為了防止過(guò)度擬合，對(duì)于尺寸較大的二維圖像輸出結(jié)果還需要進(jìn)行池化和以一定概率隨機(jī)斷開(kāi)輸入神經(jīng)元的數(shù)據(jù)采樣操作，這部分操作放在數(shù)據(jù)采樣層進(jìn)行處理。由于卷積和池化操作的輸出仍然是二維圖像，因此卷積層和數(shù)據(jù)采樣層可以串聯(lián)多層，把上一層的輸出作為下一層的輸入。全連接層的輸入是一維向量，因此從最后一層卷積層或者數(shù)據(jù)采樣層的輸出圖像需要重整為一維向量輸入到全連接層中，與卷積層類似，全連接層同樣可以添加多層。輸出層輸出分類結(jié)果，由于漢字識(shí)別屬于多分類問(wèn)題，因此輸出層是一個(gè)能實(shí)現(xiàn)多分類的分類器，如softmax回歸、多分類支持向量機(jī)等。

2 粗細(xì)粒度深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

2.1 粗細(xì)粒度深度學(xué)習(xí)的基本原理

手寫(xiě)漢字識(shí)別是一個(gè)多分類問(wèn)題，采用單層多分類器進(jìn)行漢字識(shí)別的優(yōu)點(diǎn)在于處理過(guò)程簡(jiǎn)單和規(guī)整，在訓(xùn)練階段，每一個(gè)類別都被平等地對(duì)待，每一個(gè)樣本都被不加區(qū)分地進(jìn)行學(xué)習(xí)；在分類階段，一個(gè)輸入樣本經(jīng)多分類器處理后的輸出就是最終的分類類別。然而不同的類別之間的差異并不是均勻的，特別是對(duì)于漢字來(lái)說(shuō)，不同漢字之間有的差別非常大，有的卻很小，因此把大量差別不均勻的不同漢字混合在一起進(jìn)行訓(xùn)練學(xué)習(xí)，結(jié)果將會(huì)是對(duì)于特征明顯的、與其他漢字差別較大的漢字識(shí)別效果會(huì)很好，但是對(duì)于特征不明顯的、容易混淆的漢字的分辯能力會(huì)因大規(guī)模無(wú)差別的學(xué)習(xí)而被削弱，從而導(dǎo)致把相似的兩個(gè)或者幾個(gè)漢字相互錯(cuò)誤分類。解決問(wèn)題的一個(gè)方法是，對(duì)相近的兩個(gè)或者幾個(gè)類別設(shè)計(jì)專門(mén)的小類別分類器，這樣一來(lái)分類器就可以聚焦在不多的兩個(gè)或幾個(gè)類別的差異上，從而可以提高識(shí)別率。要將一個(gè)待分類漢字樣本正確輸送到所對(duì)應(yīng)的小分類器進(jìn)行識(shí)別需要分兩步走，第一步是使用粗粒度的分類器對(duì)待分類樣本進(jìn)行初次分類，如果該漢字樣本被錯(cuò)誤分類也會(huì)以較大的大概率被分類到與它相似的其他漢字類別上，因此可以對(duì)漢字集進(jìn)行分析，找出全部的相似字集，然后對(duì)每一個(gè)相似字集訓(xùn)練專門(mén)的細(xì)粒度分類器；第二步根據(jù)初次分類的結(jié)果確定待分類漢字所對(duì)應(yīng)的相似字集，然后使用相應(yīng)的細(xì)粒度分類器進(jìn)行最終的分類。由于細(xì)粒度分類器的分類正確率更高，所以能夠糾正相當(dāng)多一部分原先通過(guò)大規(guī)模無(wú)差別學(xué)習(xí)得到的分類器進(jìn)行分類造成的錯(cuò)誤，從而提高總體識(shí)別正確率。

2.2 粗細(xì)粒度深度學(xué)習(xí)的設(shè)計(jì)

2.2.1粗細(xì)粒度分類器

基于粗細(xì)粒度深度學(xué)習(xí)的手寫(xiě)漢字識(shí)別分類器由粗、細(xì)粒度兩種深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合而成，其中粗粒度卷積神經(jīng)網(wǎng)絡(luò)由漢字集的全體訓(xùn)練樣本學(xué)習(xí)得到；細(xì)粒度卷積神經(jīng)網(wǎng)絡(luò)由各個(gè)相似字集訓(xùn)練樣本分別學(xué)習(xí)得到，有多少個(gè)相似字集就學(xué)習(xí)得到多少個(gè)細(xì)粒度分類器；不在任何一個(gè)相似字集中的所有漢字構(gòu)成一個(gè)非相似字集，在該字集中的漢字被認(rèn)為互不相似，該字集的全部訓(xùn)練樣本也學(xué)習(xí)得到一個(gè)非相似字集分類器。

2.2.2識(shí)別流程

待識(shí)別漢字樣本進(jìn)行識(shí)別的時(shí)候首先經(jīng)過(guò)粗粒度分類器進(jìn)行識(shí)別，如果分類后的結(jié)果被判定為落在某個(gè)相似字集內(nèi)(包括正確識(shí)別的情況)，則使用相應(yīng)的細(xì)粒度分類器進(jìn)行二次識(shí)別，否則如果不落在任何一個(gè)相似字集內(nèi)，則輸入到非相似字集分類器進(jìn)行二次識(shí)別，二次識(shí)別后的結(jié)果就是該漢字最終的識(shí)別結(jié)果，識(shí)別流程如圖1所示。

圖1 手寫(xiě)漢字識(shí)別流程圖

2.2.3 相似字集的確定

兩個(gè)漢字的相似程度可以通過(guò)比較兩個(gè)漢字向量化之后的距離來(lái)確定，為了找到能夠量化漢字集內(nèi)漢字兩兩之間相似程度的相似度矩陣，相應(yīng)的計(jì)算復(fù)雜度是全體漢字個(gè)數(shù)的平方。另一種確定兩個(gè)漢字相似程度的方法是利用訓(xùn)練好的分類器對(duì)兩個(gè)漢字的測(cè)試樣本進(jìn)行識(shí)別，相互錯(cuò)誤識(shí)別的結(jié)果越多也就意味著兩個(gè)漢字的相似程度越高，以至分類器難以區(qū)分；同樣對(duì)全體漢字測(cè)試樣本進(jìn)行識(shí)別，識(shí)別錯(cuò)誤結(jié)果的分布即構(gòu)成了相似度矩陣。如表1所示，水平方向的數(shù)值是某個(gè)漢字通過(guò)訓(xùn)練好的分類器識(shí)別為其他漢字的數(shù)量，將正方形數(shù)字區(qū)域沿著“左上-右下”方向的對(duì)角線疊加后去除對(duì)角線上的數(shù)值，剩下的三角區(qū)域即可作為衡量漢字兩兩之間相似程度的三角矩陣。

表1 識(shí)別結(jié)果分布(每種漢字10個(gè)測(cè)試樣本)

通過(guò)一定的算法，可以把互為相似的一系列漢字找到，這些漢字構(gòu)成一個(gè)相似字集，重復(fù)這個(gè)過(guò)程，直到把所有相似字集都找到為止。

2.2.4 識(shí)別率提高的條件

一個(gè)待識(shí)別的漢字樣本使用傳統(tǒng)分類器進(jìn)行識(shí)別的結(jié)果可以分成三種情況，一是正確識(shí)別；二是錯(cuò)誤識(shí)別但識(shí)別為相似字集中的某個(gè)漢字；三是錯(cuò)誤識(shí)別并且識(shí)別為相似字集外的某個(gè)漢字。對(duì)于沒(méi)有相似字的漢字只需要把第二和第三種情況的相似字集改為非相似字集即可。在原分類器的基礎(chǔ)上結(jié)合細(xì)粒度分類器的手寫(xiě)漢字識(shí)別方法對(duì)上述三種情況的影響是：對(duì)于原正確識(shí)別的樣本依舊被正確識(shí)別；原錯(cuò)誤識(shí)別但識(shí)別為相似字集中某個(gè)漢字的樣本有相當(dāng)多一部分能夠被糾正；原錯(cuò)誤識(shí)別并且識(shí)別為相似字集外某個(gè)漢字的樣本無(wú)法糾正，但也不影響識(shí)別率。盡管該方法也可能把原來(lái)正確識(shí)別的樣本變成錯(cuò)誤識(shí)別，但由于這種可能性較低，基本不會(huì)降低第一種情況的識(shí)別率，加上對(duì)第二種情況糾正的樣本數(shù)量比糾錯(cuò)數(shù)量要多，因此該方法能夠有效地提高識(shí)別正確率。以下給出識(shí)別率能夠提高的條件以及提高的數(shù)值。

假設(shè)使用某分類器對(duì)某漢字手寫(xiě)測(cè)試樣本進(jìn)行識(shí)別的正確率為p1，識(shí)別錯(cuò)誤但識(shí)別為其他(非)相似字集內(nèi)漢字的錯(cuò)誤率為n1，識(shí)別錯(cuò)誤且不識(shí)別為(非)相似字集內(nèi)漢字的錯(cuò)誤率為n2，則

p1+n1+n2=1

(1)

以該分類器作為粗粒度分類器。在待識(shí)別漢字所在的相似字集上訓(xùn)練得到的細(xì)粒度分類器對(duì)該漢字的測(cè)試樣本進(jìn)行識(shí)別的正確率為p2，則粗細(xì)粒度分類器結(jié)合之后的最終識(shí)別正確率為

(p1+n1)×p2

(2)

由(1)、(2)兩式可得

(1-n2)×p2

(3)

令(1-n2) ×p2>p1，可得p2-p1>p2×n2，由此可知，對(duì)某漢字識(shí)別正確率提高的條件是：細(xì)粒度分類器的識(shí)別正確率p2要比粗粒度分類器的識(shí)別正確率p1大p2×n2。因?yàn)閜2<1，所以如果p2-p1>n2也可以推出p2-p1>p2×n2。

假設(shè)總字集中共有N個(gè)不同的漢字，對(duì)于這N個(gè)不同漢字的測(cè)試樣本，其中第i個(gè)漢字的樣本在粗、細(xì)粒度分類器(對(duì)于無(wú)相似字的樣本則對(duì)應(yīng)非相似字集分類器)上的識(shí)別正確率分別為p1i、p2i，由(3)式可得使用粗細(xì)粒度分類器識(shí)別的正確率為(1-n2i) ×p2i, 假設(shè)不同漢字的測(cè)試樣本數(shù)量都一樣，則總的識(shí)別正確率提高的百分比為

(4)

(5)

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)數(shù)據(jù)的來(lái)源

實(shí)驗(yàn)訓(xùn)練及測(cè)試數(shù)據(jù)來(lái)源于中科院自動(dòng)化研究所的脫機(jī)手寫(xiě)漢字CASIA-HWDB1.1(DB1.1)數(shù)據(jù)集[2]，DB1.1總共包含GB2312-80標(biāo)準(zhǔn)level-1的3755個(gè)漢字，因?yàn)楸緦?shí)驗(yàn)需要驗(yàn)證的效果和字集規(guī)模大小無(wú)關(guān)，為了節(jié)省實(shí)驗(yàn)時(shí)間僅選擇部分漢字(140個(gè))進(jìn)行實(shí)驗(yàn)，選擇的140個(gè)漢字為“的一是了我不人在他有這個(gè)上們來(lái)到時(shí)大地為子中你說(shuō)生國(guó)年著就那和要她出也得里后自以會(huì)家可下而過(guò)天去能對(duì)小多然于心學(xué)么之都好看起發(fā)當(dāng)沒(méi)成只如事把還用第樣道想作種開(kāi)美總從無(wú)情己面最女但現(xiàn)前些所同日手又行意動(dòng)方期它頭經(jīng)長(zhǎng)兒回位分愛(ài)老因很給名法間斯知世什兩次使身者被高已親其進(jìn)此話常與活正感”。每個(gè)漢字有240個(gè)訓(xùn)練樣本以及60個(gè)測(cè)試樣本，這些訓(xùn)練樣本以及測(cè)試樣本來(lái)自300位志愿者的手寫(xiě)漢字。

3.2 深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)

實(shí)驗(yàn)使用的工具是Keras[16], Keras是一個(gè)高層神經(jīng)網(wǎng)絡(luò)API，Keras由純Python編寫(xiě)而成并基Tensorflow、Theano以及CNTK后端。

3.2.1 粗粒度深度卷積神經(jīng)網(wǎng)絡(luò)

粗粒度分類器設(shè)計(jì)為依次由輸入層、32個(gè)3×3大小的卷積核構(gòu)成的卷積層、2×2大小的池化層、64個(gè)3×3大小的卷積核構(gòu)成的卷積層、2×2大小的池化層、以25%概率隨機(jī)斷開(kāi)輸入神經(jīng)元的隨機(jī)采樣層、128個(gè)神經(jīng)元構(gòu)成的全連接層、以50%概率隨機(jī)斷開(kāi)輸入神經(jīng)元的隨機(jī)采樣層、以softmax作為激活函數(shù)的140個(gè)神經(jīng)元構(gòu)成的全連接輸出層所組成，除了輸出層以softmax作為激活函數(shù)以外，其余所有的卷積層和全連接層均使用relu函數(shù)作為激活函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如圖2所示。

圖2 粗粒度深度卷積神經(jīng)網(wǎng)絡(luò)

3.2.2 細(xì)粒度深度卷積神經(jīng)網(wǎng)絡(luò)

細(xì)粒度分類器設(shè)計(jì)為依次由輸入層、5×5大小的卷積核構(gòu)成的三層卷積層(卷積核數(shù)量分別為：32、64、64，每個(gè)卷積層后面都跟有2×2大小的池化層、以20%概率隨機(jī)斷開(kāi)輸入神經(jīng)元的隨機(jī)采樣層)、128個(gè)神經(jīng)元構(gòu)成的全連接層、以50%概率隨機(jī)斷開(kāi)輸入神經(jīng)元的隨機(jī)采樣層、以softmax作為激活函數(shù)的全連接輸出層所組成，除了輸出層以softmax作為激活函數(shù)以外，其余所有的卷積層和全連接層均使用relu函數(shù)作為激活函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如圖3所示。

圖3 細(xì)粒度深度卷積神經(jīng)網(wǎng)絡(luò)

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 粗粒度分類器的識(shí)別率

粗粒度深度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)多次迭代以及反復(fù)精細(xì)化調(diào)節(jié)的訓(xùn)練之后，在測(cè)試樣本集上的識(shí)別正確率穩(wěn)定在85.8%左右，如圖4所示，當(dāng)繼續(xù)增加迭代次數(shù)以及精細(xì)化調(diào)節(jié)之后已經(jīng)不能對(duì)識(shí)別率有進(jìn)一步的提高了，因此85.8%的識(shí)別正確率是在該網(wǎng)絡(luò)結(jié)構(gòu)下能達(dá)到的最高或者接近最高的識(shí)別正確率。

圖4 識(shí)別率隨迭代次數(shù)增加的變化

3.3.2相似度矩陣以及相似字集

基于粗粒度深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，對(duì)140個(gè)漢字總共33600個(gè)訓(xùn)練樣本的數(shù)據(jù)集采用五折交叉驗(yàn)證的方式進(jìn)行訓(xùn)練以及識(shí)別，找到識(shí)別結(jié)果分布矩陣，去掉“左上-右下”對(duì)角線上的值之后再把上三角矩陣的值疊加到下三角矩陣，得到了140個(gè)漢字的相互錯(cuò)誤識(shí)別三角矩陣，用圖像把三角矩陣顯示出來(lái)，如圖5所示，每一個(gè)黑點(diǎn)代表兩個(gè)漢字之間相互錯(cuò)誤識(shí)別的數(shù)量，顏色越深代表錯(cuò)誤識(shí)別的數(shù)量越多，也就意味著這兩個(gè)漢字的相似程度越高。

圖5 140個(gè)漢字的相互錯(cuò)分類分布圖

最終在從140個(gè)漢字組成的漢字集中找到前18組最相似的字集，分別為：子-了，她-地，下-不，過(guò)-這-進(jìn)，去-會(huì)，對(duì)-時(shí)，看-著-者，從-以，無(wú)-天，手-于，頭-大-長(zhǎng)，回-國(guó)，給-經(jīng)，間-同，知-和-如，世-也，已-己，活-話。

3.3.3 細(xì)粒度分類器的識(shí)別率

細(xì)粒度深度卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)多次迭代以及反復(fù)精細(xì)化調(diào)節(jié)的訓(xùn)練之后，在18組相似字集的測(cè)試樣本集上能夠達(dá)到的識(shí)別正確率分別為：子-了97.5%，她-地90.8%，下-不95.8%，過(guò)-這-進(jìn)96.1%，去-會(huì)95.8%，對(duì)-時(shí)91.7%，看-著-者87.3%，從-以96.7%，無(wú)-天96.6%，手-于96.7%，頭-大-長(zhǎng)98.3%，回-國(guó)94.2%，給-經(jīng)94.9%，間-同96.6%，知-和-如94.5%，世-也95.8%，已-己76.7%，活-話75.8%。

18個(gè)相似字集總共40個(gè)漢字，余下的100個(gè)漢字組成非相似字集，非相似字集分類器選用和粗粒度深度卷積神經(jīng)網(wǎng)絡(luò)相同的結(jié)構(gòu)，經(jīng)過(guò)多次迭代以及反復(fù)精細(xì)化調(diào)節(jié)的訓(xùn)練之后，在測(cè)試樣本集上能夠達(dá)到的識(shí)別正確率為90.8%。

3.3.4 聯(lián)合分類器的識(shí)別率

把粗細(xì)粒度深度卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合起來(lái)進(jìn)行手寫(xiě)漢字識(shí)別，識(shí)別正確率由原來(lái)的85.8%提高至87.4%，盡管識(shí)別率已有了顯著提高，但距離傳統(tǒng)方法在DB1.1數(shù)據(jù)集上得到最好結(jié)果的92.08%仍有不小差距，這是由于構(gòu)成聯(lián)合分類器的粗粒度以及細(xì)粒度分類器本身的識(shí)別率不高所導(dǎo)致的，接下來(lái)要驗(yàn)證粗細(xì)粒度深度學(xué)習(xí)識(shí)別方法在基于更高識(shí)別率的粗、細(xì)粒度分類器上的更好表現(xiàn)。

3.3.5 聯(lián)合分類器識(shí)別率的進(jìn)一步提高

(1)粗粒度分類器和細(xì)粒度分類器保持使用原來(lái)的結(jié)構(gòu)，而非相似字集分類器則在原結(jié)構(gòu)基礎(chǔ)上加多一層卷積層，從而使得深度神經(jīng)網(wǎng)絡(luò)的深度加深，此時(shí)的聯(lián)合分類器的識(shí)別率由原來(lái)的87.4%提高至90.1%，而相比于粗粒度分類器的85.8%更是提高了不少。

(2)在上述(1)的基礎(chǔ)上，粗粒度分類器加多一層卷積層，粗粒度分類器的識(shí)別率從85.8%提高至92.3%，已經(jīng)高于傳統(tǒng)識(shí)別方法的最高識(shí)別率，聯(lián)合分類器的識(shí)別率則提高至92.4%，提升幅度較(1)的情形要小很多，原因在于此時(shí)的粗、細(xì)粒度分類器的結(jié)構(gòu)已經(jīng)大致相同，因此要獲得比粗粒度分類器高出更多的識(shí)別率就需要對(duì)細(xì)粒度分類器的結(jié)構(gòu)進(jìn)行進(jìn)一步的改進(jìn)，比如增加深度或者使用更多的訓(xùn)練樣本，這也意味著更高的學(xué)習(xí)代價(jià)——訓(xùn)練時(shí)間更長(zhǎng)、需要的計(jì)算資源也更多，但基于粗細(xì)粒度的深度學(xué)習(xí)方法較其他方法更有優(yōu)勢(shì)的地方在于構(gòu)成聯(lián)合分類器的粗、細(xì)粒度分類器是互不相干可以獨(dú)立訓(xùn)練的個(gè)體，細(xì)粒度分類器只需要在少數(shù)的幾個(gè)類別中訓(xùn)練，即便需要把深度卷積網(wǎng)絡(luò)的復(fù)雜度提高，把訓(xùn)練樣本的數(shù)量加大，也不會(huì)造成過(guò)高的時(shí)間開(kāi)銷。

4 結(jié)論

實(shí)驗(yàn)結(jié)果表明，基于粗細(xì)粒度的深度卷積神經(jīng)網(wǎng)絡(luò)用于手寫(xiě)漢字識(shí)別的實(shí)驗(yàn)結(jié)果符合理論預(yù)期，能夠達(dá)到提高識(shí)別正確率的目的。