基于Keras和卷積神經(jīng)網(wǎng)絡(luò)CNN的手寫(xiě)數(shù)字識(shí)別研究

趙亞騰 孫鈺

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；MNIST；手寫(xiě)體數(shù)字識(shí)別；Keras

1引言

數(shù)字識(shí)別巳經(jīng)應(yīng)用到了生活中的各個(gè)領(lǐng)域[1]，如停車(chē)場(chǎng)停車(chē)按車(chē)牌號(hào)計(jì)費(fèi)、交通電子眼抓拍違章、大規(guī)模數(shù)據(jù)統(tǒng)計(jì)、文件電子化存儲(chǔ)等。作為一種全球通用的數(shù)字符號(hào)，阿拉伯?dāng)?shù)字跨越了國(guó)家、文化以及民族的界限[2]，在我們的身邊應(yīng)用非常廣泛。數(shù)字的類(lèi)別數(shù)目適當(dāng)，僅有10類(lèi)，方便對(duì)研究方法進(jìn)行評(píng)估和測(cè)試。研究基于深度學(xué)習(xí)的手寫(xiě)數(shù)字識(shí)別方法不僅對(duì)理解深度學(xué)習(xí)有很大的幫助和對(duì)實(shí)踐深度學(xué)習(xí)理論有很重要的意義，而且在學(xué)習(xí)實(shí)踐中積累的經(jīng)驗(yàn)和教訓(xùn)可以應(yīng)用到其他文字識(shí)別的領(lǐng)域[3]。正如“一千個(gè)讀者心中有一千個(gè)哈姆雷特”，即使是只有10個(gè)阿拉伯?dāng)?shù)字，但是每個(gè)人寫(xiě)出來(lái)的也是萬(wàn)般不同，若要通過(guò)機(jī)器精準(zhǔn)識(shí)別不同人的寫(xiě)法依舊困難重重，所以可知手寫(xiě)數(shù)字識(shí)別的研究在現(xiàn)代科技的應(yīng)用中具有很廣闊的前景和較大的探索價(jià)值[4]。

2卷積神經(jīng)網(wǎng)絡(luò)的模型

2.1卷積神經(jīng)網(wǎng)絡(luò)概述

簡(jiǎn)單來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]是由一個(gè)多層神經(jīng)網(wǎng)絡(luò)組成的系統(tǒng)，其中每一層神經(jīng)網(wǎng)絡(luò)由多個(gè)二維平面組合而成，每個(gè)二維平面上又包含數(shù)個(gè)獨(dú)立神經(jīng)元。如圖1所示。

一般來(lái)說(shuō)，CNN由兩層基礎(chǔ)結(jié)構(gòu)組合而成。其中，一層是卷積層（特征提取層）[6]。卷積層的工作原理是將其空間上的神經(jīng)元與上一層的感受一一對(duì)應(yīng)緊密相連，在運(yùn)行過(guò)程中提取圖像的局部特征。在提取局部特征的后，通過(guò)比對(duì)與關(guān)聯(lián)即可與其他局部特征的位置關(guān)系關(guān)聯(lián)起來(lái)；另外一層基礎(chǔ)結(jié)構(gòu)叫下采樣層（功能映射層）。采樣層的目的是實(shí)現(xiàn)樣本的采樣和計(jì)算，在計(jì)算的過(guò)程中依賴(lài)每個(gè)采樣點(diǎn)上的多個(gè)要素圖，要素圖分布在計(jì)算層的平面，而神經(jīng)元是等權(quán)重分布在要素圖上的。

2.2卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，神經(jīng)網(wǎng)絡(luò)卷積中大部分的計(jì)算內(nèi)容都由卷積層完成。卷積核其實(shí)就是通過(guò)各種濾波器集合而形成的，在卷積層上，卷積核只是占位空間很小的一部分，在深度計(jì)算過(guò)程中，通過(guò)計(jì)算分析輸入數(shù)據(jù)來(lái)得到卷積結(jié)果。卷積核的體積大小設(shè)置通過(guò)輸入?yún)?shù)，可以動(dòng)態(tài)靈活性選擇。卷積核的核心內(nèi)容是全連接神經(jīng)網(wǎng)絡(luò)找出要更新的權(quán)值w，即訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)的核心內(nèi)容就是卷積核。訓(xùn)練的目的和過(guò)程就是最終找到反映訓(xùn)練數(shù)據(jù)整體特征的濾波器。如圖2所示，左邊作為卷積層的輸入項(xiàng)圖片（image），經(jīng)過(guò)中間卷積核（filter）的處理，最終產(chǎn)生右邊卷積后的特征圖譜（featuremap）。

2.3子采樣層

子采樣層又被稱(chēng)為池化層，部分文獻(xiàn)也將其稱(chēng)作采樣層。加入自采樣層的目的是控制輸入數(shù)據(jù)量的大小，減小樣本規(guī)模，減少網(wǎng)絡(luò)中參數(shù)的數(shù)量，最終實(shí)現(xiàn)的效果是可以節(jié)省計(jì)算資源、加快訓(xùn)練速率、節(jié)省時(shí)間。采樣層的另一大優(yōu)勢(shì)是可以實(shí)現(xiàn)對(duì)擬合出現(xiàn)的有效控制。實(shí)驗(yàn)中使用最頻繁的采樣方式一般有兩種，即MaxPooling和MeanPooling。MaxPooling的保留方式是最終保留N*N數(shù)據(jù)樣本中的最大值，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，得出使用MaxPooling方式的效果更精準(zhǔn)的結(jié)論。2*2樣本的采樣過(guò)程和結(jié)果如圖3所示。

2.4全連接層

全連接層在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中處于最后一層，即輸出層，它的目的和作用是解析輸出數(shù)據(jù)。此外，還需要對(duì)數(shù)據(jù)序列中的元素進(jìn)行分析提取，以達(dá)到元素和神經(jīng)元分別對(duì)應(yīng)的目的。經(jīng)過(guò)層層對(duì)應(yīng)，上下層的神經(jīng)元也響應(yīng)連接起來(lái)。全連接層則是將最終卷出來(lái)的訓(xùn)練模型進(jìn)行轉(zhuǎn)化，從而標(biāo)記空間。所以，在實(shí)際的操作過(guò)程中，全連接層也是可以由卷積層實(shí)現(xiàn)的。

3應(yīng)用CNN進(jìn)行數(shù)字手寫(xiě)體識(shí)別流程

圖4所示為利用CNN系統(tǒng)對(duì)手寫(xiě)體進(jìn)行計(jì)算機(jī)識(shí)別的步驟過(guò)程。首先選取訓(xùn)練集，然后將初始化完成后的參數(shù)注入訓(xùn)練集，可以進(jìn)行迭代形式的訓(xùn)練深度學(xué)習(xí)，經(jīng)過(guò)反復(fù)的訓(xùn)練和學(xué)習(xí)后，當(dāng)?shù)螖?shù)達(dá)到最大且輸入輸出數(shù)據(jù)在合理范圍內(nèi)，最后可以生成一個(gè)完整的CNN模型。選用測(cè)試集后將測(cè)試數(shù)據(jù)套人模型進(jìn)行識(shí)別測(cè)試，經(jīng)過(guò)大量的測(cè)試集數(shù)據(jù)的輸入及輸出后，最終得到一個(gè)比較公正可信的文字識(shí)別率。

4實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)結(jié)果

4.1實(shí)驗(yàn)環(huán)境

使用的計(jì)算機(jī)硬件配置為Intel（R） Core（TM） i5CPU，其主頻為2.67 GHz，內(nèi)存為8 GB，操作系統(tǒng)為微軟出品且一直在維護(hù)中的穩(wěn)定版Windows 10系統(tǒng)。語(yǔ)言框架為keras，運(yùn)行軟件為Pycharm。

4.2MINIST數(shù)據(jù)集

本文采用MINIST數(shù)據(jù)集為樣本庫(kù)，該數(shù)據(jù)集庫(kù)是一個(gè)專(zhuān)門(mén)為計(jì)算機(jī)數(shù)據(jù)集采集而成的數(shù)據(jù)集合，其中收集了超過(guò)70 000張手寫(xiě)數(shù)字圖片，范圍包含阿拉伯?dāng)?shù)字0～9，每張圖片由28*28的像素點(diǎn)組成。

5實(shí)驗(yàn)結(jié)果與分析

本文使用的訓(xùn)練集是經(jīng)LeCun手寫(xiě)后利用MINST構(gòu)建出來(lái)的訓(xùn)練數(shù)據(jù)庫(kù)。訓(xùn)練集數(shù)據(jù)1是根據(jù)MNIST數(shù)據(jù)庫(kù)的格式從該數(shù)據(jù)庫(kù)中分離出的部分?jǐn)?shù)據(jù)，與測(cè)試集沒(méi)有重疊部分。測(cè)試數(shù)據(jù)集2是由手寫(xiě)轉(zhuǎn)化而成的圖片，從0～9共100個(gè)數(shù)字，訓(xùn)練過(guò)程中CNN每次耗費(fèi)75s進(jìn)行一次迭代執(zhí)行。模型訓(xùn)練結(jié)束后，經(jīng)過(guò)對(duì)識(shí)別精確度的評(píng)測(cè)確認(rèn)，不斷修改參數(shù)，以提高識(shí)別準(zhǔn)確率，最終達(dá)到精確度99%的效果。

6結(jié)束語(yǔ)

本文利用Python編程語(yǔ)言以及成熟可用的Keras框架，應(yīng)用Keras框架深度學(xué)習(xí)的機(jī)制完成神經(jīng)卷積網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別系統(tǒng)的研究和試驗(yàn)。實(shí)驗(yàn)最終實(shí)現(xiàn)了識(shí)別精準(zhǔn)度99%的效果，但還是有一些不足。首先，實(shí)驗(yàn)的輸入訓(xùn)練集神經(jīng)卷積網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)和訓(xùn)練，使用大量數(shù)據(jù)來(lái)模擬手寫(xiě)輸入而實(shí)現(xiàn)機(jī)器一對(duì)一的識(shí)別。由于條件有限且硬件計(jì)算能力不足，導(dǎo)致本次卷積網(wǎng)絡(luò)的計(jì)算層數(shù)比較少。其次，測(cè)試集由于使用的是MINST數(shù)據(jù)集，并沒(méi)有較多真實(shí)手寫(xiě)的數(shù)據(jù)供測(cè)試，所以測(cè)試數(shù)據(jù)離真實(shí)手寫(xiě)還有一定差距。下一步的研究和進(jìn)步方向主要對(duì)神經(jīng)卷積模型進(jìn)行優(yōu)化，使之計(jì)算識(shí)別速率更快、準(zhǔn)確率更高。同時(shí)，尋找更多現(xiàn)實(shí)生活中的圖像作為測(cè)試集數(shù)據(jù)，進(jìn)行更多的深度學(xué)習(xí)、模型優(yōu)化，待模型成熟后，應(yīng)用識(shí)別系統(tǒng)進(jìn)行更加全面真實(shí)的識(shí)別測(cè)試，從而將研究成果更多地應(yīng)用在工作及生活中。