卷積神經(jīng)網(wǎng)絡(luò)在手寫數(shù)字識(shí)別中的應(yīng)用

摘要：基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)在手寫體數(shù)字識(shí)別中的應(yīng)用，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行介紹，同時(shí)使用MNIST數(shù)據(jù)集對(duì)設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與測(cè)試，訓(xùn)練后的模型在MNIST的測(cè)試集樣本中的識(shí)別精度可以達(dá)到99.25%。最終將訓(xùn)練好的模型用于在線手寫體數(shù)字的識(shí)別，識(shí)別精度高達(dá)99%以上。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的線性回歸模型相比，卷積神經(jīng)網(wǎng)絡(luò)有更好的魯棒性和抗干擾性，識(shí)別精度明顯優(yōu)于傳統(tǒng)的線性回歸模型。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);MNIST;手寫數(shù)字識(shí);線性回歸;深度學(xué)習(xí)

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）21-0013-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

目前，由于手寫數(shù)字的應(yīng)用范圍廣泛，例如郵政編碼手寫體、智能手機(jī)的手寫輸入法等，使得手寫數(shù)字識(shí)別研究成了深度學(xué)習(xí)的研究熱點(diǎn)之一。手寫數(shù)字識(shí)別研究的內(nèi)容是讓計(jì)算機(jī)準(zhǔn)確、高效地識(shí)別人隨機(jī)手寫的數(shù)字，但由于不同人的書(shū)寫方式千差萬(wàn)別，書(shū)寫的大小與角度也不盡相同，進(jìn)而增加了對(duì)手寫數(shù)字識(shí)別的難度，因此傳統(tǒng)線性回歸模型不能正確精準(zhǔn)地對(duì)手寫體數(shù)字進(jìn)行識(shí)別[1]。

在此背景下.由于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不斷優(yōu)化以及計(jì)算機(jī)性能的不斷提升，使得卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域取得了重大的突破。卷積神經(jīng)網(wǎng)絡(luò)中可以將圖像的每一個(gè)像素均看成一個(gè)特征，直接將手寫數(shù)字圖像作為卷積神經(jīng)網(wǎng)絡(luò)模型的輸入并自動(dòng)進(jìn)行特征提取，再根據(jù)提取后的特征進(jìn)行分類識(shí)別[2]，不僅克服了傳統(tǒng)方法中需要對(duì)圖像實(shí)時(shí)預(yù)處理的弊端，還提高了對(duì)手寫數(shù)字的識(shí)別精度。

本文實(shí)驗(yàn)中把通過(guò)MNIST數(shù)據(jù)集訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型保存下來(lái)，在Python環(huán)境下結(jié)合Flask，在線隨機(jī)手寫不同形狀和大小的數(shù)字并進(jìn)行實(shí)時(shí)識(shí)別。為了直觀地體現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別的精確度，本文將識(shí)別結(jié)果的概率值在前端頁(yè)面展現(xiàn)出來(lái)，并和傳統(tǒng)的線性回歸模型進(jìn)行對(duì)比，體現(xiàn)出了卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫數(shù)字識(shí)別的優(yōu)勢(shì)性與高精度性。

本文分為3章，組織結(jié)構(gòu)如下，第1章介紹卷積神經(jīng)網(wǎng)絡(luò)相關(guān)理論知識(shí)，第2章為實(shí)驗(yàn)結(jié)果與分析，介紹卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程和實(shí)驗(yàn)結(jié)果，第3章對(duì)全文進(jìn)行總結(jié)。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的核心思想是通過(guò)權(quán)值共享和局部感知域的方法減少網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，緩解了網(wǎng)絡(luò)模型過(guò)擬合的問(wèn)題，獲得了某種程度的尺度、位移、形變不變性，同時(shí)還降低了網(wǎng)絡(luò)模型的復(fù)雜程度[3]。卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)主要包含了五個(gè)部分，分別是輸入層、卷積層、池化層、全連接層與輸出層[4]。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.1卷積層

卷積層又稱為特征提取層，主要作用就是對(duì)輸入的數(shù)據(jù)進(jìn)行特征提取，其內(nèi)部包含了多個(gè)卷積核，組成卷積核的每個(gè)元素都對(duì)應(yīng)一個(gè)權(quán)重系數(shù)和一個(gè)偏差量，并且卷積核的個(gè)數(shù)決定了最終提取的數(shù)據(jù)特征數(shù)量。卷積運(yùn)算的實(shí)質(zhì)是用一個(gè)可訓(xùn)練的卷積核fx去卷積一個(gè)輸入的圖像，然后加一個(gè)偏置bx，得到卷積cx。卷積的詳細(xì)過(guò)程可以理解為使用一個(gè)卷積核依次過(guò)濾圖像的各個(gè)區(qū)域，從而得到這些區(qū)域的特征值[5]。卷積的流程如圖2所示。

1.2池化層與激活函數(shù)

池化層又稱為降采樣層，其作用是對(duì)卷積層提取出的特征進(jìn)行降采樣處理，進(jìn)一步減少特征數(shù)量并降低特征數(shù)據(jù)的維度，同時(shí)不影響對(duì)圖像的描述，還能夠有效地避免過(guò)擬合問(wèn)題的出現(xiàn)。目前下采樣的常用方法有平均值下采樣、最大值下采樣、高斯下采樣等。本文在實(shí)際應(yīng)用中，將輸入的特征圖劃分成多個(gè)不重疊的2x2大小的圖像塊，然后采用了均值法進(jìn)行降采樣，其公式如式（1）所示。

在神經(jīng)網(wǎng)絡(luò)中，常用的激活函數(shù)有Sigmoid函數(shù)、ReLU函數(shù)和softmax函數(shù)等，根據(jù)其自身的優(yōu)勢(shì)不同使得他們的應(yīng)用范圍也不盡相同。在卷積神經(jīng)網(wǎng)絡(luò)中，隱藏層節(jié)點(diǎn)和輸出層采用了不同激活函數(shù)。在隱藏層由于需要對(duì)圖像特征的提取域降維，為了解決梯度消失的問(wèn)題，使用了ReLU作為激活函數(shù);在輸出層為了避免出現(xiàn)重復(fù)分類的現(xiàn)象，使用了softmax作為激活函數(shù)[6]。ReLU和softmax函數(shù)公式如式（2）、（3）所示。

1.3全連接層

全連接層在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中位于池化層的后一層，顯而易見(jiàn)其作用是連接經(jīng)過(guò)卷積和降采樣后提取出來(lái)的所有高級(jí)特征，并將最后的輸出值送給分類器得出最終的分類結(jié)果。全連接層的最終目的是將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間[7]，其實(shí)現(xiàn)過(guò)程是通過(guò)對(duì)輸入的特征做加權(quán)求和，再加上偏置量，然后通過(guò)softmax激活函數(shù)[8]來(lái)獲得最終的結(jié)果，其表達(dá)式如式（4）所示。

2 實(shí)驗(yàn)過(guò)程與分析

2.1 模型訓(xùn)練

本實(shí)驗(yàn)在Windowsl0 64位操作系統(tǒng)，Python3.7.0環(huán)境下使用MNIST數(shù)據(jù)集進(jìn)行模型訓(xùn)練，其中每張圖像大小為28x28像素。訓(xùn)練樣本為MNIST中的60000張手寫數(shù)字圖像，為了提高模型識(shí)別的準(zhǔn)確率總共訓(xùn)練20000次，總耗時(shí)5610秒;測(cè)試的樣本為MNIST測(cè)試集中的10000張手寫數(shù)字圖像，在該測(cè)試集上的正確率為99.25%。卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程如圖3所示。

2.2 實(shí)驗(yàn)過(guò)程

模型訓(xùn)練完成后，將保存下來(lái)的訓(xùn)練模型正式用于實(shí)時(shí)手寫體數(shù)字的識(shí)別。為了直觀地展示識(shí)別的效果，本實(shí)驗(yàn)在Py-thon的環(huán)境下結(jié)合Flask并以前端頁(yè)面的形式展示識(shí)別效果。前端頁(yè)面如圖4所示。

可視化界面主要分為三個(gè)模塊，手寫數(shù)字區(qū)域，圖像輸入?yún)^(qū)域和識(shí)別結(jié)果區(qū)域。在手寫數(shù)字區(qū)域可以通過(guò)拖動(dòng)鼠標(biāo)進(jìn)行書(shū)寫0-9之間的任意數(shù)字，書(shū)寫完畢后將其同比例縮放成28x28像素的圖片作為模型的輸入，最后將識(shí)別的結(jié)果以0到l之間的概率值的形式輸出，進(jìn)而判斷出識(shí)別的效果。其中識(shí)別結(jié)果區(qū)域?qū)γ恳粋€(gè)手寫數(shù)字將輸出10個(gè)結(jié)果，十個(gè)結(jié)果中概率值最高的即為最終的識(shí)別結(jié)果。同時(shí)在識(shí)別結(jié)果區(qū)域增加了同樣由MNIST數(shù)據(jù)集訓(xùn)練20000次的線性回歸模型來(lái)同時(shí)進(jìn)行手寫數(shù)字的識(shí)別，其識(shí)別結(jié)果與卷積神經(jīng)網(wǎng)絡(luò)模型的識(shí)別結(jié)果進(jìn)行直觀對(duì)比。實(shí)驗(yàn)流程如圖5所示。

2.3 實(shí)驗(yàn)結(jié)果與分析

在進(jìn)行隨機(jī)手寫數(shù)字在線識(shí)別的過(guò)程中，對(duì)十個(gè)類別的阿拉伯?dāng)?shù)字分別進(jìn)行了10次測(cè)試。測(cè)試過(guò)程中，為了體現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型相對(duì)于線性回歸模型有著更高識(shí)別率和更好的魯棒性以及抗干擾性，在用鼠標(biāo)進(jìn)行隨機(jī)書(shū)寫數(shù)字時(shí)故意改變了手寫數(shù)字的形狀、大小和傾斜角度來(lái)驗(yàn)證識(shí)別效果。其部分手寫數(shù)字測(cè)試結(jié)果如下圖所示。

對(duì)0-9十個(gè)類別的隨機(jī)手寫數(shù)字分別測(cè)試10次，兩種模型的平均識(shí)別精確率統(tǒng)計(jì)結(jié)果如表1所示。

對(duì)10個(gè)類別的手寫數(shù)字的測(cè)試表明，經(jīng)過(guò)MNIST訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)相對(duì)規(guī)范的手寫數(shù)字的識(shí)別正確率達(dá)到99%以上，甚至出現(xiàn)識(shí)別率100%情況。對(duì)于在相同情況下訓(xùn)練的線性回歸模型在手寫數(shù)字相對(duì)規(guī)范的情況下對(duì)數(shù)字0、1、2、3、4、7的識(shí)別率也能達(dá)到94%以上，但對(duì)于數(shù)字5、6，9的識(shí)別率相對(duì)較低;對(duì)于數(shù)字8，由于其與數(shù)字3有較大的相似性，因此線性回歸模型將數(shù)字8識(shí)別成了數(shù)字3，而卷積神經(jīng)網(wǎng)絡(luò)模型能夠正確識(shí)別8和3。

當(dāng)手寫數(shù)字的大小、形狀和傾斜度發(fā)生變化時(shí)，卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)字0、1、2、3、4、7的平均識(shí)別率仍能大于在MNIST測(cè)試集中的99.25%的識(shí)別率，而對(duì)于數(shù)字5、6、8、9的識(shí)別率略有下降，但其平均識(shí)別率仍在97%以上，當(dāng)手寫數(shù)字發(fā)生嚴(yán)重變形時(shí)，卷積神經(jīng)網(wǎng)絡(luò)模型也會(huì)出現(xiàn)識(shí)別錯(cuò)誤的情況（如圖8）;而在同樣的條件下，線性回歸模型的識(shí)別率大大降低且出現(xiàn)了較多識(shí)別錯(cuò)誤的情況。因此足以證明，卷積神經(jīng)網(wǎng)絡(luò)相對(duì)于傳統(tǒng)的線性回歸模型有著更高的識(shí)別率，同時(shí)擁有更好的魯棒性和抗干擾性。

3 總結(jié)

本文使用MNIST數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，然后將訓(xùn)練好的模型用于在線手寫數(shù)字的識(shí)別。實(shí)驗(yàn)結(jié)果表明，在MNIST的測(cè)試數(shù)據(jù)集上的識(shí)別準(zhǔn)確率為99.25%，對(duì)規(guī)范的手寫數(shù)字的識(shí)別準(zhǔn)確率高達(dá)99%以上，因此可以認(rèn)為本實(shí)驗(yàn)的卷積神經(jīng)網(wǎng)絡(luò)模型達(dá)到了正確識(shí)別手寫數(shù)字的效果。但訓(xùn)練出來(lái)的模型還存在一定的局限性，當(dāng)手寫體數(shù)字的位置、大小、傾斜度等發(fā)生較大變化時(shí)，會(huì)使得卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)手寫數(shù)字的識(shí)別精確率略低于MNIST測(cè)試數(shù)據(jù)集上的準(zhǔn)確率，甚至?xí)霈F(xiàn)識(shí)別錯(cuò)誤的情況。針對(duì)訓(xùn)練后的模型存在的局限性，可以通過(guò)對(duì)原始的數(shù)字圖像進(jìn)行縮放、平移、旋轉(zhuǎn)等操作來(lái)擴(kuò)充訓(xùn)練模型的數(shù)據(jù)集，進(jìn)而使得訓(xùn)練后的模型對(duì)手寫數(shù)字的識(shí)別有更高的精確率。

參考文獻(xiàn)：

[1]張濤，楊劍，宋文愛(ài)，等.改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)方法[Jl，計(jì)算機(jī)工程與設(shè)計(jì)，2019，40（7）：1885-1890.

[2]馬媛媛，史加榮.卷積神經(jīng)網(wǎng)絡(luò)及其在手寫體數(shù)字識(shí)別中的應(yīng)用[J].湖北工程學(xué)院學(xué)報(bào)，2017，37（6）：66-72.

[3]尹曉偉，王真真，孟慶林，等.基于改進(jìn)的LeNet-5手寫數(shù)字識(shí)別研究[Jl，信息通信，2019，32（3）：17-18.

[4]呂紅，基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用，2019，9（2）：54-56，62.

[5]邢萌.基于TensorFlow手寫數(shù)字識(shí)別模型設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2019（2）：56.

[6]代賀，陳洪密，李志申.基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別[J].貴州師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，35（5）：96-101.

[7]陳巖，李洋洋，余樂(lè)，等.基于卷積神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字識(shí)別系統(tǒng)[Jl.微電子學(xué)與計(jì)算機(jī)，2018，35（2）：71-74.

[8] Ravi Babu U，Kumar Chintha A，Venkateswarlu Y.Handwrittendigit recognition using structural， statistical features and K-nearest neighbor classifier[J].lnternational Journal of Informa-tion Engineering and Electronic Business， 2014，6（1）：62-68.

【通聯(lián)編輯：聞翔軍】

作者簡(jiǎn)介：何帥（1996-），男，四川省渠縣人，在讀研究生，研究方向?yàn)閳D像處理與模式識(shí)別。