離散型hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別

摘要：近年，人們?cè)絹碓綄?duì)人工智能產(chǎn)生興趣，越來越多的科研人員嘗試著將hopfield神經(jīng)網(wǎng)絡(luò)在很多方面運(yùn)用，這是一門能夠解決很多傳統(tǒng)方法不能夠解決的問題，如水的質(zhì)量評(píng)價(jià)，發(fā)電機(jī)運(yùn)行狀態(tài)，項(xiàng)目風(fēng)險(xiǎn)預(yù)測(cè)等。不同領(lǐng)域的人們，正在利用離散型hopfield神經(jīng)網(wǎng)絡(luò)具有的聯(lián)想記憶的功能來發(fā)掘新的思想和新的方法。人類的進(jìn)化歸根是很多智能科技的進(jìn)化。而智能科學(xué)反過來對(duì)人類的發(fā)展起到很大的作用。我們學(xué)習(xí)智能的數(shù)字識(shí)別和智能的控制，目的就是幫助人類的進(jìn)步而服務(wù)。因此，對(duì)智能科學(xué)的期待和發(fā)展以及應(yīng)用，是我們?nèi)祟惏l(fā)展和科學(xué)進(jìn)步的必然結(jié)果。

關(guān)鍵詞：離散型hopfield;數(shù)字識(shí)別;聯(lián)想記憶;工具箱函數(shù)

1.案例背景

1.1項(xiàng)目需求分析

在日常生活中，經(jīng)常會(huì)遇到帶噪聲影響的字符辨別問題，如交通系統(tǒng)中汽車的車牌模糊不清，由于汽車在行駛過程中，要經(jīng)受自然環(huán)境的風(fēng)吹日曬，造成字體不夠清晰，不能夠辨別清楚。作為字符識(shí)別的一部分，數(shù)字識(shí)別在銀行，交通及企業(yè)票據(jù)管理方面有著很方便的應(yīng)用。目前，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在我國的科學(xué)研究，企業(yè)生產(chǎn)和生活中有很大的影響。人工神經(jīng)網(wǎng)絡(luò)作為生物進(jìn)化論的一個(gè)成果，其延伸到各個(gè)工程領(lǐng)域，并吸引不同領(lǐng)域的專家在這方面的研究和開發(fā)，目前有很多種方法用于字符識(shí)別，主要分為神經(jīng)網(wǎng)絡(luò)的識(shí)別，概率統(tǒng)計(jì)識(shí)別和模糊識(shí)別等。傳統(tǒng)的數(shù)字識(shí)別方法在有干擾的情況下不能夠很好的對(duì)數(shù)字識(shí)別，而離散型hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)系記憶的功能，利用這一功能對(duì)數(shù)字進(jìn)行識(shí)別可以取得令人滿意的效果，并且計(jì)算的收斂速度很快。

1.2離散hopfield神經(jīng)網(wǎng)絡(luò)概述

Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)研究上的一個(gè)重要的階段。其曾經(jīng)為人工神經(jīng)網(wǎng)絡(luò)開辟了新的天地，Hopfield神經(jīng)網(wǎng)絡(luò)屬于反饋神經(jīng)網(wǎng)絡(luò)類型。與前向型神經(jīng)網(wǎng)絡(luò)不同，前向神經(jīng)網(wǎng)絡(luò)不考慮輸出與輸入之間在時(shí)間上的滯后影響，其輸出與輸入之間僅僅是一種映射關(guān)系。而Hopfield網(wǎng)絡(luò)則不同，它采用反饋連接，考慮輸出與輸入在時(shí)間上的傳輸延遲，會(huì)不斷的產(chǎn)生動(dòng)態(tài)變化，其輸出反饋到輸入而產(chǎn)生新的輸出，就這樣，反饋一直進(jìn)行，一直到達(dá)到的穩(wěn)定的平衡狀態(tài)。Hopfield網(wǎng)絡(luò)作為一種全連接型的神經(jīng)網(wǎng)絡(luò)。為人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)程開辟了新的方法。由于它與階層型神經(jīng)網(wǎng)絡(luò)不同的特性和學(xué)習(xí)方法，模擬生物的神經(jīng)的記憶功能，獲得了突破性的進(jìn)展。Hopfield網(wǎng)絡(luò)有離散型和連續(xù)型兩種形式。我們主要研究的是離散型hopfield網(wǎng)絡(luò)。因?yàn)殡x散型hopfield網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單，方便操作，在人們的生活中應(yīng)用比較廣泛。

1.2.1? 離散hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

DHNN是一種單層，輸出為二值的反饋網(wǎng)絡(luò)。由三個(gè)神經(jīng)元組成的離散hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。其中第0層作為網(wǎng)絡(luò)的輸入，它不是神經(jīng)元，所以沒有計(jì)算的功能，第1層是神經(jīng)元，因此它能夠執(zhí)行對(duì)輸入信息與權(quán)系數(shù)的乘積求累加和，經(jīng)過非線性函數(shù)f處理后產(chǎn)生輸出的信息，f是一個(gè)簡(jiǎn)單的閥值函數(shù)，如果神經(jīng)元的輸出信息大于閥值X，神經(jīng)元的輸出的結(jié)果取為1，如果小于閥值X，則神經(jīng)元的輸出結(jié)果為-1.

1.2.2? 網(wǎng)絡(luò)的工作方式

Hopfield網(wǎng)絡(luò)按物理學(xué)中的能量定理演變發(fā)展，其工作的狀態(tài)為神經(jīng)元狀態(tài)的變化過程，既從開始的狀態(tài)按“能量”逐漸減小的方向進(jìn)行發(fā)展，直到達(dá)到系統(tǒng)達(dá)到穩(wěn)定的狀態(tài)，穩(wěn)定狀態(tài)時(shí)其輸出的結(jié)果即為網(wǎng)絡(luò)的輸出。Hopfield網(wǎng)絡(luò)的工作方式主要有兩種形式：①.串行工作方式。在任意的狀態(tài)，只有某一個(gè)神經(jīng)元發(fā)生變化，其他神經(jīng)元的狀態(tài)不會(huì)進(jìn)行變化。②.并行工作方式：在任意的狀態(tài)，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)發(fā)生變化。舉例：串行工作方式的hopfield網(wǎng)絡(luò)的運(yùn)行步驟：步驟一：對(duì)網(wǎng)絡(luò)進(jìn)行初始化。步驟二：從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元i。步驟三：計(jì)算該神經(jīng)元i的輸入U(xiǎn)（t）。步驟四：計(jì)算該神經(jīng)元i的輸出V（t+1），此時(shí)網(wǎng)絡(luò)中其他神經(jīng)元的狀態(tài)輸出保持不變。步驟五：判斷是否達(dá)到穩(wěn)定的狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)則結(jié)束，如果沒有穩(wěn)定則轉(zhuǎn)到步驟二繼續(xù)運(yùn)行。

1.3? 項(xiàng)目方案的數(shù)字識(shí)別概況

對(duì)于數(shù)字識(shí)別，目前有很多的技術(shù)，一般的數(shù)字識(shí)別方法在不太清晰的情況下不能很好地對(duì)數(shù)字進(jìn)行識(shí)別，而離散型hopfield神經(jīng)網(wǎng)絡(luò)可以利用聯(lián)想記憶的功能，利用這一功能對(duì)數(shù)字進(jìn)行識(shí)別可以取得非常好的效果，并且識(shí)別的速度很快。數(shù)字識(shí)別是字符識(shí)別的一部分，數(shù)字識(shí)別在人們的生活普遍存在，對(duì)人們的生活有很大的幫助。隨著時(shí)代的發(fā)展，神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)發(fā)展很快，由于其本身有非常好的應(yīng)用價(jià)值的特性而逐漸受到重視。目前，對(duì)印刷體的識(shí)別情況已經(jīng)非常的好了，而手寫體字符由于書寫者的因素，使得字符圖像不確定的因素很多，比如字體的清晰度，數(shù)字的規(guī)范度，手寫體的類型和局部扭曲等，對(duì)數(shù)字識(shí)別的挑戰(zhàn)性非常大。因此，我們應(yīng)該多加研究，爭(zhēng)取能夠突破數(shù)字識(shí)別的局限性，為人類進(jìn)步發(fā)展做出突破性的的改變。

1.4 Hopfield網(wǎng)絡(luò)演示

應(yīng)用離散型的Hopfield 網(wǎng)絡(luò)建立，先將非線性的原始數(shù)據(jù)取出一部分用來構(gòu)成訓(xùn)練網(wǎng)絡(luò)的樣本，再將一部分用來檢驗(yàn)網(wǎng)絡(luò)的性能，構(gòu)成檢驗(yàn)樣本。從而將連接權(quán)值固定，構(gòu)成一個(gè)穩(wěn)定的識(shí)別模型，達(dá)到識(shí)別的目的。先舉一個(gè)單輸入單輸出的問題，目的是希望相同的輸入進(jìn)入到函數(shù)與神經(jīng)網(wǎng)絡(luò)，得到的輸出值要相同，首先將 X = 1，2，3，Λ100代入函數(shù)中，我們會(huì)得到 100 組的 y 值，取 X = 1，3，5，Λ，99共 50 個(gè)數(shù)據(jù)作為訓(xùn)練樣本，X = 2，4，6，Λ，100共 50 個(gè)數(shù)據(jù)作為測(cè)試樣本，在神經(jīng)網(wǎng)絡(luò)未訓(xùn)練前，所得到的結(jié)果如圖1所示：綠線代表實(shí)際的輸出，而紅線代表神經(jīng)網(wǎng)絡(luò)的輸出，神經(jīng)網(wǎng)絡(luò)未訓(xùn)練前，由于初始的權(quán)值是由隨即產(chǎn)生的，因此當(dāng)訓(xùn)練樣本的輸入進(jìn)入網(wǎng)絡(luò)時(shí)，神經(jīng)網(wǎng)絡(luò)的輸出是凌亂的，隨著訓(xùn)練次數(shù)的增加，權(quán)值逐漸的被調(diào)整，使得紅線的部分逐漸的與綠線符合，圖2是神經(jīng)網(wǎng)絡(luò)訓(xùn)練20次的結(jié)果：由于在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的過程中，訓(xùn)練樣本不斷的提供神經(jīng)網(wǎng)絡(luò)正確的輸出值作為參考，使得神經(jīng)網(wǎng)絡(luò)的輸出逐漸的與實(shí)際的輸出相同，當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練2000次時(shí)，由圖3可看出神經(jīng)網(wǎng)絡(luò)的輸出與系統(tǒng)的輸出幾乎相同，此時(shí)就可以停止訓(xùn)練，而適合此函數(shù)的權(quán)值就被記錄下來：當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)便可以取代原來這個(gè)函數(shù)。換句話說，此神經(jīng)網(wǎng)絡(luò)的輸出與真實(shí)的函數(shù)相同。圖4表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中價(jià)值函數(shù)的變化情形，價(jià)值函數(shù)是神經(jīng)網(wǎng)絡(luò)收斂的指標(biāo)，會(huì)隨著網(wǎng)絡(luò)的訓(xùn)練越來越小，最后幾乎不再有變化，此時(shí)就可以判定次神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成。

1.5 項(xiàng)目的問題描述

目前，在交通管理中，由于天氣的原因造成對(duì)很多時(shí)候監(jiān)控下拍的圖片不是很清晰，尤其是有污漬的車牌很難看清，因此對(duì)于很多違反交通規(guī)則的一些車輛很難進(jìn)行查出，為了能夠更方便我們的生活，我們利用hopfield神經(jīng)網(wǎng)絡(luò)的一些特性，設(shè)計(jì)一個(gè)具有聯(lián)想記憶功能的離散型hopfield神經(jīng)網(wǎng)絡(luò)。要求該網(wǎng)絡(luò)可以正確的識(shí)別數(shù)字，當(dāng)數(shù)字被影響后，仍具有較好的把數(shù)字識(shí)別出來。

2? 項(xiàng)目的模型建立

2.1? 設(shè)計(jì)的思路

假設(shè)網(wǎng)絡(luò)由0～9共10個(gè)穩(wěn)態(tài)構(gòu)成，可以記憶很多的數(shù)字，每個(gè)穩(wěn)態(tài)用10*10的矩陣表示。該矩陣用于模擬阿拉伯?dāng)?shù)字的樣本，就是把數(shù)字劃分成很多的小方塊，每個(gè)小方塊可以對(duì)應(yīng)一定的數(shù)字，不同顏色的單元用1 和-1 表示，網(wǎng)絡(luò)對(duì)相關(guān)點(diǎn)陣具有聯(lián)想記憶的功能，當(dāng)有受一定干擾的數(shù)字點(diǎn)陣輸入到該網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的輸出便可以得到最接近的穩(wěn)態(tài)，從而達(dá)到數(shù)字辨別的目的。

2.2 網(wǎng)絡(luò)建立

利用newhop（）函數(shù)可以方便地創(chuàng)建一個(gè)離散型Hopfield神經(jīng)網(wǎng)絡(luò)。

2.2.1 產(chǎn)生帶噪聲的數(shù)字點(diǎn)陣

常見的模擬產(chǎn)生帶噪聲數(shù)字的方法有兩種：固定噪聲法和隨機(jī)噪聲法。固定噪聲法指的是改變數(shù)字點(diǎn)陣某些特定位置的數(shù)值，是人工操作的，從而達(dá)到產(chǎn)生帶噪聲的數(shù)字點(diǎn)陣的效果。如果希望噪聲更加的復(fù)雜多變的話，就需要人工多次修改特定值，這樣會(huì)比較繁瑣的。相比較而言，隨機(jī)噪聲產(chǎn)生法可以更加方便地產(chǎn)生不同類型的帶干擾的數(shù)字樣本。隨機(jī)噪聲產(chǎn)生法是利用產(chǎn)生隨機(jī)數(shù)的方法來確定需要修改的點(diǎn)陣位置，進(jìn)而引起對(duì)樣本的修改。由于數(shù)字點(diǎn)陣中的值只有1和-1兩種，所以這里修改會(huì)比較方便，比較容易操作。

2.3? 實(shí)驗(yàn)結(jié)果與分析

將帶干擾的數(shù)字樣本輸入已創(chuàng)建好的網(wǎng)絡(luò)中，經(jīng)過運(yùn)行后，便可對(duì)帶干擾的數(shù)字樣本進(jìn)行識(shí)別，這里識(shí)別的結(jié)果是以數(shù)字點(diǎn)陣的形式呈現(xiàn)出來。為了能夠更加直觀地看到實(shí)驗(yàn)的效果，我們用程圖形的形式呈現(xiàn)呈現(xiàn)出來，如圖所示。圖7所示的是噪聲強(qiáng)度為0.1（即10%的數(shù)字點(diǎn)陣位置值發(fā)生變化）時(shí)的識(shí)別效果。從圖8中可以看出，識(shí)別的情況還不錯(cuò)。進(jìn)一步的研究發(fā)現(xiàn)，隨著干擾強(qiáng)度的增加識(shí)別效果逐漸不強(qiáng)。噪聲強(qiáng)度為0.2和0.3時(shí)的識(shí)別結(jié)果分別如圖8和圖9所示。從圖中可以很直觀的看到，當(dāng)噪聲強(qiáng)度為0.3時(shí)，Hopfield已經(jīng)很難對(duì)數(shù)字進(jìn)行識(shí)別了。

3.結(jié)論

通過對(duì)實(shí)驗(yàn)結(jié)果的分析，可以得出結(jié)論：對(duì)于帶一定干擾的數(shù)字樣本，Hopfield網(wǎng)絡(luò)可以正確地進(jìn)行數(shù)字辨別。聯(lián)想記憶必須要有一定的存儲(chǔ)容量，同時(shí)是當(dāng)代技術(shù)可以實(shí)現(xiàn)的，同時(shí)也要有一定的容錯(cuò)率，只有這三個(gè)方面統(tǒng)一起來，才能使神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力更強(qiáng)，應(yīng)用的范圍更加的廣闊。聯(lián)想記憶網(wǎng)絡(luò)只有擴(kuò)展容錯(cuò)率，極高其儲(chǔ)存容量，才能夠更好的進(jìn)行識(shí)別，為此，我們可以從系統(tǒng)的控制中來進(jìn)行改進(jìn)，調(diào)節(jié)系統(tǒng)的動(dòng)力學(xué)特性，并調(diào)節(jié)系統(tǒng)的學(xué)習(xí)算法，要設(shè)定一個(gè)適合各種樣本的最好方法是不太容易的，因此，可以利用神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，用訓(xùn)練的方法找出最優(yōu)解，進(jìn)而提高系統(tǒng)的儲(chǔ)存容量。從而能夠更高精度的對(duì)樣本進(jìn)行辨別，開拓了各個(gè)領(lǐng)域的發(fā)展，能夠更好的服務(wù)于人們。

作者簡(jiǎn)介：

張林強(qiáng)（1990.8-），男，漢族，籍貫：河南駐馬店，鄭州理工職業(yè)學(xué)院，教師，助教，助理工程師，本科，專業(yè)：自動(dòng)化，主要研究方向：電氣工程和思想政治研究

（作者單位：鄭州理工職業(yè)學(xué)院）