離散Hopfield神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別研究

潘園園，張 力，段玲玲，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

自1943年McCulloch和Pitts首次提出了人工神經(jīng)元模型以來(lái)，新的神經(jīng)元模型及其組成的神經(jīng)網(wǎng)絡(luò)不斷被提出[1-2]，已成為目前非線(xiàn)性科學(xué)和計(jì)算智能研究的一個(gè)主要研究方向。其中，神經(jīng)網(wǎng)絡(luò)圖像識(shí)別技術(shù)隨著當(dāng)代計(jì)算機(jī)技術(shù)、圖像處理、人工智能、模式識(shí)別理論等快速發(fā)展，是傳統(tǒng)圖像識(shí)別方法與神經(jīng)網(wǎng)絡(luò)算法相融合的一種圖像識(shí)別方法[3-4]。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別在計(jì)算機(jī)識(shí)別領(lǐng)域占有越來(lái)越重要的地位，并且廣泛應(yīng)用于霧天或者夜晚的交通車(chē)牌識(shí)別、機(jī)器視覺(jué)等實(shí)際應(yīng)用領(lǐng)域。近些年來(lái)，利用Hopfield神經(jīng)網(wǎng)絡(luò)識(shí)別噪聲字符、汽車(chē)牌照字符等實(shí)例表明這種方法識(shí)別率高、魯棒性好且具有很好的實(shí)用性：例如朱獻(xiàn)文[5]研究了基于遺傳算法Hopfield神經(jīng)網(wǎng)絡(luò)的字符識(shí)別方法；魏武[6]等人對(duì)車(chē)牌字符識(shí)別模板匹配的神經(jīng)網(wǎng)絡(luò)方法進(jìn)行改進(jìn)；丘敏[7]等人在汽車(chē)牌照字符識(shí)別的應(yīng)用中將Hopfield和BP網(wǎng)絡(luò)結(jié)合使用提高了識(shí)別率；Tatem[8]等人利用了Hopfield神經(jīng)網(wǎng)絡(luò)識(shí)別遙感圖像中的土地覆蓋目標(biāo)。

以上關(guān)于字符識(shí)別的研究都把噪聲作為有害因素，專(zhuān)注于噪聲的消除，而忽視了噪聲的有益作用，實(shí)際上噪聲可以增強(qiáng)神經(jīng)元信息處理能力，即神經(jīng)科學(xué)中的隨機(jī)共振現(xiàn)象[9-11]。最近，Hopfield神經(jīng)網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象研究已取得了重大進(jìn)展，如Katada[9]等人研究了Hopfield網(wǎng)絡(luò)中隨機(jī)共振現(xiàn)象，并擴(kuò)展到包含156個(gè)神經(jīng)元的網(wǎng)絡(luò)中；Pinamonti[10]等人研究了復(fù)雜網(wǎng)絡(luò)中多峰隨機(jī)共振的重要特征；Nishimura[11]等人研究了由3個(gè)神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)中隨機(jī)共振型反饋，將它作為有效的混沌動(dòng)力學(xué)的雙勢(shì)阱模型。

本文主要利用離散Hopfield神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字，將被識(shí)別的圖像二進(jìn)制編碼變成串行編碼，根據(jù)信號(hào)在穩(wěn)態(tài)間回環(huán)往復(fù)的規(guī)律輸入到Hopfield神經(jīng)元網(wǎng)絡(luò)中，不僅研究輸入信號(hào)幅值調(diào)制，碼間間隔以及神經(jīng)元耦合個(gè)數(shù)對(duì)于網(wǎng)絡(luò)識(shí)別圖像的影響，還研究了傳輸過(guò)程中噪聲強(qiáng)度與圖像識(shí)別誤碼率的非線(xiàn)性特性。

1 離散Hopfield神經(jīng)網(wǎng)絡(luò)模型與誤碼率

Hopfield神經(jīng)網(wǎng)絡(luò)是由Hopfield[12-13]于1982年首先提出的一種單層的、輸出為二值的全連接型的反饋神經(jīng)網(wǎng)絡(luò)。離散Hopfield神經(jīng)網(wǎng)絡(luò)只有一個(gè)神經(jīng)元層，第0層僅作為網(wǎng)絡(luò)的輸入，并無(wú)計(jì)算功能，而第1層是神經(jīng)元層，用于對(duì)輸入數(shù)據(jù)和權(quán)系數(shù)的乘積求累加和，并經(jīng)非線(xiàn)性激活函數(shù)處理后產(chǎn)生輸出信息。該網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)制，具有聯(lián)想記憶的功能。3個(gè)神經(jīng)元構(gòu)成的離散Hopfield神經(jīng)網(wǎng)絡(luò)可以用加權(quán)無(wú)向圖表示，如圖1所示。

圖1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of discrete neural networks

從圖1可以看出神經(jīng)元間是相互聯(lián)系的，并且網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸出都反饋到其他神經(jīng)元上，每條邊上權(quán)值表示有關(guān)神經(jīng)元之間的連接強(qiáng)度，每個(gè)節(jié)點(diǎn)代表一個(gè)神經(jīng)元且附有一個(gè)閾值，當(dāng)某神經(jīng)元所受到的刺激超過(guò)其閾值時(shí)，神經(jīng)元就處于激活狀態(tài)，否則神經(jīng)元就處于靜息狀態(tài)。我們?nèi)∩窠?jīng)元激活函數(shù)[9]為

(1)

其中,Xi(t+1)表示神經(jīng)元i的輸出(-1≤Xi(t)≤1)，gi表示外部輸入信號(hào)，ε表示陡度參數(shù)，內(nèi)部電壓為

(2)

式中,N表示神經(jīng)元耦合個(gè)數(shù)，突觸權(quán)重ωij是由基本記憶表示為{ξμ|μ=1，2，…，M}的二進(jìn)制向量集合生成的，F(xiàn)i(t)為神經(jīng)元的內(nèi)部噪聲，神經(jīng)元的組態(tài)與網(wǎng)絡(luò)中儲(chǔ)存模式信息的能量值E有關(guān)。

(3)

其中,ωii=0表示神經(jīng)元沒(méi)有自反饋，令W表示網(wǎng)絡(luò)N×N的突觸權(quán)值矩陣，它決定了Hopfield神經(jīng)網(wǎng)絡(luò)相應(yīng)的動(dòng)力學(xué)狀態(tài)且生成方式為

(4)

(5)

誤碼率是指二進(jìn)制碼元在數(shù)據(jù)傳輸系統(tǒng)中被傳錯(cuò)的概率，即傳輸中的誤碼和所傳輸?shù)目偞a數(shù)比值。仿真中將選取的特定圖片的像素值輸入網(wǎng)絡(luò),然后得到相應(yīng)的信號(hào)輸出值，網(wǎng)絡(luò)輸出錯(cuò)誤信號(hào)與圖像二進(jìn)制信號(hào)總數(shù)的比值得到誤碼率，誤碼率越小說(shuō)明圖像傳輸效果越好，恢復(fù)圖像就越清晰。

2 仿真和結(jié)果

2.1 仿真算法過(guò)程

1)讀取圖像信息：掃描手寫(xiě)的字符圖像，得到其灰度矩陣，并進(jìn)行二值化處理得到BM×N，其中Bij∈{0,1}，其中黑色像素為0，白色為1[14-16]。

2)處理信息：將矩陣改編成一個(gè)M×N的二進(jìn)制字符串，再將其調(diào)制成幅值為s，碼間間隔為T(mén)b，脈沖持續(xù)時(shí)間為T(mén)的二值幅值脈沖信號(hào)S(t)。

3)網(wǎng)絡(luò)初始化：把t=0時(shí)刻的信號(hào)S(t)以及噪聲初值作為每個(gè)神經(jīng)元的初始值X(0)輸入到Hopfield神經(jīng)網(wǎng)絡(luò)中，得第1步的輸出信號(hào)Y(1)。

4)循環(huán)更新：將輸出按照權(quán)重ωij反饋到每一個(gè)神經(jīng)元，同時(shí)加入噪聲強(qiáng)度為σ的Gauss白噪聲，連同下一時(shí)刻的信號(hào)作為輸入，進(jìn)入Hopfield神經(jīng)網(wǎng)絡(luò)，得到輸出信號(hào)。

5)按照步驟(4)不斷更新，得到最終的輸出信號(hào)Y(t)。

6)計(jì)算誤碼率：將Y(t)進(jìn)行抽樣判決得到解碼二進(jìn)制信號(hào)，與初始輸入信號(hào)比較，計(jì)算誤碼率Pe。

圖2 手寫(xiě)數(shù)字的圖片F(xiàn)ig.2 Picture of handwriteen Character

2.2 仿真結(jié)果

圖3～圖5就是得到的仿真效果圖，可以看出：當(dāng)網(wǎng)絡(luò)中沒(méi)有噪聲的時(shí)候，網(wǎng)絡(luò)的輸出譯碼后為空白圖像，隨著噪聲強(qiáng)度的增加，譯碼圖像出現(xiàn)隨機(jī)共振現(xiàn)象：當(dāng)噪聲強(qiáng)度達(dá)到0.25時(shí)，譯碼圖像如圖3所示，此時(shí)選取特定區(qū)域的數(shù)字漸漸顯現(xiàn)；當(dāng)噪聲強(qiáng)度達(dá)到0.8時(shí)，網(wǎng)絡(luò)輸出數(shù)字圖像較為清晰，如圖4所示；而當(dāng)噪聲強(qiáng)度達(dá)到2.8時(shí)，噪聲強(qiáng)度過(guò)大，圖像如圖5所示，網(wǎng)絡(luò)輸出狀態(tài)幾乎都處于激活的狀態(tài)(黑色)。

已知生成的神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)矩陣是一個(gè)對(duì)稱(chēng)矩陣，并且對(duì)角線(xiàn)元素都為0，由網(wǎng)絡(luò)的充分條件可知這個(gè)網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)。離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性可用能量函數(shù)即式(3)進(jìn)行分析，并且滿(mǎn)足上述條件的神經(jīng)網(wǎng)絡(luò)都有一些共同的特點(diǎn)：在網(wǎng)絡(luò)信息傳輸過(guò)程中，能量會(huì)不斷減少。仿真中初始狀態(tài)確定后使得網(wǎng)絡(luò)狀態(tài)向著能量遞減的方向轉(zhuǎn)移，最后接近或者達(dá)到平衡點(diǎn)，也就組成了仿真最后的穩(wěn)定性輸出狀態(tài)。圖6給出了不同幅值調(diào)制信號(hào)情況下誤碼率隨著噪聲強(qiáng)度變化的曲線(xiàn)，從中可以看出隨著調(diào)制信號(hào)幅值增大，調(diào)制信號(hào)的能量越大，網(wǎng)絡(luò)輸出圖像的誤碼率也越低。給定信號(hào)幅值，誤碼率隨著噪聲強(qiáng)度的變化出現(xiàn)非周期隨機(jī)共振現(xiàn)象，在噪聲強(qiáng)度0.6-0.9區(qū)域達(dá)到最小值4.7×10-3。給定噪聲強(qiáng)度下，圖7給出了誤碼率與調(diào)制信號(hào)碼間間隔的變化曲線(xiàn)[17-20]，可以看出增大信號(hào)調(diào)制長(zhǎng)度有利于減小誤碼率，使得網(wǎng)絡(luò)輸出信息的正確率增加。圖7是關(guān)于神經(jīng)元耦合個(gè)數(shù)對(duì)于誤碼率影響的仿真分析，當(dāng)Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)元耦合個(gè)數(shù)增加時(shí)，網(wǎng)絡(luò)的誤碼率產(chǎn)生明顯的遞減趨勢(shì)。由式(3)可知神經(jīng)元網(wǎng)絡(luò)中每個(gè)狀態(tài)的能量值，在穩(wěn)定狀態(tài)時(shí)均小于0，其余狀態(tài)均大于0。隨著時(shí)間的演化，網(wǎng)絡(luò)狀態(tài)總是在能量值最小的穩(wěn)態(tài)之間運(yùn)動(dòng)，當(dāng)網(wǎng)絡(luò)耦合數(shù)增加時(shí)，雙穩(wěn)態(tài)之間的轉(zhuǎn)換區(qū)域增大，神經(jīng)元輸出狀態(tài)的轉(zhuǎn)換需要更大的碼間間隔時(shí)間，在傳輸編碼方案不改進(jìn)的情況下，實(shí)驗(yàn)表明增加神經(jīng)元個(gè)數(shù)無(wú)法進(jìn)一步減小誤碼率。

圖3 網(wǎng)絡(luò)在噪聲強(qiáng)度為0.25時(shí)輸出的圖像Fig.3 Output Image for the noise intensity of 0.25

圖4 網(wǎng)絡(luò)在噪聲強(qiáng)度為0.8時(shí)輸出的圖像Fig.4 Output Image for the noise intensity of 0.8

圖5 網(wǎng)絡(luò)在噪聲強(qiáng)度為2.8時(shí)輸出的圖像Fig.5 Output Image for the noise intensity of 2.8

圖6 不同幅值信號(hào)的誤碼率Fig.6 Error rate versus different signal amplitudes

圖7 不同神經(jīng)元耦合個(gè)數(shù)的誤碼率Fig.7 Error rate versus different neuron coupling numbers

3 結(jié)論

本文利用離散Hopfield神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了識(shí)別手寫(xiě)數(shù)字研究，將手寫(xiě)數(shù)字保存為二值圖像，由基本記憶形成的神經(jīng)網(wǎng)絡(luò)模型對(duì)二值圖像的像素值矩陣作為輸入調(diào)制信號(hào)進(jìn)行了處理，通過(guò)改變輸入信號(hào)的幅值大小和信號(hào)調(diào)制長(zhǎng)度，從而對(duì)網(wǎng)絡(luò)輸出產(chǎn)生不同影響，從而得到不同識(shí)別率下的識(shí)別數(shù)字圖像。研究結(jié)果表明，信號(hào)調(diào)制長(zhǎng)度和信號(hào)幅值與誤碼率成負(fù)相關(guān)，噪聲強(qiáng)度對(duì)于譯碼圖像識(shí)別效果的影響是非線(xiàn)性的，并且合適的噪聲強(qiáng)度可以使網(wǎng)絡(luò)得到清晰的數(shù)字圖像。進(jìn)一步地，分別把信號(hào)放在不同個(gè)數(shù)神經(jīng)元耦合的神經(jīng)網(wǎng)絡(luò)里進(jìn)行傳輸，研究發(fā)現(xiàn)小規(guī)模Hopfield神經(jīng)網(wǎng)絡(luò)非常適合二進(jìn)制圖像識(shí)別問(wèn)題。本文雖然對(duì)不同噪聲強(qiáng)度下的離散Hopfield神經(jīng)網(wǎng)絡(luò)的隨機(jī)共振現(xiàn)象進(jìn)行了證實(shí)，但是神經(jīng)元模型的耦合矩陣是給定的權(quán)矩陣，不具有自適應(yīng)性，因此需要對(duì)自適應(yīng)的耦合系數(shù)或隨機(jī)耦合網(wǎng)絡(luò)作進(jìn)一步的動(dòng)力學(xué)分析，對(duì)于今后復(fù)雜神經(jīng)系統(tǒng)的研究更具有實(shí)際意義。