人工神經(jīng)網(wǎng)絡(luò)研究與分析

祝凌云

摘 要 人工智能主要研究機(jī)器行為、機(jī)器學(xué)習(xí)、機(jī)器思維等。這些看起來很難做的事，在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展下變成可能。本文首先論述人工神經(jīng)網(wǎng)絡(luò)的由來，研究生物神經(jīng)元的特點(diǎn)，并引出人工神經(jīng)元模型及激活函數(shù)；進(jìn)一步分析了幾種常見的人工神經(jīng)網(wǎng)絡(luò)，主要包括目前廣為應(yīng)用的反向傳播網(wǎng)絡(luò)、能夠有效避免局部最優(yōu)問題的徑向基網(wǎng)絡(luò)、以及能夠有效實(shí)現(xiàn)記憶功能的自適應(yīng)的諧振網(wǎng)絡(luò)；最后總結(jié)了目前在計(jì)算機(jī)視覺和自然語言處理的實(shí)際應(yīng)用。

關(guān)鍵詞 人工智能；人工神經(jīng)網(wǎng)絡(luò)；基本原理；反向傳播

中圖分類號 TP3 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2019）237-0120-03

近10年來取得重大技術(shù)突破的人工智能技術(shù)，已經(jīng)以各種方式進(jìn)入到社會的方方面面，并起著舉足輕重的作用。目前世界各地關(guān)于該領(lǐng)域的研究都在如火如荼的開展，我國也在大力發(fā)展人工智能，并希望在2030年成為人工智能強(qiáng)國。許多中國公司已經(jīng)相繼發(fā)布了諸多高科技人工智能產(chǎn)品，如Tmall Genie X、iFlytek translator 2.0與智能音箱等。而人工智能的發(fā)展當(dāng)然也離不開它的核心技術(shù)——人工神經(jīng)網(wǎng)絡(luò)[ 1 ]。

人工神經(jīng)網(wǎng)絡(luò)作為信息處理系統(tǒng)，具有非線性、自適應(yīng)的特性。每個(gè)神經(jīng)元都處在興奮和抑制這兩種狀態(tài)，因此，建立非線性關(guān)系是必須的。進(jìn)一步人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)，需要不斷在學(xué)習(xí)的過程優(yōu)化和迭代。在面對不同對象與環(huán)境時(shí)，可將學(xué)習(xí)分為3類，分別為有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。目前人們對某種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，主要是調(diào)整神經(jīng)元的閾值和權(quán)值，找到適當(dāng)?shù)闹?，可以提高神?jīng)網(wǎng)絡(luò)的效率，增加其容錯(cuò)性。

1 基本原理

人類自古就對大腦的結(jié)構(gòu)有著極大的興趣。研究發(fā)現(xiàn)，人腦在傳遞信號的過程中，神經(jīng)元與神經(jīng)元之間的突觸結(jié)構(gòu)需要經(jīng)過電信號-化學(xué)信號-電信號的轉(zhuǎn)換，因此人腦信號的傳遞比計(jì)算機(jī)計(jì)算速度慢很多。但自1997年“人類腦計(jì)劃”啟動(dòng)以來，人們逐漸認(rèn)識到人腦在對外界做出反應(yīng)時(shí)，反而比機(jī)器更快，究其根本是因?yàn)槿四X在不斷的學(xué)習(xí)與記憶使其無需繁瑣的機(jī)器計(jì)算，而是對記憶的搜尋與經(jīng)驗(yàn)的再現(xiàn)。因此，基于人腦信息處理機(jī)制的基本原理對設(shè)計(jì)人工神經(jīng)元，構(gòu)建神經(jīng)元之間的聯(lián)系組成人工神經(jīng)網(wǎng)絡(luò)有著重要意義。

1.1 生物神經(jīng)元

雖然人類還沒有掌握生物神經(jīng)元的功能與結(jié)構(gòu)，目前所說的人工神經(jīng)元與生物神經(jīng)元之間也可能有很大的區(qū)別，但生物神經(jīng)元是人工神經(jīng)元的原型。因此對生物神經(jīng)元的學(xué)習(xí)很有必要。

研究發(fā)現(xiàn)生物神經(jīng)元主要由兩部分組成，一是細(xì)胞體，二是突起。細(xì)胞體，包括核糖體內(nèi)質(zhì)網(wǎng)，高爾基體等細(xì)胞器，可對信息即上一神經(jīng)元傳遞而來的沖動(dòng)進(jìn)行處理，從而使細(xì)胞膜電位發(fā)生改變。當(dāng)細(xì)胞膜電位超過某一閾值時(shí)，細(xì)胞就會興奮，并由軸突傳遞給下一神經(jīng)元，否則細(xì)胞抑制無興奮傳遞。其中軸突是神經(jīng)元的信息輸出端，其末端也稱為神經(jīng)纖維，它可把興奮傳遞給下一個(gè)神經(jīng)元。

上述的軸突為突起的種類之一，另一種則為樹突。樹突是神經(jīng)元較短的分支，數(shù)量較多，形如樹枝，可用于接收上億神經(jīng)元的刺激。上億神經(jīng)元的軸突與下一神經(jīng)元的樹突通過突觸相連形成生物神經(jīng)網(wǎng)絡(luò)。

1.2 人工神經(jīng)元數(shù)學(xué)模型

為了解決現(xiàn)實(shí)生活中的非線性問題，實(shí)踐過程中常引入激活函數(shù)[3]。在深度學(xué)習(xí)技術(shù)興起以前，Sigmoid函數(shù)是最為廣泛應(yīng)用的，目前常用的則是ReLU函數(shù)。主要是因?yàn)镽eLU函數(shù)計(jì)算簡單，速度快。尤其是在深層神經(jīng)網(wǎng)絡(luò)在反向傳播的過程求偏導(dǎo)數(shù)時(shí)，Sigmoid函數(shù)導(dǎo)數(shù)會從0.25減小，當(dāng)模型層數(shù)較多的時(shí)候，就會出現(xiàn)梯度消失的現(xiàn)象，而ReLU的梯度恒為1，能有效避免梯度消失和梯度爆炸的問題。二者都是對神經(jīng)元電信號的一種模擬。公式如下：

2 常見的幾種模型

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP即Back Propagation指的是反向傳播。反向BP網(wǎng)絡(luò)是目前使用最為廣泛的網(wǎng)絡(luò)，它是深度學(xué)習(xí)核心訓(xùn)練算法的基礎(chǔ)。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就是先將信息前向傳遞，再反向傳播調(diào)整閾值和權(quán)值的過程。它是一種有監(jiān)督學(xué)習(xí)，未經(jīng)訓(xùn)練的模型輸出的結(jié)果與準(zhǔn)確值會有偏差。通過損失函數(shù)和代價(jià)函數(shù)來量化和計(jì)算實(shí)際輸出與標(biāo)簽之間的誤差指，再基于鏈?zhǔn)椒▌t采用梯度下降的算法，使得誤差收斂到最優(yōu)解即最小值。

BP網(wǎng)絡(luò)的組成通常由輸入層，隱含層和輸出層3部分組成，各層神經(jīng)元之間全部相連，同一層神經(jīng)元?jiǎng)t無連接，其中復(fù)雜的神經(jīng)網(wǎng)絡(luò)中可含有多個(gè)隱含層。

在信號向前傳播時(shí)，信息經(jīng)輸入層傳入網(wǎng)絡(luò)中，其中每一個(gè)神經(jīng)元包括兩步操作：其一為數(shù)據(jù)的整合，主要是對每個(gè)信號的輸入乘以權(quán)重并求和之后，再加上閾值；其二為數(shù)據(jù)的處理，即將上述的結(jié)果輸入到激活函數(shù)中進(jìn)行非線性映射。訓(xùn)練完成的網(wǎng)絡(luò)中，隱含層常抽象出物體的特征。如當(dāng)輸入一個(gè)漢字的圖像，隱含層可能表示的是這個(gè)字的某個(gè)組成部分，且中間的隱含層層數(shù)越多，它便可分層次的提取高級特征。最后利用誤差函數(shù)計(jì)算神經(jīng)網(wǎng)絡(luò)輸出與真實(shí)值的誤差，誤差函數(shù)值越小，表明結(jié)果越準(zhǔn)確。利用梯度下降和反向傳播的算法，可將損失反向傳播，進(jìn)而調(diào)整神經(jīng)元間的權(quán)值，通過不斷的迭代訓(xùn)練，達(dá)到優(yōu)化輸出的目的。

2.2 RBF神經(jīng)網(wǎng)絡(luò)

由于在實(shí)際訓(xùn)練過程中，BP神經(jīng)網(wǎng)絡(luò)存在局部最優(yōu)的問題。1988年，人們提出了徑向基函數(shù)（radial basis function neural network， RBF），它也是一種前饋式神經(jīng)網(wǎng)絡(luò)。通過利用徑向基函數(shù)，該網(wǎng)絡(luò)不僅解決了局部最優(yōu)的問題，而且實(shí)現(xiàn)了最佳逼近，節(jié)省了大量的訓(xùn)練時(shí)間。

2.3 ART神經(jīng)網(wǎng)絡(luò)

自適應(yīng)共振理論（adaptive resonance theory）的提出，是為了解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中知識遺忘的問題。ART神經(jīng)網(wǎng)絡(luò)的記憶內(nèi)容可隨學(xué)習(xí)的過程不斷增加，避免了遺忘。

共振，也是模仿人類對圖像的識別與記憶。其主要過程如下，首先環(huán)境輸入模式，ART神經(jīng)網(wǎng)絡(luò)有一個(gè)判斷的過程，以相似度的參考門限為準(zhǔn)，與神經(jīng)網(wǎng)絡(luò)儲存的模式進(jìn)行比較。判斷結(jié)果即有相似的模式和無相似的模式。若有相似的模式，就選擇最相似的模式作為代表，并調(diào)整該模式的參數(shù)，類似于共振，以強(qiáng)化并完善該模式的內(nèi)容。若無相似模式，只需新建此模式，并設(shè)置權(quán)值和閾值，讓環(huán)境再次輸入的相似模式能與之匹配。

3 應(yīng)用

3.1 計(jì)算機(jī)視覺

計(jì)算機(jī)視覺，簡單的說就是讓計(jì)算機(jī)能夠像人類一樣，從圖像中提取某些信息，讓計(jì)算機(jī)能夠看懂圖像。人類的視覺是一種感知。人們可以從自我的感覺中做出判斷，得出結(jié)論。計(jì)算機(jī)視覺技術(shù)基于現(xiàn)代心理物理學(xué)的研究成果，利用人工神經(jīng)網(wǎng)絡(luò)，對圖像進(jìn)行識別、檢測與處理[4]。在這過程中，攝像機(jī)代替人眼獲取圖像，人工神經(jīng)網(wǎng)絡(luò)利用算法模擬人腦。

在某些方面，計(jì)算機(jī)視覺的表現(xiàn)突出，甚至能夠超越人類。人工神經(jīng)網(wǎng)絡(luò)功不可沒，它具有優(yōu)秀的圖像處理技術(shù)，如圖像分割、圖像平滑和邊緣銳化等；能夠根據(jù)灰度閾值將圖像分割；能夠?qū)⒁驗(yàn)閿z像機(jī)等設(shè)備自身原因造成的失真現(xiàn)象進(jìn)行平滑處理；還能夠給圖像中的各個(gè)物體勾勒出其邊緣的線條。

但是在實(shí)際場景中，計(jì)算機(jī)視覺與其他技術(shù)和硬件，還不能夠完美的結(jié)合。例如，可移動(dòng)機(jī)器人在未知環(huán)境中，還未實(shí)現(xiàn)全自動(dòng)的行為能力。

3.2 自然語言處理。

自然語言指的就是人類使用的語言。計(jì)算機(jī)科學(xué)家希望能夠讓人們從復(fù)雜計(jì)算機(jī)語言中解脫出來，實(shí)現(xiàn)人與計(jì)算機(jī)的自然語言通信[5]。研究自然語言處理，不僅可以促進(jìn)人與計(jì)算機(jī)的交流，提高人們的生活質(zhì)量；而且也能讓人類了解自己的語言特征。自然語言處理包括自然語言的理解和自然語言的生成。語言的理解就是對輸入的文本進(jìn)行對話處理、知識處理。語言的輸入可以是語音和文字的形式，這也利用了語音識別和計(jì)算機(jī)視覺的技術(shù)。語言的生成便是將處理的結(jié)果以自然語言表達(dá)出來。

自然語言處理具有廣泛的應(yīng)用。例如iflytek translator 2.0、信息檢索系統(tǒng)。但是目前它還不能處理大規(guī)模的文本。自然語言處理面對的最大困難就是語言的不確定性，容易引起歧義。對語言的組成部分字符、詞組、句子，每一個(gè)都有多種含義。而一個(gè)含義又可用多種方式來表達(dá)。這不是僅僅研究語法或者開發(fā)程序可以解決的，人們在對話中往往是根據(jù)語境加以判斷。要克服句意理解的障礙，就必須研究人腦對語言的識別與判斷，使計(jì)算機(jī)能夠篩選出語境中有用的隱含信息，推理句子的指代和省略。

4 結(jié)論

自20世紀(jì)80年代人工神經(jīng)網(wǎng)絡(luò)被提出以來，經(jīng)過無數(shù)科學(xué)家的深耕細(xì)作，使其目前得到了突破性進(jìn)展。本文主要介紹了人工神經(jīng)網(wǎng)絡(luò)的基本原理、常見模型和應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)是一種模仿人腦運(yùn)作的網(wǎng)絡(luò)，其中反向傳播神經(jīng)網(wǎng)絡(luò)是目前運(yùn)用最為廣泛的一種，而自適應(yīng)諧振網(wǎng)絡(luò)和徑向基網(wǎng)絡(luò)二者相比于BP神經(jīng)網(wǎng)絡(luò)也各有所長。最后介紹了人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域的應(yīng)用與挑戰(zhàn)。相信隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，它會給我們帶來更多的驚喜。

參考文獻(xiàn)

[1]王佳.計(jì)算機(jī)人工智能識別技術(shù)的應(yīng)用瓶頸探賾[J].科技展望，2016，26（35）：93-94.

[2]朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M].合肥：安徽科技出版社，2006.

[3]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2012：6-8.

[4]李超波，李洪均，徐晨.深度學(xué)習(xí)在圖像識別中的應(yīng)用[J].南通大學(xué)學(xué)報(bào)，2018（1）.

[5]黃子良.深度學(xué)習(xí)應(yīng)用前景分析[J].通信與信息技術(shù)，2017（3）：54-56.