基于分類的神經(jīng)網(wǎng)絡(luò)研究與展望

聞?shì)x 賈冬順

摘 要：本文介紹了神經(jīng)網(wǎng)絡(luò)作為分類器的優(yōu)點(diǎn)，概述了神經(jīng)網(wǎng)絡(luò)的主要發(fā)展歷程，然后對(duì)神經(jīng)網(wǎng)絡(luò)面臨的問題和挑戰(zhàn)進(jìn)行了分析，給出了深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機(jī)器學(xué)習(xí)的關(guān)系，最后并對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用前景進(jìn)行了總結(jié)。

關(guān)鍵詞：分類;神經(jīng)網(wǎng)絡(luò);深度神經(jīng)網(wǎng)絡(luò);機(jī)器學(xué)習(xí)

分類是一種重要的模式識(shí)別和數(shù)據(jù)挖掘技術(shù)，它是人類活動(dòng)中最常見的決策任務(wù)之一?？茖W(xué)、工業(yè)和醫(yī)學(xué)等領(lǐng)域中的許多問題都可以視為分類問題。當(dāng)前，用于分類的神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)廣泛應(yīng)用于科學(xué)、工業(yè)和醫(yī)學(xué)等不同領(lǐng)域中。盡管各種神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)取得了較大發(fā)展，但由于算法及模型的差異性，以及不同的非線性問題所呈現(xiàn)出的多樣性和復(fù)雜性，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類器在某些復(fù)雜問題上其網(wǎng)絡(luò)性能往往是有限的。針對(duì)不同的非線性問題，如何建立更有效的網(wǎng)絡(luò)結(jié)構(gòu)及算法模型，改善其分類性能一直是許多研究人員追求的目標(biāo)。

一、神經(jīng)網(wǎng)絡(luò)的發(fā)展概述

自1943年科學(xué)家McCulloch和Pitts提出基于形式神經(jīng)元的M-P神經(jīng)網(wǎng)絡(luò)模型，直到1986年，Rumelhart等人[1]提出一種按照誤差反向傳播（BP）訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)，直到當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)的興起，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了幾輪新的浪潮。

BP神經(jīng)網(wǎng)絡(luò)模型的提出引起了至今仍是最廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。通過對(duì)輸入樣本采用并行分布式的處理方式，并且無需預(yù)先給出輸入輸出映射關(guān)系的數(shù)學(xué)表達(dá)，其學(xué)習(xí)規(guī)則采用基于誤差反向傳播的梯度下降方法來迭代更新網(wǎng)絡(luò)權(quán)值，由此使得網(wǎng)絡(luò)輸出的誤差平方和達(dá)到最小。

自BP神經(jīng)網(wǎng)絡(luò)提出之后，1995年，Vapnik[2]等人在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出通過引入核函數(shù)來替代內(nèi)積的方法，稱之為支持向量機(jī)（SVM），在核機(jī)器學(xué)習(xí)領(lǐng)域掀起了新的研究熱潮。

以上提到的網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)隱藏層往往只有一層，對(duì)于復(fù)雜的模式分類問題，其泛化性能有限。2006年，Hinton[3]提出了深度置信網(wǎng)絡(luò)（DBN），DBN是一種基于無監(jiān)督學(xué)習(xí)的多層前饋神經(jīng)網(wǎng)絡(luò)模型，它由一系列受限波爾茲曼機(jī)組成，并首次提出了深度學(xué)習(xí)的概念。Lecun[4]等人提出的卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過利用空間相對(duì)關(guān)系來減少網(wǎng)絡(luò)參數(shù)數(shù)目，以此來提高訓(xùn)練性能。深度學(xué)習(xí)的本質(zhì)是通過對(duì)觀測(cè)數(shù)據(jù)分層特征表示的基礎(chǔ)上，以進(jìn)一步實(shí)現(xiàn)將觀測(cè)數(shù)據(jù)的低級(jí)特征抽象成高級(jí)特征表示。從當(dāng)前的研究進(jìn)展來看，當(dāng)數(shù)據(jù)樣本充足、網(wǎng)絡(luò)的隱藏層足夠深，即使網(wǎng)絡(luò)未預(yù)處理，深度學(xué)習(xí)也能夠獲得很好的結(jié)果，從這個(gè)意義上來說，深度學(xué)習(xí)網(wǎng)絡(luò)與大數(shù)據(jù)呈現(xiàn)一種相輔相成的緊密聯(lián)系。深度學(xué)習(xí)網(wǎng)絡(luò)的提出掀起了智能信息領(lǐng)域新的研究浪潮。

在深度學(xué)習(xí)網(wǎng)絡(luò)快速發(fā)展的過程中，淺層神經(jīng)網(wǎng)絡(luò)也一直在不斷的發(fā)展并完善其算法特點(diǎn)。很多優(yōu)化學(xué)習(xí)算法包括各種聚類算法、模糊優(yōu)化方法、K近鄰算法、Boosting算法、敏感性分析方法、粒子群優(yōu)化算法、進(jìn)化算法等，被引入到各種神經(jīng)網(wǎng)絡(luò)模型優(yōu)化之中，這些方法的提出進(jìn)一步促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用。

二、神經(jīng)網(wǎng)絡(luò)面臨的問題及挑戰(zhàn)

盡管各種神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)取得了較大發(fā)展，當(dāng)前神經(jīng)網(wǎng)絡(luò)的研究仍然面臨著許多問題和挑戰(zhàn)，以下我們列出了神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的幾個(gè)重要問題：

1.網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)設(shè)計(jì)主要包括確定合適的網(wǎng)絡(luò)層數(shù)、確定合適的網(wǎng)絡(luò)隱節(jié)點(diǎn)個(gè)數(shù)及完成網(wǎng)絡(luò)各層節(jié)點(diǎn)的有效連接方式。在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)模型不能過于簡(jiǎn)單或者復(fù)雜。

2.學(xué)習(xí)算法的設(shè)計(jì)。在所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，設(shè)計(jì)出相應(yīng)的學(xué)習(xí)算法是改善神經(jīng)網(wǎng)絡(luò)分類器性能的關(guān)鍵所在。

3.泛化性能。神經(jīng)網(wǎng)絡(luò)的泛化性能與除了與網(wǎng)絡(luò)結(jié)構(gòu)緊密相關(guān)，還與訓(xùn)練集的規(guī)模、分類問題自身的復(fù)雜程度以及學(xué)習(xí)算法等多種因素有關(guān)。泛化性能一直神經(jīng)網(wǎng)絡(luò)關(guān)注的重點(diǎn)問題。

4.對(duì)不同非線性問題的適應(yīng)能力。實(shí)際的分類問題中還面臨著樣本屬性丟失、樣本數(shù)據(jù)污染、樣本集規(guī)模過小或樣本空間維數(shù)過高等問題，如何更好地適應(yīng)這些非線性問題，也是一項(xiàng)具有挑戰(zhàn)性的工作。

三、深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)之間的關(guān)系

在已有的各種神經(jīng)網(wǎng)絡(luò)當(dāng)中，深度學(xué)習(xí)網(wǎng)絡(luò)是當(dāng)前智能信息領(lǐng)域的研究熱點(diǎn)。關(guān)于深度學(xué)習(xí)技術(shù)是否會(huì)取代傳統(tǒng)的機(jī)器學(xué)習(xí)方法這一問題，在“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會(huì)”[5]上，中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員陳熙霖給出以下觀點(diǎn)：很多問題是風(fēng)馬牛不相及的，有些問題可能用深度學(xué)習(xí)確實(shí)很有效，但有些問題卻不一定會(huì)得到結(jié)論。運(yùn)用深度學(xué)習(xí)時(shí)需要考慮問題的背景。北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授林宙辰指出：在小數(shù)據(jù)方面，深度學(xué)習(xí)并不具有很強(qiáng)的優(yōu)勢(shì)，因此還是需要掌握傳統(tǒng)方法。

而關(guān)于深度學(xué)習(xí)是否會(huì)取代傳統(tǒng)機(jī)器學(xué)習(xí)算法這一問題，深度學(xué)習(xí)大佬Yoshua Bengio 在Quora論壇上進(jìn)一步給出深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的機(jī)器學(xué)習(xí)方法是一種相輔相成的關(guān)系。

四、總結(jié)與展望

神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)中的一個(gè)重要領(lǐng)域，尤其是當(dāng)前熱門的卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)、以及近來新提出的膠囊網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)發(fā)展進(jìn)一步促進(jìn)了人工智能在不同領(lǐng)域的推廣應(yīng)用。隨著計(jì)算機(jī)硬件性能的不斷提升以及網(wǎng)絡(luò)結(jié)構(gòu)的不斷優(yōu)化，神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究與實(shí)際應(yīng)用也必將取得更大的成功。

參考文獻(xiàn)：

[1]Rumelhart DE，Hinton GE，Williams RJ.Learning representations of back-propagating errors.Nature，1986，323：533-536

[2]Vapnik VN.The Nature of Stastical learning Theory，New York：Springer-Verlag，1995

[3]Hinton GE，Osindero S，Teh Y.A fast learning algorithm for deep belief nets.Neural Computation，2006，18：1527-1554

[4]Lecun Y，Bottou L，Bengio Y.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998，86（11）：2278-2324

[5]計(jì)算機(jī)視覺，路在何方.微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會(huì).https：//weibo.com/ttarticle/p/show？id=2309404121144000181511#_0，2017年6月