基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督和半監(jiān)督學(xué)習(xí)方法

王明月 張德慧 魏銘

摘 要：神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單的神經(jīng)元按照一定連接方式形成的智能仿生網(wǎng).它以非線性神經(jīng)元作為處理單元，通過(guò)廣泛連接構(gòu)成大規(guī)模分布式并行處理系統(tǒng).神經(jīng)網(wǎng)絡(luò)不需預(yù)知其訓(xùn)練數(shù)據(jù)中輸入輸出之間的函數(shù)關(guān)系，而以數(shù)據(jù)驅(qū)動(dòng)的方式解決問(wèn)題.由于神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的模式識(shí)別能力和靈活的非線性建模能力，它引起了越來(lái)越多的學(xué)者及工程技術(shù)人員的關(guān)注。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 監(jiān)督學(xué)習(xí) 半監(jiān)督學(xué)習(xí)

大多數(shù)情況下神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具，常用來(lái)對(duì)輸入和輸出間復(fù)雜的關(guān)系進(jìn)行建模，或用來(lái)探索數(shù)據(jù)的模式。

神經(jīng)網(wǎng)絡(luò)以其自組織性、自學(xué)習(xí)性、并行性、容錯(cuò)性、高度非線性、高度魯棒性、對(duì)任意函數(shù)的任意精度逼近能力，一直是監(jiān)督學(xué)習(xí)領(lǐng)域研究、開(kāi)發(fā)和應(yīng)用最為活躍的分支之一。此外，神經(jīng)網(wǎng)絡(luò)模型可以根據(jù)樣本信息自適應(yīng)調(diào)整自身結(jié)構(gòu)，也可用于提升半監(jiān)督學(xué)習(xí)方法的自適應(yīng)調(diào)節(jié)能力，以降低其對(duì)先驗(yàn)知識(shí)的依賴(lài)程度。

1.監(jiān)督學(xué)習(xí)方法

1.1監(jiān)督學(xué)習(xí)概述

監(jiān)督學(xué)習(xí)有兩種模型。一般常用的模型是監(jiān)督學(xué)習(xí)產(chǎn)生的全局模型，即將輸入映射到期望輸出。而另一種模型則是將這種映射作為一個(gè)局部模型（如案例推理及最近鄰算法）。為解決一個(gè)給定的監(jiān)督學(xué)習(xí)問(wèn)題，可分為以下5個(gè)步驟進(jìn)行：

（1）確定訓(xùn)練樣本數(shù)據(jù)。

（2）收集訓(xùn)練樣本數(shù)據(jù)。

（3）確定學(xué)習(xí)函數(shù)輸入特征的表示方法。

（4）確定要學(xué)習(xí)的函數(shù)及其對(duì)應(yīng)的學(xué)習(xí)算法所使用的學(xué)習(xí)器類(lèi)型。

（5）完成設(shè)計(jì)。

1.2監(jiān)督學(xué)習(xí)方法簡(jiǎn)介

1.K-最近鄰算法

K-最近鄰算法（K- Nearest Neighbors，KNN）是將在特征空間中最接近的訓(xùn)練樣本進(jìn)行分類(lèi)的監(jiān)督學(xué)習(xí)方法。K-最近鄰算法最初由 Cover和Hart于1967年提出，其思路非常簡(jiǎn)單直觀，易于快速實(shí)現(xiàn)，錯(cuò)誤率較低。

K-最近鄰算法的基本思想為：根據(jù)距離函數(shù)計(jì)算待分類(lèi)樣本x和每個(gè)訓(xùn)練樣本的距離，選擇與待分類(lèi)樣本x距離最小的K個(gè)樣本作為x的K個(gè)最近鄰最后根據(jù)x的K個(gè)最近鄰判斷x的類(lèi)別。該算法沒(méi)有單獨(dú)的學(xué)習(xí)階段，是一種在分類(lèi)過(guò)程中實(shí)現(xiàn)學(xué)習(xí)的監(jiān)督學(xué)習(xí)方法。

2.遺傳算法

遺傳算法（ Genetic Algorithm，GA）10]起源于20世紀(jì)60年代美國(guó)密歇根大學(xué) Holland教授對(duì)自然和人工自適應(yīng)系統(tǒng)的研究， Bagley發(fā)明“遺傳算法”一詞并發(fā)表了第一篇有關(guān)遺傳算法應(yīng)用的論文。遺傳算法的基本思想為：模擬達(dá)爾文生物進(jìn)化論的自然選擇和 Mendel遺傳學(xué)機(jī)理的生物進(jìn)化過(guò)程，將解空間中每一個(gè)點(diǎn)都編碼為二進(jìn)制位串，稱(chēng)為染色體，并對(duì)應(yīng)一個(gè)適應(yīng)度值，適應(yīng)度值按概率決定個(gè)體性質(zhì)遺傳到下一代中的機(jī)會(huì)，在每一代中使用選擇交叉和變異等作用機(jī)制獲得新的種群，若干代后，種群中包含的個(gè)體具有更高的適應(yīng)度，直到滿足某種收斂指標(biāo)為止。

3.貝葉斯算法

自20世紀(jì)90年代以來(lái)，貝葉斯算法一直是機(jī)器學(xué)習(xí)研究的重要方向之一。貝葉斯算法提供了一種概率手段，可用于確定給定數(shù)據(jù)下最可能的假設(shè)。貝葉斯算法的基本思想為：假設(shè)待考察的樣本遵循某種概率分布，基于這些先驗(yàn)和數(shù)據(jù)觀測(cè)假定進(jìn)行推理，獲得觀測(cè)數(shù)據(jù)的后驗(yàn)概率，以此作出最優(yōu)決策。貝葉斯算法能夠方便地處理不完全數(shù)據(jù)，能夠?qū)W習(xí)變量間的因果關(guān)系，同時(shí)貝十斯網(wǎng)絡(luò)與貝葉斯統(tǒng)計(jì)相結(jié)合，能夠充分利用領(lǐng)域知識(shí)和樣本數(shù)據(jù)的信息。

2.半監(jiān)督學(xué)習(xí)方法

2.1半監(jiān)督學(xué)習(xí)概述

半監(jiān)督學(xué)習(xí)的思想起源于自訓(xùn)練（Self- training）方法，自訓(xùn)練算法又被稱(chēng)為自學(xué)習(xí)（Self- teaching）算法或 Bootstrapping方法，是目前在半監(jiān)督學(xué)習(xí)中普遍使用的一種方法。在自訓(xùn)練方法中，首先用少量的有標(biāo)記數(shù)據(jù)訓(xùn)練出個(gè)初始的分類(lèi)器，然后用該分類(lèi)器對(duì)無(wú)標(biāo)記數(shù)據(jù)進(jìn)行預(yù)測(cè)。之后將置信度較高的無(wú)標(biāo)記樣本連同預(yù)測(cè)出的類(lèi)別標(biāo)記一同加入到原來(lái)的訓(xùn)練集中。再用新的訓(xùn)練集重新訓(xùn)練這個(gè)分類(lèi)器，如此循環(huán)下去，直到達(dá)到終止條件。

2.2半監(jiān)督學(xué)習(xí)方法簡(jiǎn)介

1.生成式模型半監(jiān)督學(xué)習(xí)方法

生成式模型是最早的半監(jiān)督學(xué)習(xí)方法之一。該方法完全基于數(shù)據(jù)的概率分布進(jìn)行建模，其基本思想是對(duì)于給定樣本特征的完全數(shù)據(jù)概率建模，通常以生成式模型為分類(lèi)器，將未標(biāo)記樣本屬于各類(lèi)別的概率看作缺失參數(shù)，然后利用最大似然算法對(duì)標(biāo)記和模型參數(shù)進(jìn)行估計(jì)。常用于半監(jiān)督學(xué)習(xí)的生成式模型有高斯混合模型、多項(xiàng)式混合模型、 Markoⅴ隱式模型等。此類(lèi)方法也可以看成是以少量已知標(biāo)記的樣本為中心進(jìn)行聚類(lèi)，因而屬于基于聚類(lèi)假設(shè)的方法。

2.協(xié)同訓(xùn)練半監(jiān)督學(xué)習(xí)方法

協(xié)同訓(xùn)練（Co-tra1nng）是另外一種流行的半監(jiān)督學(xué)習(xí)方法。協(xié)同訓(xùn)練隱含地利用聚類(lèi)假設(shè)或流形假設(shè)。通常使用兩個(gè)或多個(gè)分類(lèi)器，在學(xué)習(xí)過(guò)程中，這些分類(lèi)器挑選若干個(gè)置信度高的未標(biāo)記樣本進(jìn)行相互標(biāo)記，從而使得模型得以更新。協(xié)同訓(xùn)練已運(yùn)用到文本分類(lèi)、英語(yǔ)基本名詞及短語(yǔ)識(shí)別、情感分類(lèi)、共指消解等研究上，而且取得了不錯(cuò)的效果，甚至超過(guò)了傳統(tǒng)的有監(jiān)督學(xué)習(xí)方法。協(xié)同訓(xùn)練方法最大的優(yōu)點(diǎn)是不用人工干涉，即可從未標(biāo)注的數(shù)據(jù)中自動(dòng)學(xué)習(xí)到知識(shí)。

3.基于圖的半監(jiān)督學(xué)習(xí)方法

基于圖的半監(jiān)督學(xué)習(xí)方法直接或間接地利用流形假設(shè)，在學(xué)習(xí)過(guò)程中首先基于訓(xùn)練樣本的特定相似度度量建立圖，圖中各節(jié)點(diǎn)對(duì)應(yīng)（有標(biāo)記或是未標(biāo)記）樣本，節(jié)點(diǎn)間的連接表示樣本間的相似度，之后定義模型的優(yōu)化目標(biāo)函數(shù)，并根據(jù)圖的平滑性，添加相應(yīng)的正則化項(xiàng)得到?jīng)Q策函數(shù)，通過(guò)最小化決策函數(shù)計(jì)算模型參數(shù)的最優(yōu)值。

3.基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督和半監(jiān)督學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks，ANN），簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)NN），是由大量的信息處理單元（也稱(chēng)神經(jīng)元）相互連接的復(fù)雜網(wǎng)絡(luò)，用來(lái)模擬人腦神經(jīng)系統(tǒng)的功能和結(jié)構(gòu)，它是一種簡(jiǎn)化的人腦數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)研究開(kāi)始于20世紀(jì)40年代對(duì)與神經(jīng)網(wǎng)絡(luò)有關(guān)的神經(jīng)科學(xué)的研究。人工神經(jīng)網(wǎng)絡(luò)具有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對(duì)于直覺(jué)，如模式識(shí)別、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使其在專(zhuān)家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等許多領(lǐng)域得到了廣泛的應(yīng)用。

幾種常見(jiàn)的神經(jīng)網(wǎng)絡(luò)模型：

（1）徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

1985年， Powell提出了徑向基函數(shù)（ Radial basis funct1On，RBF），簡(jiǎn)單來(lái)說(shuō)，徑向基函數(shù)是一個(gè)取值僅僅和到原點(diǎn)間距離有關(guān)的實(shí)值函數(shù)，它的提出用于解決多變量差值問(wèn)題，同時(shí)RBF理論為多層前向網(wǎng)絡(luò)的學(xué)習(xí)提供了一種新的方法。1988年， Broomhaed和Lowe首先將徑向基函數(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)不僅具有良好的推廣能力，而且避免了像BP算法那樣繁瑣的計(jì)算，使學(xué)習(xí)能得以快速地實(shí)現(xiàn)，近幾年被廣泛地應(yīng)用研究以解決各種問(wèn)題。

（2）支持向量機(jī)

支持向量機(jī)（ Support vector Machines，SVM）是一種通用的廣義前饋神經(jīng)網(wǎng)絡(luò)。支持向量機(jī)是有限樣本條件下解決機(jī)器學(xué)習(xí)問(wèn)題的通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn)題，其核心思想就是學(xué)習(xí)機(jī)器要與有限的訓(xùn)練樣本相適應(yīng)。支持向量機(jī)是機(jī)器學(xué)習(xí)領(lǐng)域若干標(biāo)準(zhǔn)技術(shù)的集大成者，涉及最大間隔超平面、凸二次規(guī)劃、稀疏解、 Mercer核以及松弛變量等多項(xiàng)技術(shù)，在若干具有挑戰(zhàn)性的應(yīng)用中獲得了良好的性能，是一個(gè)令人矚目的發(fā)展方向。

（3）自適應(yīng)神經(jīng)網(wǎng)絡(luò)

自適應(yīng)神經(jīng)網(wǎng)絡(luò)是一種基于自適應(yīng)諧振理論（ Adaptive ResonanceTheory，ART）的特殊神經(jīng)網(wǎng)絡(luò)。多數(shù)神經(jīng)網(wǎng)絡(luò)采用分布式的知識(shí)表達(dá)形式，即單個(gè)神經(jīng)元或單個(gè)連接權(quán)的具體意義都無(wú)法給出清晰的解釋?zhuān)@使得多數(shù)神經(jīng)網(wǎng)絡(luò)都成為“黑箱”模型，模型通過(guò)訓(xùn)練獲得的知識(shí)隱含在大量的神經(jīng)元閾值和連接權(quán)值中。而自適應(yīng)神經(jīng)網(wǎng)絡(luò)則在網(wǎng)絡(luò)結(jié)構(gòu)解釋性方面有突出的優(yōu)勢(shì)。

總結(jié)：隨著智能時(shí)代的到來(lái)，經(jīng)過(guò)近半個(gè)世紀(jì)的發(fā)展， 神經(jīng)網(wǎng)絡(luò)理論在模式識(shí)別、自動(dòng)控制、信號(hào)處理、輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功， 相信隨著神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展， 其將在工程應(yīng)用中發(fā)揮越來(lái)越大的作用。

參考文獻(xiàn)：

[1]韓敏. 基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督與半監(jiān)督學(xué)習(xí)方法與遙感圖像智能翻譯. 中國(guó)水利水電出版社. 2015

[2]刑紅杰. 前饋神經(jīng)網(wǎng)絡(luò)及其應(yīng)用. 科學(xué)出版社. 2013