機(jī)器學(xué)習(xí)及其算法和發(fā)展研究

張潤，王永濱

(中國傳媒大學(xué) 計(jì)算機(jī)與網(wǎng)絡(luò)中心，北京 100024)

?

機(jī)器學(xué)習(xí)及其算法和發(fā)展研究

張潤，王永濱

(中國傳媒大學(xué) 計(jì)算機(jī)與網(wǎng)絡(luò)中心，北京 100024)

摘要：目前，機(jī)器學(xué)習(xí)領(lǐng)域的研究與應(yīng)用取得了巨大進(jìn)展，我們有必要對(duì)機(jī)器學(xué)習(xí)有個(gè)全面的認(rèn)識(shí)。為此，本文對(duì)機(jī)器學(xué)習(xí)進(jìn)行了較為系統(tǒng)的介紹，從機(jī)器學(xué)習(xí)的概念開始，綜述了機(jī)器學(xué)習(xí)的發(fā)展簡史及其分類，然后重點(diǎn)分析了機(jī)器學(xué)習(xí)的經(jīng)典算法，接下來闡述了機(jī)器學(xué)習(xí)的最新研究進(jìn)展、愿景及應(yīng)用，最后探討了機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；視覺皮層；后向傳播；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

1引言

學(xué)習(xí)是人類具有的一種重要智能行為，目前計(jì)算機(jī)也已經(jīng)初步具有這種能力了。正如Tom M.Mitchell在其著作《Machine Learning》中指出，機(jī)器學(xué)習(xí)就是指“計(jì)算機(jī)利用經(jīng)驗(yàn)自動(dòng)改善系統(tǒng)自身性能的行為”。簡言之，機(jī)器學(xué)習(xí)是指通過計(jì)算機(jī)學(xué)習(xí)數(shù)據(jù)中的內(nèi)在規(guī)律性信息，獲得新的經(jīng)驗(yàn)和知識(shí)，以提高計(jì)算機(jī)的智能性，使計(jì)算機(jī)能夠像人那樣去決策。

目前，機(jī)器學(xué)習(xí)走過了70多年曲折而又光輝的歷程，是學(xué)界與業(yè)界研究與應(yīng)用的一個(gè)熱點(diǎn)和焦點(diǎn)。以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)是當(dāng)前最接近人類大腦的智能學(xué)習(xí)方法和認(rèn)知過程，充分借鑒了人腦的多分層結(jié)構(gòu)、神經(jīng)元的連接交互、分布式稀疏存儲(chǔ)和表征、信息的逐層分析處理機(jī)制，自適應(yīng)、自學(xué)習(xí)的強(qiáng)大并行信息處理能力，在語音、圖像識(shí)別等方面取得了突破性進(jìn)展，在諸多應(yīng)用領(lǐng)域取得巨大商業(yè)成功。最近，由谷歌旗下DeepMind公司開發(fā)的基于深度卷積神經(jīng)網(wǎng)絡(luò)和蒙特卡洛樹搜索算法的圍棋智能程序AlphaGo以4：1的懸殊比分戰(zhàn)勝世界圍棋冠軍李世石，充分展示出機(jī)器學(xué)習(xí)的強(qiáng)大學(xué)習(xí)能力和巨大發(fā)展?jié)摿Α?/p>

應(yīng)該看到，機(jī)器學(xué)習(xí)現(xiàn)在仍處于初級(jí)發(fā)展階段。與人腦相比，深度學(xué)習(xí)目前在處理問題的能力上還有巨大差距，即使在結(jié)構(gòu)、功能、運(yùn)行機(jī)制上都與人腦有很大的差距[1]，并且近期深度學(xué)習(xí)研究與應(yīng)用的突飛猛進(jìn)主要得益于大數(shù)據(jù)和強(qiáng)大硬件技術(shù)支撐的計(jì)算和存儲(chǔ)能力，而機(jī)器學(xué)習(xí)理論、學(xué)習(xí)方法本身進(jìn)展緩慢。因此，機(jī)器學(xué)習(xí)領(lǐng)域還有很多問題值得我們靜下心來深入研究。因此，首先需要我們對(duì)機(jī)器學(xué)習(xí)本身有個(gè)清醒的認(rèn)識(shí)，這是本文的初衷。

2機(jī)器學(xué)習(xí)概述

2.1機(jī)器學(xué)習(xí)發(fā)展簡史

機(jī)器學(xué)習(xí)最早可以追溯到對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究。1943年，Warren McCulloch 和 Walter Pitts提出了神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)模型[2]，確立為神經(jīng)網(wǎng)絡(luò)的計(jì)算模型理論，從而為機(jī)器學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。1950年，“人工智能之父”圖靈發(fā)提出了著名的“圖靈測試”，使人工智能成為了計(jì)算機(jī)科學(xué)領(lǐng)域一個(gè)重要的研究課題。

1957年，康內(nèi)爾大學(xué)教授 Frank Rosenblatt提出Perceptron概念，并且首次用算法精確定義了自組織自學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型，設(shè)計(jì)出了第一個(gè)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)，這個(gè)機(jī)器學(xué)習(xí)算法成為神經(jīng)網(wǎng)絡(luò)模型的開山鼻祖。1959年美國IBM公司的A.M.Samuel設(shè)計(jì)了一個(gè)具有學(xué)習(xí)能力的跳棋程序，曾經(jīng)戰(zhàn)勝了美國一個(gè)保持8年不敗的冠軍。這個(gè)程序向人們初步展示了機(jī)器學(xué)習(xí)的能力。

1962年，Hubel和Wiesel發(fā)現(xiàn)貓腦皮層中獨(dú)特的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以有效降低學(xué)習(xí)的復(fù)雜性，從而提出著名的Hubel-Wiesel生物視覺模型，以后提出的神經(jīng)網(wǎng)絡(luò)模型均受此啟迪。

1969 年，人工智能研究的先驅(qū)者M(jìn)arvin Minsky和 Seymour Papert出版了對(duì)機(jī)器學(xué)習(xí)研究具有深遠(yuǎn)影響的著作《Perceptron》，雖然提出的XOR問題把感知機(jī)研究送上不歸路、此后的十幾年基于神經(jīng)網(wǎng)絡(luò)的人工智能研究進(jìn)入低潮，但是對(duì)于機(jī)器學(xué)習(xí)基本思想的論斷：解決問題的算法能力和計(jì)算復(fù)雜性，影響深遠(yuǎn)、延續(xù)至今。

1980 年夏，在美國卡內(nèi)基·梅隆大學(xué)舉行了第一屆機(jī)器學(xué)習(xí)國際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究在世界范圍內(nèi)興起。1986 年，《Machine Learning》創(chuàng)刊，標(biāo)志著機(jī)器學(xué)習(xí)逐漸為世人矚目并開始加速發(fā)展。

1982年，Hopfield發(fā)表了一篇關(guān)于神經(jīng)網(wǎng)絡(luò)模型的論文[3]，構(gòu)造出能量函數(shù)并把這一概念引入Hopfield網(wǎng)絡(luò)，同時(shí)通過對(duì)動(dòng)力系統(tǒng)性質(zhì)的認(rèn)識(shí)，實(shí)現(xiàn)了Hopfield網(wǎng)絡(luò)的最優(yōu)化求解，推動(dòng)了神經(jīng)網(wǎng)絡(luò)的深入研究和發(fā)展應(yīng)用。

1986 年，Rumelhart、Hinton和Williams聯(lián)合 在《自然》雜志發(fā)表了著名的反向傳播算法(BP)[4]，首次闡述了BP算法在淺層前向型神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用，參見圖1[5]，不但明顯降低了最優(yōu)化問題求解的運(yùn)算量，還通過增加一個(gè)隱層解決了感知器無法解決的XOR Gate難題，該算法成為神經(jīng)網(wǎng)絡(luò)的最基本算法。從此，神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用開始復(fù)蘇。

圖1　淺層稀疏自編碼器示意圖

1989年，美國貝爾實(shí)驗(yàn)室學(xué)者Yann LeCun教授提出了目前最為流行的卷積神經(jīng)網(wǎng)絡(luò)(CNN)計(jì)算模型，推導(dǎo)出基于BP算法的高效訓(xùn)練方法，并成功地應(yīng)用于英文手寫體識(shí)別。CNN是第一個(gè)被成功訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)，也是后來深度學(xué)習(xí)最成功、應(yīng)用最廣泛的模型之一。

進(jìn)入90年代后，多種淺層機(jī)器學(xué)習(xí)模型相繼問世，諸如邏輯回歸、支持向量機(jī)等，這些機(jī)器學(xué)習(xí)算法的共性是數(shù)學(xué)模型為凸代價(jià)函數(shù)的最優(yōu)化問題，理論分析相對(duì)簡單，訓(xùn)練方法也容易掌握，易于從訓(xùn)練樣本中學(xué)習(xí)到內(nèi)在模式，來完成對(duì)象識(shí)別、任務(wù)分類等初級(jí)智能工作?；诮y(tǒng)計(jì)規(guī)律的淺層學(xué)習(xí)方法比起傳統(tǒng)的基于規(guī)則的方法具備很多優(yōu)越性[6]，取得了不少成功的商業(yè)應(yīng)用的同時(shí)，淺層學(xué)習(xí)的問題逐漸暴露出來，由于有限的樣本和計(jì)算單元導(dǎo)致對(duì)數(shù)據(jù)間復(fù)雜函數(shù)的表示能力有限，學(xué)習(xí)能力不強(qiáng)，只能提取初級(jí)特征。

2006年，在學(xué)界及業(yè)界巨大需求刺激下，特別是計(jì)算機(jī)硬件技術(shù)的迅速發(fā)展提供了強(qiáng)大的計(jì)算能力。機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和RuslanSalakhutdinov發(fā)表文章[7]，提出了深度學(xué)習(xí)模型，主要論點(diǎn)包括：多個(gè)隱層的人工神經(jīng)網(wǎng)絡(luò)具有良好的特征學(xué)習(xí)能力；通過逐層初始化來克服訓(xùn)練的難度，實(shí)現(xiàn)網(wǎng)絡(luò)整體調(diào)優(yōu)。這個(gè)模型的提出，開啟了深度神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)的新時(shí)代。

2012年，Hinton研究團(tuán)隊(duì)采用深度學(xué)習(xí)模型贏得計(jì)算機(jī)視覺領(lǐng)域最具影響力的ImageNet比賽冠軍，從而標(biāo)志著深度學(xué)習(xí)進(jìn)入第二個(gè)階段。隨著Hinton、LeCun和Andrew Ng對(duì)深度學(xué)習(xí)的研究，以及云計(jì)算、大數(shù)據(jù)、計(jì)算機(jī)硬件技術(shù)發(fā)展的支撐下，參見圖2[8]，深度學(xué)習(xí)近年來在多個(gè)領(lǐng)域取得了令人贊嘆的進(jìn)展，推出一批成功的商業(yè)應(yīng)用，諸如谷歌翻譯，蘋果語音工具Siri，微軟的Cortana個(gè)人語音助手，螞蟻金服的Smile to Pay 掃臉技術(shù)，特別是谷歌AlphaGo人機(jī)大戰(zhàn)獲勝的奇跡等，使機(jī)器學(xué)習(xí)成為計(jì)算機(jī)科學(xué)的一個(gè)新的領(lǐng)域。

圖2　深度學(xué)習(xí)隨著數(shù)據(jù)規(guī)模的增加可提高預(yù)測準(zhǔn)確性

深度學(xué)習(xí)是目前最接近人類大腦的分層智能學(xué)習(xí)方法，通過建立類似于人腦的分層模型結(jié)構(gòu)，突破淺層學(xué)習(xí)的限制，能夠表征復(fù)雜函數(shù)關(guān)系，對(duì)輸入數(shù)據(jù)逐層提取從底層到高層的特征，并且逐層抽象，從而建立從底層簡單特征到高層抽象語義的非線性映射關(guān)系[9]，實(shí)現(xiàn)機(jī)器學(xué)習(xí)智能化的進(jìn)一步提升，成為機(jī)器學(xué)習(xí)的一個(gè)里程碑。

2.2機(jī)器學(xué)習(xí)分類

機(jī)器學(xué)習(xí)，一般根據(jù)處理的數(shù)據(jù)是否存在人為標(biāo)注主要分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)用有標(biāo)簽的數(shù)據(jù)作為最終學(xué)習(xí)目標(biāo)，通常學(xué)習(xí)效果好，但獲取有標(biāo)簽數(shù)據(jù)的代價(jià)是昂貴的，無監(jiān)督學(xué)習(xí)相當(dāng)于自學(xué)習(xí)或自助式學(xué)習(xí)，便于利用更多的數(shù)據(jù)，同時(shí)可能會(huì)發(fā)現(xiàn)數(shù)據(jù)中存在的更多模式的先驗(yàn)知識(shí)(有時(shí)會(huì)超過手工標(biāo)注的模式信息)，但學(xué)習(xí)效率較低。二者的共性是通過建立數(shù)學(xué)模型為最優(yōu)化問題進(jìn)行求解，通常沒有完美的解法。

監(jiān)督學(xué)習(xí)的數(shù)據(jù)集包括初始訓(xùn)練數(shù)據(jù)和人為標(biāo)注目標(biāo)，希望根據(jù)標(biāo)注特征從訓(xùn)練集數(shù)據(jù)中學(xué)習(xí)到對(duì)象劃分的規(guī)則，并應(yīng)用此規(guī)則在測試集數(shù)據(jù)中預(yù)測結(jié)果，輸出有標(biāo)記的學(xué)習(xí)方式。因此，監(jiān)督學(xué)習(xí)的根本目標(biāo)是訓(xùn)練機(jī)器學(xué)習(xí)的泛化能力。監(jiān)督學(xué)習(xí)的典型算法有：邏輯回歸、多層感知機(jī)、卷積神經(jīng)網(wǎng)絡(luò)等；典型應(yīng)用有：回歸分析、任務(wù)分類等。

無監(jiān)督學(xué)習(xí)，用于處理未被分類標(biāo)記的樣本集數(shù)據(jù)并且事先不需要進(jìn)行訓(xùn)練，希望通過學(xué)習(xí)尋求數(shù)據(jù)間的內(nèi)在模式和統(tǒng)計(jì)規(guī)律，從而獲得樣本數(shù)據(jù)的結(jié)構(gòu)特征，因此，無監(jiān)督學(xué)習(xí)的根本目標(biāo)是在學(xué)習(xí)過程中根據(jù)相似性原理進(jìn)行區(qū)分。無監(jiān)督學(xué)習(xí)更近似于人類的學(xué)習(xí)方式，被Andrew Ng譽(yù)為：人工智能最有價(jià)值的地方[10]。無監(jiān)督學(xué)習(xí)的典型算法有自動(dòng)編碼器、受限玻爾茲曼機(jī)、深度置信網(wǎng)絡(luò)等；典型應(yīng)用有：聚類和異常檢測等。

總之，機(jī)器學(xué)習(xí)就是計(jì)算機(jī)在算法的指導(dǎo)下，能夠自動(dòng)學(xué)習(xí)大量輸入數(shù)據(jù)樣本的數(shù)據(jù)結(jié)構(gòu)和內(nèi)在規(guī)律，給機(jī)器賦予一定的智慧，從而對(duì)新樣本進(jìn)行智能識(shí)別，甚至實(shí)現(xiàn)對(duì)未來的預(yù)測。因此，機(jī)器學(xué)習(xí)的一般流程如圖3[11]所示。

3機(jī)器學(xué)習(xí)的經(jīng)典算法

機(jī)器學(xué)習(xí)的目標(biāo)就是在一定的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，構(gòu)建數(shù)學(xué)模型，選擇相應(yīng)的學(xué)習(xí)方式和訓(xùn)練方法，學(xué)習(xí)輸入數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和內(nèi)在模式，不斷調(diào)整網(wǎng)絡(luò)參數(shù)，通過數(shù)學(xué)工具求解模型最優(yōu)化的預(yù)測反饋，提高泛化能力、防止過擬合。機(jī)器學(xué)習(xí)算法主要是指通過數(shù)學(xué)及統(tǒng)計(jì)方法求解最優(yōu)化問題的步驟和過程，下面以機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典的BP算法、卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法來介紹。

圖3　典型的機(jī)器學(xué)習(xí)流程

3.1BP算法

BP算法屬于有監(jiān)督學(xué)習(xí)，該算法的基本原理如圖4[12]所示，圖中為淺層前向型神經(jīng)網(wǎng)絡(luò)計(jì)算模型，包含輸入層、隱藏層和輸出層，由大量神經(jīng)元作為網(wǎng)絡(luò)節(jié)點(diǎn)彼此連接，每個(gè)神經(jīng)元通過激勵(lì)函數(shù)處理作為網(wǎng)絡(luò)權(quán)值的連接強(qiáng)度信號(hào)，通過調(diào)整這些連接強(qiáng)度，將輸入數(shù)據(jù)中包含的模式信息映射到輸出層。

圖4　BP算法工作原理示意圖

由上圖可見，前向傳播的信息流動(dòng)方向?yàn)檩斎雽印[含層→輸出層，其數(shù)學(xué)模型為：

其中，Wi和b是其權(quán)重和偏置參數(shù)，f(W，b；x)：R→R稱為激勵(lì)函數(shù)，實(shí)際應(yīng)用中可選取sigmoid、tanh、ReLU等函數(shù)或其變體形式，hW，b(x)為網(wǎng)絡(luò)輸出值。

后向傳播的方向是：輸出層→隱含層，其數(shù)學(xué)模型為：

從上可得BP算法學(xué)習(xí)過程分為兩個(gè)階段，第一個(gè)階段是信號(hào)的前向傳播，通過網(wǎng)絡(luò)學(xué)習(xí)提取訓(xùn)練樣本的內(nèi)在特征，得到網(wǎng)絡(luò)輸出值；第二階段是誤差的后向傳播，基于最優(yōu)化理論計(jì)算梯度，求解輸出值與期望值的殘差，根據(jù)殘差從后向前調(diào)整網(wǎng)絡(luò)連接強(qiáng)度(即連接權(quán)值和偏置)。之后重復(fù)交替進(jìn)行前向傳播和后向傳播，使網(wǎng)絡(luò)殘差逐漸減少，即網(wǎng)絡(luò)輸出逐漸逼近期望輸出，直到滿足誤差精度為止，此時(shí)網(wǎng)絡(luò)的權(quán)值和偏置即為學(xué)習(xí)到的最終特征。因此，BP算法的本質(zhì)是不斷調(diào)整連接強(qiáng)度，即將網(wǎng)絡(luò)殘差不斷反饋給隱層的全部神經(jīng)元，然后不斷修正各單元的權(quán)值和偏置，逐漸減少殘差，以滿足應(yīng)用要求。

根據(jù)最優(yōu)化問題梯度下降求解方法，梯度法用于代價(jià)函數(shù)一、二階導(dǎo)數(shù)可求解的情形，根據(jù)偏導(dǎo)數(shù)值(或者近似導(dǎo)數(shù)值)一般通過矩陣運(yùn)算實(shí)現(xiàn)算法，計(jì)算開銷大，但收斂速度快。BP算法學(xué)習(xí)過程停止迭代的條件除了判斷代價(jià)函數(shù)值的殘差外，通常還可包括：

1)滿足應(yīng)用要求的最大迭代次數(shù)；

2)迭代步長的絕對(duì)誤差或相對(duì)誤差充分?。?/p>

3)代價(jià)函數(shù)梯度的范數(shù)充分??；

4)梯度的方向?qū)?shù)充分小；

在實(shí)際應(yīng)用中，BP算法可通過最速下降法、牛頓法及其改進(jìn)算法、擬牛頓法及其校正算法等技術(shù)實(shí)現(xiàn)，目前L-BFGS算法應(yīng)用最多，并且多用非精確的線搜索方法完成優(yōu)化，該方法遵循Wolfe準(zhǔn)則和Armijo準(zhǔn)則，保證了代價(jià)函數(shù)的下降與迭代序列收斂的平衡。

BP算法最先應(yīng)用于淺層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，通過求解代價(jià)函數(shù)的最優(yōu)化問題，能夠完美地實(shí)現(xiàn)網(wǎng)絡(luò)的連接強(qiáng)度的不斷調(diào)整、網(wǎng)絡(luò)誤差的持續(xù)優(yōu)化，最終輸出神經(jīng)元之間的最佳權(quán)值。但是，面對(duì)深度網(wǎng)絡(luò)學(xué)習(xí)，則BP算法容易陷入局部最優(yōu)和過擬合的困境，另外，還會(huì)出現(xiàn)由于算法自身實(shí)現(xiàn)應(yīng)用微積分的Chain Rule原理而導(dǎo)致梯度彌散問題，實(shí)際應(yīng)用中應(yīng)該揚(yáng)長避短。

3.2卷積神經(jīng)網(wǎng)絡(luò)

本質(zhì)上，卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的多層前饋神經(jīng)網(wǎng)絡(luò)，但區(qū)別于傳統(tǒng)的全連接前饋神經(jīng)網(wǎng)絡(luò)，CNN具有局部連接和參數(shù)共享的重要特征，參見圖5[13]，從而減少了連接和權(quán)值的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度，提高了計(jì)算效率，特別是網(wǎng)絡(luò)規(guī)模越大、效果越顯著。另外，CNN通過層疊的卷積和下采樣操作自動(dòng)提取具有平移不變性的局部特征[14]。

圖5　全連接與局部連接的比較

從總體結(jié)構(gòu)上看，參見圖6[15]，CNN也是由輸入層、隱藏層和輸出層組成，其中隱含層由多個(gè)成對(duì)的卷積層和降采樣層組成，輸出層為前饋網(wǎng)絡(luò)的全連接方式。網(wǎng)絡(luò)的每層由多個(gè)二維平面組成，每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。

圖6　CNN結(jié)構(gòu)示意圖

CNN的工作原理，主要是基于BP算法的監(jiān)督/無監(jiān)督學(xué)習(xí)模式，BP算法參見3.1，這里主要介紹卷積層和池化層的工作機(jī)制，前者負(fù)責(zé)提取輸入數(shù)據(jù)的卷積特征；后者對(duì)卷積特征進(jìn)行下采樣映射，提高魯棒性。

在卷積層上，根據(jù)視覺局部感受野原理，該層的每個(gè)神經(jīng)元只與前一層網(wǎng)絡(luò)相應(yīng)位置的感受野連接，這樣的局部連接方式有效地減少了網(wǎng)絡(luò)參數(shù)，在本層通過卷積操作生成特征圖，即完成相應(yīng)感受野的圖像局部特征提取；為了進(jìn)一步簡化網(wǎng)絡(luò)參數(shù)，CNN要求當(dāng)前層的一個(gè)卷積核與前一層不同位置連接的權(quán)值相等，即一個(gè)卷積核只提取一種局部特征，從而實(shí)現(xiàn)了網(wǎng)絡(luò)權(quán)值共享，同時(shí)也提高了網(wǎng)絡(luò)學(xué)習(xí)與位置無關(guān)的魯棒性視覺特征提取效果。通過在卷積層設(shè)計(jì)多個(gè)卷積核，CNN就能夠提取多種不同類型的局部特征，逐層抽象出更高層次的特征，通過局部特征的深度學(xué)習(xí)最終抽象出全局整體特征。卷積過程參見圖7的(a)～(c)，實(shí)現(xiàn)了(8×8)的圖像塊經(jīng)過(3×3)大小的卷積核卷積操作生成(6×6)的卷積特征。卷積操作本質(zhì)上是對(duì)圖像信號(hào)進(jìn)行低通濾波處理，反映了濾波器與局部感受野之間的相似性。

卷積操作之后，卷積局部特征緊接著進(jìn)入池化階段，參見圖7的(d)，在池化層上完成特征映射，即對(duì)卷積特征進(jìn)行降采樣操作。根據(jù)CNN局部連接原理，每個(gè)池化層也是由多個(gè)采樣神經(jīng)元組成，每個(gè)單元也是與前一層網(wǎng)絡(luò)相應(yīng)的感受野連接，但與卷積層不同的是，該層神經(jīng)元與前一層局部連接的全部權(quán)值均為固定常量，降采樣通過局部取最大值或取平均值，生成所有局部特征在同一個(gè)濾波器/卷積核上產(chǎn)生響應(yīng)的最大值或平均值，這里為平均池化。

圖7　卷積及池化過程示意圖

通過池化運(yùn)算不但進(jìn)一步降低網(wǎng)絡(luò)規(guī)模，抑制可能出現(xiàn)的過擬合；而且提高了對(duì)輸入樣本及提取特征的畸變魯棒性，同時(shí)保留了顯著特征和移不變性。

對(duì)于多個(gè)隱層的CNN，即為深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型，目前應(yīng)用廣泛，AlphaGo的獲勝DCNN功不可沒。

3.3深度學(xué)習(xí)算法

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)最新發(fā)展。從1943年Warren McCulloch 和 Walter Pitts通過觀察生物神經(jīng)元放電過程提出神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)模型開始，人們一直在研究數(shù)字神經(jīng)網(wǎng)絡(luò)與人類大腦間的關(guān)系，隨著對(duì)生物神經(jīng)科學(xué)和計(jì)算機(jī)技術(shù)深入研究及它們的發(fā)展與應(yīng)用，人們逐漸認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的分層計(jì)算模型與人類大腦結(jié)構(gòu)的特定區(qū)域相對(duì)應(yīng)，見圖8。近年來，深度學(xué)習(xí)模型的研究與應(yīng)用成果也進(jìn)一步證明了這個(gè)事實(shí)。因此，深度學(xué)習(xí)網(wǎng)絡(luò)模型是最接近人類大腦的智能學(xué)習(xí)方法和認(rèn)知過程，這也是其實(shí)踐應(yīng)用的理論依據(jù)。

圖8　人腦視覺皮層與深度學(xué)習(xí)模型的對(duì)應(yīng)關(guān)系[16]

目前深度學(xué)習(xí)網(wǎng)絡(luò)模型種類很多，根據(jù)層次結(jié)構(gòu)，可分為基本模型和整體模型；根據(jù)數(shù)學(xué)特性分類，可分為確定性模型和概率型模型；根據(jù)網(wǎng)絡(luò)連接方式，可分為鄰層連接、跨層連接、環(huán)狀連接深度模型；等等[17]。圖9 為一個(gè)基于棧式自編碼器的深度學(xué)習(xí)分類模型，該模型包含一個(gè)輸入層、兩個(gè)隱藏層和一個(gè)輸出層(softmax分類器層)[18]。各種模型的學(xué)習(xí)算法基本上遵循Hinton提出的——預(yù)訓(xùn)練+微調(diào)整的規(guī)則[19]。

圖9　基于棧式自編碼器的深度學(xué)習(xí)分類模型

因此，深度學(xué)習(xí)算法的核心思想是：自底向上通過無監(jiān)督數(shù)據(jù)逐層訓(xùn)練及非線性變換提取訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)特征，從而實(shí)現(xiàn)其中內(nèi)在模式的持續(xù)進(jìn)化、建立起從底層信號(hào)到高層語義的映射關(guān)系，從而完成網(wǎng)絡(luò)初始化；然后自頂向下通過監(jiān)督學(xué)習(xí)進(jìn)行優(yōu)化迭代計(jì)算，完成網(wǎng)絡(luò)的整體調(diào)優(yōu)。

下面以常見的貪婪逐層訓(xùn)練為例說明深度學(xué)習(xí)算法的過程：

1.從輸入層輸入無標(biāo)注的訓(xùn)練數(shù)據(jù)，訓(xùn)練出第一個(gè)隱層的網(wǎng)絡(luò)參數(shù)，激活該參數(shù)作為第一個(gè)隱層的輸出。

2.用第一個(gè)隱層的輸出作為第二個(gè)隱層的輸入，同理訓(xùn)練出第二個(gè)隱層的輸出。

重復(fù)該步驟，直到訓(xùn)練出所有隱層的輸出。

3.用最后隱層的輸出作為輸出層模型的輸入，應(yīng)用有標(biāo)簽的測試數(shù)據(jù)來訓(xùn)練該層的網(wǎng)絡(luò)參數(shù)。

4.整合所有隱層和輸出層模型的網(wǎng)絡(luò)參數(shù)作為一個(gè)整體(視為一個(gè)網(wǎng)絡(luò)學(xué)習(xí)模型的參數(shù))，用該值對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化。

5.通過最優(yōu)化理論迭代求解整個(gè)網(wǎng)絡(luò)的代價(jià)函數(shù)，對(duì)全部網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，最終得到整個(gè)網(wǎng)絡(luò)的優(yōu)化參數(shù)，使用該參數(shù)可以進(jìn)行后續(xù)的分類或預(yù)測等工作。

通過深度學(xué)習(xí)的研究與應(yīng)用，機(jī)器學(xué)習(xí)已經(jīng)展示出強(qiáng)大的自我學(xué)習(xí)能力，實(shí)現(xiàn)全局特征和分布式特征的提取，從而推進(jìn)人工智能里程碑式發(fā)展。

在興奮之余，我們應(yīng)該清醒地認(rèn)識(shí)到：當(dāng)前深度學(xué)習(xí)的某些應(yīng)用成功，主要得益于計(jì)算能力和大數(shù)據(jù)(今后對(duì)二者的依賴還會(huì)更加嚴(yán)重，AlphaGo使用了不少于280個(gè)GPU和1920個(gè)CPU)，而這個(gè)通常被視為黑盒的網(wǎng)絡(luò)模型在基礎(chǔ)理論、模型設(shè)計(jì)和學(xué)習(xí)方法等方面沒有實(shí)質(zhì)性的突破，大部分學(xué)習(xí)還是依賴監(jiān)督學(xué)習(xí)和BP算法、大多數(shù)結(jié)論還由經(jīng)驗(yàn)獲得，由于模型自身的原因?qū)е码y于實(shí)現(xiàn)全局收斂。特別地，深度學(xué)習(xí)需要完善的理論來支撐[20]。

4機(jī)器學(xué)習(xí)的研究進(jìn)展和愿景

4.1機(jī)器學(xué)習(xí)的研究近況

隨著機(jī)器學(xué)習(xí)的深入研究與應(yīng)用，新的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法不斷涌現(xiàn)，進(jìn)一步推進(jìn)了機(jī)器學(xué)習(xí)的發(fā)展。下面主要從模型結(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)設(shè)計(jì)、學(xué)習(xí)算法兩方面對(duì)近幾年機(jī)器學(xué)習(xí)的研究進(jìn)展進(jìn)行介紹。

4.1.1模型結(jié)構(gòu)及網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

Liu Yan等人[21]等提出一種半監(jiān)督可識(shí)別深度置信網(wǎng)絡(luò)算法(DDBNs)并成功應(yīng)用于圖像的分類。Luo等人[22]提出稀疏組受限波爾曼機(jī)(SGRBM)算法，通過實(shí)驗(yàn)表明該算法可以提取更局部的特征、提高識(shí)別率。Yu Dong等人[23]提出一種深度凸起網(wǎng)絡(luò)(DCN)算法，并用于構(gòu)建語音分類的可擴(kuò)展體系。Huang等人[24]提出一種通過局部卷積深度置信網(wǎng)絡(luò)模型學(xué)習(xí)圖像總體結(jié)構(gòu)特征的方法，并在人臉數(shù)據(jù)庫測試通過，取得良好效果。Larochelle[25]提出改進(jìn)RBM的Class RBM算法，實(shí)現(xiàn)在不訓(xùn)練分類器的前提下，提高在線實(shí)時(shí)監(jiān)測學(xué)習(xí)特征的識(shí)別性能。Zhou等人[26]提出一種半監(jiān)督卷積深度網(wǎng)絡(luò)(CDN)算法，可用于圖像分類。Mrazova等人[27]提出一種增長式CNN，實(shí)現(xiàn)快速自動(dòng)調(diào)整網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、有效處理高維數(shù)據(jù)、逐層迭代提取高級(jí)抽象特征。Kaiming He等人[28]提出一種空間金字塔池化CNN算法，實(shí)現(xiàn)不同尺寸圖像的識(shí)別。

4.1.2學(xué)習(xí)方法

Wong等人[29]提出一種基于Fisher準(zhǔn)則、運(yùn)用正則化要求進(jìn)行深度學(xué)習(xí)提取特征的算法(RDFM)，通過實(shí)驗(yàn)表明該方法比核應(yīng)運(yùn)具有更強(qiáng)的特征識(shí)別能力、微調(diào)(Fine-tuning)階段正則化應(yīng)用的必要性。Collobert[30]提出一種根據(jù)深度卷積遞歸圖變換網(wǎng)絡(luò)(GTN)進(jìn)行快速自然語言解析的算法，在保持性能的同時(shí)，提高了解析速度。Hinton[31]提出通過阻止特征檢測器網(wǎng)絡(luò)權(quán)值的相互作用來改善神經(jīng)網(wǎng)絡(luò)的性能。Duchi等人[32]提出一種自適應(yīng)次梯度方法用于在線學(xué)習(xí)和隨機(jī)優(yōu)化。孫志軍等人[33]提出一種基于邊際Fisher準(zhǔn)則的深度學(xué)習(xí)特征提取算法。Zhou等人[34]提出一種半監(jiān)督活躍深度網(wǎng)絡(luò)(ADN)算法，用于解決標(biāo)記數(shù)據(jù)不足的情感分類問題。Tom等人[35]提出用于語句情感分類的高級(jí)深度學(xué)習(xí)算法。Schaul 等人[36]提出一種學(xué)習(xí)率自適應(yīng)方法。

4.2機(jī)器學(xué)習(xí)的愿景及應(yīng)用

最近，引世人關(guān)注的人機(jī)大戰(zhàn)以AlphaGo以4：1勝利而告終，這為世人所震撼驚嘆的同時(shí)，更讓人感受到機(jī)器學(xué)習(xí)的強(qiáng)大威力，更昭示出機(jī)器學(xué)習(xí)研究與應(yīng)用的燦爛前景。

以此為契機(jī)，機(jī)器學(xué)習(xí)理論研究將會(huì)成為一個(gè)新的熱點(diǎn)，在認(rèn)知計(jì)算、類腦計(jì)算的支撐下將促進(jìn)機(jī)器學(xué)習(xí)向更高階段發(fā)展，在此基礎(chǔ)上將會(huì)出現(xiàn)性能更好、結(jié)構(gòu)優(yōu)化、學(xué)習(xí)高效、功能強(qiáng)大的機(jī)器模型，非監(jiān)督機(jī)器學(xué)習(xí)將會(huì)取得實(shí)質(zhì)性的進(jìn)展。機(jī)器學(xué)習(xí)的自主學(xué)習(xí)能力將進(jìn)一步提高，逐漸跨越弱人工智能階段，不斷提高智能性。機(jī)器學(xué)習(xí)將向人類的學(xué)習(xí)、認(rèn)知、理解、思考、推理和預(yù)測能力邁進(jìn)，必將推動(dòng)人工智能及整個(gè)科學(xué)技術(shù)的邁向更高臺(tái)階。

隨著機(jī)器學(xué)習(xí)與大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)的深度融合，將會(huì)掀起一場新的數(shù)字化技術(shù)革命，借助自然語言理解、情感及行為理解將會(huì)開啟更加友好的人機(jī)交互新界面、自動(dòng)駕駛汽車將成為現(xiàn)實(shí)，我們的工作、生活中將出現(xiàn)更多的智能機(jī)器人，在醫(yī)療、金融、教育等行業(yè)將能夠給我們提供更多智能化、個(gè)性化服務(wù)定制服務(wù)，……，機(jī)器學(xué)習(xí)一定會(huì)造福于我們整個(gè)人類，使明天的生活更美好！

5機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)

目前，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)領(lǐng)域的研究與應(yīng)用取得巨大進(jìn)展有目共睹，有力地推動(dòng)了人工智能的發(fā)展。但是也應(yīng)該看到，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)前沿畢竟還是一個(gè)新生事物，多數(shù)結(jié)論是通過實(shí)驗(yàn)或經(jīng)驗(yàn)獲得，還有待于理論的深入研究與支持。CNN的推動(dòng)者和創(chuàng)始人之一的美國紐約大學(xué)教授Yann LeCun在2015 IEEE計(jì)算機(jī)視覺與模式識(shí)別會(huì)議上指出深度學(xué)習(xí)的幾個(gè)關(guān)鍵限制：缺乏背后工作的理論基礎(chǔ)和推理機(jī)制；缺乏短期記憶；不能進(jìn)行無監(jiān)督學(xué)習(xí)[37]。

另外，基于多層人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)受到人類大腦皮層分層工作的啟發(fā)，雖然深度學(xué)習(xí)是目前最接近人類大腦的智能學(xué)習(xí)方法，但是當(dāng)前的深度網(wǎng)絡(luò)在結(jié)構(gòu)、功能、機(jī)制上都與人腦有較大的差距。并且對(duì)大腦皮層本身的結(jié)構(gòu)與機(jī)理還缺乏精準(zhǔn)認(rèn)知，如果要真正模擬人腦的100多億個(gè)神經(jīng)元組成的神經(jīng)系統(tǒng)，目前還難以實(shí)現(xiàn)。因此，對(duì)計(jì)算神經(jīng)科學(xué)的研究也需要有很長一段路要走。

還有，機(jī)器學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)、算法及參數(shù)越發(fā)龐大、復(fù)雜，通常只有在大數(shù)據(jù)量、大計(jì)算量支持下才能訓(xùn)練出精準(zhǔn)的模型，對(duì)運(yùn)行環(huán)境要求越來越高、占用資源也越來越多，這也抬高了其應(yīng)用門檻。

總之，機(jī)器學(xué)習(xí)方興未艾并且擁有廣闊的研究與應(yīng)用前景，但是面臨的挑戰(zhàn)也不容忽視，二者交相輝映才能夠把機(jī)器學(xué)習(xí)推向更高的境界。

6結(jié)束語

本文對(duì)機(jī)器學(xué)習(xí)進(jìn)行了較為全面介紹，包括機(jī)器學(xué)習(xí)的概念，發(fā)展簡史及分類，重點(diǎn)分析了機(jī)器學(xué)習(xí)的經(jīng)典算法，還介紹了機(jī)器學(xué)習(xí)的最新研究進(jìn)展、愿景和應(yīng)用，最后探討了機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)。毋庸諱言，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)作為人工智能的一個(gè)重要分支，目前在諸多領(lǐng)域取得了巨大進(jìn)展，并且展示出強(qiáng)大的發(fā)展?jié)摿?，但是更?yīng)該看到，人工智能仍然處理初級(jí)階段，機(jī)器學(xué)習(xí)仍然主要依賴監(jiān)督學(xué)習(xí)，還沒有跨越弱人工智能，并且作為機(jī)器學(xué)習(xí)模型基礎(chǔ)的人腦認(rèn)知研究還有諸多空白需要填補(bǔ)、機(jī)器學(xué)習(xí)理論本身亟需新的突破、計(jì)算機(jī)科學(xué)技術(shù)及相關(guān)學(xué)科領(lǐng)域的發(fā)展與支撐與有待于進(jìn)一步加強(qiáng)，因此，對(duì)于機(jī)器學(xué)習(xí)，我們要走的路一定很長、很長。

令人欣喜的是機(jī)器學(xué)習(xí)已經(jīng)成為全人類共同矚目、發(fā)力的研究與應(yīng)用領(lǐng)域，并且已經(jīng)上升為國家戰(zhàn)略。2013-2014年，美國、歐盟和日本先后啟動(dòng)了國家大型腦研究計(jì)劃；中國未來五年計(jì)劃實(shí)施的100個(gè)重大工程及項(xiàng)目中“腦科學(xué)與類腦研究”名列第四。因此，可以預(yù)見機(jī)器學(xué)習(xí)的道路是曲折的，前途是光明的！

參考文獻(xiàn)

[1]王琦，操曉春.中國計(jì)算機(jī)學(xué)會(huì)通訊[J].2015，P60-62.

[2]WarrenS McCulloch and Walter Pitts.A logical calculus of the ideas immanentin nervous activity.The bulletin of mathematical biophysics，1943，5(4)：115-133.

[3]Hopfield J J.Neural Networks and Physical Systems with Emergent Collective Computational Abilities，Proc Natl Acad Sci.USA，1982，(79)：2254-2558.

[4]D E Rumelhart，G E Hinton，R J Williams.Learning internal representations by error propagation.Nature ，1986，323(99)：533-536.

[5]http：//deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial.

[6]http：//blog.csdn.net/datoubo/article/details/8577366.

[7]Geoffery E Hinton，Salakhutdinov RR.Reducing the dimensionality of data with neural networks.Science， 2006，313(5786)：504-7.

[8]http：//www.ccf.org.cn/sites/ccf/xhdtnry.jsp？contentId=2873667830199.

[9]王琦，操曉春.中國計(jì)算機(jī)學(xué)會(huì)通訊[J].2015，P60-62.

[10]http：//tech.163.com/16/0229/07/BGVMTLGA000915BF.html.

[11]http：//nkonst.com/machine-learning-explained-simple-words/.

[12]UFLDL Tutorial，http：//deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial.

[13] http：//blog.csdn.net/zouxy09/article/details/8781543/.

[14]黃永禎，王亮.中國計(jì)算機(jī)學(xué)會(huì)通訊[J].2015，27-31.

[15]http：//www.duzelong.com/wordpress/wp-content/uploads/2015/10/CNN12.jpg.

[16]Machine Learning and AI via Brain Simulations_Andrew Ng.pdf.

[17]謝劍斌.視覺機(jī)器學(xué)習(xí)20講[M].北京：清華大學(xué)出版社，2015，209-212.

[18]http：//deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial.

[19]Geoffrey E Hinton，Simon Osindero，Yee-Whye Teh.A Fast Learning Algorithm for Deep Belief Nets[J].Neural Computation，2006，18(7)：1527-1554.

[20]李國杰.計(jì)算機(jī)學(xué)會(huì)通訊[J].2015，P7.

[21]Liu Yan，Zhou Shu-sen，Chen Qing-cai.Discriminative Deep Belief Networks for Visual Data Classification[J].Pattern Recognition，2010，44(10)：2287-2297.

[22]Luo H，Shen R，Niu C，etal.Sparse Group Restricted Boltzmann Machines[C] //Proceedings of the AAAI，2011.

[23]Yu Dong，Deng Li.Deep Convex net：a Scalable Architecture for Speech Pattern Classification[C] //Proc of the 12th Annual Conference of International Speech Commnication Association.2011：2296-2299.

[24]Huang G B，Lee H，LEARNED-MILLER E.Learning Hierarchical Representations for Face Verification with Convolutional Deep Belief Net-works[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2012：2518-2525.

[25]Larochelle H，Mandel M，Pascanu R，etal.Learning Algorithm for the Classification Restricted Boltzmann Machine[J].Journal of Machine Learning Research，2012，13：643-669.

[26]Zhou Shu-sen，Chen Qing-cai，Wang Xiao-long.Convolutional Deep Networks for Visual Data Classification[J].Neural Process Lett，2013，38：17-27.

[27]Mrazova I，Kukacka M.Image Classification with Growing Neural Networks[J].International Journal of Computer Theory&Engineering，2013，5(3)：422-427.

[28]He K，Zhang X，Ren S，etal.Spatial Pyramid Pooling[M] //Computer Vision-ECCV 2014：13th European Conference，Zurich，Switzerland，Set 6-12，2014，Proceedings，Part Ⅲ，2014：346-361.

[29]Wong W K，Sun M.Deep Learning Regularized Fisher Mappings[J].IEEE Trans on Neural Networks，2011，22(10)：1668-1675.

[30]Collobert RT R.Deep Learning for Efficient Discriminative Parsing[C] //Proc of the 14th International Conference on Artificial Intelligence and Statistics.2011：224-232.

[31]Hinton G E，Srivastava N，Krizhevsky A，etal.Improving Neural Networks by Preventing Co-adaption of Features Detectors[J].arXiv Preprint arXiv：1207，2012.

[32]Duchi J，Hazan E，Singer Y.Adaptive Subgradient Methods for Online Learning and Stochastic Optimization[J].Journal of Machine Learning Research，2011，12(2)：2121-2159.

[33]孫志軍，薛磊，許陽明.基于深度學(xué)習(xí)的邊際Fisher分析特征提取算法[J].電子與信息學(xué)報(bào)，2013，35(4)：805：811.

[34]Zhou Shu-sen，Chen Qing-cai，Wang Xiao-long.Active Deep Learning Method for Semi-supervised Sentiment Classification[J].NeuroComputing，2013，120：536-547.

[35]Tom A.Stanford Algorithm Analyzes Sentenence Sentiment，Advanced Machine Learning[N].Stanford University，2013.

[36]SCHAUL T，ZHANG S，Le CUN Y.No More Pesky Learning Rates[C] //Proc of International Conference on Machine Learning.2013：343-351.

[37]王井東，張婷，羅杰波.中國計(jì)算機(jī)學(xué)會(huì)通訊.2015，P72.

(責(zé)任編輯：馬玉鳳)

Research on Machine Learning with Algorithm and Development

ZHANG Run，WANG Yong-bin

(Center of Computer and Network，Communication University of China，Beijing 100024)

Abstract：Machine learning(ML)has made great progress now and is playing a more and more important role in AI，it’s needful to know well about ML.For this purpose，this paper attempted to provide novices with a guide，so it introduced ML systematically.Firstly，this article presented the concept，brief history of development and classification of ML.Secondly，we focused on the three classical algorithm of ML，including BP，CNN，DP.Thirdly，it introduced the latest research，vision and application of ML.Finally，it concluded the challenges of ML.

Keywords：machine learning；visual cortex；BP；CNN；deep learning

收稿日期：2016-02-02

作者簡介：張潤(1970-)，男(漢族)，河北人，中國傳媒大學(xué)副教.E-mail：zrun@cuc.edu.cn

中圖分類號(hào)：TP181

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1673-4793(2016)02-0010-10