青山遮不住，畢竟東流去

張志華

深度學(xué)習(xí)這個(gè)術(shù)語(yǔ)自2006年被正式提出后，在最近10年得到了巨大發(fā)展。它使人工智能（AI）產(chǎn)生了革命性的突破，讓我們切實(shí)地領(lǐng)略到人工智能給人類生活帶來(lái)改變的潛力。2016年12月，麻省理工大學(xué)出版社出版了Ian Goodfellow、Yoshua Bengio和Aaron Courville三位學(xué)者撰寫(xiě)的《深度學(xué)習(xí)》（Deep Learning）一書(shū)。三位作者一直耕耘于機(jī)器學(xué)習(xí)領(lǐng)域的前沿，引領(lǐng)了深度學(xué)習(xí)的發(fā)展潮流，是深度學(xué)習(xí)眾多方法的主要貢獻(xiàn)者。該書(shū)正應(yīng)其時(shí)，一經(jīng)出版就風(fēng)靡全球。

該書(shū)包括三個(gè)部分，第一部分介紹基本的數(shù)學(xué)工具和機(jī)器學(xué)習(xí)的概念，它們是深度學(xué)習(xí)的預(yù)備知識(shí)。第二部分系統(tǒng)深入地講解現(xiàn)今已成熟的深度學(xué)習(xí)方法和技術(shù)。第三部分討論某些具有前瞻性的方向和想法，它們被公認(rèn)為是深度學(xué)習(xí)未來(lái)的研究重點(diǎn)。因此，該書(shū)適用于不同層次的讀者。我本人在閱讀該書(shū)時(shí)受到啟發(fā)良多，大有裨益，并采用該書(shū)作為教材在北京大學(xué)講授深度學(xué)習(xí)課程。

這是一本涵蓋深度學(xué)習(xí)技術(shù)細(xì)節(jié)的教科書(shū)，書(shū)中也蘊(yùn)含了作者對(duì)深度學(xué)習(xí)的理解和思考，處處閃爍著深刻的思想，耐人回味。

作者在書(shū)中寫(xiě)到：“人工智能的真正挑戰(zhàn)在于解決那些對(duì)人來(lái)說(shuō)很容易執(zhí)行、但很難形式化描述的任務(wù)，比如識(shí)別人們所說(shuō)的話或圖像中的臉。對(duì)于這些問(wèn)題，我們?nèi)祟愅梢詰{直覺(jué)輕易地解決?！睘榱藨?yīng)對(duì)這些挑戰(zhàn)，他們提出讓計(jì)算機(jī)從經(jīng)驗(yàn)中學(xué)習(xí)，并根據(jù)層次化的概念體系來(lái)理解世界，而每個(gè)概念通過(guò)與某些相對(duì)簡(jiǎn)單的概念之間的關(guān)系來(lái)定義。由此，作者給出了深度學(xué)習(xí)的定義：“層次化的概念讓計(jì)算機(jī)構(gòu)建較簡(jiǎn)單的概念來(lái)學(xué)習(xí)復(fù)雜概念。如果繪制出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張‘深（層次很多）的圖。由此，我們稱這種方法為AI深度學(xué)習(xí)?！?/p>

作者指出：“一般認(rèn)為，到目前為止深度學(xué)習(xí)已經(jīng)經(jīng)歷了三次發(fā)展浪潮：20世紀(jì)40年代到60年代深度學(xué)習(xí)的雛形出現(xiàn)在控制論（cybernetics）中，20世紀(jì)80年代到90年代深度學(xué)習(xí)以聯(lián)結(jié)主義（connectionism）為代表，而從2006年開(kāi)始，以深度學(xué)習(xí)之名復(fù)興?！?/p>

談到深度學(xué)習(xí)與腦科學(xué)或者神經(jīng)科學(xué)的關(guān)系，作者強(qiáng)調(diào)：“如今神經(jīng)科學(xué)在深度學(xué)習(xí)研究中的作用被削弱，主要原因是我們根本沒(méi)有足夠的關(guān)于大腦的信息作為指導(dǎo)去使用它。要獲得對(duì)被大腦實(shí)際使用算法的深刻理解，我們需要有能力同時(shí)監(jiān)測(cè)（至少是）數(shù)千相連神經(jīng)元的活動(dòng)。我們不能夠做到這一點(diǎn)，所以我們甚至連大腦最簡(jiǎn)單、最深入研究的部分都還遠(yuǎn)遠(yuǎn)沒(méi)有理解。”值得注意的是，我國(guó)有些專家熱衷倡導(dǎo)人工智能與腦科學(xué)或認(rèn)知學(xué)科的交叉研究，推動(dòng)國(guó)家在所謂的“類腦智能”等領(lǐng)域投入大量資源。且不論我國(guó)是否真有同時(shí)精通人工智能和腦科學(xué)或認(rèn)知心理學(xué)的學(xué)者，至少對(duì)交叉領(lǐng)域，我們都應(yīng)該懷著務(wù)實(shí)、理性的求是態(tài)度。唯有如此，我們才有可能在這一波人工智能發(fā)展浪潮中有所作為，而不是又成為一群觀潮人。

深度學(xué)習(xí)和人工智能不是飄懸在我們頭頂?shù)目蚣?，而是立足于我們腳下的技術(shù)。我們誠(chéng)然可以從哲學(xué)層面或角度來(lái)欣賞科學(xué)與技術(shù)，但過(guò)度地從哲學(xué)層面來(lái)研究科學(xué)問(wèn)題只會(huì)導(dǎo)致一些空洞的名詞。關(guān)于人工神經(jīng)網(wǎng)絡(luò)在20世紀(jì)90年代中期的衰落，作者分析到：“基于神經(jīng)網(wǎng)絡(luò)和其他AI技術(shù)的創(chuàng)業(yè)公司開(kāi)始尋求投資，其做法野心勃勃但不切實(shí)際。當(dāng)AI研究不能實(shí)現(xiàn)這些不合理的期望時(shí)，投資者感到失望。同時(shí)，機(jī)器學(xué)習(xí)的其他領(lǐng)域取得了進(jìn)步。比如，核方法和圖模型都在很多重要任務(wù)上實(shí)現(xiàn)了很好的效果。這兩個(gè)因素導(dǎo)致了神經(jīng)網(wǎng)絡(luò)熱潮的第二次衰退，并一直持續(xù)到2007年。”

“其興也悖焉，其亡也忽焉”。這個(gè)教訓(xùn)也同樣值得當(dāng)今基于深度學(xué)習(xí)的創(chuàng)業(yè)界、工業(yè)界和學(xué)術(shù)界等警醒。