AI發(fā)展的三個(gè)火槍手

何寶宏

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，隨著AI的發(fā)展，新數(shù)據(jù)、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，隨著AI的發(fā)展，新數(shù)據(jù)、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

三大主力推進(jìn)AI發(fā)展

第一大主力就是改進(jìn)的算法。

神經(jīng)網(wǎng)絡(luò)誕生于上世紀(jì)60年代，最初只包括輸入層、隱藏層和輸出層。輸入層和輸出層通常由應(yīng)用決定，隱藏層包含神經(jīng)元可供訓(xùn)練。2006年，Geoffrey Hinton的團(tuán)隊(duì)在《科學(xué)》上發(fā)表了一篇文章，提出了深度學(xué)習(xí)的概念，指出可以用更多隱藏層做算法訓(xùn)練，因?yàn)閷?shí)驗(yàn)效果顯著，開啟了學(xué)界和產(chǎn)業(yè)界AI的新浪潮。相比傳統(tǒng)的機(jī)器學(xué)習(xí)，深度學(xué)習(xí)可以讓機(jī)器自動(dòng)學(xué)習(xí)，無需人工事先設(shè)定。另外，針對(duì)不同的應(yīng)用場(chǎng)景，傳統(tǒng)機(jī)器學(xué)習(xí)算法需要把軟件代碼重寫一邊，而深度學(xué)習(xí)只需要調(diào)整參數(shù)就能改變模型。這好比計(jì)算機(jī)的可編程性，早期指“硬件編程”，現(xiàn)在則指軟件編程；早期機(jī)器學(xué)習(xí)是軟件編程，深度學(xué)習(xí)則是“參數(shù)編程”。

第二大主力則是海量的數(shù)據(jù)。

深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的，用數(shù)據(jù)來做訓(xùn)練。一般而言，學(xué)習(xí)的深度越深和廣度越大，需要的數(shù)據(jù)量就越大，需要的數(shù)據(jù)種類就越多。深度學(xué)習(xí)與大數(shù)據(jù)有交叉但不重疊。深度學(xué)習(xí)強(qiáng)調(diào)的是算法，大數(shù)據(jù)強(qiáng)調(diào)的資源，而算法是用于處理數(shù)據(jù)的。

深度學(xué)習(xí)的訓(xùn)練分兩種。一種是有監(jiān)督的，就是人工為數(shù)據(jù)加了標(biāo)簽，計(jì)算機(jī)知道正確答案，這種方法的缺點(diǎn)是，現(xiàn)實(shí)世界中被打了標(biāo)簽的數(shù)據(jù)太少了。另外一種是無監(jiān)督的，只有數(shù)據(jù)沒有人工的標(biāo)簽，計(jì)算機(jī)不知道正確答案就可以訓(xùn)練。

最后的主力則是老硬件的新應(yīng)用。

AI的新算法和新數(shù)據(jù)，都以大幅增加對(duì)計(jì)算資源的消耗為前提。業(yè)界找到的新動(dòng)力，或者說新的計(jì)算資源，就是GPU（圖形處理單元）。60多年來AI市場(chǎng)規(guī)模一直很小，支撐不起AI專用芯片的市場(chǎng)。因此早期的機(jī)器學(xué)習(xí)，只能基于廉價(jià)而廣泛存在的CPU提供計(jì)算資源，CPU是通用處理器，要兼顧計(jì)算密集型和數(shù)據(jù)密集型應(yīng)用。CPU為了照顧數(shù)據(jù)密集型的應(yīng)用，設(shè)計(jì)了很多緩存，相應(yīng)的計(jì)算能力就被削弱了。

GPU誕生于上世紀(jì)90年代，設(shè)計(jì)專用于高并發(fā)計(jì)算、大量浮點(diǎn)計(jì)算和矩陣計(jì)算能力的視頻游戲和圖形渲染等應(yīng)用，即計(jì)算密集型應(yīng)用。深度學(xué)習(xí)正好就是計(jì)算密集型的。在2008年-2012年，業(yè)界逐步摸索到了，如何將深度學(xué)習(xí)與GPU有機(jī)結(jié)合起來的工程方法，直接將深度學(xué)習(xí)的速度加快了數(shù)百倍，讓產(chǎn)業(yè)界看到了把AI實(shí)用化的希望。

GPU之于AI，就像x86之于PC、ARM之于智能手機(jī)，前者是供給側(cè)，后者是需求側(cè)。

AI外圍的“三股勢(shì)力”

如果說，新數(shù)據(jù)、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。那么，云計(jì)算、開源和摩爾定律就是AI外圍最重要的“三股勢(shì)力”，同樣至關(guān)重要。

經(jīng)過10年的發(fā)展，云計(jì)算已經(jīng)走過了概念驗(yàn)證（POC）的階段，進(jìn)入了規(guī)模落地的時(shí)期，正在發(fā)展成為新時(shí)期的關(guān)鍵信息基礎(chǔ)設(shè)施。云計(jì)算就像20多年前TCP/IP那樣，正在改變這個(gè)世界。云計(jì)算不僅直接推動(dòng)了大數(shù)據(jù)的興起，也正在讓AI as a Service（AaaS） 成為現(xiàn)實(shí)。產(chǎn)業(yè)界云計(jì)算“大佬”紛紛推出“GPU/FPGA/算法/數(shù)據(jù)as a Service”業(yè)務(wù)，可以通過云端直接租用資源，方便用戶做深度學(xué)習(xí)。

如果說20多年前以Linux為代表的開源主要是在模仿商業(yè)軟件的做法，那么今天開源已經(jīng)能夠引領(lǐng)技術(shù)發(fā)展的潮流了。近10年來，不僅是軟件定義世界，而且是開源軟件定義世界。如果說2017年AI技術(shù)最大的變化是專用硬件的設(shè)計(jì)潮，那么2016年AI技術(shù)的最大變化則是巨頭們紛紛開源了深度學(xué)習(xí)框架，比如Facebook的Torch和Caffe，谷歌的Tensorflow，亞馬遜的MXnet，微軟的CNTK，IBM的SystemML等。10年前，Google開源了Android操作系統(tǒng)，成功打造了智能手機(jī)的Android生態(tài)。現(xiàn)在，Google等紛紛開源AI框架，希望打造“AI優(yōu)先”時(shí)代的新生態(tài)，重現(xiàn)往日輝煌。

摩爾定律說，同樣成本每隔18個(gè)月晶體管數(shù)量會(huì)翻倍，反過來同樣數(shù)量晶體管成本會(huì)減半。50多年來，半導(dǎo)體行業(yè)的發(fā)展一直遵循著摩爾定律，并且已經(jīng)擴(kuò)展到了存儲(chǔ)、功耗、帶寬和像素等。當(dāng)今世界約有30多億人使用的智能手機(jī)，每部的性能都超過上世紀(jì)80年代占據(jù)整個(gè)房間的超級(jí)計(jì)算機(jī)。近年來摩爾定律雖然有所減速，但仍然是CPU、GPU和TPU等快速發(fā)展的基礎(chǔ)。雖然Google號(hào)稱TPU把摩爾定律加速了7年，但摩爾定律仍然支配著CPU、GPU和TPU的性能曲線。endprint