如何做嵌入式人工智能

張先軼

澎峰科技是中科院的技術(shù)團隊，做過國際知名的開源矩陣計算庫OpenBLAS，獲得過中國計算機學(xué)會科技進步二等獎、中國科學(xué)院杰出科技成就獎，是國家高新技術(shù)企業(yè)、中關(guān)村高科技企業(yè)、中關(guān)村金種子企業(yè)。澎峰科技的主要業(yè)務(wù)是嵌入式AI解決方案，包括高性價比智能硬件、高性能視頻處理、低功耗IoT，為互聯(lián)網(wǎng)客戶、安防客戶、學(xué)校等提供服務(wù)。

什么叫嵌入式人工智能，或者說端上智能呢？其實并不是在嵌入或在設(shè)備端來訓(xùn)練深度學(xué)習(xí)模型，在部署階段，我們的模型在服務(wù)器內(nèi)訓(xùn)練，但是在實際使用的過程中，是在云端做部署，還是在端上設(shè)備做部署，兩者會有很大的差異。大家見的比較多的是在云端做部署，比如很多API通過網(wǎng)絡(luò)的方式上傳圖片，在云上計算并返回結(jié)果。使用嵌入式端部署的話，模型可能傳輸?shù)搅耸謾C上，在此基礎(chǔ)上可以做圖像識別和處理功能，另外也可以傳輸?shù)綗o人機上或智能攝像頭上。

以抖音為例，里面有個美顏直播功能，當人臉動的時候，美顏的畫像其實一直跟著人臉動，同時也有很多特效，這個就是嵌入式非常典型的應(yīng)用。那么為什么不是拍好一段視頻上傳到云端，再做美顏呢？因為如果上傳到云端再處理，交互性會非常差，無法讓用戶實時看到效果，成本也比較高。因此，所有的效果全部在手機端完成，交互性會更好。這里主要用到了三個算法：一是人臉檢測，先找到人的臉;二是識別人臉關(guān)鍵點，找到人的鼻子在哪兒，眼睛在哪兒;三是做一些貼圖，比如眼鏡或小貓的貼圖，不管人臉怎么動，甚至是旋轉(zhuǎn)，貼圖都可以時刻貼合人臉。

但是真正做嵌入式系統(tǒng)的時候會遇到一些挑戰(zhàn)，最主要的挑戰(zhàn)是運行速度。有些模型太大，是很難傳輸?shù)绞謾C上的，通常好幾秒才能處理一張圖像，或者功耗太高了，可能手機錄一會兒就沒電了，這些都是我們遇到過的挑戰(zhàn)。要應(yīng)對這種挑戰(zhàn)，一般來說要從硬件、軟件、算法三個方面共同努力，才能把嵌入式AI部署好。

介紹一下高性價比ARM SoC AI方案。以人臉識別為例，高性價比人臉識別設(shè)備支持本地2萬張人臉庫，聯(lián)網(wǎng)抓拍模式可支持5萬人臉庫，識別時間在0.2秒以內(nèi)。大家知道Caffe、Tensorflow框架，很多大公司做了很多服務(wù)器的訓(xùn)練框架，用來訓(xùn)練模型，但是訓(xùn)練完去部署的時候，如果還是照搬安裝在手機上，其實非常耗資源，也非常笨拙。

現(xiàn)在有專門針對嵌入式平臺的前向推理框架，前向推理框架的主要功能有五個方面。一是設(shè)備管理，一般來說嵌入式系統(tǒng)都是異構(gòu)系統(tǒng)，不只是CPU，可能還有GPU、IPG或DSP，手機芯片里面有DSP，也可以用DSP做深度學(xué)習(xí)計算。二是除了異構(gòu)性管理以外，還涉及模型管理。三是內(nèi)存管理和存儲格式，需要考慮以內(nèi)存占用優(yōu)先還是以性能優(yōu)先。手機的內(nèi)存通常很充足，但是一些更小的嵌入式設(shè)備、IoT級別的設(shè)備，內(nèi)存非常受限，那就需要重點考慮。四是層級融合，從性能優(yōu)化的角度來提升速度。五是實現(xiàn)方法選擇。比如卷積，卷積是AI操作中非常重要的一部分操作，怎么做卷積最快有很多門道，卷積的實現(xiàn)方法有三到四種，要求底層的優(yōu)化與上層的框架實現(xiàn)互相配合，而且要針對所調(diào)用的模型，根據(jù)效果做試配?？梢酝ㄟ^性能評測看到結(jié)果，很多平臺上都可以做性能評測。

下面看一下高性能FPGA AI方案。如果模型比較大，但又要求速度比較快，那么該如何去部署？典型的做法是用FPGA的AI來實現(xiàn)。我們支持兩種常見的SoC架構(gòu)和FPGA的開發(fā)生態(tài)。硬件部分結(jié)合軟件工具，可以將訓(xùn)練好的模型經(jīng)過量化、壓縮等操作，部署在AI加速處理架構(gòu)上，實現(xiàn)較高效的執(zhí)行。AI加速處理架構(gòu)主要分為PS端與PL端的兩部分設(shè)計，實質(zhì)上是用狀態(tài)機控制模型，使用PE實現(xiàn)具體的卷積操作，從而獲得比較好的性能。

使用該方案能得到比較快的速度，平臺上的速度可達300MHz，7100芯片上的速度可達160MHz，基本上都達到了每秒處理60幀的速度，同時DSP單元的使用率達到了95%。這項技術(shù)可以應(yīng)用在無人機上，而且未來還可以形成定制芯片。

我們不僅要將硬件和軟件結(jié)合起來做底層優(yōu)化，在算法模型這一層也有很多工作要做。首先，針對嵌入式AI的深度學(xué)習(xí)模型，要專門做優(yōu)化。其次，我們要做模型壓縮功能，最常用的方法是蒸餾法。蒸餾法是指我們先在服務(wù)器上訓(xùn)練一個比較復(fù)雜的模型，再在此基礎(chǔ)上訓(xùn)練一個小的模型，相當于一個老師教一個學(xué)生，這樣學(xué)習(xí)來的小模型可以具備和大模型接近的性能效果，精度也更高，并且大大節(jié)省了計算資源。然后，我們要做量化。最后，我們持續(xù)研發(fā)新型的網(wǎng)絡(luò)結(jié)構(gòu)，從而進一步降低計算量。

總結(jié)一下，如何做嵌入式AI，涉及硬件、框架、軟件以及模型。硬件ARM SoC集成度高，性價比不錯，而FPGA平臺非常適合做高性能的工業(yè)級應(yīng)用，更重要的是，要有針對性地根據(jù)場景做定制化的模型，才能獲得比較好的效果。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）