向“原生”視覺和自動駕駛前進　直擊特斯拉AI DAY

李實

特斯拉是一家特立獨行的企業(yè)，不到20年時間，它從大眾眼中的新能源車企，變成了一家高科技企業(yè)。2019年特斯拉自動駕駛?cè)?，展示它在自動駕駛方面的研究。2020年特斯拉電池日，它帶來了大量電池技術(shù)方面的創(chuàng)新，并將電動車的續(xù)航里程持續(xù)推高。2021年8月，特斯拉全新的Al DAY（人工智能日）粉墨登場。這—次，特斯拉又帶來了哪些新的技術(shù)和產(chǎn)品呢？

特斯拉在電動汽車上的努力有目共睹，如果仔細剖析電動汽車的話，可以發(fā)現(xiàn)它的架構(gòu)分為車身和操控、驅(qū)動部分、電池部分以及電氣系統(tǒng)部分。其中，車身和操控部分相對傳統(tǒng)汽車而言變化不算特別大，且這部分材料和設(shè)計都已經(jīng)到達了目前材料和物理規(guī)律的極限，進步空間有限。驅(qū)動部分主要是電機和相關(guān)電路，這部分設(shè)備的進步空間也基本上很小了。現(xiàn)在，電池部分和電氣系統(tǒng)部分被認為是電動車上進步最大、最容易超越傳統(tǒng)燃油車的地方。其中電池部分的進步對應(yīng)著更長的續(xù)航，能夠徹底解決電動車最核心的

“里程焦慮”問題。電氣系統(tǒng)部分較為復(fù)雜，目前最重要的發(fā)展方向是智能化、數(shù)字化的座艙體驗和自動駕駛系統(tǒng)。特斯拉在之前的自動駕駛?cè)?、電池日上已?jīng)展示了一部分自己在自動駕駛和增強電動汽車續(xù)航方面的研究和展望，但最終自動駕駛技術(shù)的發(fā)展依靠的還是強大的算力和全新的技術(shù)，尤其是AI技術(shù)的發(fā)展，這也是2021年特斯拉召開AI DAY這場大會的最大目的。

在AI DAY上，特斯拉帶來了自己利用人工智能技術(shù)的發(fā)展，在自動駕駛方面的進展，包括在自動駕駛的視覺、數(shù)據(jù)標注和模擬、規(guī)劃和控制以及硬件方面的創(chuàng)新。整個發(fā)布會長達3個小時，不過前面的等待和后期的問答占據(jù)了一部分時間，真正的持續(xù)時間大約為一個半小時，馬斯克和特斯拉的工程師包括Andrej、Ashok、Ganesh等都親臨現(xiàn)場進行了講解。從講解內(nèi)容來看還是比較艱澀難懂的，尤其是涉及一些計算模型和應(yīng)用方面的處理。本文將盡量簡單明了地解釋這些內(nèi)容。

感知道路信息：從圖像空間轉(zhuǎn)為矢量空間

在自動駕駛的視覺方面，特斯拉和現(xiàn)在業(yè)界呼聲比較高的激光雷達方案存在很大差異。根本原因并不是某些設(shè)備或者采用攝像頭與否的問題，而是形成立體視覺空間的問題。眾所周知，攝像頭在采集信息時會丟失幾乎所有空間信息，最終計算機識別的信息中并不包含距離內(nèi)容。相比之下，激光雷達在一定程度上可以解決這個問題，能夠識別部分物體和車輛之間的距離。

特斯拉一開始就鮮明地提出，他們計劃模擬大腦的工作方式，只通過攝像頭完成對事物本身以及空間信息的識別，也就是從圖像空間轉(zhuǎn)變?yōu)槭噶靠臻g。

為了達到這個目的，特斯拉使用了一個名為transformer的計算模塊，這個模塊采用注意力機制，可以在多個攝像頭拍攝的畫面之間建立聯(lián)系，并且形成相對固定的空間關(guān)系，此外還包括攝像頭矯正等。所謂注意力機制，實際上也是源自人腦和人眼的一種工作機制。簡單來說，注意力機制就是人類的視覺系統(tǒng)傾向于在觀察中關(guān)注圖像里輔助判斷的信息，而對那些不是特別相關(guān)的信息選擇性忽略。這樣一來，畫面中有關(guān)判斷、決策的內(nèi)容或者關(guān)鍵的一些結(jié)合點就會被篩選出來。比如在道路畫面中，有關(guān)地面的信息會被忽略，道路邊緣的路肩、警示信息以及道路上的一些物體會被認為是關(guān)鍵信息。通過這樣的機制，transformer模塊能夠?qū)z像頭給出的圖像信息進行篩選比對，進一步處理后就能將平面的圖像空間轉(zhuǎn)換為立體的矢量空間。

特斯拉也展示了攝像頭在自家汽車上應(yīng)用發(fā)展的歷程，比如早期采用的是單攝像頭單幀模型。隨后由于單個攝像頭范圍比較窄，后期使用了多攝像頭單幀模型予以改善。但是多攝像頭單幀模型主要是畫面未能很好地融合拼接，因此依舊采用的是孤立圖像來判斷，效果不好?，F(xiàn)在加入了transformer模塊后，特斯拉終于可以將所有的畫面進行統(tǒng)一處理并矢量化了，進入了多攝像頭多幀模型的新階段。在這個階段中，特斯拉可以保持連續(xù)多幀信息融合，實現(xiàn)對道路連續(xù)、不間斷地監(jiān)控。

在實現(xiàn)了多幀信息融合后，特斯拉選擇了Spatial RNN對視頻進行處理。經(jīng)過Spatial RNN的處理，特斯拉的汽車可以持續(xù)更新攝像頭可見范圍內(nèi)的各種信息，并且還可以對物體的速度和距離進行估計。特斯拉的數(shù)據(jù)顯示，他們的模型和方案相比毫米波雷達，效果基本相同。

識別道路狀況：4D標注關(guān)鍵信息

當汽車通過攝像頭完成了對空間結(jié)構(gòu)的重現(xiàn)后，接下來一個重要的工作就是數(shù)據(jù)標注了。所謂數(shù)據(jù)標注，就是采用人工智能手段，將畫面中那些需要特別重視的部分以不同的形式或者等級凸顯出來。比如攝像頭拍攝到了過馬路的人、前方的汽車、道路邊沿、固定障礙物以及道路標識和警示信息等，都需要及時識別并處理。

特斯拉將自己的數(shù)據(jù)標注功能稱為4D。相比傳統(tǒng)2D圖像化標注，特斯拉已經(jīng)將整個視覺信息轉(zhuǎn)化為矢量空間，加入了距離信息，因此單幀2D畫面也成了3D場景。但是特斯拉并非僅僅依靠3D場景進行標注，而是加入了時序信息，增加了時間維度（D），將其轉(zhuǎn)化為4D場景進行標注。簡單來說，之前的數(shù)據(jù)標注是利用一張張圖片或者僅僅是一個靜態(tài)的3D場景進行標注。現(xiàn)在特斯拉是在一個重建后的視頻中進行標注，并且能夠?qū)俗⒑蟮男畔⒎答伝財z像頭，并進行跟蹤，后續(xù)就不用重復(fù)標注了，這在很大程度上節(jié)約了計算資源。

不過，雖然4D標注在功能實現(xiàn)和最終結(jié)果上表現(xiàn)優(yōu)秀，但是也非常耗費計算資源，依靠傳統(tǒng)的標注方法是難以處理的。為此，特斯拉專門開發(fā)了特別的4D自動標注工具，這個工具在展示中顯示出了非常不錯的效率，不但能夠標注場景內(nèi)的關(guān)鍵個體，還包括這些個體的運動速度、距離等內(nèi)容，甚至可以預(yù)測它們未來的運動軌跡。特斯拉宣稱新的4D標注功能相比傳統(tǒng)的2D圖像化標注效率提升了100倍。發(fā)布會上，特斯拉展示了通過在道路上行駛的大約100萬輛特斯拉車輛，收集的250萬個長度1分鐘的片段，這相當于單個汽車駕駛1500年的時間，然后特斯拉使用上千個GPU和2萬個CPU在—周內(nèi)處理完了這些標注并且生成了模型。相比我們印象中單車或者數(shù)十車輛上路收集數(shù)據(jù)而言，特斯拉展示出的成長能力是相當驚人的。