基于生成對抗網(wǎng)絡(luò)的激光雷達(dá)超分辨率

黃丹陽，田傳印

（中汽數(shù)據(jù)（天津）有限公司，天津 300300）

0 引言

激光雷達(dá)是一類基于光學(xué)遙感技術(shù)進(jìn)行立體環(huán)境探測的傳感器，其內(nèi)部射頻器件經(jīng)過高速旋轉(zhuǎn)，可以周期性地向環(huán)境發(fā)射脈沖線束進(jìn)行掃描，采集到的回波以若干包含三維坐標(biāo)和回波強(qiáng)度的向量集合表示，構(gòu)成具有環(huán)狀結(jié)構(gòu)的“點(diǎn)云”。激光雷達(dá)在多領(lǐng)域中被廣泛使用，包括地理測繪、室內(nèi)定位、無人駕駛等[1]。激光雷達(dá)的線束是指雷達(dá)內(nèi)部垂直方向上的射頻單元的數(shù)量，決定了在垂直方向上的探測范圍角度和探測角度分辨率，然而高線束激光雷達(dá)價格昂貴，不利于民用研究和推廣。為了解決上述問題，本文基于深度學(xué)習(xí)提出了一種激光雷達(dá)超分辨率模型，該模型以低線束激光雷達(dá)點(diǎn)云為輸入，通過卷CNN輸出高線束激光雷達(dá)點(diǎn)云。

1 生成對抗網(wǎng)絡(luò)架構(gòu)

近年來，生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）作為一種新式的基于半監(jiān)督或無監(jiān)督學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，在多種數(shù)據(jù)生成領(lǐng)域掀起研究熱潮[2]。本文構(gòu)建了GAN，并基于CNN分別構(gòu)建了激光雷達(dá)超分辨率模型和激光雷達(dá)判別模型。其中激光雷達(dá)超分辨率模型作為生成網(wǎng)絡(luò)，經(jīng)過CNN的升維映射完成點(diǎn)云超分辨率；激光雷達(dá)判別模型在訓(xùn)練中負(fù)責(zé)識別高線束點(diǎn)云數(shù)據(jù)是來自數(shù)據(jù)集中的真實(shí)樣本還是生成網(wǎng)絡(luò)的合成樣本，隨后激光雷達(dá)判別模型的識別結(jié)果將作為網(wǎng)絡(luò)損失回傳給生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，GAN的架構(gòu)如圖1所示。

圖1 生成對抗網(wǎng)絡(luò)架構(gòu)

2 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建

CNN是一類典型的人工神經(jīng)網(wǎng)絡(luò)，它在原始的感知機(jī)基礎(chǔ)上提出了感受野概念，通過對網(wǎng)絡(luò)權(quán)重局部連接和區(qū)域共享大大削減的神經(jīng)網(wǎng)絡(luò)的參數(shù)[3]，不僅有效避免模型的過擬合，還能更好地提取局部相關(guān)性特征，因此在圖像和視頻中的模式識別問題中被廣泛地應(yīng)用[4-5]。本文采用CNN構(gòu)建了激光雷達(dá)超分辨率模型和判別網(wǎng)絡(luò)。

2.1 激光雷達(dá)超分辨率模型

圖2為激光雷達(dá)超分辨率模型的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)主要由卷積層、殘差模塊和上采樣模塊三部分共同組成。模型的輸入是單通道距離圖，進(jìn)入網(wǎng)絡(luò)后首先經(jīng)過一層卷積核為9的卷積層，淺層網(wǎng)絡(luò)側(cè)重對圖像中的紋理、邊緣等通用特征的提取，而并非抽象語義特征，對于超分辨率任務(wù)而言，在較大的感受野中提取淺層特征有助于表征環(huán)境中的細(xì)節(jié)，并對激光雷達(dá)數(shù)據(jù)的鄰域相似性進(jìn)行更好地學(xué)習(xí)。此外，為了避免分辨率損失，在主干部分取締池化層，并為所有卷積層設(shè)置對應(yīng)的邊緣補(bǔ)全[6]。

圖2 生成網(wǎng)絡(luò)的結(jié)構(gòu)

超分辨率模型的主干由殘差模塊構(gòu)成[7]，殘差模塊由若干個殘差單元組成，殘差單元如圖2中所示。每個殘差單元由兩個3-1-1（卷積核-卷積步長-邊緣填充）的卷積層串聯(lián)而成。每個殘差單元的末端都部署二維蒙特卡羅Dropout，這是由于在對深度圖進(jìn)行卷積后不可避免地在圖像邊緣帶來噪聲，大量的Dropout可以模擬噪聲分布。低線束數(shù)據(jù)經(jīng)過多次處理，統(tǒng)計輸出數(shù)據(jù)后可以得到模型的不確定性，進(jìn)而可以像貝葉斯神經(jīng)網(wǎng)絡(luò)那樣利用模型的不確定性進(jìn)行正則化，過程見式（1）。其中X是對低線束數(shù)據(jù)進(jìn)行N次處理的集合，yj是輸出結(jié)果中第j個點(diǎn)，當(dāng)所有結(jié)果在此點(diǎn)上的方差大于均值的λ倍，我們認(rèn)為模型在此點(diǎn)的預(yù)測不確定性過大，予以剔除。

殘差單元的輸入經(jīng)過一系列處理后，再與自身逐點(diǎn)求和，就作為一個殘差單元的最終輸出。深層的網(wǎng)絡(luò)會帶來過擬合風(fēng)險，而殘差單元的跨層連接令網(wǎng)絡(luò)中的信息前饋更密集，有效提高深層特征的利用率，實(shí)現(xiàn)多尺度感受野特征的復(fù)用，從而避免過擬合風(fēng)險。在網(wǎng)絡(luò)的反向傳遞訓(xùn)練中，梯度也同樣跨越式回傳，提升網(wǎng)絡(luò)的訓(xùn)練效率。

為了獲得高線束的激光雷達(dá)數(shù)據(jù)，利用上采樣模塊實(shí)現(xiàn)對三維細(xì)節(jié)的重建。本文基于卷積、非對稱平均池化和像素重組構(gòu)建上采用模塊，其結(jié)構(gòu)如圖2的末端所示。經(jīng)過上采樣后，利用兩層3-1-1的卷積進(jìn)行整合，完成整個生成網(wǎng)絡(luò)的處理。

2.2 激光雷達(dá)判別模型

在GAN中判別網(wǎng)絡(luò)是二元分類器，它本質(zhì)上是一種可學(xué)習(xí)損失函數(shù)。判別網(wǎng)絡(luò)對高線束激光雷達(dá)數(shù)據(jù)的來源進(jìn)行分類，區(qū)分其來自數(shù)據(jù)集還是生成網(wǎng)絡(luò)的合成樣本。二分類結(jié)果在訓(xùn)練中交替式反饋至生成網(wǎng)絡(luò)，不斷優(yōu)化生成網(wǎng)絡(luò)的權(quán)重，促使生成網(wǎng)絡(luò)合成數(shù)據(jù)更加真實(shí)；同時生成網(wǎng)絡(luò)在訓(xùn)練中不斷合成的數(shù)據(jù)作為負(fù)樣本訓(xùn)練判別網(wǎng)絡(luò)，二者通過對抗式訓(xùn)練共同收斂。本文構(gòu)造樸素的CNN作為激光雷達(dá)判別模型。圖3展示了判別模型的結(jié)構(gòu)，由3-1-1的卷積層和非對稱最大池化層串聯(lián)而成，為了基于局部特征判別數(shù)據(jù)類型，使用卷積核為1的卷積層代替末端的全連接層。

圖3 判別網(wǎng)絡(luò)的結(jié)構(gòu)

3 對抗式訓(xùn)練

GAN的目標(biāo)函數(shù)主要由對抗損失（3）和像素?fù)p失（4）兩部分組成。其中對抗損失促使生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在優(yōu)化過程中彼此博弈，（3）中x為低線束點(diǎn)云，y為高線束點(diǎn)云，G和D分別為激光雷達(dá)超分辨率模型和判別模型，D的訓(xùn)練目標(biāo)是最大化LG，即成功區(qū)分真實(shí)高線束數(shù)據(jù)y和合成數(shù)據(jù)G（x）；G的訓(xùn)練目標(biāo)是最小化LG，使合成點(diǎn)云成功混淆D。像素?fù)p失L1是高線束數(shù)據(jù)和合成樣本之間的平均絕對誤差作為損失回傳給G進(jìn)行訓(xùn)練，它約束輸出與目標(biāo)在像素級別上的相似性。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集構(gòu)建和預(yù)處理

為了保證數(shù)據(jù)和標(biāo)簽完全對應(yīng)，本文效仿[8]選取CARLA仿真軟件生成的激光雷達(dá)點(diǎn)云構(gòu)建數(shù)據(jù)集，仿真激光雷達(dá)型號為Velodyne VLP-64，垂直視野范圍為30°，水平角度分辨率被設(shè)為360/1024。然后垂直均勻選取16線束的點(diǎn)云就獲得與之完全對應(yīng)的16線點(diǎn)云。將點(diǎn)云依次排列構(gòu)成16×1024和64×1024的深度圖，并將歸一化后的距離填充進(jìn)矩陣，實(shí)現(xiàn)3D點(diǎn)云向2D球平面的投影。數(shù)據(jù)集共包含6000個樣本，對樣本基于5:1的比重隨機(jī)選取構(gòu)建訓(xùn)練集和測試集。

本文基于Pytorch深度學(xué)習(xí)框架進(jìn)行實(shí)驗(yàn)，GPU為英偉達(dá)2070s，選取兩個Adam優(yōu)化器訓(xùn)練生成網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)，初始學(xué)習(xí)率均設(shè)為1×10-4。訓(xùn)練周期設(shè)100epoch，訓(xùn)練結(jié)束后單獨(dú)提取生成網(wǎng)絡(luò)作為超分辨率模型使用。實(shí)驗(yàn)通過計算超分辨率處理結(jié)果與VLP-64標(biāo)簽之間的均方誤差衡量模型的性能。

4.2 實(shí)驗(yàn)結(jié)果

圖4 不同方法輸出結(jié)果的可視化

5 結(jié)語

實(shí)驗(yàn)結(jié)果如表1所示。由定量實(shí)驗(yàn)結(jié)果可知，深度學(xué)習(xí)方法在激光雷達(dá)點(diǎn)云超分辨率任務(wù)中明顯優(yōu)于傳統(tǒng)方法，這是由于深度學(xué)習(xí)基于任務(wù)自動學(xué)習(xí)特征，在超分辨率重建過程中不僅基于淺層特征構(gòu)建紋理，還基于深層抽象特征保持?jǐn)?shù)據(jù)的語義信息。而傳統(tǒng)方法僅基于局部像素結(jié)構(gòu)進(jìn)行重建，針對整齊平面效果較好，但是處理不規(guī)則平面和具有復(fù)雜結(jié)構(gòu)物體的點(diǎn)云時性嚴(yán)重退化。實(shí)驗(yàn)結(jié)果同樣表明GAN的性能優(yōu)于全卷積網(wǎng)絡(luò)，這是由于GAN中的判別網(wǎng)絡(luò)對生成網(wǎng)絡(luò)增加了語義不變的約束，這彌補(bǔ)了L1損失函數(shù)的缺陷，對抗式的結(jié)構(gòu)使得生成網(wǎng)絡(luò)從樣本空間中擬合出語義一致的數(shù)據(jù)分布。

表1 實(shí)驗(yàn)結(jié)果

圖4為五種方法得到的高線束數(shù)據(jù)的可視化，從結(jié)果可以直觀地看出，由于插值運(yùn)算的平滑性，傳統(tǒng)方法在距離變化顯著的區(qū)域不可避免地產(chǎn)生大量的“斜坡”結(jié)構(gòu)，雖然與標(biāo)簽之間的MSE同樣較低，但是顯著地改變了原有的環(huán)境信息，這種數(shù)據(jù)無法支持后續(xù)的任務(wù)和應(yīng)用。而本文的方法對環(huán)境的還原度更高，優(yōu)于對比算法。