基于DCGAN 的點(diǎn)云濾波方法

劉春義，王 軍，2

（1.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009；2.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033）

0 引 言

點(diǎn)云是用來描述三維空間信息的一組數(shù)據(jù)，點(diǎn)云的獲取是實(shí)現(xiàn)三維重構(gòu)的重要環(huán)節(jié)[1-4]。點(diǎn)云采集中難免會出現(xiàn)一些噪聲和離群點(diǎn)，而這些干擾會對重構(gòu)結(jié)果造成很大的影響。在降低噪聲和離群點(diǎn)對重構(gòu)效果的影響過程中，點(diǎn)云濾波是數(shù)據(jù)處理的關(guān)鍵，濾波結(jié)果將直接影響生成模型的準(zhǔn)確性與精度?？蓪V波方法分為傳統(tǒng)的基于模型的濾波方法以及基于深度學(xué)習(xí)的濾波方法[5]。在傳統(tǒng)方法中信號處理方法也可以擴(kuò)展到點(diǎn)云過濾，受傅里葉變換的啟發(fā)，利用光譜技術(shù)對點(diǎn)云進(jìn)行篩選。文獻(xiàn)[6]應(yīng)用離散傅里葉變換獲取點(diǎn)云的光譜分解，利用維納濾波器對頻譜進(jìn)行處理?；谏疃葘W(xué)習(xí)的點(diǎn)云濾波中常用的基礎(chǔ)網(wǎng)絡(luò)模型包括自編碼器（Autoencoder, AE）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）和對抗生成網(wǎng)絡(luò)（Generative Adversarial Network, GAN）等[7]。文獻(xiàn)[8]設(shè)計了一種用于點(diǎn)云濾波的GAN 擴(kuò)展網(wǎng)絡(luò)，該網(wǎng)絡(luò)由發(fā)生器將原點(diǎn)集映射為完全清晰的點(diǎn)集，而鑒別器則用于區(qū)分生成數(shù)據(jù)與實(shí)際數(shù)據(jù)。

上述方法均有良好的濾波效果，但傳統(tǒng)方法的濾波效果與速度仍可以進(jìn)一步提高；深度學(xué)習(xí)方法存在模型難以收斂的問題。針對上述問題，本文提出一種新的應(yīng)用于建筑物三維模型重建的濾波方法，與傳統(tǒng)的濾波方法相比，本文提出的方法具有較高的運(yùn)算效率。

1 點(diǎn)云濾波方法設(shè)計與實(shí)現(xiàn)

在實(shí)際應(yīng)用場景中，所獲取的三維點(diǎn)云圖像具有更規(guī)整的特征，而噪聲和離群點(diǎn)的分布與其相背離。通過提取點(diǎn)云的特征值，計算出點(diǎn)云的熵，然后根據(jù)熵值和特征值對點(diǎn)云進(jìn)行維度分類，并且濾除高熵點(diǎn)做初步濾波。對標(biāo)記后的點(diǎn)云使用DCGAN（Deep Convolutional Generative Adversarial Network）進(jìn)行濾波，進(jìn)一步濾除點(diǎn)云中的噪聲。

依據(jù)上述思路，設(shè)計的方法流程如圖1 所示。

圖1 方法流程圖

1.1 協(xié)方差特征

協(xié)方差特征是通過三維分布的協(xié)方差矩陣計算出的，代表了點(diǎn)云本身的局部幾何行為。利用PCA（Principal Component Analysis）統(tǒng)計分析，可以從協(xié)方差矩陣中求得三個特征值（λ1，λ2，λ3）表示局部三維結(jié)構(gòu)，測量局部點(diǎn)集沿相應(yīng)特征向量方向的變化。因此，PCA 定義了圍繞定義的鄰域中心的點(diǎn)分布變化的主方向（三個正交的向量）和點(diǎn)分布變化的特征值圍繞定義的鄰域中心（質(zhì)心）。在三個方向上的這些量的組合返回一些形狀描述符，用于定義線性、平面的鄰域散射行為。這些局部三維形狀特征稱為協(xié)方差特征，其幾何性質(zhì)與數(shù)學(xué)公式關(guān)系如表1 所示。

表1 幾何性質(zhì)與協(xié)方差特征

為了測量各向同性球面鄰域的不可預(yù)測性，使用熵函數(shù)對每個點(diǎn)屬于三個不同維度類別（1D、2D、3D）進(jìn)行標(biāo)記。其關(guān)系式如下：

式中：E表示特征熵；σ表示標(biāo)準(zhǔn)差。

低熵值表明當(dāng)前維度比其他維度占優(yōu)。當(dāng)σ1?σ2，σ3時，則a1D大于其他兩個概率，因此鄰域?qū)⒈粯?biāo)記為線性。另一方面，如果σ1，σ2?σ3～0，那么a2D是普遍的，鄰域?qū)⒈徽J(rèn)為是平面。最后，如果σ1～σ2～σ3，則各向異性將更好地表示局部幾何[9]。

1.2 基于DCGAN 聚類

1.2.1 GAN 網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)是由生成器G 和判別器D 兩大部分構(gòu)成的深度學(xué)習(xí)網(wǎng)絡(luò)。生成器G 將輸入的隨機(jī)噪音信號轉(zhuǎn)換為圖像資料，并加以分析。然后，判別器D判定該采樣是訓(xùn)練數(shù)據(jù)還是生成數(shù)據(jù)，并給出對應(yīng)的可能性；兩者之間通過極大極小的博弈不斷優(yōu)化更新，從而達(dá)到納什平衡。GAN 的網(wǎng)絡(luò)結(jié)構(gòu)形式如圖2 所示，生成器G 將輸入的隨機(jī)噪聲生成虛擬圖像minG(z)，判別器D 從由實(shí)際數(shù)據(jù)集和生成器G 產(chǎn)生的數(shù)據(jù)融合的數(shù)據(jù)集合中隨機(jī)獲得輸入，輸出樣本由真實(shí)數(shù)據(jù)集的單一概率值提供。訓(xùn)練過程中，判別器D 要盡可能地將正確的標(biāo)記指定給真正的數(shù)據(jù)并產(chǎn)生數(shù)據(jù)，生成器G 則要盡量產(chǎn)生類似于實(shí)際數(shù)據(jù)的圖像，使判別器D 不能識別，損失函數(shù)為：

圖2 GAN 結(jié)構(gòu)圖

式中：x為實(shí)際數(shù)據(jù)；z為隨機(jī)噪聲的輸入；D(x)為x從實(shí)際數(shù)據(jù)中得到的可能性；Pd(x)為真實(shí)樣本數(shù)據(jù)；Pd(z)為生成樣本數(shù)據(jù)分布；是判別器目標(biāo)函數(shù)，判別器需要最大化預(yù)測概率；是生成器的優(yōu)化函數(shù)，生成器則需要最大限度地減小判別器的極大值。

1.2.2 DCGAN 網(wǎng)絡(luò)

DCGAN是CNN（Convolutional Neural Network）和GAN的結(jié)合，在生成模型引入卷積網(wǎng)絡(luò)，代替GAN 的生成器和判別器并且進(jìn)行無監(jiān)督訓(xùn)練。該模型充分利用了卷積網(wǎng)絡(luò)中的特征抽取特性，從而有效地改善了生成網(wǎng)絡(luò)的學(xué)習(xí)性能。

DCGAN 在原始生成對抗網(wǎng)絡(luò)模型上的主要改進(jìn)為：

1）生成器和判別器結(jié)構(gòu)去除了卷積網(wǎng)絡(luò)中的池化層，但是它的識別部分繼續(xù)保持了卷積神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)，在生成程序中使用了反向卷積層。

2）將批量歸一化（Batch Normalization, BN）層應(yīng)用在判別器和生成器的各個層上。這是一種在卷積層之后經(jīng)常使用的標(biāo)準(zhǔn)化算法，可以使網(wǎng)絡(luò)收斂。

3）刪除全連接層。全局均值池化可以幫助模型穩(wěn)定，但會導(dǎo)致模型的收斂速率下降。

4）生成器除了輸出層使用Tanh 函數(shù)外，其余層均采取ReLU 函數(shù)。

5）判別器所有層的激活函數(shù)均采取Leaky ReLU函數(shù)。

DCGAN 模型的損失函數(shù)為：

式中m為樣本個數(shù)。

通過引入JS 和KL 散度[10]來驗(yàn)證方法可行性，可得：

其中：

式中C(G)為生成器的積分表達(dá)式。

根據(jù)散度定義可知，當(dāng)噪聲樣本Pz(z)的數(shù)學(xué)分布等于真實(shí)數(shù)據(jù)分布，KL=JS=0 時，G 網(wǎng)絡(luò)的最小值都是-lg 4。同理，可得JS 散度為：2JS( ‖PdataPg)-lg 4，其中Pg為噪聲分布。從這一點(diǎn)可以看出，當(dāng)選擇了最優(yōu)的參數(shù)時，生成器也可以無限地逼近極小值。這表明，在此約束條件下可以實(shí)現(xiàn)納什均衡，因此DCGAN 用于數(shù)據(jù)增強(qiáng)的方法是可行的。

2 實(shí)驗(yàn)與分析

為驗(yàn)證本文方法的性能，主要從方法的效果以及耗時兩方面與傳統(tǒng)方法進(jìn)行比較。使用RS100 激光雷達(dá)獲得建筑物的點(diǎn)云數(shù)據(jù)集并在Windows 10 操作系統(tǒng)下利用PCL 進(jìn)行。

采用的激光雷達(dá)主要參數(shù)為掃描速度、掃描范圍以及工作溫度。該雷達(dá)每秒可以獲取65 萬點(diǎn)；能夠水平旋轉(zhuǎn)360°，垂直旋轉(zhuǎn)285°。最低工作溫度-30 ℃，最高60 ℃。方法在Windows 10 操作系統(tǒng)下運(yùn)行，主要硬件參 數(shù) 包 括Intel Core i7-12700 型CPU，64 GB RAM，NVIDIA Quadro RTX 3070Ti 型GPU。

通過激光雷達(dá)采集了1 500 幅點(diǎn)云圖像，將其中隨機(jī)900 張圖像作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，訓(xùn)練參數(shù)設(shè)置如表2 所示，生成器與判別器的學(xué)習(xí)率為0.000 02，批次大小是128，訓(xùn)練迭代2 000 次。

表2 訓(xùn)練參數(shù)

在采集到的點(diǎn)云圖像中隨機(jī)選擇150幅作為實(shí)驗(yàn)對象。首先對獲取的點(diǎn)云進(jìn)行了維度標(biāo)記，如表3所示。建筑物的平均數(shù)量為18 651 873 pt，其中1D有4 476 422 pt，占比24%，2D最多有12 123 721 pt，占比65%，11%的點(diǎn)被標(biāo)記為3D，有2 051 730 pt。

表3 點(diǎn)云維度標(biāo)記

實(shí)驗(yàn)結(jié)果如圖3、圖4 所示。圖3a）為未經(jīng)處理的數(shù)據(jù)。可以看到模型的邊緣有脫離主體的小聚類噪聲，而模型內(nèi)部窗口的邊緣擁有鋸齒狀噪聲。圖3b）為半徑濾波方法處理后的模型，從圖中看出幾乎沒有濾波效果。圖3c）為統(tǒng)計濾波方法，結(jié)果表明該方法具有一定濾波效果，模型右下角脫離主體的噪聲塊被濾去；但是內(nèi)部窗口部分的噪聲因?yàn)榫嚯x模型較近而被保留下來。圖3d）為本文濾波方法，與圖3a）對比，很明顯看到不僅脫離模型的噪聲被濾去，內(nèi)部與模型相近的噪聲也被除去。圖4a）為原始數(shù)據(jù)。圖4b）是經(jīng)過半徑濾波的數(shù)據(jù)，該方法只是濾去零星的散點(diǎn)。圖4c）是統(tǒng)計濾波處理的數(shù)據(jù)，該方法不僅濾去了零星的散點(diǎn)，還濾去了脫離主體的小聚類噪聲。圖4d）為本文濾波方法，不僅過濾掉散點(diǎn)以及小聚類，而且除掉了靠近房間的噪聲塊。

圖3 樓宇外側(cè)濾波效果

圖4 單個房間濾波效果

從濾波效果上看，本文算法不僅可以很好地去除模型中的小聚類、邊緣的離群點(diǎn)等噪聲，還可以去除靠近模型主體的噪聲；半徑濾波器的濾波效果幾近于無，不能滿足要求；而統(tǒng)計濾波器的濾波性能也不理想。

就算法時效性而言，從圖5 可以看出，與傳統(tǒng)的半徑濾波器、統(tǒng)計濾波方法相比，本文方法所需的時間更短。通過圖3可以計算出平均耗時見表4。半徑濾波方法平均消耗119.79 ms，統(tǒng)計濾波方法平均消耗50.68 ms，本文方法相比其他方法迅速，平均耗時20.66 ms。本文方法比傳統(tǒng)的半徑、統(tǒng)計濾波方法快了5.8 倍、2.5 倍。傳統(tǒng)的半徑濾波和統(tǒng)計濾波算法都是逐點(diǎn)取樣，因而計算時間比較長。

表4 不同算法的平均耗時對比 ms

圖5 不同方法耗時對比

本文算法采用了一種新的判斷噪聲的方式，通過計算點(diǎn)云的熵值來確定點(diǎn)云的維度，并且將高熵點(diǎn)確定為噪聲；然后對標(biāo)記后的點(diǎn)云應(yīng)用高效的深度卷積生成對抗網(wǎng)絡(luò)，通過深度學(xué)習(xí)方法訓(xùn)練模型，并將其中的塊噪聲和異常點(diǎn)進(jìn)一步剔除，從而提高了算法的精度與運(yùn)算效率。

3 結(jié) 語

在點(diǎn)云數(shù)據(jù)處理中，點(diǎn)云過濾是最重要的一步，其濾波效果對后續(xù)處理的準(zhǔn)確性有很大的影響。針對點(diǎn)云濾波方法存在濾波精度低、耗時長等問題，本文主要完成了以下工作：利用激光雷達(dá)獲取點(diǎn)云數(shù)據(jù)；對點(diǎn)云數(shù)據(jù)進(jìn)行初步處理；訓(xùn)練DCGAN 模型并處理數(shù)據(jù)。本文工作對點(diǎn)云濾波研究有很大的應(yīng)用價值，實(shí)驗(yàn)結(jié)果表明，該方法具有較好的濾波性能。與傳統(tǒng)的半徑濾波算法、統(tǒng)計濾波算法相比，本文方法不止擁有理想的濾波效果，而且濾波時耗分別降低了5.8 倍和2.5 倍。但是本文方法也有自身的缺點(diǎn)：只能對靜態(tài)物體進(jìn)行降噪的三維重建；本文方法采集到的點(diǎn)云數(shù)據(jù)在一定程度上受到采集設(shè)備的影響。因此針對動態(tài)場景三維重建的點(diǎn)云濾波也是接下來研究的方向。