基于車載LiDAR的特征融合差分的車前道路提取方法

何光明,韓士元,2,陳月輝,2,周 勁,2,楊 君

(1. 濟(jì)南大學(xué)山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算重點(diǎn)實(shí)驗(yàn)室,山東 濟(jì)南 250022; 2. 濟(jì)南大學(xué)人工智能研究院,山東 濟(jì)南 250022; 3. 山東交通學(xué)院汽車工程學(xué)院,山東 濟(jì)南 250023)

隨著科技的不斷發(fā)展,車載LiDAR已經(jīng)開始被廣泛應(yīng)用于智能駕駛、三維物體檢測等領(lǐng)域。車載LiDAR包含了精準(zhǔn)的三維空間信息,物體的空間信息對行駛中的車輛至關(guān)重要,這是光學(xué)影像不具備的特征。通過車載LiDAR研究提取車前道路,相比光學(xué)影像具有更高的可信度。

目前國內(nèi)外學(xué)者針對基于車載LiDAR的點(diǎn)云提取道路進(jìn)行了大量的研究。文獻(xiàn)[1]使用基于最大熵的模糊聚類方法對點(diǎn)進(jìn)行聚類,并使用加權(quán)線性擬合算法生成路面。文獻(xiàn)[2]使用高斯濾波算法的導(dǎo)數(shù)從MLS數(shù)據(jù)中檢測路緣。文獻(xiàn)[3]首先使用點(diǎn)的GPS時(shí)間將點(diǎn)云劃分為連續(xù)的道路橫斷面;然后使用移動(dòng)窗口操作符根據(jù)高程差、點(diǎn)密度及坡度變化檢測每個(gè)路段中的路緣點(diǎn)。文獻(xiàn)[4]使用軌跡數(shù)據(jù)將點(diǎn)云劃分為多個(gè)塊。坡度和高程測試用于檢測每個(gè)街區(qū)的路緣點(diǎn)。文獻(xiàn)[5]在點(diǎn)云上構(gòu)建了顯著特征圖,以檢測路緣點(diǎn)。文獻(xiàn)[6]使用道路邊界的局部線性特征,通過圖形切割檢測路緣點(diǎn)。文獻(xiàn)[7]提出一種針對海量點(diǎn)云數(shù)據(jù)局部強(qiáng)度的柵格分割方法,用于提取道路點(diǎn)云。文獻(xiàn)[8]提出了一種基于掃描線的移動(dòng)窗口濾波道路提取方法。文獻(xiàn)[9]提出一種集成注意力機(jī)制和擴(kuò)張卷積的道路提取模型。文獻(xiàn)[10]采用隨機(jī)森林分類模型提取道路點(diǎn)云。文獻(xiàn)[11]結(jié)合RANSAC閾值的形態(tài)學(xué)濾波提取地面點(diǎn)云,然后通過聚類提取道路點(diǎn)云。文獻(xiàn)[12]提出一種基于Otsu算法和區(qū)域生長分割的道路提取方法。文獻(xiàn)[13]提出了一種基于點(diǎn)云法向量分布特征及掃描車軌跡信息的道路邊界提取方法。文獻(xiàn)[14]提出了一種基于坡度濾波算法與改進(jìn)歐氏距離的區(qū)域生長算法相結(jié)合的道路點(diǎn)云提取算法。雖然研究人員在車載LiDAR的道路提取中做了許多研究,但當(dāng)前大多數(shù)研究的過程均是先采集數(shù)據(jù),然后對整條道路數(shù)據(jù)進(jìn)行建模提取。研究重點(diǎn)針對整條道路的提取完整度,但在行駛過程中對汽車而言,更為重要的是車前實(shí)況道路邊界感知,以及對于道路臨時(shí)占用、道路塌陷等突發(fā)狀況,即對道路的完整性提取失去了實(shí)用意義。本文針對此問題,提出一種車前短距道路自動(dòng)提取的算法,實(shí)現(xiàn)數(shù)據(jù)采集與道路提取同時(shí)進(jìn)行,以獲取更為精細(xì)的車前臨時(shí)道路邊界。

1 點(diǎn)云數(shù)據(jù)的預(yù)處理

1.1 基于形態(tài)學(xué)算法地面點(diǎn)云數(shù)據(jù)獲取

數(shù)學(xué)形態(tài)學(xué)(Morphology)是圖像處理的基本理論之一,基本的運(yùn)算有腐蝕和膨脹、開運(yùn)算和閉運(yùn)算,基于這些基本運(yùn)算還可推導(dǎo)和組合成各種數(shù)學(xué)形態(tài)學(xué)實(shí)用算法,進(jìn)行圖像形狀和結(jié)構(gòu)的分析及處理。這在圖像分割、特征抽取、邊緣檢測、圖像濾波、圖像增強(qiáng)和恢復(fù)等方面有廣泛應(yīng)用。腐蝕和膨脹操作已經(jīng)擴(kuò)展到點(diǎn)云領(lǐng)域,對于激光雷達(dá)測量點(diǎn)云P(x,y,z),高程z在地面(x,y)處的膨脹操作定義為

(1)

腐蝕操作定位為

(2)

將原始點(diǎn)云的剖面圖通過抽樣形成多個(gè)點(diǎn)云元,如果點(diǎn)云元內(nèi)沒有測量值,則使用最近鄰域插值導(dǎo)出高程。通過對點(diǎn)云元進(jìn)行侵蝕和膨脹的組合應(yīng)用,產(chǎn)生打開和關(guān)閉操作,用于雷達(dá)數(shù)據(jù)非地面點(diǎn)云數(shù)據(jù)和地面點(diǎn)云數(shù)據(jù)的分割,文獻(xiàn)[15]提出了基于形態(tài)學(xué)的地面點(diǎn)云提取算法,該算法流程描述如圖1所示。

圖1 形態(tài)學(xué)地面濾波算法流程

在激光雷達(dá)獲取原始點(diǎn)云后,經(jīng)過形態(tài)學(xué)地面濾波處理,原始點(diǎn)云中道路周圍建筑物、行人、汽車、樹木等非地面點(diǎn)云會(huì)被全部濾除,剩余部分保存為地面點(diǎn)云。

1.2 地面點(diǎn)云自適應(yīng)運(yùn)算域設(shè)置

在經(jīng)過地面濾波后,由于受到周圍環(huán)境如樹木、建筑物和車輛的遮擋,地面點(diǎn)云的數(shù)據(jù)量主要集中在前方道路上,如圖2-圖3所示。通過統(tǒng)計(jì)各橫向區(qū)間所蘊(yùn)含的數(shù)據(jù)量,設(shè)置自適應(yīng)運(yùn)算域,該運(yùn)算域的設(shè)置符合向“密集點(diǎn)靠攏”的原則,將前方點(diǎn)云劃分為若干個(gè)單位統(tǒng)計(jì)區(qū)間。通過點(diǎn)云數(shù)據(jù)量分布直方圖,確定運(yùn)算域?qū)挾?不僅可濾除不必要的噪聲點(diǎn),減少了差分運(yùn)算量,還在不影響準(zhǔn)確性的前提下節(jié)省了運(yùn)算空間,提高了運(yùn)行速度。

圖2 車前橫向點(diǎn)云數(shù)據(jù)量分布

圖3 車前50 m縱向點(diǎn)云數(shù)據(jù)量分布

2 多特征融合差分道路提取算法

2.1 差分元?jiǎng)澐?/h3>

差分元大小的選擇對于獲得良好結(jié)果至關(guān)重要。激光雷達(dá)通過發(fā)射出的接觸物體表面并反射回的激光回波信號強(qiáng)度記錄數(shù)據(jù)。一般而言,與激光雷達(dá)正對著的位置上激光回波點(diǎn)的數(shù)量會(huì)多一些,而相較激光雷達(dá)位置較偏的物體或出現(xiàn)不規(guī)則的表面的物體,導(dǎo)致被掃描物體所處環(huán)境難以返回回波信號,即激光回波的收點(diǎn)數(shù)量相對較少。還有些對激光信號有吸收性的物體,會(huì)造成點(diǎn)云數(shù)據(jù)中的大面積空白區(qū)域。不同的掃描方式也會(huì)引起點(diǎn)云分布不均。同時(shí)激光雷達(dá)的光線收發(fā)模組的每個(gè)發(fā)射頭之間會(huì)有定量的偏移角,其激光線數(shù)越多,偏移角越小,所獲得的激光點(diǎn)越多,成像級別越高。前方道路距離車越近,獲得激光點(diǎn)數(shù)越多且密集,但隨著車距的增加,激光點(diǎn)逐漸稀疏。使用固定差分元會(huì)出現(xiàn)大量的空白數(shù)據(jù),增加不必要的運(yùn)算量。因此,需要設(shè)置合適尺寸的差分元。

2.1.1 差分元的縱向劃分

差分元縱向劃分的最佳狀況是確保每個(gè)縱向條帶中都包含數(shù)據(jù)點(diǎn),通過驗(yàn)證分析,(l1,l2,…,ln)屬于正向遞增序列,窗口長度的選擇可以通過線性增加長度,計(jì)算公式為

ln=tn+b

(3)

式中,t為增益系數(shù),其數(shù)值t∝Htanα,其中H為激光雷達(dá)的安裝高度,α為激光雷達(dá)發(fā)射模組中相鄰激光發(fā)射頭的夾角,為固定值;b用于調(diào)節(jié)每個(gè)差分元起始位置。

圖4(a)中,b的值小于ln-1,差分元之間形成交叉重疊;圖4(b)中,b的值等于ln-1,差分元之間交界;圖4(c)中,b的值大于ln-1,差分元之間存在間隙會(huì)形成數(shù)據(jù)遺漏,故b∈(0,ln-1),n≥2。

圖4 相鄰差分元縱向起點(diǎn)

2.1.2 差分元的橫向劃分

大量的試驗(yàn)結(jié)果證明,差分橫向劃分寬度與點(diǎn)云的密度和差分元長度有關(guān),密度越大,差分云寬度越短,效果越好。本文中同一縱深選取等距窗口長度,差分元的起點(diǎn)計(jì)算公式為

(4)

s決定每個(gè)差分元的起點(diǎn),如圖5所示。s小于wm-1時(shí),差分元之間形成交叉重疊;s等于wm-1時(shí),差分元之間交界;s大于wm-1時(shí),差分元之間存在間隙會(huì)形成數(shù)據(jù)遺漏,故b∈(0,wm-1),m≥2。

圖5 相鄰差分元橫向起點(diǎn)

2.2 差分元特征參數(shù)處理

參考文獻(xiàn)[16]點(diǎn)云中每個(gè)點(diǎn)根據(jù)豪斯多夫距離映射到特征空間中,對每個(gè)差分元的多個(gè)激光點(diǎn)的多維度特征進(jìn)行融合映射,設(shè)S為一個(gè)差分元的點(diǎn)集合:S={p0,p1,p2,…},取數(shù)量特征N、高度特征H、反射強(qiáng)度特征為R,設(shè)α、β、λ為權(quán)重系數(shù),規(guī)定α+β+λ=1,則每個(gè)差分元內(nèi)有

(5)

式中,F為每個(gè)差分元的特征融合參數(shù)。

2.3 差分運(yùn)算

在每個(gè)差分元界限選取后,統(tǒng)計(jì)每個(gè)差分元內(nèi)特征D,記為D(m,n)=[wmlnF],獲得特征矩陣為

(6)

式中,Γ為非零陣,設(shè)單位變換矩陣E,求取變換矩陣Γ′=?！,則求解差分矩陣Res=Γ-?！洹?/p>

2.4 閾值濾波器設(shè)置

在獲取差分矩陣后,道路的不平整、積水、落葉等因素會(huì)在提取邊界時(shí)對結(jié)果形成噪聲干擾,需將微小的噪聲濾除,否則對不平整路面的提取精度將大幅降低。

差分閾值初值T可根據(jù)運(yùn)算域內(nèi)點(diǎn)云密度的均值K確定,計(jì)算公式為

(7)

假設(shè)均值恒定,差分閾值初值設(shè)定與點(diǎn)云密度均值存在關(guān)系為T=K,在獲取T后若無法找到道路邊界,需要再對T值進(jìn)行重置,依據(jù)同縱深的每個(gè)差分元內(nèi)的密度均值重置T,計(jì)算公式為

(8)

差分矩陣進(jìn)行濾波,獲取參照矩陣Ψ=Res·T,運(yùn)行結(jié)果Ψ內(nèi)會(huì)出現(xiàn)大量空值,在空值邊緣截取標(biāo)定矩陣為

(9)

通過標(biāo)定矩陣Φ查詢原始點(diǎn)云,獲取道路邊界。綜上所述,本文算法描述如下。

Input: 原始點(diǎn)云

Output: 道路點(diǎn)云

1 形態(tài)學(xué)濾波獲取地面點(diǎn)Gp

2 計(jì)算Gp數(shù)據(jù)分布,確定運(yùn)算域的長度L、寬度W,提取出運(yùn)算域點(diǎn)云Gp(W,L,k)={P0,P1,P2,…,Pk}

3 設(shè)定差分元D參數(shù)(Δw,Δl),相鄰差分元之間的偏移量(b,s)

4 設(shè)定閾值濾波器初始值T

7 ifΦ==0&T!=0:

8Φ←Res·T

9 if is find(Dleft,Dright):

10 end

11 if on find(Dleft,Dright)&T!=0:

12T-1=1,返回5

13 ifT==0

14 Δw+=b,Δl+=s,返回4

3 試驗(yàn)結(jié)果分析

采用一臺雷克薩斯RX450 h搭載4個(gè)Sekonix SF3325-100相機(jī)、兩個(gè)VLP-16線激光雷達(dá)、一個(gè)Ouster OS2-128 long range LiDAR[17-19]的信息收集平臺進(jìn)行試驗(yàn)數(shù)據(jù)采集。其點(diǎn)云數(shù)據(jù)樣本包含了(x,y,z,reflection)四維度特征。采集到原始的激光點(diǎn)云數(shù)據(jù),數(shù)據(jù)量巨大且冗余,需要經(jīng)過數(shù)據(jù)配準(zhǔn)、數(shù)據(jù)減縮(地面濾波)、空洞修補(bǔ)及點(diǎn)云分塊等一系列操作處理。原始點(diǎn)云包含131 072個(gè)激光點(diǎn),先經(jīng)濾波后地面數(shù)據(jù)包含80 935個(gè)激光點(diǎn),再經(jīng)過確定運(yùn)算域后有效數(shù)據(jù)包含57 350個(gè)激光點(diǎn),如圖6所示。為了更好地對試驗(yàn)結(jié)果進(jìn)行定量分析,采用Cloud Compare軟件人工提取路面點(diǎn)云,作為分割正確率的參考。

圖6 示例點(diǎn)云道路提取可視化過程

根據(jù)文獻(xiàn)[20-21]選用準(zhǔn)確性p、完整性r、檢測質(zhì)量q這 3個(gè)度量指標(biāo)對本文算法進(jìn)行評價(jià),定義評價(jià)指標(biāo)計(jì)算公式為

(10)

式中,TP為實(shí)際為道路點(diǎn),且判斷為道路點(diǎn);FN為實(shí)際為道路點(diǎn),但判斷為非道路點(diǎn);FP為實(shí)際為非道路點(diǎn),但判斷為道路點(diǎn)。

本文算法主要應(yīng)用于車輛行駛中的一幀點(diǎn)云數(shù)據(jù)提取的道路數(shù)據(jù),圖6的示例點(diǎn)云數(shù)據(jù)提取車前0～50 m的道路,人工提取道路點(diǎn)云如圖6(d)所示,共9092個(gè)點(diǎn)。算法提取道路點(diǎn)如圖6(e)所示,共9162個(gè)點(diǎn),其中正樣本為8842個(gè)點(diǎn),假陽樣本為320個(gè)點(diǎn)。道路提取準(zhǔn)確率為96.51%,完整性為97.25%,提取質(zhì)量為93.94%。與相關(guān)的道路提取算法相比,效果見表1?？梢缘贸?本文算法能精準(zhǔn)界定行駛中車前道路邊界,更能實(shí)時(shí)監(jiān)測行駛中道路情況的變化。同時(shí)為了避免數(shù)據(jù)出現(xiàn)偶然性,對所采數(shù)據(jù)集不同道路抽選4組數(shù)據(jù),做不同縱深道路提取對比,效果見表2。

表1 本文算法與相關(guān)算法的道路提取對比

表2 本文算法對不同縱深的道路提取效果 (%)

4 結(jié) 語

與當(dāng)前研究注重提取道路的完整性不同,本文主要研究了行駛中車載LiDAR車前道路邊界自動(dòng)提取方法。首先通過形態(tài)學(xué)濾波將當(dāng)前幀點(diǎn)云提取出地面點(diǎn)云,根據(jù)所獲得數(shù)據(jù)量分布細(xì)化運(yùn)算區(qū)域,劃分差分元大小,統(tǒng)計(jì)每個(gè)差分元的特征參數(shù)形成特征矩陣,通過矩陣變換獲取差分矩陣后,采用不同的閾值濾波器掃描差分矩陣提取道路邊界。通過大量的試驗(yàn)結(jié)果表明,本文在城市道路中適用性良好,在道路條件惡劣時(shí),本文算法會(huì)通過損失檢測距離保證良好的準(zhǔn)確性,更具有實(shí)用性。