基于循環(huán)特征融合的彎道增強車道線檢測算法

魯維佳,劉澤帥,潘玉恒,李國燕,李慧潔,叢 佳

(1.天津城建大學(xué)計算機(jī)信息與工程學(xué)院,天津 300384; 2.中國鐵塔股份有限公司天津市分公司,天津 300011)

車道線檢測是自動駕駛系統(tǒng)中車道輔助保持系統(tǒng)(LKS)和車道偏離預(yù)警系統(tǒng)(LDWS)的關(guān)鍵技術(shù),高效實時的車道線識別可以提升自動駕駛汽車的行駛安全性[1-2]。近年來,深度卷積神經(jīng)網(wǎng)絡(luò)以其優(yōu)越的圖像特征提取性能被廣泛應(yīng)用于車道線檢測中[3]。文獻(xiàn)[4]提出一種穩(wěn)健的車道線檢測方法,以VGG16[5]為卷積神經(jīng)網(wǎng)絡(luò),加入編碼器和解碼器結(jié)構(gòu)。該方法在車道檢測速度和精度之間取得了很好的平衡。針對車道彎道處識別精度問題,文獻(xiàn)[6]提出一種基于多攝像機(jī)融合,集成消失點估計和特定的特征擬合策略的車道檢測方法,但該方法對相機(jī)參數(shù)依賴較高。文獻(xiàn)[7]提出的SegNet網(wǎng)絡(luò)能夠同時檢測出建筑物、行人、車道線,實例分割性能優(yōu)異,但實時性較差。文獻(xiàn)[8]提出了一種用于車道邊界識別的端到端系統(tǒng),完成了車道線的實例分割和分類,滿足了實時性要求。文獻(xiàn)[9]采用多幀連續(xù)圖像作為輸入,并提出結(jié)合CNN和RNN的混合神經(jīng)網(wǎng)絡(luò),在復(fù)雜環(huán)境中具有很好的穩(wěn)健性。文獻(xiàn)[10]利用文獻(xiàn)[11]的思路來實現(xiàn)對任意數(shù)量車道線的檢測,訓(xùn)練了一種視角轉(zhuǎn)換的H-Net網(wǎng)絡(luò),解決了車道線變化和視角波動的問題,但該方法Cluster耗時嚴(yán)重。文獻(xiàn)[12]提出一個可以檢測任意車道數(shù)的PINet網(wǎng)絡(luò),并提出后處理算法消除雜點,該方法誤檢率低,而且計算開銷較小。文獻(xiàn)[13]提出一種車道敏感架構(gòu)搜索框架CurveLane-NAS,可以自動捕獲長距離相干和精確的短距離曲線信息,該方法在復(fù)雜環(huán)境中有著不錯的性能。文獻(xiàn)[14]提出一種基于GLNet的車道線檢測算法,該算法在LaneNet基礎(chǔ)上加入生成對抗網(wǎng)絡(luò),使用H-Net[15]網(wǎng)絡(luò)訓(xùn)練的視覺轉(zhuǎn)換矩陣優(yōu)化并擬合輸出車道線,適用于多種場景。文獻(xiàn)[16]提出的LaneATT根據(jù)車道線的細(xì)長特征將具有細(xì)長形狀的錨點用于特征池化步驟,提升了模型性能。然而,對于曲線車道或復(fù)雜拓?fù)浣Y(jié)構(gòu)的車道,錨點無法很好地描述車道線的形狀。

綜上所述,當(dāng)前車道線檢測算法取得了良好的進(jìn)展,但還存在一些不足之處,如對計算機(jī)硬件要求高、計算量大、實時性差、對彎道識別效果不佳等。本文針對以上問題提出基于深度學(xué)習(xí)的車道線檢測算法,以期在多變行車環(huán)境下對彎道的檢測,具有更高的準(zhǔn)確度和穩(wěn)健性。

1 算法總體思路

車道線由遠(yuǎn)及近是連續(xù)的,形狀先驗性較強;由左向右,線與線之間空間依賴性較強。基于RESA的思想[17],以車道特性作為出發(fā)點,利用空間信息建立特征融合模塊。為避免梯度消失問題,采用ResNet-50網(wǎng)絡(luò)[18]作為主體框架,結(jié)構(gòu)見表1,殘差結(jié)構(gòu)中的跳躍連接有利于信息在網(wǎng)絡(luò)的各層間流動。Resa-CC算法整體模型由編碼器、自注意力機(jī)制、循環(huán)特征融合模塊、解碼器組成?？傮w結(jié)構(gòu)如圖1所示。

圖1 算法總體結(jié)構(gòu)

表1 ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)

2 基于循環(huán)特征融合的彎道增強算法結(jié)構(gòu)

2.1 編碼模塊

Resa-CC算法以ResNet作為特征提取器。原始輸入圖像通過編碼器后特征縮小到 1/8。初步特征將在此階段提取,并將自注意力模塊加入解碼器中,模塊如圖2所示。

圖2 編碼器模塊

2.2 解碼模塊

解碼器由雙邊上采樣塊組成。每個塊上采樣兩次,最后將 1/8 的特征圖恢復(fù)到原始大小。雙邊上采樣解碼器由粗粒度分支和細(xì)粒度分支組成,如圖3所示。

圖3 雙邊上采樣解碼器

粗粒度分支:從最后一層快速輸出粗略向上采樣的特征。首先1×1卷積減少通道數(shù);然后乘以輸入特征圖的2倍,進(jìn)行BN操作,雙線性插值對輸入特征圖進(jìn)行上采樣;最后,執(zhí)行ReLU操作。

細(xì)粒度分支:微調(diào)來自粗粒度分支的信息丟失。步幅為2的轉(zhuǎn)置卷積對特征圖進(jìn)行上采樣,同時將通道數(shù)減少2倍。Non-bottleneck塊由具有BN和ReLU的4個3×1和1×3卷積組成,可保持特征圖的形狀并以分解的方式有效地提取信息。在上采樣操作之后,堆疊2個Non-bottleneck。

2.3 自注意力機(jī)制模塊

編碼器中加入 CBAM[19]注意力機(jī)制,如圖4所示。該模塊可以自適應(yīng)地對不同通道和空間位置的特征進(jìn)行加權(quán),提高模型對重要特征的關(guān)注度,主要包括兩部分:通道注意力和空間注意力。通過這兩部分的結(jié)合,CBAM模塊可以在保留重要特征的同時,通過學(xué)習(xí)通道和空間位置之間的相關(guān)性,抑制無關(guān)特征,從而提高模型的泛化能力和性能。

圖4 CBAM自注意力機(jī)制

2.4 循環(huán)特征聚合模塊

以車道的形狀先驗性和空間依賴性作為出發(fā)點,設(shè)計一個模型,可以融合這兩方面的空間信息,并增強原始特征。該模塊中,將特征圖進(jìn)行切片,如圖5所示, (a)與(b)分別為特征上下傳播和左右傳播。每次迭代中,切片特征圖將在4個方向上反復(fù)移動,并垂直和水平傳遞信息。最后,該模塊經(jīng)過K次迭代,以確保每個位置都可以接收整個特征圖中的信息。步長不同時水平信息傳遞和垂直信息傳遞如圖6所示。

圖5 特征圖切片

圖6 特征傳遞

該模塊在4個方向上重復(fù)應(yīng)用特征移位操作,使每個位置都能感知并聚合同一特征圖中的所有空間信息。該模塊的進(jìn)一步計算定義為

(1)

(2)

(3)

(4)

式(1)-式(4)中,Z為信息傳遞的實時結(jié)果;X為第k次迭代時特征圖的值,帶有下標(biāo)的X為更新后的元素;c、i、j分別表示通道、行、列;L為式(1)和式(2)中的W和H;f為ReLU的非線性激活函數(shù);sk為第k次迭代中的步長,式(1)和式(2)分別為垂直和水平方向的信息傳遞公式;F為一組一維卷積,尺寸為輸入通道數(shù)×輸出通道數(shù)×卷積核的寬度:Nin×Nout×w。

以從右向左的信息傳遞為例,當(dāng)k=0次時,s1=1,每列中的Xi可以接收Xi+1移位特征。由于反復(fù)移位,Xw-1也可以接收X0移位特征。當(dāng)k=1次迭代時,s2=2,每列中的Xi可以接收Xi+2移位特征。以X0為例,X0可以在第二次迭代中接收X2信息,考慮X0在上一次迭代中從X1接收了信息,X2從X3接收到信息,現(xiàn)在X0僅在兩次迭代中總共從X0、X1、X2和X3接收了信息。下一次迭代類似于上述過程。在所有K次迭代之后,每個Xi可以在整個特征圖中聚集信息。

2.5 改進(jìn)的彎道增強技術(shù)

在像素級別上,相鄰行上的車道點互相靠近。因此,將相鄰三行車道點的像素坐標(biāo)進(jìn)行二次曲線擬合,預(yù)測下一行車道點的位置。在圖7中,通過A、B、C的坐標(biāo),擬合一條二次曲線。由于行方向是平均劃分的,因此可以確定D點的列坐標(biāo)。通過求解二次曲線的曲率,可以得出D點的行坐標(biāo),從而確定下一行車道線點的位置坐標(biāo)。

圖7 車道彎道結(jié)構(gòu)

2.6 損失函數(shù)設(shè)計

Resa-CC算法利用二次多項式函數(shù)建立曲線車道線的約束條件,進(jìn)而設(shè)計出損失函數(shù),以提高彎道檢測的準(zhǔn)確率。由于直線是二次多項式函數(shù)的一種特殊形式,可視為二次多項式函數(shù)的一種特例,因此本文所提出的算法不會影響直線車道線的檢測。

以圖7為基礎(chǔ),建立坐標(biāo)系,垂直方向為x軸,水平方向為y軸,假設(shè)曲線車道線可以表示為一個二次多項式函數(shù)

y=ax2+bx+c

(5)

顯然有

d2y/dx2≡2a

(6)

即車道線的二階導(dǎo)數(shù)為常數(shù),即在任一點處的二階導(dǎo)數(shù)相等,圖7車道線上連續(xù)A、B、C、D,橫軸間隔為1,即有

(7)

將導(dǎo)數(shù)以差商形式近似可得

(yB-yC)-(yC-yD)=(yA-yB)-(yB-yC)

(8)

式(8)極小化函數(shù)為

(9)

第i條車道線在第j行的位置坐標(biāo)的期望為

(10)

將式(9)代入式(10)可得彎道約束損失函數(shù)

(11)

3 試驗內(nèi)容與結(jié)果分析

試驗環(huán)境為64位Windows 10,Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz,GPU為8 GB顯存的NVIDIA GeForce GTX 1080,使用Python 3.8開發(fā),采用訓(xùn)練神經(jīng)網(wǎng)絡(luò)Pytorch-1.9.0,torchvision-0.2.0,OpenCV-python-4.5.1.48等完成。模型中EPOCHS為100,LEARNING＿RATE為0.000 5,BATCH＿SIZE為6。

3.1 數(shù)據(jù)集介紹

采用TuSimple數(shù)據(jù)集,該數(shù)據(jù)集包含不同交通狀況、不同時間段的車道線數(shù)據(jù)。其中訓(xùn)練集3626張,測試集2782張。為驗證本文算法在彎道場景下的有效性,對測試集的圖像進(jìn)行人工選取,選取483張彎道場景的圖像作為彎道測試集。

3.2 評估指標(biāo)

為評判模型性能,采用視覺領(lǐng)域常用評估標(biāo)準(zhǔn):準(zhǔn)確率Acc,誤檢率FP、漏檢率FN。公式分別為

(12)

(13)

(14)

式中,Cclip為正確預(yù)測的車道點的數(shù)量;Sclip為每個剪輯中地面真相的總數(shù);Tfp為檢測錯誤的車道線數(shù)量;Nt為全部檢測到的車道線數(shù)量;Tfn為檢測錯誤的真實車道線的數(shù)量;NT為全部真實的車道線數(shù)量;FPS為單位時間內(nèi)機(jī)器處理圖片的數(shù)量。

3.3 消融試驗

進(jìn)行消融試驗以驗證循環(huán)特征聚合模塊和自注意力機(jī)制的有效性。將本文Resa-CC算法與其他方法進(jìn)行對比,如ResNet-18、ResNet-34。Resa-18和Resa-50為分別以ResNet-18和ResNet-50為基礎(chǔ)的循環(huán)特征融合模型。結(jié)果見表2,加入循環(huán)特征融合模塊后的Resa-18,準(zhǔn)確率提升3.41%,FP和FN分別下降5.31%和5.48%;對比Resa-50,加入注意力機(jī)制的Resa-CC準(zhǔn)確度提升1.1%,FP和FN分別下降0.82%和0.11%。結(jié)果表明,注意力機(jī)制和循環(huán)特征融合模塊的加入,能更有效地捕捉到車道的結(jié)構(gòu)特征,從而提升了彎道識別的性能。

表2 消融試驗

3.4 試驗結(jié)果與分析

為更好地說明算法的性能,對比行車過程中彎道處的識別結(jié)果,4個不同彎道場景及曲率的識別效果如圖8所示,本文Resa-CC算法與SGRNeXt算法檢測效果對比如圖9所示。

圖8 彎道檢測效果

圖9 檢測效果對比

由圖8可以看出,算法均準(zhǔn)確地識別出了彎道車道線,證明了本文算法彎道檢測的準(zhǔn)確率和穩(wěn)定性。

由圖9可以看出,未加入彎道結(jié)構(gòu)損失的SGRNeXt算法中,車道彎道處出現(xiàn)末端上揚的情況;相同場景下,加入彎道結(jié)構(gòu)損失的Resa-CC彎道的識別性能有明顯提升,在彎道處更加準(zhǔn)確地識別出了彎道車道線。

本文算法的準(zhǔn)確率(Acc)與訓(xùn)練回合數(shù)(Epoch)之間的關(guān)系如圖10所示。算法的準(zhǔn)確度隨著Epoch的增加而提高,不同算法的準(zhǔn)確度在不同的Epoch值上達(dá)到飽和狀態(tài)。當(dāng)Epoch再增加,算法的準(zhǔn)確度出現(xiàn)下降。因此,Epoch設(shè)置過大會對機(jī)器性能造成浪費,本文的Epoch設(shè)置為100,在合理范圍之內(nèi)。

圖10 Acc折線圖

表3為本文提出的Resa-CC模型分別與LaneNet[10]、UFLD[20]和SGRNeXt的對比試驗結(jié)果。在彎道識別中,Resa-CC算法的準(zhǔn)確率c可達(dá)96.8%, FP遠(yuǎn)低于其他算法。這得益于循環(huán)特征融合模塊和自注意力機(jī)制,算法更加關(guān)注圖像的特征,有助于實現(xiàn)車道線檢測的更高精度。相比LaneNet,準(zhǔn)確度提升3.6%,FP和FN分別下降4.79%和0.44%,FPS與Runtime均滿足行車實時性檢測要求。綜合各指標(biāo),本文Resa-CC檢測模型為最優(yōu),在彎道路段行駛中準(zhǔn)確檢測到車道線的位置,具有更強的穩(wěn)健性和準(zhǔn)確性。

表3 對比試驗

4 結(jié) 論

針對道路轉(zhuǎn)彎處曲率過大而導(dǎo)致彎道識別精度下降的問題,本文提出了一種基于循環(huán)特征融合的彎道增強算法。該算法主要關(guān)注車道本身結(jié)構(gòu)信息,通過在模型中加入編解碼結(jié)構(gòu)和自注意力機(jī)制,增強車道結(jié)構(gòu)信息特征,循環(huán)特征融合模塊能更全面全方位地將車道線特征融合起來,且沒有特征信息的損失。彎道結(jié)構(gòu)損失函數(shù)通過將車道線建模為二次項函數(shù),能有效地提高車道彎道檢測的性能,算法準(zhǔn)確率達(dá)96.83%,對比UFLD算法,準(zhǔn)確率提升1.7%,FP和FN分別下降17.26%和2.61%,FPS為35.68,符合自動駕駛汽車中對實時性檢測的要求。