基于改進DeepLabv3+的室外交通場景識別

李 陽,李 猛,王中華

（濟南大學(xué) 自動化與電氣工程學(xué)院,山東 濟南 250024）

0 引言

隨著人工智能時代的到來，智慧無人駕駛技術(shù)能夠幫助我們釋放雙手、擺脫乏味，已然成了不可阻擋的時代潮流，而對交通道路場景的識別能力作為智能駕駛的基礎(chǔ)與前提條件，其效果的可靠性、有效性起著舉足輕重的作用。

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）的應(yīng)用使得計算機視覺得到了快速發(fā)展，其在交通道路場景識別中有著出色的表現(xiàn)。Pan Xingang等人認為卷積網(wǎng)絡(luò)在利用圖像中跨行列之間信息的能力不足，影響了車道線、路燈等目標的分割效果，基于此提出了SCNN網(wǎng)絡(luò)，解決了傳遞特征圖上的空間關(guān)系，在公開數(shù)據(jù)集上表現(xiàn)優(yōu)秀[1]。針對交通場景中車輛行人等相互遮擋的情況，李軒等人提出了一種遮擋的回歸損失函數(shù)Occlusion loss，搭配目標檢測算法YOLO v3不僅可以提高目標檢測的精度，還能夠避免同一檢測框內(nèi)出現(xiàn)多個被檢測目標，從而有效防止漏檢，并且擁有更強的魯棒性[2]。譚睿俊等人針對語義分割網(wǎng)絡(luò)在提取特征時下采樣池化操作會損害特征圖分辨率的情況，為提升其在交通場景下的分割效果，構(gòu)建了一種雙層殘差網(wǎng)絡(luò)和跳躍特征融合網(wǎng)絡(luò)相結(jié)合的語義分割模型，更加全面充分地學(xué)習(xí)圖像特征，使網(wǎng)絡(luò)達到了較高的提取特征能力和識別效果[3]。

作為當前圖像語義分割領(lǐng)域中主流的具有編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型，DeepLabv3+網(wǎng)絡(luò)中引入了擴張卷積，可以獲取更多的上下文信息，表現(xiàn)十分出色[4]。然而，在面對交通場景中一些小目標物體的分割時，分割效果不明顯，且總體分割精度有待提高。針對上述問題，該文將基于DeepLabv3+網(wǎng)絡(luò)進行改進，提升其精度及分割效果。

1 算法改進及相關(guān)內(nèi)容介紹

1.1 總體框架

該文改進的DeepLabv3+的圖像語義分割算法，主要是利用了結(jié)構(gòu)重參數(shù)化方法和混合損失函數(shù)實現(xiàn)的。采用結(jié)構(gòu)重參數(shù)化方法，用具有多分支結(jié)構(gòu)的DBB模塊重構(gòu)模型中解碼部分的網(wǎng)絡(luò)結(jié)構(gòu)[5]。在交叉熵作為損失函數(shù)的基礎(chǔ)上，結(jié)合Dice損失函數(shù)組成混合損失函數(shù)，引導(dǎo)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，彌補單個損失函數(shù)在數(shù)據(jù)出現(xiàn)不均衡時的不足問題，進一步提升網(wǎng)絡(luò)的分割精度。

1.2 結(jié)構(gòu)重參數(shù)化

多分支的結(jié)構(gòu)相當于使網(wǎng)絡(luò)增加了不同尺度的感受野，相較于單層遞進式的網(wǎng)絡(luò)結(jié)構(gòu)拓寬了網(wǎng)絡(luò)的寬度、增加了學(xué)習(xí)參數(shù)，有利于網(wǎng)絡(luò)性能的提高，但網(wǎng)絡(luò)的多分支化會不可避免地帶來網(wǎng)絡(luò)在使用時的大參數(shù)量以及內(nèi)存消耗。2021年，Diverse Branch Block（DBB）模塊被提出，圖1為DBB模塊示意圖。其核心理念是通過多分支網(wǎng)絡(luò)結(jié)構(gòu)（包含卷積序列、多尺度卷積及平均池化）來豐富卷積塊的特征空間，從而增強了單卷積的表示能力，為卷積神經(jīng)網(wǎng)絡(luò)帶來更大的改善。通過結(jié)構(gòu)重參數(shù)化思想，DBB模塊還可以將復(fù)雜得多的分支結(jié)構(gòu)等價轉(zhuǎn)化為一個單分支結(jié)構(gòu)，如此可以使得轉(zhuǎn)化后的網(wǎng)絡(luò)不僅擁有了在轉(zhuǎn)換前的優(yōu)良性能，而且結(jié)構(gòu)簡單。

圖1 Diverse Branch Block（DBB）示意圖

要將復(fù)雜多分支結(jié)構(gòu)轉(zhuǎn)化為一個單分支結(jié)構(gòu)，其融合過程需要涉及多個步驟，包括將BN層與卷積層的融合、不同尺寸的卷積融合等。

首先是BN層和卷積層的融合。已知卷積變化、BN操作分別如公式（1）（2）：

則輸入x經(jīng)過卷積層和BN層的過程可以表示為：

式中，γ和β——BN層自身訓(xùn)練學(xué)習(xí)到的比例因子和偏置項；μB和σB——均值和方差。令

由（3）（4）可得：

式中，ω?和b?——經(jīng)融合后的卷積核的權(quán)重與偏置。經(jīng)過以上變換，就實現(xiàn)了將卷積層和BN層融合為一個單一卷積塊的過程。

對于分支融合。由文獻[6]可知，兩個或多個配置相同的卷積是具有可加性，即可以先將不同的分支都轉(zhuǎn)化為相同配置的卷積，再把它們利用可加性合并為一個卷積，這就是分支融合的原理。

如圖1（a）所示，第①條支路中1×1卷積和BN層進行融合后，使用0進行填充至K×K大??；第②條支路中結(jié)構(gòu)為1× 1Conv-BN-K×KConv-BN，先分別將1×1卷積與對應(yīng)的BN層以及K×K卷積與對應(yīng)的BN層進行融合，得到的結(jié)構(gòu)為1× 1Conv-K×KConv。其次以F1∈RD×C×1×1作為1×1Conv的卷積核、F2∈RE×D×K×K作為K×KConv 的卷積核，它們的偏置分別為b1∈RD和b2∈RE。則輸出O'是：

式中，I——輸入，*——卷積運算。由于我們需要得到

由文獻[7]可知，可以用轉(zhuǎn)置后的F1對F2進行卷積得到F'、b1與F2相乘后與b2相加得到b'，注意，對于需要進行0填充的K×KConv，方法是在模型訓(xùn)練時對第一個BN后的結(jié)果填充b1，至此將第②條支路轉(zhuǎn)化成K×K大小的卷積。第③條支路中先將平均池化層等價轉(zhuǎn)化為同樣大小和步長的卷積，之后按照第②條支路的處理對該條支路轉(zhuǎn)換為K×K大小的卷積；第④條支路中K×K卷積只和BN層融合。最后將轉(zhuǎn)化后的四條支路進行分支融合，得到圖1（b）所示的單一結(jié)構(gòu)卷積塊。

1.3 Dice Loss

在網(wǎng)絡(luò)訓(xùn)練階段，該文提出了一種混合損失函數(shù)，即將交叉熵損失與Dice損失相結(jié)合。Dice Loss[8]可以有效地應(yīng)對數(shù)據(jù)中正負樣本不平衡造成的分割效果不理想的場景，其計算公式如式（8）所示：

式中，pi——預(yù)測圖中的像素點；gi——標簽圖中的像素點；pigi——二者交集。由式（8）中可以看到Dice Loss表示一種區(qū)域性代價函數(shù)，也就是說影響某像素點的訓(xùn)練損失及梯度值的原因不僅和該點的預(yù)測值及對應(yīng)標簽值有關(guān)，其他點的預(yù)測值及相應(yīng)標簽值也會做出干擾，即網(wǎng)絡(luò)的所有輸出都會影響該像素的梯度，這就避免了模型在背景像素數(shù)目大于目標像素數(shù)目的情況下嚴重偏向于背景而導(dǎo)致模型分割效果不好的情況，因此圖像中的數(shù)據(jù)不均衡問題可以得到緩解。

2 實驗與分析

2.1 實驗環(huán)境及訓(xùn)練方法

該文的實驗環(huán)境為深度學(xué)習(xí)框架為Pytorch1.10，處理器是Intel i9-10980XE，GPU為NVIDIA GeForce RTX 3080。該文使用遷移學(xué)習(xí)策略，將預(yù)訓(xùn)練模型Resnet101網(wǎng)絡(luò)作為算法的初始化權(quán)重主干特征提取網(wǎng)絡(luò)，以提升網(wǎng)絡(luò)的泛化能力。訓(xùn)練分為兩個階段。階段一為凍結(jié)主干特征提取網(wǎng)絡(luò)階段，學(xué)習(xí)率為0.007，批處理大小和epoch分別為8和50。階段二是解凍主干網(wǎng)絡(luò)階段，學(xué)習(xí)率為0.000 07，批處理大小和epoch分別為4和50。采用SGD作為優(yōu)化器，學(xué)習(xí)率衰減策略為余弦退火。

訓(xùn)練時，在網(wǎng)絡(luò)解碼結(jié)構(gòu)用DBB模塊替換部分卷積去訓(xùn)練，并且配合混合損失函數(shù)計算梯度信息進行反向傳播訓(xùn)練網(wǎng)絡(luò)模型。推理測試階段利用結(jié)構(gòu)重參數(shù)化方法，將DBB模塊構(gòu)轉(zhuǎn)化成簡單卷積。

2.2 實驗數(shù)據(jù)集及評價指標

該文采用Cityscapes數(shù)據(jù)集[9]對所提算法進行試驗和驗證，由于官方并沒有給出測試集對應(yīng)的標簽圖，所以該文使用的數(shù)據(jù)集是訓(xùn)練集加驗證集共3 475圖片，并隨機劃分，取3 175張圖片用于訓(xùn)練、348張圖片用于驗證及后續(xù)的測試。該文選擇使用平均交并比（MIoU）和平均像素精度（MPA）為驗證圖像語義分割算法性能的評價指標。

2.3 實驗結(jié)果與分析

該文對所改進算法進行了消融實驗，模型語義分割結(jié)果如表1所示。

表1 各模型的圖像語義分割結(jié)果評估

從表1中的結(jié)果對比可以看出，在原算法的基礎(chǔ)上，僅在特征提取階段利用DBB模塊替換卷積結(jié)構(gòu)或僅加入混合損失函數(shù)，都使得MIoU和MPA得到了有效提高；而在原有基礎(chǔ)上同時DBB模塊和混合損失函數(shù)，使得MIoU值提高了4.63個百分點、MPA提高了3.53個百分點。

使用模型①和④對Cityscapes數(shù)據(jù)集中的測試集進行語義分割，實驗對比結(jié)果如圖2所示?？梢钥闯?，在交通場景下進行場景識別時，原DeepLabv3+算法在分割成像占比較小的柱子、人等物體時明顯存在分割不均衡、遺漏的現(xiàn)象，該文所改進的算法的分割效果更為明顯。實驗結(jié)果表明，所改進算法對于目標背景的邊界分割能力有明顯提升，細化目標邊界，輪廓更加清晰，改善了數(shù)據(jù)不平衡分割不好的問題，并改善了語義分割效果。

圖2 分割結(jié)果對比圖

3 結(jié)論

針對交通場景下語義分割性能精度低以及對小目標物體分割效果較差的問題，該文提出了一種改進的DeepLabv3+網(wǎng)絡(luò)的語義分割方法，首先利用結(jié)構(gòu)重參數(shù)化方法，在訓(xùn)練階段用DBB模塊重構(gòu)網(wǎng)絡(luò)的解碼架構(gòu)，推理階段再等價轉(zhuǎn)化成一個簡單卷積塊，使模型在具有復(fù)雜多分支結(jié)構(gòu)表現(xiàn)出來的良好分割性能的同時兼具單分支結(jié)構(gòu)的簡潔特征；其次，使用Dice損失函數(shù)和交叉熵損失函數(shù)結(jié)合的混合損失函數(shù)應(yīng)用到算法中，可以有效地改善出現(xiàn)正負樣本不平衡時分割效果不理想的情況。通過使用Cityscapes數(shù)據(jù)集進行的消融實驗表明，所提算法相比原DeepLabv3+算法對圖像的分割準確度有了很大的提升，擁有更好的效果。