田間道路改進UNet分割方法

楊麗麗，陳 炎，田偉澤，徐媛媛，歐非凡，吳才聰

（中國農業(yè)大學信息與電氣工程學院，北京 100083）

0 引言

農業(yè)是國民經濟發(fā)展的基礎產業(yè)，目前國內農業(yè)生產面臨著勞動力不足和生產力低下等問題，發(fā)展農業(yè)機械的自動駕駛技術成為了解決這些問題的關鍵手段[1]。農機多需要在機庫和農田之間往來行駛，農田間道路缺乏導航線，路邊常有雜草和泥土覆蓋，這就需要自動駕駛農機準確識別道路區(qū)域，避免陷入兩側溝渠，同時躲避道路上的障礙物，實現安全行駛。機器視覺系統(tǒng)具有價格低廉，可靠性高的優(yōu)點，基于視覺原理進行道路識別，提取可行駛區(qū)域，對于自動駕駛農機的發(fā)展尤為重要。

道路識別通過對采集到的道路圖像進行語義分割，可以看作是像素級的分類任務，即對每一個像素進行背景和道路的二分類任務，從而提取可行駛區(qū)域。目前對結構化的城市道路識別研究較多，Das等[2]使用手工提取特征的方法完成了道路識別，但這種方法參數調整較為復雜，魯棒性較差。Long等[3]提出了全卷積網絡（Fully Convolutional Networks, FCN），第一次將深度學習用于道路識別，在復雜的城市道路場景中實現了道路區(qū)域提取，但FCN僅使用一次上采樣將提取的高級語義特征恢復至原尺寸大小，對道路邊緣分割精度較低。Ronneberger等[4]在UNet網絡中提出了編碼解碼結構，解碼結構中使用多步上采樣結構，同時融合了下采樣過程中的特征，增強了網絡的邊緣分割能力。Zhang等[5]在UNet結構中加入跳躍性的殘差連接[6]，促進了信息的傳播，增加了網絡的可訓練參數，在道路分割中減少了噪聲點的產生，提高了多條車道交匯處的道路分割精度。Huang等[7]進一步改進了殘差連接結構，將下采樣過程中的不同大小的特征圖以殘差結構連接到了上采樣過程中，將低級語義特征與高級語義特征相融合，進一步提升了分割效果。為了提高卷積核的感受野，Chen等[8-13]將空洞卷積與空間金字塔池化（Spatial Pyramid Pooling, SPP）相結合，對于道路中的障礙物的邊緣分割具有良好的效果。不同于結構化的城市道路，農田間道路缺乏明顯的車道線等交通標識，半結構化和非結構化的道路邊界區(qū)分不明顯，形狀復雜多樣，道路兩旁的樹木多存在遮擋光照的情況，這些都增大了道路識別的難度。在農田間道路特征明顯的路段，使用色彩信息[14-15]可以實現良好的分割效果，但這種方法對于光照極其敏感，缺乏對環(huán)境變化的適應性。針對丘陵地區(qū)田間道路蜿蜒曲折、坡度大、雜草覆蓋多的特點，李云伍等[16]使用深度學習的方法，在FCN中使用不同擴張系數的空洞卷積進行級聯，提高了道路邊緣形狀的分割效果。

本文采集農田間道路圖像構建數據集，針對農田間道路邊界模糊和環(huán)境復雜多變等特點，以UNet作為基本結構進行改進，在農田間道路場景下進行道路區(qū)域識別，為后續(xù)的自動駕駛農機自主導航奠定基礎。

1 農田間道路數據采集

采集設備選取Stereolabs ZED雙目相機，水平視場為90°，垂直視場為60°。該相機可同步采集左、右圖像，圖像分辨率為1 280×720（像素），幀率為30幀/s，采集軟件為相機自帶的ZED Explorer。選取雙目相機的左目圖像進行數據集的標注和訓練。使用Matlab R2019b中的Stereo Camera Calibrator工具箱對雙目相機進行標定，計算可得左、右相機焦距、內外參數、旋轉矩陣和平移矩陣等參數。數據采集于北京市大興區(qū)榆垡鎮(zhèn)。北京地區(qū)四季分明，夏秋季節(jié)草木茂盛，春冬季節(jié)草木凋零，為實現數據采集過程中盡可能包含實際生產活動中的不同場景、天氣及光照條件，提高數據集的適用性，同時更加客觀地評估深度學習網絡，選取環(huán)境差異較大的春季和夏季進行圖像采集，光照條件包括光照良好、樹蔭遮擋和背光，天氣情況包括晴天、多云和雨天，雙目相機安裝在農機上，安裝位置保證農機行駛過程中無遮擋，安裝高度1.2 m。數據采集時農機行駛速度約為5 km/h，采集路段的農田間道路包括半結構化道路與非結構化道路，道路寬度為3～5 m。采集視頻時長約8 h，從視頻中截取圖片制作數據集，篩選路段為機庫至農田的田間道路區(qū)段，選擇清晰圖像，不考慮農機震動造成的運動模糊，共篩選出1 600張圖片，以4:1的比例劃分訓練集和測試集。使用開源標注軟件Labelme進行圖像標注，標注得到農田間道路與背景的二值圖像，作為真值圖像。

2 改進的UNet網絡結構

UNet由編碼器網絡和解碼器網絡組成，編碼器用于信息的提取，解碼器用于將特征圖尺寸恢復至原圖像大小，網絡結構如圖1所示。在農田間道路分割任務中，UNet中采用最大池化的下采樣方式，只選取2×2（像素）范圍內的最大值代替整個區(qū)域，下采樣后特征圖寬度和高度為原來的一半，這對于道路特征信息損失較多。基于此，本文對UNet進行改進，改進后的網絡結構如圖2d所示。輸入圖像首先經由2個大小為3的非對稱卷積核（Asymmetric Convolution Block，ACBlock）[17]連續(xù)卷積提取道路特征，卷積過程中使用“零值填充”[18]保證特征圖尺寸大小不變，同時將通道數擴展為64，相比于普通卷積核，具有更好的特征提取能力。在編碼器網絡中，每經過2次卷積操作，增加殘差結構將輸入路徑中的農田間道路特征圖以像素點相加的方式與輸出路徑直接相連，每個卷積操作的后面都會緊跟一個批量標準化處理[19]。采用池化卷積融合結構（the Fusion Block of Max Pooling and Convolution, FPCBlock）代替原UNet中最大池化層進行下采樣，將下采樣和連續(xù)卷積重復4次，最終輸出特征圖尺寸相對縮小為輸入尺寸的1/16，通道數為1 024。在最后2層中采用空洞非對稱卷積（Dilated Asymmetric Convolution Block, DACBlock）進行第1次卷積。改進后的UNet解碼器包含4次上采樣，上采樣的方式為轉置卷積，上采樣過程中的特征與對應的下采樣特征在通道層進行拼接融合，最后經由1×1卷積將通道數降至2，輸出農田間道路與背景的二分類結果。

2.1 殘差連接

“零值填充”通過對圖像四周填充數值為0的像素，可以保持卷積過程中尺寸大小不變，但這種填充方式不利于圖像邊緣處特征的提取，在農田間道路分割中降低了道路邊緣形狀的分割精度，殘差連接中的增強路徑可以有效地改善這個問題。改進的UNet在編碼器網絡中添加了殘差連接，即在輸出層加入了一條輸入層的恒等映射，對于神經網絡反向傳播過程中的梯度消失[20]的問題也有所改善。殘差連接在不增加額外訓練參數的前提下增加了網絡復雜度，訓練過程可以產生更多的擾動以模擬復雜的農田間道路環(huán)境，從而提高網絡對農田間道路分割的準確率。

2.2 池化卷積融合結構（FPCBlock）

原始UNet采用的下采樣結構為最大池化層，用最大池化的選取范圍內的最大值用以代替整個區(qū)域的像素值。最大池化層忽略了特征的位置，具有保持特征平移不變性的優(yōu)點[4,11,21-22]，對處于圖像中不同位置的道路都可以保持較好的識別效果，但由于沒有可訓練參數，最大池化層舍棄了3/4的像素值，經過4次池化得到的高級語義特征圖，理論上已無法恢復出原圖像中小于16像素的特征，損失了較多的有用信息，從而導致遠處小面積的道路區(qū)域分割精度較差。

卷積操作的下采樣方式具有可訓練參數，經過非線性運算從而提取圖像中的語義特征[5,23]。結合最大池化關注于明顯特征的提取，而卷積則更有利于整體特征重建[24]的特性，本文提出了FPCBlock結構進行下采樣，輸入特征圖在FPCBlock中分別進行大小和步長都為2的卷積和池化操作，將得到的結果在特征通道層進行融合，最后采用1×1卷積進行降維輸出，如圖2a所示。FPCBlock的輸出層與輸入層相比，特征圖的尺寸減半，而通道數加倍，保證了卷積過程中道路信息的完整性[4]。改進的UNet網絡使用FPCBlock替代原始UNet下采樣過程中的最大池化層，結合了卷積和最大池化的優(yōu)點，提高了網絡對于復雜路況的提取能力，同時保持了在通道層融合結構中編碼器和解碼器特征圖尺寸的一致性。

2.3 ACBlock與DACBlock

ACBlock相比于普通的卷積核，在卷積過程中權重分布不均勻，在中心點附近的“骨架”結構上具有更高的權重，形成非對稱的結構，可以提取更多的有效特征，改進的UNet使用ACBlock替換了原網絡中的普通卷積核，通過增加“骨架”結構位置的權重提高了卷積核對于道路特征的提取能力。經過批量標準化融合和分支融合[17]，將ACBlock轉換為與普通的卷積核相同大小的結構，使改進的UNet模型推理時間沒有增加。

在ACBlock基礎上，本文提出了擴大感受野的DACBlock結構，DACBlock中將3×3卷積核替換為擴張率為2的空洞卷積，另外2個分支保持不變，如圖2c所示。空洞卷積提高了卷積核的感受野，可以獲取更多的上下文信息，在神經網絡中通過訓練得到道路與路邊雜草、農田等的某種“聯系”，可以更好地提高道路分割精度。但由于空洞卷積中存在空白的間隔，導致分割出的道路圖像會出現離散的像素點區(qū)域，形成“棋盤效應”[25]。DACBlock中先進行空洞卷積，再進行1×1卷積的平滑處理，同時另外2個分支卷積填補“骨架”結構的空白，提高了獲取特征的連續(xù)性，有效地改善了“棋盤效應”的問題。改進的UNet在下采樣的第4層和第5層中使用DACBlock進行第1次卷積，增加了卷積核的感受野，從而提高道路識別精度。因為DACBlock增加了“骨架”結構處的參數，導致推理時間有所增加。

ACBlock和DACBlock僅對網絡中的卷積操作進行修改，未修改網絡整體結構，無須修改輸入輸出和超參數等設置。

3 試驗結果與分析

3.1 網絡訓練

本文提出的改進的UNet網絡基于PyTorch實現，訓練數據集共1 600張圖片，訓練集與測試集分別為1 280與320張圖片。選擇Adam算法進行端到端的訓練，初始學習率設置為0.000 01，采用指數衰減的方式動態(tài)調整學習率。訓練集損失函數使用基于熵值的二分類損失，計算公式為

式中?y為此像素點被預測為道路的概率值，取值范圍為0～1，y為此像素點的真值，若此像素點為道路，則定義為1，否則為0。驗證集損失函數計算方式如下：

式中A、B分別為預測道路區(qū)域和真值道路區(qū)域的面積，即區(qū)域范圍內像素點的個數。Batchsize設置為8，默認訓練輪數為500，使用早停（Early Stopping Round）方法，當連續(xù)10輪訓練中驗證集損失函數不下降時，即停止訓練，早停方法可以避免過擬合的產生，從而提高模型對于復雜環(huán)境的適應性。采用交并比（Intersection Over Union, IOU）作為測試集評價標準，計算公式如下：

3.2 改進網絡結構評估

本文使用的模型預測平臺GPU配置為GTX 1650，內存為4G，為了評估各個改進結構的效果進行對比試驗，以UNet為基礎網絡，逐步添加改進結構，構建6組不同的神經網絡，試驗如表1所示。試驗1為原始UNet網絡，試驗2在試驗1的基礎上添加了殘差連接，試驗3，4在試驗2的基礎上，分別將下采樣方式替換為卷積和FPCBlock，試驗5，6在試驗4的基礎上，將卷積核分別替換為ACBlock和DACBlock。通過不同網絡的對比，驗證本文不同改進結構的提升效果。訓練過程使用農田間道路訓練集進行訓練，訓練完成后在測試集進行測試，將在測試集上的預測結果與Labelme軟件標注得到的真值比較，計算得到IOU以評價網絡的精度，網絡推理時間為預測過程中平均每張圖片的處理時間。

表1 不同改進網絡結構的效果對比 Table 1 Comparison of effects of different improved network structures

由表1可以看出，使用UNet網絡進行農田間道路分割，IOU僅為78.51%，本文提出的改進UNet網絡IOU提高了6.52個百分點，達到85.03%，由于FPCBlock和DACBlock中增加了訓練參數，導致模型參數量和推理時間有所增加。對比試驗2，3可以看出，使用卷積下采樣比最大池化下采樣IOU提高了2.22個百分點，這是因為卷積核在作用區(qū)域使用非線性計算提取了特征，訓練過程中通過梯度下降不斷提高特征提取能力，增加了模型訓練參數，減少了下采樣過程中的信息損失。對比試驗3，4可以看出，FPCBlock比卷積下采樣的IOU提高了1.41個百分點，這是因為FPCBlock在卷積下采樣的基礎上，將卷積與最大池化得到的特征進行融合，僅增加了1×1卷積核中的少量參數，使模型預測IOU進一步得到提升。對比試驗4，5可以看出，ACBlock比普通卷積IOU提高了1.11個百分點，這是因為使用ACBlock替換普通卷積核后，增加了“骨架”結構的權重，這對于圖像的旋轉變形具有良好的識別效果，ACBlock卷積核大小與普通卷積核相同，因此模型參數量和推理時間與原結構保持一致。對比試驗5，6可以看出，DACBlock比ACBlock IOU提高了1.06個百分點，這是因為DACBlock在ACBlock的基礎上使用空洞卷積，同時在另外2個分支中填補了空洞卷積“骨架”結構中的空白部分，在保持特征圖尺寸不變的前提下，提高了高級語義特征的感受野，進一步提高了分割精度。

為了更直觀地表示網絡改進效果，選取表1中的試驗1、2、4和6共4組不同的網絡，分別代表原始UNet，和在UNet基礎上逐步添加殘差連接、FPCBlock、ACBlock和DACBlock結構，選取不同條件的農田間道路圖像作為輸入圖像，以Labelme軟件標注得到的二值圖像作為真值圖像，網絡預測結果對比如圖3所示。

由圖3可以看出，春季和夏季農田間道路圖像中，背景差異較大，改進后的UNet都能進行較好的道路識別；多云天氣下，由于雜草遮擋的原因，在道路交匯處識別精度較差；雨后存在積水的道路，由于存在鏡面反射，對積水處存在一定程度的誤識別；在光照良好和傍晚、樹蔭等光照較弱的情況下，可以較好地完成道路分割，保障了農機的安全行駛。

3.3 與其他神經網絡對比

為了進一步評價改進UNet對于田間道路分割的性能，使用 UNet[4]、ResUNet[5]、DeeplabV3[10]、DeeplabV3+[11]、UNet3+[7], 在農田間道路訓練集上進行訓練后，然后在測試集上進行測試得到推理時間和IOU，并與本文提出的改進UNet進行對比，以對比不同神經網絡在農田間道路分割時的精度和時間復雜度，比較結果如表2所示。

表2 不同網絡結構的田間道路分割效果對比 Table 2 Comparison of field road segmentation effect with different network structures

從表2可以看出，本文提出的改進的UNet網絡，在分割準確率IOU要優(yōu)于其他網絡。對比針對編碼器網絡和解碼器網絡的改進效果，表1中的試驗2僅在編碼器網絡中增加了殘差連接，IOU為79.23%，而ResUnet在編碼器和解碼器網絡都增加了殘差連接，IOU為79.28%，可以看出，改進解碼器網絡模型提升效果不明顯，與前人結論一致[24]。

在農田間道路分割任務中，道路區(qū)域在圖像中的分布位置呈現出近處占比高，遠處占比小的特點，道路邊緣缺乏規(guī)則的分界線，這些都增大了道路分割的難度。在農田間道路分割任務中，分割精度對于安全駕駛尤為重要。本文提出的改進的UNet分割IOU為85.03%，相比其他網絡精度較高，網絡推理時間平均每張圖片為163 ms，推理速度低于ResUNet，UNet 3+等網絡。農機在農田間道路上的行駛速度在20 km/h左右，表2中所有網絡推理時間都能滿足自動駕駛農機對于道路識別的速度要求。相比于其他網絡，本文提出的改進UNet在推理時間滿足要求的同時識別效果最優(yōu)，適合自動駕駛農機的田間道路識別。

4 結 論

在農田間道路分割任務中，本文以UNet為基本網絡結構，提出了以下3個改進方向：

1）在解碼器網絡中每兩個卷積操作之間建立一條恒等映射通道，通過像素點相加的方式建立殘差連接，改善了訓練過程中梯度消失的問題，跳躍連接結構促進了網絡中信息傳播效率，增加了網絡復雜度。

2）建立FPCBlock，替代UNet網絡中最大池化層。該結構結合了卷積和最大池化操作的優(yōu)點，通過使用可訓練參數進行下采樣，減少了信息的損失。

3）使用ACBlock和DACBlock替換UNet中的3×3卷積核，ACBlock提高了卷積核的使用效率，DACBlock使用空洞卷積提高了卷積核的感受野，同時填補了空洞卷積“骨架”結構中的空白部分，改善了“棋盤效應”的問題。ACBlock和DACBlock使用方便，可以直接替換網絡中的普通卷積核，無須修改超參數設置，便于進行網絡的訓練。

本文提出的改進的UNet網絡，分割IOU為85.03%，相較于原UNet提高了6.52個百分點，且高于ResUNet、UNet 3+等網絡，平均每張圖片推理時間為163 ms，符合自動駕駛農機的時間要求。