摘" 要:道路上不斷出現(xiàn)貨車超限的情況,對人們生命財產(chǎn)安全造成很大影響。而檢測貨車超限的前提是準(zhǔn)確識別貨車,為了提高檢測貨車的速度與精度并判別裝載物料是否超限,該文提出一種基于改進YOLOv5s和Canny模型的貨車物料超限檢測方法。采用輕量級提取網(wǎng)絡(luò)ShuffleNetV2作為YOLOv5s網(wǎng)絡(luò)的主干部分,以此來減少模型的計算量和參數(shù)量;用EIoU損失函數(shù)優(yōu)化邊框回歸,精確貨車目標(biāo)定位;為檢測對貨車圖像進行灰度化和邊緣檢測處理,再與標(biāo)準(zhǔn)超限體比較,可判斷貨車是否超限。實驗結(jié)果表明,在自制貨車數(shù)據(jù)集上,改進YOLOv5s的平均精度可達95.8%,比原模型提高了9.2%,參數(shù)量和計算量為原模型的45.4%、44.4%。最后將處理后圖像與標(biāo)準(zhǔn)超限體對比,可檢測貨車是否超限,有利于消除道路交通安全隱患,為城市治超管理提供方法。
關(guān)鍵詞:超限檢測;YOLOv5s;灰度化;Canny算法;貨車
中圖分類號:U294.6" " " 文獻標(biāo)志碼:A" " " " " 文章編號:2095-2945(2023)17-0065-04
Abstract: In view of the fact that trucks continue to exceed the limit on the road, the safety of people's lives and property has been greatly affected, while the premise of determine whether the truck exceeds the limit or not is accurately recognizing the truck loading, this paper proposes a truck material out-of-limit detection method based on improved YOLOv5s and Canny algorithm, in order to improve the speed and accuracy of truck detection. The lightweight extraction network ShuffleNetV2 is used as the backbone of the YOLOv5s network to reduce the amount of calculation and parameters of the model; the frame regression is optimized by EIoU loss function to accurately locate the truck target; the detected truck image is grayed out and edge detection is processed, and then compared with the standard out-of-limit body, whether the truck is out of limit can be judged. The experimental results show that on the self-made truck data set, the average accuracy of the improved YOLOv5s is 95.8%, which is 9.2% higher than the original algorithm, and the number of parameters and the amount of calculation are 45.4% and 44.4% of the original algorithm. Finally, the processed image is compared with the standard out-of-limit body, which can detect whether the truck is out of limit, which is helpful to eliminate the hidden danger of road traffic safety and provide a method for urban management.
Keywords: out-of-limit detection; YOLOv5s; graying; Canny algorithm; truck
近年來隨著我國交通運輸業(yè)的快速發(fā)展,城市交通負(fù)擔(dān)不斷增加,車輛載重也日漸重型化,超限車輛一方面增加了對道路的壓迫,另一方面在交通安全方面也存在潛在危害,因此檢測車輛是否超限顯得尤為重要。能準(zhǔn)確識別貨車并判斷裝載物料是否超限為超限超載的治理提供了重要指導(dǎo),有利于減少道路交通安全隱患,延長道路使用壽命。
檢測物料是否超限的方法有人工檢測法、激光、紅外對射檢測法和圖像識別法等。洪韋等[1]通過激光雷達數(shù)據(jù)處理關(guān)鍵技術(shù),將車廂左側(cè)、右側(cè)和頂部3個部位超限檢測結(jié)果以點云圖像的方式呈現(xiàn),檢車人員可快速判斷超限等異常情況。余滿等[2]研究了高速公路激光雷達超限檢測系統(tǒng),通過將高分辨率三維激光雷達新型檢測器安裝于收費站入口,同時檢測器與攝像機抓拍、邊緣計算、語音播報系統(tǒng)聯(lián)動,實現(xiàn)了動態(tài)檢測車輛的長、寬、高。龐婷婷等[3]研究了基于Faster R-CNN的鐵路超限貨物自動檢測系統(tǒng),可檢測鐵路運輸中物料超限情況。
在車輛分析中,車輛檢測是其關(guān)鍵的一步,也是后續(xù)車型識別、車標(biāo)識別、車牌識別、車輛特征識別等的基礎(chǔ)。為從道路車輛中檢測到貨車并判斷貨車裝載物料是否超限,本文提出一種基于改進YOLOv5s和Canny模型的物料超限檢測方法,利用改進YOLOv5s識別貨車,再將識別為貨車的圖像灰度化并提取邊緣,通過與標(biāo)準(zhǔn)超限體對比,來判斷貨車裝載物料是否超限。
1" 改進的YOLOv5s目標(biāo)檢測模型
1.1" YOLOv5s模型
YOLOv5是一階段目標(biāo)檢測模型,包含4個不同寬度和高度的版本,其中YOLOv5s模型的寬度和高度最小,計算量和參數(shù)量也最小,考慮到交通監(jiān)控現(xiàn)場投放的大多是算力偏低的嵌入式設(shè)備和低分辨率攝像頭,本文選擇YOLOv5s模型作為預(yù)訓(xùn)練模型。
YOLOv5s[4]由輸入端、Backbone、Neck和Prediction組成,輸入端的作用是輸入圖像并對圖像預(yù)處理,將輸入圖片進行縮放裁剪得到相應(yīng)預(yù)測框,并自適應(yīng)添加最少黑邊;Backbone利用CSP結(jié)構(gòu)對輸入圖像進行特征提?。籒eck使用FPN+PAN結(jié)構(gòu)將低層和高層特征進行融合,從而更加充分提取圖像特征;最后通過Prediction的損失函數(shù)和非極大值抑制對圖像做預(yù)測。
1.2" YOLOv5s改進模型
1.2.1" ShuffleNetV2
車輛檢測是檢測貨車是否超限的前提,模型檢測時長與所占內(nèi)存對及時判斷貨車是否超限有很大影響。ShuffleNetV2[5]是一種輕量級的特征提取網(wǎng)絡(luò),能平衡模型的速度和準(zhǔn)確度,使用ShuffleNetV2網(wǎng)絡(luò)作為Backbone來提取貨車的特征,可保證檢測精度的同時減少參數(shù)量和計算量,同時為室外部署減少內(nèi)存,ShuffleNetV2結(jié)構(gòu)圖如圖1所示。
為滿足實時檢測貨車的要求,ShuffleNetV2通過深度可分離卷積來降低參數(shù)量并提高識別速度。與普通卷積相比,深度可分離卷積的參數(shù)量與計算量均有所減少,且在保證輸入輸出維度相同的前提下能夠提取出更多的圖像特征。
1.2.2" 損失函數(shù)改進
在識別貨車時易存在車輛相互遮擋的現(xiàn)象,這種情況將對準(zhǔn)確識別貨車產(chǎn)生影響。YOLOv5s模型使用的損失函數(shù)是GIoU-Loss[6],GIoU有效解決了IoU無法優(yōu)化兩框不相交以及無法顯示兩框相交過程的問題,但GIoU并沒有考慮兩框的相對位置和長寬比,當(dāng)預(yù)測框位于目標(biāo)框的內(nèi)部,兩框最小外接矩形相同,此時GIoU退化成IoU。針對GIoU損失函數(shù)回歸不準(zhǔn)確問題,本文引入EIoU(efficient intersection over union),其公式為
2.1" 圖像灰度化
將貨車圖像灰度化,使貨車圖像只包含一個通道的信息,有利于后續(xù)貨車邊緣的提取。灰度化的原理是將輸入圖像的像素點三通道值假定為相同值,并用統(tǒng)一的灰度值替代。本文用加權(quán)平均法將貨車圖像灰度化,將三通道的通道值進行加權(quán),用作表示灰度值,其公式為
2.2" 改進Canny模型
圖像的大部分信息都存在于圖像的邊緣中,將檢測為貨車的圖像輸入Canny模型中,能有效提取貨車邊緣圖,通過與標(biāo)準(zhǔn)超限體比較,可判斷貨車物料是否超限。傳統(tǒng)的Canny邊緣檢測模型[7]主要分為4部分,分別為圖像降噪、梯度計算、非極大值抑制和雙閾值邊界跟蹤。
3" 實驗與分析
3.1" 實驗環(huán)境與數(shù)據(jù)集
本文的實驗過程在pytorch框架下進行,計算機硬件配置GPU為NVIDIA Geforce RTX 2070 super,操作系統(tǒng)為Ubuntu 18.04.5 LTS,python版本為3.6,顯卡內(nèi)存為11.7 GB,操作系統(tǒng)類型為64位。
實驗所使用的數(shù)據(jù)集為自制貨車數(shù)據(jù)集,部分?jǐn)?shù)據(jù)來源于某監(jiān)控視頻數(shù)據(jù),從視頻中截取出201張貨車圖像,另一部分為網(wǎng)上收集,共359張圖像,將總計560張貨車圖像統(tǒng)一裁剪成640×640像素大小,為提高改進YOLOv5s模型對貨車的檢測精度,將所有圖像進行亮度增強、對比度增強、水平翻轉(zhuǎn)、隨機方向旋轉(zhuǎn)和添加高斯噪聲等操作。
貨車數(shù)據(jù)集經(jīng)過數(shù)據(jù)增強后共2 800張,使用Labelimg工具標(biāo)注圖像中車輛目標(biāo),并添加truck車輛標(biāo)簽。最后按照訓(xùn)練集∶驗證集∶測試集=8∶1∶1的比例對數(shù)據(jù)集進行劃分,最終得到訓(xùn)練集、驗證集、測試集貨車圖像2 240張、280張、280張。
3.2" 評價指標(biāo)
3.3" 實驗訓(xùn)練及結(jié)果
3.4" truck超限檢測判別
貨車物料超限檢測方法是基于圖像特征分析的識別方法,以下以貨車高度為基準(zhǔn),判斷貨車是否超高。將標(biāo)準(zhǔn)超限體(未超限貨車)的真實高度H和計算機處理的貨車高度h(以像素值的數(shù)量表示)作為參考標(biāo)定尺度,且這兩者之間的比值為常數(shù)。待檢測貨車與它的圖像之間的關(guān)系如圖3所示。
4" 結(jié)論
1)重新設(shè)計YOLOv5s模型,使用ShuffleNetV2替換原YOLOv5s的特征提取部分,深度可分離卷積代替普通卷積,可壓縮模型的計算量和參數(shù)量,提高模型檢測效率,減少所占內(nèi)存;采用EIoU損失函數(shù)對檢測框篩選,可減少相互遮擋的情況,避免漏檢。
2)在自建貨車數(shù)據(jù)集上驗證,實驗結(jié)果表明改進YOLOv5s的mAP可達95.8%,比原模型提高了9.2%,參數(shù)量和計算量分別降為原模型的45.4%、44.4%。
3)將貨車圖像灰度化并提取邊緣,將標(biāo)準(zhǔn)超限體的真實高度與計算機圖像高度比值作為參考,可檢測貨車的超限情況,從而減少道路貨車超限現(xiàn)象。
參考文獻:
[1] 洪韋,唐國良,藍賢桂.基于激光雷達的鐵路貨運超限檢測系統(tǒng)研究[J].鐵道貨運,2021,39(8):31-37.
[2] 余滿,林欣,丁志偉.高速公路激光雷達超限檢測系統(tǒng)[J].中國交通信息化,2021(8):126-128,132.
[3] 龐婷婷,郝菊香.基于Faster R-CNN的鐵路超限貨物自動檢測系統(tǒng)[J].自動化與儀器儀表,2021(8):72-76.
[4] 蔣超,張豪,章恩澤,等.基于改進YOLOv5s的行人車輛目標(biāo)檢測模型[J].揚州大學(xué)學(xué)報(自然科學(xué)版),2022,25(6):45-49.
[5] 何雨,田軍委,張震,等.YOLOv5目標(biāo)檢測的輕量化研究[J].計算機工程與應(yīng)用,2023,59(1):92-99.
[6] 侯志強,劉曉義,余旺盛,等.使用GIoU改進非極大值抑制的目標(biāo)檢測模型[J].電子學(xué)報,2021,49(4):696-705.
[7] CANNY J.A computational approach to edge detection[J]. IEEE transactions on pattern analysis and machine intelligence,1986,8(6):679-698.