基于YOLOv7與JetsonOrin的路面破損檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

涂宙霖 陳涵深

關(guān)鍵詞：YOLOv7；Jetson Orin；路面破損檢測(cè)；深度學(xué)習(xí)

0 引言

近年來，我國公路交通事業(yè)得到了快速發(fā)展，國家公路網(wǎng)不斷建成，截至2021年底，全國公路總里程達(dá)到528.07 萬公里，公路養(yǎng)護(hù)里程達(dá)到525.16 萬公里[1]。隨著國家公路網(wǎng)的不斷建設(shè)和運(yùn)營，公路養(yǎng)護(hù)需求與日俱增，公路日常養(yǎng)護(hù)問題變得日益突出，交通路面的破損，如凹坑、裂縫、坑井以及塌陷[2]等異常問題直接影響交通效率和行車安全。國務(wù)院發(fā)布的《“十四五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃》明確提出，要加強(qiáng)交通基礎(chǔ)設(shè)施養(yǎng)護(hù)，加大養(yǎng)護(hù)新技術(shù)推廣力度[3]。因此，為加強(qiáng)道路養(yǎng)護(hù)，更好地保障道路質(zhì)量和安全，對(duì)路面破損進(jìn)行快速、準(zhǔn)確的檢測(cè)已成為當(dāng)務(wù)之急。

公路路面檢測(cè)主要分為人工檢測(cè)和自動(dòng)化檢測(cè)兩類方法，由于人工檢測(cè)成本高、效率低、主觀性強(qiáng)等弊端，無法滿足路面破損快速、準(zhǔn)確檢測(cè)的要求[4]。隨著傳感器、機(jī)器視覺、人工智能等新技術(shù)的發(fā)展，自動(dòng)化檢測(cè)系統(tǒng)已成為研究熱點(diǎn)。國內(nèi)外已有不少公司開發(fā)出商用路面檢測(cè)系統(tǒng)：如美國PSI 公司的Path?Runner 多功能道路檢測(cè)車[5]、加拿大Fugro Roadware 公司的ARAN系統(tǒng)[6]、國內(nèi)中公高科的CiCS多功能快速檢測(cè)車[7]和武大卓越科技的ZOYON-RTM智能道路檢測(cè)系統(tǒng)[8]。這些商用路面檢測(cè)系統(tǒng)較多應(yīng)用于路面質(zhì)量的周期性檢測(cè)和評(píng)估，售價(jià)基本在百萬元級(jí)別，成本較高、無法推廣到日常路面巡檢工作。缺乏高性價(jià)比的自動(dòng)化檢測(cè)設(shè)備，嚴(yán)重制約了檢測(cè)效率的提升和信息化管理系統(tǒng)的作用。

因此，研究一種檢測(cè)性能達(dá)到人工巡檢的診斷水平，同時(shí)又具有較低成本的路面破損自動(dòng)化檢測(cè)系統(tǒng)具有深遠(yuǎn)的意義。本文針對(duì)上述問題，設(shè)計(jì)了一種基于深度學(xué)習(xí)模型YOLOv7與邊緣檢測(cè)設(shè)備Jetson Orin 的路面破損檢測(cè)系統(tǒng)，利用攝像頭拍攝圖像，邊緣計(jì)算設(shè)備Jetson Orin進(jìn)行圖像處理，利用YOLOv7算法進(jìn)行路面破損檢測(cè)。該系統(tǒng)體積小、性能強(qiáng)、算法準(zhǔn)確率高，可部署在普通的家用汽車進(jìn)行道路破損實(shí)時(shí)檢測(cè)。

1 系統(tǒng)總體框架

系統(tǒng)整體設(shè)計(jì)如圖1所示，整個(gè)系統(tǒng)包含以下幾個(gè)模塊：圖像采集傳感器、路面破損檢測(cè)主機(jī)、顯示器、GPS模塊。

1.1 圖像采集傳感器

圖像采集傳感器可采用兩種方案，一種方案是選用羅技的StreamCam攝像頭，該USB攝像頭支持拍攝每秒60幀1080p Full HD的畫面，具備自動(dòng)對(duì)焦及調(diào)整曝光，并采用USB-C 連接，實(shí)測(cè)效果很好；另一種方案選用?？低昅V-CA020-10GC工業(yè)相機(jī)，傳感器型號(hào)為IMX430，傳感器類型為CMOS，耙面尺寸為1/1.7″，像元尺寸為4.5μm，分辨率為1624×1240，最大幀率為60fps，GigE接口，選用鏡頭焦距為12mm，最大光圈F1.8。

1.2 破損檢測(cè)系統(tǒng)主機(jī)

破損檢測(cè)系統(tǒng)主機(jī)使用NVIDIA?最新的JetsonOrin開發(fā)套件，算力高達(dá)275 TOPS，性能是上一代產(chǎn)品Jetson AGX Xavier的8倍，適用于多個(gè)并發(fā)AI 推理管道，此外它還可以通過高速接口連接多個(gè)傳感器。主要配置為CPU：12 核Arm Cortex-A78AE v8.2 64 位處理器，具有3MB L2+6MB L3緩存，GPU具有2048個(gè)NVIDIA CUDA 內(nèi)核和64 個(gè)張量內(nèi)核@1GHz，采用NVIDIA Ampere 架構(gòu)；內(nèi)存32GB 256 位LPDDR5 @204.8 GB/s，硬盤為64GB eMMC 5.1 閃存，具有3 個(gè)USB3.2，整機(jī)功耗在15～50W可設(shè)定。

1.3 GPS 模塊

GPS模塊選用深圳星河微G6301模塊，內(nèi)部采用ublox M8030 解決方案，支持GPS+GLONASS 雙模定位，內(nèi)置FLASH，USB 供電，自適應(yīng)1200～921600 波特率，1Hz輸出，NMEA-0183協(xié)議輸出。

2 軟件設(shè)計(jì)

如圖2所示，整個(gè)系統(tǒng)主要分為兩大模塊組成，第一部分為邏輯界面模塊，主要負(fù)責(zé)圖像輸入、圖像預(yù)處理、結(jié)果可視化等功能；第二部分為系統(tǒng)算法，實(shí)現(xiàn)路面破損的識(shí)別和分析功能。

路面破損檢測(cè)算法主要完成路面破損的自動(dòng)識(shí)別，工作流程如圖3所示，采用YOLOv7識(shí)別當(dāng)前圖像中的路面缺陷的類型及缺陷位置，并且輸出的結(jié)果可以用于計(jì)算路面破損狀況指數(shù)（PCI） 值。

3 深度學(xué)習(xí)算法

3.1 YOLOv7算法

YOLO算法作為one-stage目標(biāo)檢測(cè)算法最典型的代表，其基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)象的識(shí)別和定位，運(yùn)行速度很快，可以用于實(shí)時(shí)系統(tǒng)。YOLOv7 是目前YOLO系列最先進(jìn)的算法，在準(zhǔn)確率和速度上超越了以往的YOLO系列。在5～160 幀/s范圍內(nèi)，其速度和精度都超過了多數(shù)已知的目標(biāo)檢測(cè)器，在GPU V100 已知的30 幀/s 以上的實(shí)時(shí)目標(biāo)檢測(cè)器中，YOLOv7 的準(zhǔn)確率最高[9]。YOLOv7的檢測(cè)思路與YOLOv4、YO?LOv5相似，YOLOv7整體的網(wǎng)絡(luò)架構(gòu)圖如圖4所示：

從圖4可以看出，將neck層與head層合稱為head 層，實(shí)際上功能是一樣的。首先，先對(duì)輸入圖片預(yù)處理，對(duì)齊成640×640大小的RGB圖片，輸入backbone 網(wǎng)絡(luò)中，根據(jù)backbone網(wǎng)絡(luò)中的三層輸出，在head層通過backbone網(wǎng)絡(luò)繼續(xù)輸出三層不同size大小的fea?ture map，經(jīng)過RepVGG block 和conv，對(duì)圖像進(jìn)行預(yù)測(cè)，輸出最后的結(jié)果。YOLOv7的backbone層由若干BConv 層、E-ELAN 層以及MPConv 層組成，其中BConv層由卷積層+BN層+激活函數(shù)組成。YOLOv7 的head 層通過SPPCPC 層、若干BConv 層、若干MP?Conv 層、若干Catconv 層以及后續(xù)輸出三個(gè)head 的RepVGG block層組成[10-12]。

3.2 模型訓(xùn)練

3.2.1 硬件環(huán)境

實(shí)驗(yàn)的軟硬件環(huán)境如圖5所示，硬件為組裝的兼容機(jī)，CPU 為Intel i5-8500 處理器，24G DDR4 內(nèi)存，256G硬盤和一塊Nvidia GTX3090 GPU。軟件的操作系統(tǒng)為Ubuntu18.04 64位。

3.2.2 訓(xùn)練數(shù)據(jù)集

本文采用數(shù)據(jù)集為全球開放數(shù)據(jù)創(chuàng)新應(yīng)用大賽道路路面病害智能分析算法賽道的公開數(shù)據(jù)集。該數(shù)據(jù)由車載監(jiān)控相機(jī)拍攝的道路病害圖像，圖像數(shù)據(jù)為RGB JPG 圖像，分辨率為1600×1184，包含訓(xùn)練集6000張，測(cè)試集A榜2000張，測(cè)試集B榜6000張。由于原數(shù)據(jù)集樣本標(biāo)注一致性較差，所以召集了三位專業(yè)人員進(jìn)行標(biāo)識(shí)框和類型重新標(biāo)注，把道路病害分為4個(gè)類型：裂縫1、井蓋2、坑槽3、修補(bǔ)4。本文把原訓(xùn)練集和測(cè)試集A榜作為本文模型的訓(xùn)練集（總計(jì)8000 張），測(cè)試集B榜中隨機(jī)選取3000個(gè)樣本作為驗(yàn)證集，用于模型調(diào)參。

3.2.3 訓(xùn)練過程

YOLOv7直接使用官方的PyTorch源碼，但對(duì)圖像增強(qiáng)方法中的一些參數(shù)做了適當(dāng)修改，包括尺度變化設(shè)定為0.7，透視變換設(shè)置為0.001，隨機(jī)馬賽克系數(shù)為0.5，混淆系數(shù)為0.1，去除上下隨機(jī)翻轉(zhuǎn)，去除HSV隨機(jī)變化，以此來保障變換后的路面圖像仍能保存真實(shí)性。輸入圖像分辨率設(shè)定為960×960，訓(xùn)練周期為200，其他參數(shù)使用默認(rèn)值。

4 系統(tǒng)展示

4.1 系統(tǒng)原型機(jī)

組裝后的手持原型主機(jī)如圖6、圖7所示，手持操作時(shí)使用充電寶升壓供電，安裝在汽車上時(shí)可通過車站充電器供電，原型機(jī)可以實(shí)時(shí)采集路面圖像進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到85%以上，檢測(cè)速率為15FPS。

4.2 實(shí)際道路測(cè)試

把原型機(jī)的攝像頭安裝在汽車的擋風(fēng)玻璃上，主機(jī)放置在車輛上，研究開發(fā)的軟件設(shè)置成自動(dòng)啟動(dòng)后，Jetson Orin主機(jī)重啟后就會(huì)自動(dòng)運(yùn)行“路面破損自動(dòng)檢測(cè)軟件”軟件，程序運(yùn)行后，軟件實(shí)時(shí)顯示路面圖像，如圖8所示。

盒子上安裝一個(gè)按鈕，用于控制是否啟動(dòng)路面破損狀況檢測(cè)，當(dāng)用戶按下該按鈕時(shí)，系統(tǒng)就會(huì)調(diào)用內(nèi)部的路面破損識(shí)別模塊，進(jìn)行實(shí)時(shí)識(shí)別和數(shù)據(jù)上報(bào)。當(dāng)路面不存在破損時(shí)，在圖像上方顯示綠色文字信息，內(nèi)容為當(dāng)前坐標(biāo)信息；當(dāng)路面存在破損時(shí)，如圖9 所示，就會(huì)根據(jù)破損類型使用不同顏色的邊框進(jìn)行區(qū)域標(biāo)注顯示，同時(shí)圖像上方顯示內(nèi)容變成紅色，并增加顯示破損類型和破損等級(jí)。

5 結(jié)束語

本文設(shè)計(jì)了一種基于YOLOv7模型與邊緣檢測(cè)設(shè)備Jetson Orin的路面破損檢測(cè)系統(tǒng)，支持USB攝像頭或者工業(yè)相機(jī)進(jìn)行道路圖像采集，利用邊緣計(jì)算設(shè)備Jetson Orin進(jìn)行圖像預(yù)處理，選用YOLOv7模型進(jìn)行道路破損檢測(cè)，模型的訓(xùn)練和驗(yàn)證上使用全球開放數(shù)據(jù)創(chuàng)新應(yīng)用大賽道路路面病害智能分析算法賽道的公開數(shù)據(jù)集，可檢測(cè)出裂縫、井蓋、坑槽、修補(bǔ)四種類型的缺陷。系統(tǒng)體積小、成本低、性能強(qiáng)、算法準(zhǔn)確率高，可部署在普通的家用汽車進(jìn)行道路缺陷實(shí)時(shí)檢測(cè)。