無(wú)人機(jī)端路面車輛違停檢測(cè)及取證系統(tǒng)

田愛軍， 蔡旭陽(yáng)， 陳 瑋， 羅 偉， 尹彥卿

(航空工業(yè)金城集團(tuán)有限公司，江蘇 南京 210001)

隨著城市化建設(shè)逐步完善，住宅尤其是高層住宅密度越來(lái)越大，市內(nèi)私家車數(shù)量越來(lái)越多，直接導(dǎo)致路邊違章停車現(xiàn)象嚴(yán)重，路邊違章停車現(xiàn)象極為普遍，極易引發(fā)機(jī)動(dòng)車互相碰擦、機(jī)動(dòng)車非機(jī)動(dòng)車碰擦、機(jī)動(dòng)車人員碰擦等輕微事故，也可能導(dǎo)致一些較為嚴(yán)重交通事故發(fā)生。因此需要一種有效的監(jiān)督方法，防止路邊違章停車的現(xiàn)象出現(xiàn)，進(jìn)而降低交通事故的發(fā)生，保障居民的交通便利及交通安全[1]。

目前路面違停巡檢主要還依賴于交警巡查和固定相機(jī)抓拍。雖然大多數(shù)路口、紅綠燈處、交通要道等都安裝了交通監(jiān)控相機(jī)，但依然有不少監(jiān)控盲區(qū)，經(jīng)常出現(xiàn)違章停車現(xiàn)象。除此之外，部分非主干道較為復(fù)雜，細(xì)小支路較多，也給交警的巡檢造成一定困難。除上述道路不利因素外，交通巡查的工作量大也是一個(gè)難題。目前，依靠交警現(xiàn)場(chǎng)巡查已經(jīng)不是一個(gè)高效的解決方法。

近年來(lái)隨著圖像處理技術(shù)和計(jì)算機(jī)視覺技術(shù)的發(fā)展和應(yīng)用推廣，利用基于計(jì)算機(jī)視覺技術(shù)的智能視頻分析系統(tǒng)[2]已經(jīng)應(yīng)用到圖像、視頻檢測(cè)中，但目前還沒(méi)有有效針對(duì)違章停車檢測(cè)與取證的手段。

自從2020年YOLOv4發(fā)表以來(lái)，YOLOv4一直被廣泛用于目標(biāo)檢測(cè)領(lǐng)域。本文也選取YOLOv4作為車輛檢測(cè)算法。首先，通過(guò)YOLOv4得到輸出的目標(biāo)框；其次，重新構(gòu)建了局部回歸模塊，從而得到更加貼合車輛輪廓的檢測(cè)框；再次，針對(duì)檢測(cè)框進(jìn)行紅外測(cè)溫，通過(guò)對(duì)車頭車尾測(cè)溫點(diǎn)溫度差的計(jì)算，判定車輛是否長(zhǎng)時(shí)間靜止，以此來(lái)降低車輛違停的誤檢率；然后，自主構(gòu)建了一個(gè)基于神經(jīng)網(wǎng)絡(luò)的分類模塊，并通過(guò)多種數(shù)據(jù)增強(qiáng)手段訓(xùn)練分類網(wǎng)絡(luò)，以判定靜止車輛是否屬于違停；接著，對(duì)判定屬于違停的車輛，調(diào)用取證算法，進(jìn)行車牌檢測(cè)、車牌識(shí)別，作為處罰依據(jù)；最后，選取了兩個(gè)停車場(chǎng)，一條主干道和兩個(gè)交通路口，并針對(duì)不同場(chǎng)景設(shè)計(jì)了不同實(shí)驗(yàn)方案，分5 d時(shí)間進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本系統(tǒng)的可行性。

本文提出了一種基于深度學(xué)習(xí)技術(shù)的無(wú)人機(jī)端路面車輛違停檢測(cè)及取證系統(tǒng)，能夠彌補(bǔ)交警巡邏和固定相機(jī)等在違停檢測(cè)方面的不足。本系統(tǒng)在進(jìn)行巡檢的同時(shí)，判定車輛是否違停，對(duì)違停車輛進(jìn)行取證，并實(shí)時(shí)將采集的信息發(fā)送給地面指揮中心或直接發(fā)給交管部門，作為檢測(cè)和處罰的依據(jù)。本系統(tǒng)對(duì)車輛違?，F(xiàn)象檢測(cè)成功率較高，可以有效提高交管部門巡檢的工作效率，有效降低違章停車現(xiàn)象的出現(xiàn)，進(jìn)而減少交通事故發(fā)生的概率。但本系統(tǒng)依然還有不完善之處，未來(lái)將會(huì)針對(duì)系統(tǒng)準(zhǔn)確率和人機(jī)交互性能進(jìn)一步優(yōu)化完善。

1 系統(tǒng)結(jié)構(gòu)分析

1.1 系統(tǒng)總述

提出了一種基于深度學(xué)習(xí)技術(shù)的無(wú)人機(jī)端[3]路面車輛違停檢測(cè)及取證系統(tǒng)，如圖1所示，它包含無(wú)人機(jī)的兩種模式和13個(gè)功能模塊。

圖1 系統(tǒng)模塊示意圖

利用無(wú)人機(jī)搭載的可見光攝像頭，在設(shè)定的巡檢點(diǎn)采集實(shí)時(shí)圖像，將圖像輸入到專門針對(duì)不同車輛訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型，通過(guò)前向運(yùn)算檢測(cè)圖像中的內(nèi)容，若檢測(cè)到圖像中有車輛出現(xiàn)，則結(jié)合紅外測(cè)溫技術(shù)，根據(jù)因擁堵、紅燈停車等現(xiàn)象與違章停車現(xiàn)象存在發(fā)動(dòng)機(jī)溫度差異這一特征，進(jìn)一步排除非違章停車情況。針對(duì)檢測(cè)出的靜止車輛的目標(biāo)框，截取出以目標(biāo)框中心，長(zhǎng)、寬為目標(biāo)框膨脹一定范圍的區(qū)域內(nèi)容，并將截取出的新圖像送入分類模型中進(jìn)行分類，得出分類結(jié)果為正確停車、未停在停車位內(nèi)、壓停車位線或占多個(gè)停車位。若出現(xiàn)違章停車現(xiàn)象(即未停在停車位內(nèi)、壓停車位線或占多個(gè)停車位現(xiàn)象，下同)，則計(jì)算出取證點(diǎn)坐標(biāo)，降低無(wú)人機(jī)高度，對(duì)車牌拍攝，并與違章圖像相關(guān)聯(lián)，保存留作處罰依據(jù)。

1.2 無(wú)人機(jī)巡檢模式分析

第1個(gè)無(wú)人機(jī)模式為無(wú)人機(jī)巡檢模式，該模式下無(wú)人機(jī)根據(jù)已經(jīng)預(yù)設(shè)的巡檢點(diǎn)位信息，進(jìn)行無(wú)人操控的定線巡航。無(wú)人機(jī)巡檢模式具體流程如圖2所示。

圖2 無(wú)人機(jī)巡檢模式流程圖

無(wú)人機(jī)巡檢模式的第1個(gè)功能模塊為第一圖像采集模塊，如圖2中的①。無(wú)人機(jī)飛行到預(yù)設(shè)的懸停點(diǎn)時(shí)，調(diào)用無(wú)人機(jī)搭載的可見光攝像頭進(jìn)行抓拍，獲取監(jiān)測(cè)區(qū)域的實(shí)時(shí)圖像[4]。

無(wú)人機(jī)巡檢模式的第2個(gè)功能模塊為車輛檢測(cè)模塊[5]，如圖2中的②。車輛檢測(cè)模塊使用深度學(xué)習(xí)目標(biāo)檢測(cè)[6]的算法檢測(cè)圖像中車輛，并獲取所有檢測(cè)出的車輛目標(biāo)框信息。并在之后增加了局部回歸模塊，用以準(zhǔn)確定位車輛4個(gè)角點(diǎn)，擬合出更加貼合的車輛外接框。具體方案將在2.1節(jié)、2.2節(jié)中進(jìn)行詳細(xì)說(shuō)明。

無(wú)人機(jī)巡檢模式的第3個(gè)功能模塊為溫度采集模塊，如圖2中的③。當(dāng)車輛處于行駛中，或臨時(shí)停下時(shí)，由于車輛發(fā)動(dòng)機(jī)溫度較高，會(huì)造成車輛發(fā)動(dòng)機(jī)所在區(qū)域表面溫度較高，而非發(fā)動(dòng)機(jī)區(qū)域溫度較低現(xiàn)象，通過(guò)分析大量車輛數(shù)據(jù)[7]，選取車頭車尾2個(gè)位置為測(cè)溫點(diǎn)。以兩點(diǎn)采集的溫度差作為判定車輛是否靜止的依據(jù)，對(duì)車輛狀態(tài)進(jìn)行判定，以找出真正違章停車的車輛(將在2.3節(jié)中進(jìn)行詳細(xì)說(shuō)明)。

無(wú)人機(jī)巡檢模式的第4個(gè)功能模塊為違章判定模塊，如圖2中的④。當(dāng)檢測(cè)出靜止車輛之后，從原始圖片中提取車輛目標(biāo)框膨脹一定范圍的區(qū)域，送入訓(xùn)練好的分類網(wǎng)絡(luò)進(jìn)行分類[8]，得出分類結(jié)果為正確停車、未停在停車位內(nèi)、壓停車位線或占多個(gè)停車位(將在2.4節(jié)中進(jìn)行詳細(xì)說(shuō)明)。

無(wú)人機(jī)巡檢模式的第5個(gè)功能模塊為第一飛行控制模塊，使無(wú)人機(jī)根據(jù)已經(jīng)預(yù)設(shè)的巡檢點(diǎn)位信息，進(jìn)行無(wú)人操控的定線巡航，如圖2中的⑤。所述的巡檢點(diǎn)即為無(wú)人機(jī)的懸停點(diǎn)。

1.3 無(wú)人機(jī)取證模式分析

第2個(gè)無(wú)人機(jī)模式為無(wú)人機(jī)取證模式，該模式下無(wú)人機(jī)定點(diǎn)自動(dòng)飛行。當(dāng)無(wú)人機(jī)巡檢模式下檢測(cè)到車輛有違停現(xiàn)象時(shí)，無(wú)人機(jī)自動(dòng)進(jìn)入取證模式，針對(duì)違章停車的車輛，拍攝照片和進(jìn)行車牌識(shí)別，并將識(shí)別的車牌信息和照片發(fā)送給后臺(tái)控制中心，作為后續(xù)處罰依據(jù)。若一張圖像中有多個(gè)車輛違停，無(wú)人機(jī)進(jìn)入取證模式時(shí)，會(huì)以自身為中心點(diǎn)，計(jì)算每個(gè)目標(biāo)中心點(diǎn)與無(wú)人機(jī)的直線距離，選取距離最近目標(biāo)作為取證目標(biāo)，取證完成后重新計(jì)算剩余目標(biāo)與無(wú)人機(jī)當(dāng)前位置的直線距離，并選取直線距離最近目標(biāo)作為下一個(gè)取證目標(biāo)。依此循環(huán)直到圖片中所有目標(biāo)都取證完成。采用這樣的取證方法，保證取證速度更快、取證更充分全面。無(wú)人機(jī)取證模式具體流程如圖3所示。

無(wú)人機(jī)取證模式的第1個(gè)功能模塊為第二圖像采集模塊，如圖3中的①。當(dāng)無(wú)人機(jī)成功切換為取證模式時(shí)，會(huì)在第一圖像采集模塊所采集的實(shí)時(shí)圖像中將存在違?，F(xiàn)象的車輛目標(biāo)框標(biāo)出并保存。此外，無(wú)人機(jī)飛行到取證點(diǎn)時(shí)，調(diào)用無(wú)人機(jī)搭載的可見光攝像頭進(jìn)行拍照，得到取證照片。

無(wú)人機(jī)取證模式的第2個(gè)功能模塊為相機(jī)云臺(tái)控制模塊，如圖3中的②。該模塊讀取預(yù)設(shè)的配置文件中的經(jīng)過(guò)測(cè)試并預(yù)設(shè)完成的云臺(tái)拍攝焦距，調(diào)整相機(jī)云臺(tái)的焦距。拉近相機(jī)的拍攝畫面，使得取證圖片更加清晰。當(dāng)取證完成時(shí)，該模塊會(huì)調(diào)整云臺(tái)焦距為預(yù)設(shè)的巡檢焦距，以更大視野范圍進(jìn)行違章巡檢。

圖3 無(wú)人機(jī)取證模式流程圖

無(wú)人機(jī)取證模式的第3個(gè)功能模塊為取證點(diǎn)定位模塊，如圖3中的③。該模塊會(huì)提取目標(biāo)車輛目標(biāo)框的中心點(diǎn)為A，取目標(biāo)車輛目標(biāo)框長(zhǎng)寬邊中較短邊中心點(diǎn)，分別為B、C。從A分別向B、C連接形成有向線段AB、AC，并延長(zhǎng)目標(biāo)車輛目標(biāo)框長(zhǎng)寬邊中較長(zhǎng)邊/2，分別為D、E。D、E點(diǎn)即無(wú)人機(jī)取證點(diǎn)的坐標(biāo)。這里的坐標(biāo)均為二維坐標(biāo)。定位D、E點(diǎn)后，直接可得出D、E點(diǎn)在圖像中的坐標(biāo)。選用這兩個(gè)取證點(diǎn)，目的就是為了在正視角度下(完全朝下俯視角度)，相機(jī)的視野角可以捕捉到車牌區(qū)域。

無(wú)人機(jī)取證模式的第4個(gè)功能模塊為第二飛行控制模塊，如圖3中的④。第二飛行控制模塊得到已經(jīng)定位出的D、E點(diǎn)坐標(biāo)，并控制無(wú)人機(jī)飛往D、E點(diǎn)進(jìn)行取證。在無(wú)人機(jī)每次坐標(biāo)移動(dòng)之前，需要返回預(yù)設(shè)的巡檢飛行高度，再進(jìn)行飛行動(dòng)作，等到達(dá)預(yù)定坐標(biāo)點(diǎn)后，再降低到取證高度。防止在低空飛行時(shí)出現(xiàn)一些不安全隱患。

無(wú)人機(jī)取證模式的第5個(gè)功能模塊為車牌檢測(cè)模塊，如圖3中的⑤。無(wú)人機(jī)在到達(dá)點(diǎn)D或點(diǎn)E時(shí)，進(jìn)行取證拍照，再調(diào)用車牌檢測(cè)模塊對(duì)取證照片進(jìn)行車牌檢測(cè)。車牌檢測(cè)模塊用于檢測(cè)取證圖像中是否有車牌區(qū)域。

無(wú)人機(jī)取證模式的第6個(gè)功能模塊為車牌檢測(cè)失敗判定模塊，如圖3中的⑥。調(diào)用車牌檢測(cè)之后，若檢測(cè)到車牌，且車牌的中心點(diǎn)x、y坐標(biāo)與圖像中心點(diǎn)x、y坐標(biāo)相差在一定范圍內(nèi)，則判定成功取到車牌，否則車牌檢測(cè)失敗計(jì)數(shù)加1。車牌檢測(cè)失敗時(shí)該模塊讀取預(yù)設(shè)的配置文件中經(jīng)過(guò)測(cè)試并預(yù)設(shè)完成的焦距調(diào)整步長(zhǎng)，調(diào)用相機(jī)云臺(tái)控制模塊調(diào)整焦距，并進(jìn)行下一次取證拍照，然后進(jìn)行車牌檢測(cè)，并再次對(duì)是否取到車牌進(jìn)行判定；以此循環(huán)，當(dāng)車牌檢測(cè)失敗計(jì)數(shù)大于或等于3次，則放棄車牌檢測(cè)，不提取車牌，只采集取證照片。

無(wú)人機(jī)取證模式的第7個(gè)功能模塊為車牌識(shí)別模塊[9]，如圖3中的⑦。若成功提取到車牌區(qū)域，則調(diào)用車牌識(shí)別模塊進(jìn)行車牌識(shí)別，獲取到車牌信息(車牌識(shí)別是指提取出車牌的文字信息，比如“蘇A12345”)，并保存。

無(wú)人機(jī)取證模式的第8個(gè)功能模塊為信息封裝發(fā)送模塊，如圖3中的⑧。該模塊會(huì)將無(wú)人機(jī)的GPS信息、進(jìn)入取證模式時(shí)第二圖像采集模塊保存的初始化圖像、在D點(diǎn)和E點(diǎn)分別拍攝的取證圖像、提取到的車牌信息(若未提取到車牌信息，則該項(xiàng)為空)等信息都傳輸?shù)降孛婵刂浦行?，作為交管部門處罰依據(jù)，同時(shí)設(shè)置無(wú)人機(jī)返回巡檢模式，繼續(xù)進(jìn)行違章巡檢。

2 取證算法應(yīng)用與優(yōu)化

2.1 目標(biāo)檢測(cè)算法數(shù)據(jù)增廣

本文利用YOLOv4算法[10]進(jìn)行車輛檢測(cè)。訓(xùn)練時(shí)本文基于公開的預(yù)訓(xùn)練模型，加入自己的數(shù)據(jù)進(jìn)行微調(diào)。訓(xùn)練模型的數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)爬蟲、客戶提供、自己主動(dòng)采集等方式收集到的高空正攝的車輛圖像，圖像數(shù)量不低于每個(gè)類別1000張，并對(duì)原始圖像進(jìn)行數(shù)據(jù)增強(qiáng)和數(shù)據(jù)擾動(dòng)，以增加泛化性和防止過(guò)擬合問(wèn)題，接著放入深度學(xué)習(xí)訓(xùn)練算法和網(wǎng)絡(luò)中進(jìn)行目標(biāo)檢測(cè)模型的訓(xùn)練。網(wǎng)絡(luò)輸入為608×608的三通道圖像數(shù)據(jù)，其他相關(guān)超級(jí)參數(shù)都采取默認(rèn)設(shè)置值。

2.2 增加局部回歸模塊

若直接從目標(biāo)矩形框上下邊中點(diǎn)處進(jìn)行紅外測(cè)溫，由于車輛姿態(tài)等問(wèn)題，常常會(huì)會(huì)出現(xiàn)偏差。由于停在路邊的車輛大多數(shù)不會(huì)是沿著道路方向標(biāo)準(zhǔn)停放，經(jīng)常出現(xiàn)傾斜、錯(cuò)位甚至任意角度停放現(xiàn)象，影響目標(biāo)檢測(cè)目標(biāo)框的回歸擬合，進(jìn)而影響紅外測(cè)溫模塊對(duì)測(cè)溫點(diǎn)的定位。因此獲得目標(biāo)位置信息后，本文設(shè)計(jì)了一個(gè)局部回歸模塊，以適應(yīng)目標(biāo)處于不同方向、不同姿態(tài)下的四邊形框，如圖4所示。

圖4 回歸目標(biāo)示意圖

局部回歸模塊用深度神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，類似YOLO檢測(cè)算法[11]，通過(guò)卷積運(yùn)算后，直接回歸出目標(biāo)外接四邊形框的4個(gè)頂點(diǎn)坐標(biāo)?；貧w實(shí)現(xiàn)流程如圖5所示。

圖5 回歸流程示意圖

基礎(chǔ)網(wǎng)絡(luò)部分，本文利用MobileNetV2進(jìn)行裁剪，獲得了一個(gè)小型的特征提取網(wǎng)絡(luò)，其細(xì)節(jié)如表1所示。其中Bottleneck和MobileNetV2中表述的完全相同，如圖6結(jié)構(gòu)所示。Dwise[12]為深度可分離卷積操作，可減少計(jì)算量；t為Bottleneck部分通道擴(kuò)展系數(shù)；c為當(dāng)前層特征輸出通道數(shù)；n為當(dāng)前層重復(fù)次數(shù)；s為卷積核移動(dòng)步長(zhǎng)。每次卷積運(yùn)算后接Batchnorm[13]模塊，不同于MobileNetV2，本文激活函數(shù)用ReLU取代ReLU6。

表1 局部回歸模型特征提取部分

圖6 MobileNet V2 Bottleneck示意圖

基礎(chǔ)特征提取網(wǎng)絡(luò)的參數(shù)在公開數(shù)據(jù)集COCO上進(jìn)行預(yù)訓(xùn)練，訓(xùn)練數(shù)據(jù)有兩個(gè)來(lái)源，一部分是在公開的實(shí)例分割數(shù)據(jù)中有關(guān)車輛的，本文對(duì)分割數(shù)據(jù)進(jìn)行預(yù)處理，獲取目標(biāo)mask的最貼合外接四邊形；另外一部分為自我采集，利用無(wú)人機(jī)對(duì)相關(guān)道路停車位進(jìn)行拍攝，采集數(shù)據(jù)后自行標(biāo)注。兩部分?jǐn)?shù)據(jù)的融合訓(xùn)練擴(kuò)增了數(shù)據(jù)量，保證模型很好地收斂，也加強(qiáng)了模型的泛化性。網(wǎng)絡(luò)輸入為檢測(cè)模塊的結(jié)果目標(biāo)框放大1.2倍后截取的局部區(qū)域，統(tǒng)一壓縮為128像素×128像素尺寸?；貧w的坐標(biāo)值也都進(jìn)行了歸一化處理，加快模型的收斂速度，增強(qiáng)魯棒性。本文重新設(shè)計(jì)了回歸的損失函數(shù)，采用L2損失函數(shù)，如式(1)所示：

(1)

式中，n的值設(shè)置為4，表示四邊形頂點(diǎn)數(shù)；i為四邊形頂點(diǎn)編號(hào)；xi為預(yù)測(cè)出的頂點(diǎn)i的x軸坐標(biāo)；Xi為頂點(diǎn)i實(shí)際標(biāo)注的x軸坐標(biāo)；yi為預(yù)測(cè)出的頂點(diǎn)i的y軸坐標(biāo)；Yi為頂點(diǎn)i實(shí)際標(biāo)注的y軸坐標(biāo)。

2.3 紅外測(cè)溫停車判斷

無(wú)人機(jī)載荷包含紅外熱像儀，通過(guò)目標(biāo)檢測(cè)模塊和局部回歸模塊，在紅外圖中對(duì)齊車輛的位置信息，當(dāng)車輛檢測(cè)模塊檢測(cè)出圖像中有車輛時(shí)[14]，溫度采集模塊會(huì)通過(guò)檢測(cè)得到的車輛目標(biāo)框信息，計(jì)算出車頭車尾的大致區(qū)域(即測(cè)溫點(diǎn)1和測(cè)溫點(diǎn)2，計(jì)算在這兩個(gè)中心點(diǎn)測(cè)得的溫度的差值的絕對(duì)值，由于是計(jì)算溫度差的絕對(duì)值，因此不關(guān)注溫點(diǎn)1和測(cè)溫點(diǎn)2具體是車頭點(diǎn)還是車尾點(diǎn)，只關(guān)注兩點(diǎn)的具體坐標(biāo)),并調(diào)用紅外測(cè)溫儀，采集兩個(gè)測(cè)溫點(diǎn)的溫度信息。將兩個(gè)測(cè)溫點(diǎn)測(cè)得的溫度數(shù)值相減并取絕對(duì)值，若所得絕對(duì)值大于或等于10 ℃，即認(rèn)定該車為行駛中或因其他因素臨時(shí)停下的車輛，不屬于靜止車輛；若所得絕對(duì)值小于10 ℃，則認(rèn)為車輛已經(jīng)停下較長(zhǎng)時(shí)間，屬于靜止車輛。此方法可以排除臨時(shí)停車、堵車停車、紅燈停車等情況的干擾，增加違章停車檢測(cè)的準(zhǔn)確度。車輛紅外測(cè)溫圖如圖7所示。

圖7 車輛紅外測(cè)溫圖

2.4 車輛違章分類模塊優(yōu)化

確認(rèn)車輛停車狀態(tài)后，本文利用深度學(xué)習(xí)分類網(wǎng)絡(luò)來(lái)確定車輛是否屬于違章停車。根據(jù)目標(biāo)檢測(cè)結(jié)果和回歸模塊結(jié)果，截取圖片中感興趣區(qū)域包含車輛整理和一小部分背景內(nèi)容。直接輸入訓(xùn)練好的分類模型，輸出目標(biāo)的類別和置信度，此處分類包含正確停車、未停放在停車位內(nèi)、壓停車位線、占用多個(gè)停車位，共計(jì)4類，其中后3類都檢測(cè)為違章停車。

訓(xùn)練數(shù)據(jù)來(lái)源于采集的路邊停車的視頻和圖片，為了提升模型訓(xùn)練效果，本文對(duì)采集的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，包括旋轉(zhuǎn)、裁剪、鏡像等操作。同時(shí)為了豐富負(fù)樣本類型，本文采用貼圖的形式，將車輛前景貼在停車位背景的不同位置上。

訓(xùn)練細(xì)節(jié)、網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。與局部回歸的特征提取類似，調(diào)整了輸入大小和部分結(jié)構(gòu)，最后一層全連接通道輸出改為4。分類部分的損失函數(shù)本文利用Softmax Loss來(lái)監(jiān)督模型學(xué)習(xí)，分類結(jié)果的閾值設(shè)定為0.5。

表2 違章車輛分類網(wǎng)絡(luò)

車輛違章分類訓(xùn)練結(jié)構(gòu)如圖8所示。其中網(wǎng)絡(luò)部分如表2所示，圖中未完全畫出，只做示意。

圖8 違章停車分類訓(xùn)練結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

本系統(tǒng)主要通過(guò)無(wú)人機(jī)巡檢的方式，對(duì)違章停車進(jìn)行檢測(cè)與取證，應(yīng)用領(lǐng)域?yàn)槌鞘斜O(jiān)控和城市治理，主要步驟為使用無(wú)人機(jī)在道路上空巡檢，通過(guò)目標(biāo)檢測(cè)算法實(shí)時(shí)檢測(cè)靜止?fàn)顟B(tài)車輛，將靜止?fàn)顟B(tài)車輛送入分類器，判別是否屬于違章停車。若檢測(cè)出存在違章停車現(xiàn)象，則定位車輛取證點(diǎn)，并指引無(wú)人機(jī)飛往取證點(diǎn)拍攝車牌信息，留作交管部門處罰依據(jù)。

本系統(tǒng)選取三軸三光目標(biāo)定位吊艙，集成了最遠(yuǎn)測(cè)程達(dá)1.6 km、精度小于2 m的半導(dǎo)體激光測(cè)距機(jī)， 640像素×512像素高分辨率紅外相機(jī)，1920像素×1080像素高分辨率30倍光學(xué)變倍可見光相機(jī)和高穩(wěn)定精度平臺(tái)框架，白天和夜間都能正常工作。該吊艙體積為155 mm×133 mm×208 mm，質(zhì)量1.08 kg，需提供直流20～36 V或12 V供電，功耗小于等于20 W。

本系統(tǒng)環(huán)境主要參數(shù)如表3所示。

表3 系統(tǒng)環(huán)境參數(shù)

3.2 系統(tǒng)測(cè)試結(jié)果

3.2.1 無(wú)人機(jī)巡檢結(jié)果

無(wú)人機(jī)巡檢結(jié)果如圖9所示，圖中紅色框?yàn)橄到y(tǒng)檢測(cè)出違章停車目標(biāo)，綠色框?yàn)檎Ｍ＼嚹繕?biāo)，有車輛但是未畫框?yàn)槁z目標(biāo)。選取了兩個(gè)停車場(chǎng)，一條主干道，及兩個(gè)交通路口作為實(shí)驗(yàn)區(qū)域。

圖9 無(wú)人機(jī)巡檢結(jié)果示例

3.2.2 無(wú)人機(jī)取證結(jié)果

如圖10、圖11所示，針對(duì)檢測(cè)出的違停車輛，對(duì)其車頭車尾分別進(jìn)行拍照取證，并進(jìn)行車牌檢測(cè)和車牌識(shí)別。若檢測(cè)車牌失敗，則調(diào)整相機(jī)焦距，再次拍照取證，并進(jìn)行車牌檢測(cè)和車牌識(shí)別。圖10為未調(diào)整焦距直接取證結(jié)果。圖11為調(diào)整焦距后取證結(jié)果。示例圖中為了進(jìn)行隱私保護(hù)，將車牌信息隱藏，實(shí)際系統(tǒng)使用時(shí)，并不會(huì)隱藏車牌信息。

圖10 無(wú)人機(jī)取證結(jié)果示例一

圖11 無(wú)人機(jī)取證結(jié)果示例二

3.3 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

本文把待檢測(cè)車輛數(shù)據(jù)分為三大類，分別是小型車、中型車和大型車。其中，小型車包含轎車、SUV、MPV和面包車；中型車包含中巴、小貨車；大型車包含大貨車、拖掛車和機(jī)械工程車。共采集并篩選10000張樣本，并基于YOLOv4提供的預(yù)訓(xùn)練模型進(jìn)行微調(diào)。同時(shí)通過(guò)數(shù)據(jù)增強(qiáng)等方式，生成了8000張車輛違停分類圖像，用于車輛違章分類模型訓(xùn)練。樣本數(shù)量及模型準(zhǔn)確率如表4所示。

表4 樣本數(shù)量及模型準(zhǔn)確率

為保證實(shí)驗(yàn)場(chǎng)景的豐富性、多樣性，本文選取了兩個(gè)停車場(chǎng)，一條主干道和兩個(gè)交通路口，分5 d時(shí)間進(jìn)行實(shí)驗(yàn)。

停車場(chǎng)的實(shí)驗(yàn)方式為：無(wú)人機(jī)懸停于停車場(chǎng)上空拍攝一張照片進(jìn)行違停檢測(cè)。共檢測(cè)278輛車，其中實(shí)際存在違?，F(xiàn)象車輛有50輛。本系統(tǒng)車輛檢測(cè)模塊實(shí)際檢測(cè)出車輛246輛，判定存在違停現(xiàn)象車輛43輛，成功取證38輛，成功告警38輛。其中漏檢的主要原因是車輛位于拍攝圖像的邊緣區(qū)域，和部分區(qū)域有樹葉或陰影遮擋。下一步將針對(duì)系統(tǒng)漏檢、誤檢的具體情況進(jìn)一步優(yōu)化并完善該系統(tǒng)。

主干道的實(shí)驗(yàn)方式為：無(wú)人機(jī)在交通隔離帶正上方50 m，與右側(cè)車道同向飛行，定點(diǎn)每50 m抓拍一張圖片，并進(jìn)行違停檢測(cè)。每天巡檢長(zhǎng)度1000 m，5 d共拍攝巡檢圖片100張，共檢測(cè)1536輛車，其中實(shí)際存在違?，F(xiàn)象車輛有12輛。本系統(tǒng)車輛檢測(cè)模塊實(shí)際檢測(cè)出車輛1460輛，判定存在違?，F(xiàn)象車輛11輛，成功取證11輛，成功告警11輛。其中漏檢的主要原因是車輛位于拍攝圖像的邊緣區(qū)域，車流量比較密集，和部分區(qū)域被大型車輛或路牌等障礙遮擋。下一步將針對(duì)系統(tǒng)漏檢、誤檢的具體情況進(jìn)一步優(yōu)化并完善該系統(tǒng)。

路口的實(shí)驗(yàn)方式為：無(wú)人機(jī)每30 min飛到路口上方50 m處懸停，抓拍一張圖片，并進(jìn)行違停檢測(cè)。每天巡檢2.5 h，5 d共拍攝巡檢圖片25張，共檢測(cè)63輛車，其中實(shí)際存在違?，F(xiàn)象車輛有24輛。本系統(tǒng)車輛檢測(cè)模塊實(shí)際檢測(cè)出車輛63輛，判定存在違?，F(xiàn)象車輛23輛，成功取證23輛，成功告警23輛。每次實(shí)驗(yàn)由于路口位置車流量較小，目標(biāo)車輛較為清晰可辨，因此檢測(cè)成功率較高。但由于未作去重處理，其中大部分違停告警為同一車輛。此外漏檢的主要原因是車輛位于停車位之間，系統(tǒng)誤判為正確停車。下一步將在系統(tǒng)中添加去重功能，并豐富訓(xùn)練樣本，針對(duì)具體情況進(jìn)一步優(yōu)化并完善該系統(tǒng)。

實(shí)驗(yàn)結(jié)果見表5。其中，P1為停車場(chǎng)一；P2為停車場(chǎng)二；R為主干道；C1為路口一；C2為路口二。

表5 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

整體系統(tǒng)性能指標(biāo)如表6所示，其中場(chǎng)景項(xiàng)與上表一致。巡檢模塊準(zhǔn)確率是由判定違停車輛數(shù)量與實(shí)際違停車輛數(shù)量比值得出，巡檢模塊平均耗時(shí)是5 d各場(chǎng)景的實(shí)驗(yàn)數(shù)據(jù)累加后再除以5取平均得出；取證模塊準(zhǔn)確率是由成功取證與檢測(cè)出違停車輛數(shù)量比值得出，巡檢模塊的平均耗時(shí)依賴于無(wú)人機(jī)對(duì)每輛違停車輛進(jìn)行拍照取證，因此車輛位置對(duì)模塊耗時(shí)影響較大，未作統(tǒng)計(jì)；總體性能準(zhǔn)確率是由巡檢模塊準(zhǔn)確率和取證模塊準(zhǔn)確率累加后取平均得出，總體性能耗時(shí)應(yīng)由巡檢模塊加取證模塊耗時(shí)得出，因此也未作統(tǒng)計(jì)。

表6 系統(tǒng)性能指標(biāo)

4 結(jié)束語(yǔ)

提出了一種基于深度學(xué)習(xí)技術(shù)的無(wú)人機(jī)端路面車輛違停檢測(cè)及取證系統(tǒng)，彌補(bǔ)了固定相機(jī)在監(jiān)控方面的不足，利用無(wú)人機(jī)掛載的可見光攝像頭，采集實(shí)時(shí)圖像，將圖像輸入到針對(duì)不同車輛訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型，通過(guò)前向運(yùn)算檢測(cè)圖像中的內(nèi)容，若檢測(cè)到圖像中有車輛出現(xiàn)，則結(jié)合紅外測(cè)溫技術(shù)，根據(jù)因擁堵、紅燈停車等現(xiàn)象與違章停車現(xiàn)象存在發(fā)動(dòng)機(jī)溫度差異這一特征，進(jìn)一步排除非違章停車情況。針對(duì)篩選出的疑似違章車輛的目標(biāo)框，以目標(biāo)框?yàn)橹行慕厝〕鲆欢▍^(qū)域內(nèi)容，并將截取出的新圖像送入分類模型中進(jìn)行分類，得出分類結(jié)果為正確停車、未停在停車位內(nèi)、壓停車位線和占多個(gè)停車位。若出現(xiàn)違章停車現(xiàn)象(未停在停車位內(nèi)、壓停車位線和占多個(gè)停車位現(xiàn)象)，則計(jì)算出違章車輛的取證點(diǎn)坐標(biāo)，降低無(wú)人機(jī)高度，對(duì)車牌拍攝，并與違章圖像相關(guān)聯(lián)，保存留作處罰依據(jù)。

通過(guò)實(shí)驗(yàn)證明，本系統(tǒng)準(zhǔn)確率高、時(shí)效性強(qiáng)，違章停車檢測(cè)與判定結(jié)果確實(shí)有效，可以減輕交管部門的工作壓力，減少路邊違?，F(xiàn)象的發(fā)生。但依然有不完善之處：首先，在基于YOLOv4的車輛檢測(cè)模塊中，依然有車輛漏檢誤檢現(xiàn)象，未來(lái)將針對(duì)性收集車輛數(shù)據(jù)，同時(shí)調(diào)整YOLOv4的網(wǎng)絡(luò)和參數(shù)，優(yōu)化檢測(cè)模型；其次，目前該系統(tǒng)主要針對(duì)小型車輛，而面包車、巴士、卡車等車輛其發(fā)動(dòng)機(jī)位置與小車不同，測(cè)溫模塊無(wú)法測(cè)出真實(shí)溫度差，未來(lái)將針對(duì)其他類型車輛，進(jìn)行數(shù)據(jù)分析與實(shí)驗(yàn)，找出相應(yīng)解決辦法；然后，本系統(tǒng)人機(jī)交互界面需要進(jìn)一步優(yōu)化，提供良好的操作體驗(yàn)；最后，本系統(tǒng)在非主干道區(qū)域、城區(qū)飛行時(shí)，存在一定的安全隱患，目前仍需人工排除隱患，未來(lái)將增加無(wú)人機(jī)自動(dòng)避障等模塊，提高無(wú)人機(jī)的安全性能。