基于Faster-RCNN的鰲江特大橋車輛識別技術(shù)

徐 偉，張立曉，陳智壽，邱國陽，談華順，趙雪峰

（1.溫州市交通工程質(zhì)量監(jiān)督局，浙江 溫州 325000；2.大連理工大學(xué) 土木工程學(xué)院，遼寧 大連 116024；3.大連理工大學(xué) 海岸與近海工程國家重點實驗室，遼寧 大連116024；4.浙江溫州沈海高速公路有限公司，浙江 溫州 325000；5.浙江省交通規(guī)劃設(shè)計研究院有限公司，浙江 杭州 310000）

0 引 言

車輛作為運輸行業(yè)的重要交通工具，其種類和用途極其廣泛。近年來，隨著中國經(jīng)濟(jì)的快速發(fā)展和基礎(chǔ)設(shè)施建設(shè)水平的不斷提高，公路橋梁作為運輸業(yè)的重要渠道，發(fā)揮著越來越重要的作用，并受到了越來越廣泛的關(guān)注。截至2018年底，交通運輸行業(yè)發(fā)展統(tǒng)計公報顯示，國家高速公路年平均日交通量為26 435輛，增長5.4%。隨著科技水平的迅速提高，人工智能時代來臨，智能化交通系統(tǒng)的發(fā)展也在逐步完善。智能交通系統(tǒng)（Intelligent Transport Systems, ITS）是一個包含多種技術(shù)的統(tǒng)稱，指在交通系統(tǒng)中深度整合最新的信息技術(shù)、數(shù)字通信技術(shù)、計算機信息處理技術(shù)、自動控制技術(shù)以及傳感器等，形成一個可以覆蓋大面積，響應(yīng)及時，效率高的綜合交通管理系統(tǒng)[1]，其核心是對道路橋梁中車輛類型進(jìn)行準(zhǔn)確識別。車輛類型的識別在道路交通監(jiān)控管理、高速收費系統(tǒng)、停車場管理系統(tǒng)等方面被廣泛應(yīng)用，具有較大的市場前景和經(jīng)濟(jì)價值。

車型識別主要包括兩個方向[2]，即針對車輛車型類別的識別（客車、貨車等）與對車輛品牌型號的識別（奔馳、大眾等）。早期的車型識別方法包括基于傳統(tǒng)特征的支持向量機[3]、貝葉斯網(wǎng)絡(luò)[4]、BP網(wǎng)絡(luò)[5]、邊緣檢測算法[6]、壓力傳感、CCD[7]及基于紋理特征[8-10]等。由于計算機技術(shù)和深度學(xué)習(xí)技術(shù)的飛速發(fā)展，目前常用的主要是基于深度卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法[11-14]。

基于機器視覺的車型識別技術(shù)利用計算機自動分析由攝像頭采集獲取的視頻圖像，借助預(yù)先訓(xùn)練好的模型使得機器能夠自動完成車輛的檢測和分類。該技術(shù)具有如下優(yōu)點：

（1）采用非接觸式檢測，可保證車輛平穩(wěn)運行；

（2）可以大范圍檢測交通流信息，設(shè)備可重復(fù)利用；

（3）可以實時監(jiān)控，也可存儲采集的圖像，便于后期分析處理；

（4）識別精度高。

開展車輛車型識別意義重大，此舉對于解決交通環(huán)境問題、交通規(guī)劃問題和智能交通系統(tǒng)的發(fā)展具有重要戰(zhàn)略意義。

1 橋梁車輛車型識別技術(shù)

計算機技術(shù)和人工智能的發(fā)展使得基于視頻的車輛分類識別技術(shù)在交通管控中發(fā)揮著重要的作用。車輛類型識別技術(shù)利用高速相機設(shè)備代替人眼進(jìn)行記錄和觀察，通過反復(fù)學(xué)習(xí)后，能夠以較高的準(zhǔn)確度識別車輛類型，也可以實現(xiàn)對橋梁過往車輛類型多信息的檢測。該信息對橋梁安全穩(wěn)定運營有著極大的參考意義，可為橋梁后期的管養(yǎng)和養(yǎng)護(hù)提供依據(jù)。

1.1 動態(tài)稱重系統(tǒng)及監(jiān)控設(shè)備布置

動態(tài)稱重系統(tǒng)由傳感器和電子儀器組成，用于測量動態(tài)輪胎力和車輛通過時間，并提供輪重、軸重、總重等數(shù)據(jù)。該系統(tǒng)在車輛正常行駛狀態(tài)下，可利用埋地線圈感應(yīng)車輛，獲得橋梁結(jié)構(gòu)的動力響應(yīng)，對其進(jìn)行稱重檢測，較好地解決了傳統(tǒng)人工稱重過程復(fù)雜、效率低下等問題[15]。

在鰲江特大橋傳感器安裝過程中，通過安裝傳感器切槽，保證安裝區(qū)域路面平整無明顯凹陷、涌包、裂縫；要求切口比傳感器長約150 mm，同軸電纜切口應(yīng)從傳感器切口的中央引出，特采用濕切法以減少對路面的破壞；保證灌封料與路面平齊，減少輪胎跳過傳感器的機會。傳感器安裝示意如圖1～圖3所示。

圖1 鰲江特大橋動態(tài)稱重系統(tǒng)傳感器安裝示意圖

圖2 鰲江特大橋單車道傳感器安裝示意圖

圖3 鰲江特大橋橫截面?zhèn)鞲衅靼惭b示意圖

1.2 機器視覺車輛訓(xùn)練模型

1.2.1 車輛分類

本文中車輛類型是指車輛的型式，通過車輛的普通特征、使用目的和功能等進(jìn)行區(qū)分，如轎車、載貨汽車、客車、掛車、非完整車輛和摩托車均為單獨的類型。通過查閱相關(guān)資料，本文通過車輛荷載對車輛類型進(jìn)行分類。所依托公路橋梁為高速公路，屬于全部控制出入、專供汽車在分隔的車道上高速行駛的公路。為了對車輛類型進(jìn)行全方位監(jiān)測，本文將車輛車型與荷載分為6類，分別為大型客車、中型客車、微型客車、大型貨車、中型貨車、小型貨車，分類標(biāo)準(zhǔn)見表1所列。

依據(jù)上述分類標(biāo)準(zhǔn)，本文對車輛類型進(jìn)行標(biāo)記，如圖4所示。

表1 車輛車型與荷載分類標(biāo)準(zhǔn)

圖4 車輛類型標(biāo)記

1.2.2 訓(xùn)練原理

較普通機器視覺[16-17]數(shù)字圖像處理技術(shù)采用邊緣檢測算法等提取特征不同，本文采用機器視覺深度學(xué)習(xí)方法，借助 Faster-RCNN（Faster Region-based Convolutional Network,Faster-RCNN）算法，通過大量車輛樣本的訓(xùn)練，使計算機自動提取出不同的車輛類型。目標(biāo)檢測的首個算法是由Girshick提出的RCNN算法[18]，但該算法需要耗費大量的訓(xùn)練時間，訓(xùn)練數(shù)據(jù)占用空間大，且測試效率較低。之后出現(xiàn)了Fast-RCNN算法[19]，該算法同樣存在訓(xùn)練時間過長等問題。2016年，任少卿和Girshick等人提出了Faster-RCNN算法[20]，該算法在Fast-RCNN的基礎(chǔ)上，將候選區(qū)域的獲取集成在卷積神經(jīng)網(wǎng)絡(luò)中，實現(xiàn)了點對點訓(xùn)練與測試，效率大幅提高。Faster-RCNN算法構(gòu)架如圖5所示。

圖5 Faster-RCNN算法構(gòu)架示意圖

該算法中區(qū)域選取網(wǎng)絡(luò)（Region Proposal Network, RPN）結(jié)構(gòu)的運用，可真正意義上把物體檢測流程融入神經(jīng)網(wǎng)絡(luò)Faster-RCNN中。RPN的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生Region Proposal，本質(zhì)上是滑動窗口。Anchors是固定尺寸的邊界框，得到的boxes可作為第一次預(yù)測目標(biāo)位置的參考，Ground Truth表示真值，Proposal表示預(yù)測值，三者關(guān)系如圖6所示。

圖6 Anchor box，Ground Truth，Proposal box關(guān)系圖

RPN的損失函數(shù)包括分類損失和回歸損失，該網(wǎng)絡(luò)結(jié)構(gòu)中的總損失函數(shù)計算如下：

式中：i表示第i個Anchor；pi表示預(yù)測為某物體的概率；Ground Truth標(biāo)簽pi*取值為0或1；ti表示Proposal box相對于Anchor box的偏移；ti*表示Ground Truth box相對于Anchor box的偏移；Lcls和Lreg表示分類損失和回歸損失；Ncls和Nreg為正則化參數(shù)；λ為加權(quán)平衡參數(shù)[20]。

2 測試準(zhǔn)備

2.1 硬件參數(shù)

該測試平臺基于Caffe框架，使用GPU模式在工作站（CPU：Intel Xeon E5-2630 v4 @2.2 GHz，RAM：32 GB，GPU：NVIDIA Geforce GTX 1080 Ti）上實現(xiàn)。Faster-RCNN框架是根據(jù)工作站的硬件和軟件進(jìn)行調(diào)整和構(gòu)建的，并配置了所有文件路徑和超參數(shù)。CNN層和FC層（用于分類）分別采用0均值高斯分布初始化，標(biāo)準(zhǔn)差分別為0.01和0.001。

2.2 數(shù)據(jù)準(zhǔn)備

圖片主要來自浙江寧波鰲江大橋，少部分圖片來自網(wǎng)絡(luò)，圖片均為單圖單車。結(jié)合橋梁車輛的特點和相關(guān)標(biāo)準(zhǔn)，本文將檢測車輛車型與荷載綜合劃分為大型客車（DK）、中型客車（ZK）、小型客車（XK）、大型貨車（DH）、中型貨車（ZH）、小型貨車（XH）六類。本次共訓(xùn)練600張圖片（圖像分辨率為900×1 600像素），其中480張圖片為訓(xùn)練集，即訓(xùn)練集占總數(shù)據(jù)的80%，另外120張圖片為驗證和測試集，占總數(shù)據(jù)的20%。

3 車型識別測試結(jié)果

本文首先對600張圖片進(jìn)行車輛類型訓(xùn)練（圖片來源為鰲江特大橋監(jiān)測數(shù)據(jù)庫，部分來源于網(wǎng)絡(luò)）。訓(xùn)練結(jié)果中每個類別的Average Precision（AP）見表2所列，所有類別的AP平均值mean AP（mAP）為0.893 8。訓(xùn)練模型精度表明：DK、ZK、XK、DH、ZH、XH類別的AP分別為0.921 0，0.882 3，0.818 1，0.849 2，0.946 3，0.945 5，六類車型識別的mAP為89.38%。

表2 訓(xùn)練結(jié)果

測試選用未經(jīng)訓(xùn)練的車輛圖進(jìn)行車型識別精度測試，車輛車型識別結(jié)果如圖7所示。系統(tǒng)識別精度最高可達(dá)100%，表明該訓(xùn)練模型具有較好的魯棒性與較精確的識別監(jiān)測效果。驗證該方法在視頻中的檢測精度：錄制視頻后對動態(tài)視頻中的車輛進(jìn)行識別測試，結(jié)果顯示識別精度可以達(dá)到99.1%，如圖8所示。該方法為未來車輛管理、交通運輸業(yè)管理等提供了指導(dǎo)，具有重要的參考價值。

圖7 車型識別結(jié)果

圖8 視頻測試結(jié)果

4 結(jié) 語

為促進(jìn)智能交通系統(tǒng)的發(fā)展，更好地管理車輛，并保障橋梁穩(wěn)定運營，本文以鰲江大橋為依托，采用基于機器視覺的車輛類型識別方法對橋梁車輛進(jìn)行識別和測試。首先主要介紹了鰲江特大橋稱重系統(tǒng)與機器視覺目標(biāo)識別算法，然后依據(jù)該橋梁通行車輛特點將車輛分為六大類，經(jīng)過訓(xùn)練與測試驗證，表明該方法識別準(zhǔn)確率較高。通過該方法的運用，可以實時監(jiān)測、統(tǒng)計橋梁車輛情況，并為后期橋梁管養(yǎng)和狀態(tài)評估提供大量可靠數(shù)據(jù)，為建立更加智能化的智能交通系統(tǒng)奠定良好基礎(chǔ)。