丁軍軍
(江蘇省產(chǎn)業(yè)技術(shù)研究院 江蘇省南京市 210000)
作為城市道路交通的重要組成部分,交叉路口是車輛與行人匯集、轉(zhuǎn)向和疏散的必經(jīng)之地,是交通的咽喉,也是交通事故的多發(fā)地。據(jù)統(tǒng)計,90%的重特大交通事故發(fā)生在交叉路口。據(jù)某省會城市公布的數(shù)據(jù),2017年1-3月交通事故共造成165 人死亡、1173 人受傷,其中,某典型道口發(fā)生交通事故154 起。然而,在非一線城市交叉路口因從眾心理行人過馬路闖紅燈現(xiàn)象嚴(yán)重[1],行人不遵守交通規(guī)則的行為更是增加了交通事故發(fā)生的風(fēng)險。
研究表明,交通參與方提前1-2 秒感知或識別周圍交通環(huán)境中存在的潛在危險,并采用積極應(yīng)對措施,可大幅度降低交通事故的發(fā)生概率或強度[2-5]。但是復(fù)雜的路口環(huán)境又會給過往行駛司機的視線帶來了阻礙,例如左轉(zhuǎn)車道有大型車輛等待通行時,中間的直行車輛司機因左轉(zhuǎn)車輛的遮擋而產(chǎn)生左側(cè)視線盲區(qū),若此時有行人闖紅燈從左側(cè)穿出,直行車輛司機將無法及時做出反應(yīng),最終造成嚴(yán)重交通事故。針對此類因視線受阻而突發(fā)的“鬼探頭”交通事故,本文開發(fā)了一套針對交通事故易發(fā)路口的“城市道口防碰撞主動警示系統(tǒng)”。旨在降低城市道口交通事故的發(fā)生概率提升駕駛員和行人的人身安全。
系統(tǒng)的總體架構(gòu)包含感知層、數(shù)據(jù)層、控制層、執(zhí)行層和交互層五個層面。其中,感知層接入紅綠燈信息檢測器和智能監(jiān)控系統(tǒng),獲取該路口實時交通信息;數(shù)據(jù)層獲取智能攝像機信息及交通環(huán)境下的綜合態(tài)勢,進行數(shù)據(jù)融合與分析,為控制層提供數(shù)據(jù)基礎(chǔ);控制層接收數(shù)據(jù)層提供的信息在邊緣計算工控主機中完成改進的YOLOv3 檢測算法,運行于邊緣計算單元,實現(xiàn)交通大場景下的小目標(biāo)實時檢測,利用相關(guān)濾波跟蹤算法,對交通環(huán)境中的各方交通參與者實時精確定位,實現(xiàn)了目標(biāo)的運動追蹤,對交通沖突進行精準(zhǔn)預(yù)測,為執(zhí)行層提供控制輸入;執(zhí)行層接收到控制層發(fā)出的控制指令,對網(wǎng)絡(luò)音柱、爆閃燈、發(fā)光地磚、LED 警示屏等設(shè)備的功能進行操控;交互層包含PC 端、移動端和可視化大屏,主要實現(xiàn)不同設(shè)備之間的交互功能。
目標(biāo)檢測是檢測出一張圖片或者一段視頻中目標(biāo)的位置(靜態(tài)或者動態(tài)),在交通場景中主要識別的目標(biāo)為機動車、非機動車以及行人,由于安全的要求使得在交通場景中目標(biāo)檢測更注重實效性,因此,系統(tǒng)選擇在精度與速度方面均有良好表現(xiàn)的YOLOv3 網(wǎng)絡(luò)模型。
3.1.1 Yolov3 檢測模型
Yolov3 基于深度學(xué)習(xí)框架darknet 開發(fā)而來,包含53 個卷積層。采用K-means 算法對數(shù)據(jù)集中的邊界框進行聚類,獲取9 個先驗框;相比之前的算法,YOLOv3 采用了多尺度檢測方法,特別是針對小目標(biāo),檢測精度有顯著提升。
3.1.2 Mobilenetv2
為了符合交通場景下目標(biāo)檢測實時性與準(zhǔn)確率兼顧的要求,本文將采用輕量級網(wǎng)絡(luò)結(jié)構(gòu)的MobileNetv2來替換YOLOv3主干網(wǎng)絡(luò),并引入Bottom-up 連接獲取淺層特征信息,解決對遠距離目標(biāo)實時性檢測存在的不足。
MobileNetv2 架構(gòu)是基于倒置殘差結(jié)構(gòu),瓶頸層輸入通過1×1 的Conv+ReLU層將維度從k 維增加到tk 維,然后通過3×3conv+ReLU 可分離卷積對圖像進行降采樣,此時特征維度已經(jīng)為tk 維度,最后通過1×1conv 進行降維,維度從tk 降低到k 維。整個模型中除了第一個瓶頸層的t=1 之外,其他瓶頸層t=6,即第一個瓶頸層內(nèi)部并不對特征進行升維。
3.1.3 YOLOv3-Mobilenetv2 檢測算法
將Mobilenetv2 低計算量和參數(shù)量的優(yōu)點與YOLOv3 中的特征金字塔結(jié)構(gòu)和多尺度特征融合策略相結(jié)合,形成輕量級的YOLOv3-Mobilenetv2 目標(biāo)檢測算法[6]。為增強高層特征圖位置信息,在13×13 特征圖上引入Bottom-up 連接。該算法在規(guī)模尺寸上較YOLOv3 算法縮小了14 倍。
目標(biāo)追蹤是給定視頻中第一幀目標(biāo)以及它的位置,然后跟蹤這個目標(biāo),并預(yù)測它的軌跡,本文在目標(biāo)跟蹤中主要研究的對象為闖紅燈的行人。
相關(guān)濾波最早應(yīng)用在信號處理領(lǐng)域,用來描述兩個信號之間的相似性,其基本思想是設(shè)計一個濾波模板,利用該模板與目標(biāo)候選區(qū)域做相關(guān)運算,最大輸出響應(yīng)的位置即為當(dāng)前幀的目標(biāo)位置。表示公式為:
g=u?ω
其中g(shù) 表示響應(yīng)輸出,u 表示輸入圖像特征,ω 表示濾波模板。利用相關(guān)定理,將相關(guān)轉(zhuǎn)換為計算量更小的點積。相關(guān)濾波的任務(wù),就是尋找最優(yōu)的濾波模板ω。經(jīng)典的方法是采用脊回歸構(gòu)建模型的目標(biāo)函數(shù):
其中,Uj為第j 個N 維訓(xùn)練樣本,ω∈RN, λ 正則化參數(shù),訓(xùn)練過程中設(shè)濾波相應(yīng)g 為一個高斯函數(shù):
式中,(x,y)為像素坐標(biāo)位置,(xc,yc)為目標(biāo)中心位置,g(x,y)在目標(biāo)中心位置時取最大值。
將訓(xùn)練好的濾波器應(yīng)用到第一幀圖像中,并以第一幀目標(biāo)位置為中心提取區(qū)域特征,在下一幀圖像中提取目標(biāo)區(qū)域,對濾波器先進行傅里葉變換,卷積之后,再進行逆向傅里葉變換找最大響應(yīng)值,這個響應(yīng)值的位置即為第二幀圖像的待追蹤目標(biāo)的中心。
行人的狀態(tài)估計是判定行人闖紅燈意圖的主要依據(jù),本文建立基于AI 攝像機坐標(biāo)系的前方行人運動狀態(tài)模型,并采用Kalman 濾波對行人的運動狀態(tài)進行估計。
雖然行人相對于機動車輛的運動狀態(tài)具有靈活性和隨意性,但在闖紅燈這一目的性較明確的行為中,常采用加速直線運動。因此,本文將采用經(jīng)典的常加速模型(CA 模型)來描述行人的運動狀態(tài)。行人運動方程為:
式中,x(0)為行人初始位置,x(t)為行人的位置, 為行人初始速度, 為行人的速度, 為行人加速度。
在路口場景中只需關(guān)注行人的平面位置信息,因此狀態(tài)估計模型中,采用向量x= 表示運動狀態(tài),其中,(x,y)表示二維平面行人的位移, 表示行人的速度, 表示行人的加速度。行人的運動方程為:
狀態(tài)估計模型為:
xk+1=diag[φ,φ]xk+diag[G,G]wk
觀測方程表示為:
Z(t)=Cx(t)+v(t)
式中:Λ 為目標(biāo)運動狀態(tài)的系統(tǒng)矩陣,B 為過程噪聲矩陣,w(t)為隨機白噪聲過程,C 為輸出狀態(tài)矩陣,v(t)為噪聲。
根據(jù)設(shè)計思路,城市道口防碰撞主動警示系統(tǒng)的交通沖突預(yù)判與決策流程如下:
步驟1:交通信號燈作為信息輸入;
步驟2:判斷該車輛通行方向是否為綠燈,如為綠燈執(zhí)行下一步,否則返回上一步;
步驟3:交通攝像機開始工作,面向行車方向橫向斑馬線及周邊重點區(qū)域進行行人檢測;
步驟4:行人檢測判別,在重點區(qū)域檢測到行人時執(zhí)行下一步,否則返回步驟二;
步驟5:人行道兩側(cè)過街一體燈提醒行人“請勿闖紅燈”;
步驟6:進行行人意圖預(yù)測,如行人存在闖紅燈意圖執(zhí)行下一步,否則返回步驟二;
步驟7:行車道車輛檢測,如有車輛駛?cè)胧鹿拾l(fā)生潛在危險區(qū)域執(zhí)行下一步,否則返回步驟二;
步驟8:行駛車輛對面信號燈橫桿LED 信息屏顯示“注意行人”字樣并點亮指示圖標(biāo)顯示闖燈行人方向,同時爆閃燈閃爍,過街地?zé)粲芯G色變紅,以提醒駕駛司機注意及時減速,避免事故發(fā)生。
為驗證所設(shè)計系統(tǒng)方案及算法的效果,分別在實驗室及真實路口環(huán)境下進行實驗測試和實地驗證。
城市道口防碰撞主動警示系統(tǒng)主要的硬件配置包括:交通攝像機、紅綠燈信號檢測器、邊緣計算工控機、數(shù)據(jù)交換機、智慧爆閃燈電子引導(dǎo)屏、機動車道停止線發(fā)光磚等,其中,交通攝像機選用??敌吞朌S-2CD7AFD,內(nèi)置高效白光陣列燈,具備200 萬星光級1/1.8”智能補光,水平視場角99.5°-38.6°;采用紅綠燈信號檢測器LPJT-XHD-5-S,可對5 路紅綠燈信號檢測,應(yīng)用于電子警察系統(tǒng)紅燈信號檢測;邊緣計算工控主機采用i5 雙核處理器,4G 內(nèi)存,包含邊緣計算協(xié)同控制單元,完成多傳感器感知數(shù)據(jù)融合,實現(xiàn)交通目標(biāo)運動跟蹤和軌跡預(yù)測,實現(xiàn)各類交通事件的檢測及協(xié)同控制;智慧爆閃燈電子引導(dǎo)屏選用顯示尺寸為960mm*320mm 的戶外P10全彩顯示屏,含高清紅藍爆閃燈,并支持遠程控制。
在實驗室內(nèi)搭建的模擬場景與測試效果如圖6所示,交通攝像機安放在離地面高度2.6 米處,對面規(guī)劃三條行車道,在左轉(zhuǎn)車道上采用人體模擬行駛車輛。圖1所模擬的場景為:當(dāng)交通信號燈為綠燈時,有行人闖紅燈,此時檢測到行駛車道預(yù)警范圍內(nèi)有行駛車輛,模擬LED 顯示屏點亮顯示“注意行人減速避讓”字樣,提醒行駛車輛注意。
圖1:實驗室測試環(huán)境
在室外場景選在蘇州市虎丘區(qū)濱河路與橫山路的交叉口,檢測效果如圖2所示。經(jīng)過系統(tǒng)設(shè)備多次的實地檢驗,驗證了城市道口防碰撞主動警示系統(tǒng)的準(zhǔn)確與可行性,可有效預(yù)防交通事故的發(fā)生,測試效果統(tǒng)計如表1所示。
表1:測試效果統(tǒng)計
圖2:室外交通路口實地驗證場景
本研究針對城市交通路口因駕駛員視線受阻行人不遵守交通規(guī)則而造成的“鬼探頭”交通事故,設(shè)計了城市道口防碰撞主動警示系統(tǒng),基于改進的YOLOv3 算法實現(xiàn)了大交通場景下小目標(biāo)的實時檢測,利用相關(guān)濾波跟蹤算法,實時準(zhǔn)確定位交通環(huán)境中各類交通參與者,跟蹤目標(biāo)運動狀態(tài),并結(jié)合Kalman 濾波對行人闖紅燈的意圖進行預(yù)測,在實現(xiàn)對交通參與者行為沖突的準(zhǔn)確預(yù)警的同時,有效減少誤報。通過實驗場地測試和實際交叉路口試驗表明,該方案能大大降低交通事故發(fā)生的概率和強度。