基于圖像的駕駛員安全帶自動檢測系統(tǒng)

唐　恬，王　秋，李　旭

(1.杭州市公安局上城區(qū)分局，浙江杭州　310009； 2.杭州市公安局余杭區(qū)分局，浙江杭州　311100；3.浙江警察學(xué)院，浙江杭州　311100)

?

基于圖像的駕駛員安全帶自動檢測系統(tǒng)

唐恬1，王秋2，李旭3

(1.杭州市公安局上城區(qū)分局，浙江杭州310009； 2.杭州市公安局余杭區(qū)分局，浙江杭州311100；3.浙江警察學(xué)院，浙江杭州311100)

摘要未系安全帶行為可能在交通事故中給機(jī)動車駕駛員或者乘客帶來嚴(yán)重的人員傷亡?，F(xiàn)有的駕駛員安全帶狀態(tài)檢測多依賴人工驗(yàn)證卡口圖片，耗時低效。引入了基于中間件結(jié)構(gòu)的駕駛員安全帶自動檢測系統(tǒng)，自動下載圖像，并利用任務(wù)調(diào)度將圖片分發(fā)至處理服務(wù)器。在處理服務(wù)器端，設(shè)計(jì)一種集合直線檢測和HOG算子分類的多級安全帶檢測算法，自動檢測卡口圖像，并利用中間件將檢測結(jié)果上傳至指定的存儲器。該系統(tǒng)擴(kuò)展方便，可分布式部署，能對卡口圖像進(jìn)行大量、快速駕駛員安全帶狀態(tài)自動化檢測。

關(guān)鍵詞計(jì)算機(jī)應(yīng)用； 安全帶自動檢測系統(tǒng)； 中間件； HOG算子

0引言

隨著我國經(jīng)濟(jì)發(fā)展，機(jī)動車保有量也逐年增加。截至2014年年底，我國機(jī)動車保有量已達(dá)2.64億輛。但是，駕駛員的安全意識并未隨之增加，特別是未系安全帶行為普遍。根據(jù)有關(guān)資料[1]，汽車駕駛?cè)宋聪蛋踩珟У氖鹿仕劳雎始s為系安全帶的37.7倍，汽車前排乘員未系安全帶的事故死亡率約為系安全帶的10.6倍，汽車后排乘員未系安全帶的事故死亡率約為系安全帶的3.1倍。特別是在高速公路，遇車禍時未系安全帶的傷亡率遠(yuǎn)遠(yuǎn)大于系安全帶的人。因此，安全帶也被稱為“生命帶”。我國道路交通安全法律法規(guī)對于系安全帶有明確的規(guī)定。

為了查處未系安全帶的道路交通安全違法行為，各地公安交警部門常常開展檢查，特別是在春節(jié)等客運(yùn)繁忙時期，會采取額外的集中整治行動。但是這種方法往往耗時耗力，效果持續(xù)時間有限。近年來，計(jì)算機(jī)視覺技術(shù)越來越多地被應(yīng)用到智能交通領(lǐng)域?；谝曨l的實(shí)時分析系統(tǒng)被廣泛地用于闖紅燈、違章變道、逆行等多種交通安全違法行為的抓拍。于是，有研究人員開始利用圖像分析技術(shù)，檢測駕駛員是否系了安全帶。駱玉榮[2]提出了一種利用車窗子圖像進(jìn)行SVM分類的安全帶識別系統(tǒng)；浙江大學(xué)的吳法[3]在車窗定位的基礎(chǔ)上，基于邊緣檢測與霍夫變換計(jì)算特征，并利用adaboost統(tǒng)計(jì)分析方法檢測安全帶；哈爾濱工程大學(xué)的張晉[4]則提出了一種集中了圖像預(yù)處理、圖像模糊增強(qiáng)、直線提取及判別3大步驟的檢測方法。

以上方法都聚焦安全帶檢測算法，并未考慮整個檢測系統(tǒng)的架構(gòu)，并且提出的基于直線檢測的方法非常不穩(wěn)定，對于安全帶與背景顏色相似時的圖像，或者受光照影響產(chǎn)生明顯明暗面的圖像，檢測效果不好。

基于此，本文提出一種基于HOG分類的安全帶檢測方法。由于HOG算子中含有局部亮度均衡化步驟，可以有效解決上述問題；同時，提出一種可用于分布式存儲的安全帶檢測系統(tǒng)架構(gòu)，能用于大規(guī)?；趫D像的安全帶檢測實(shí)戰(zhàn)。

1系統(tǒng)設(shè)計(jì)

1.1系統(tǒng)結(jié)構(gòu)

目前，卡口數(shù)據(jù)是交警六合一平臺中普及最廣、使用最多的數(shù)據(jù)類型。由于卡口數(shù)據(jù)量較為龐大，且可能分布式地存儲在不同的行政級別區(qū)域，因此整個檢測系統(tǒng)需具備良好的可擴(kuò)展性，能方便地利用硬件疊加，處理幾何式增長的卡口數(shù)據(jù)。

在實(shí)際應(yīng)用中，卡口圖像分別存儲在不同的服務(wù)器上。因此，需要設(shè)計(jì)一個中間件，從數(shù)據(jù)存儲服務(wù)器上獲取原始的卡口數(shù)據(jù)，并保存到分析服務(wù)器上進(jìn)行下一步計(jì)算。整個系統(tǒng)的結(jié)構(gòu)如圖1所示，由存儲卡口原始數(shù)據(jù)的數(shù)據(jù)服務(wù)器、裝有中間件的調(diào)度服務(wù)器、安全帶狀態(tài)檢測服務(wù)器、處理結(jié)果存儲服務(wù)器以及查詢配置終端等多個部分組成。這些組成部分的功能如下。

數(shù)據(jù)服務(wù)器：存儲來自于各個卡口的數(shù)據(jù)。由于建設(shè)時間不同，這些圖像數(shù)據(jù)有不同的分辨率和不同的格式。數(shù)據(jù)組成也可能不一樣，每次卡口抓拍可能是一張圖，也可能是兩張圖。

安全帶狀態(tài)檢測服務(wù)器群：該服務(wù)器群包括數(shù)臺檢測主機(jī)，主要接受來自調(diào)度服務(wù)器的任務(wù)，自動檢測輸入的安全帶圖像，并給出檢測結(jié)果。為了提高處理速度，可增加GPU卡進(jìn)行加速。

調(diào)度服務(wù)器：調(diào)度服務(wù)器中包括多組不同的中間件。如圖1所示，整個調(diào)度服務(wù)器中部署的中間件包括數(shù)據(jù)下載中間件、預(yù)處理中間件、網(wǎng)絡(luò)狀態(tài)監(jiān)測中間件和任務(wù)調(diào)度中間件。

(1)數(shù)據(jù)下載中間件：負(fù)責(zé)從上一層的多個卡口數(shù)據(jù)源中獲取原始卡口圖像。

(2)預(yù)處理中間件：對圖像進(jìn)行預(yù)處理。濾除分辨率不達(dá)標(biāo)、圖像中沒有機(jī)動車、清晰度不夠的圖像數(shù)據(jù)。

(3)網(wǎng)絡(luò)狀態(tài)監(jiān)測中間件：實(shí)時監(jiān)測數(shù)據(jù)下載和上傳線程的狀態(tài)，并將狀態(tài)通知下一層的檢測服務(wù)器，便于查詢終端實(shí)時看到網(wǎng)絡(luò)狀態(tài)。

(4)任務(wù)調(diào)度中間件：由于數(shù)據(jù)下載和數(shù)據(jù)處理速度不匹配，而且安全帶狀態(tài)檢測服務(wù)器群中每臺主機(jī)的任務(wù)量也不一致。因此，當(dāng)發(fā)起安全帶圖像檢測任務(wù)時，任務(wù)調(diào)度中間件會根據(jù)每臺檢測主機(jī)當(dāng)前的繁忙狀態(tài)，將檢測任務(wù)發(fā)往工作量最低的主機(jī)。

圖1　系統(tǒng)架構(gòu)圖

2.2系統(tǒng)功能模塊

整個系統(tǒng)采用B/S架構(gòu)。如圖1所示服務(wù)器端包括調(diào)度服務(wù)器和安全帶狀態(tài)檢測服務(wù)器，客戶端則可以用于參數(shù)配置，以及檢測結(jié)果查詢。服務(wù)器端和客戶端的功能模塊如圖2所示。

圖2　系統(tǒng)功能模塊

(1)服務(wù)器端功能模塊。服務(wù)器端主要包括調(diào)度服務(wù)和圖片檢測服務(wù)兩大類。其中，調(diào)度服務(wù)包括3大主要的中間件。

數(shù)據(jù)下載和上傳：系統(tǒng)可通過FTP或者Webservice兩種方式，從指定的數(shù)據(jù)存儲服務(wù)器上下載數(shù)據(jù)，并將檢測結(jié)果上傳至指定的數(shù)據(jù)中心。

檢測任務(wù)分配：當(dāng)處理數(shù)據(jù)過大，需要多臺檢測服務(wù)器時，該中間件通過實(shí)時輪詢服務(wù)器負(fù)荷情況，將新來的任務(wù)分配給當(dāng)前CPU消耗最低的服務(wù)器。

網(wǎng)絡(luò)狀態(tài)監(jiān)測：實(shí)時監(jiān)測服務(wù)器群中的數(shù)據(jù)下載、數(shù)據(jù)上傳、網(wǎng)絡(luò)通訊等中間件的運(yùn)行情況，一旦網(wǎng)絡(luò)出現(xiàn)問題，可以實(shí)時報警。

圖片檢測服務(wù)則主要檢測常見的兩種卡口圖片：單張圖片檢測(也稱為A型圖)，以及雙圖片檢測(也稱為B型圖)。

(2)客戶端功能模塊?？蛻舳四K主要包括以下幾部分內(nèi)容。

網(wǎng)絡(luò)參數(shù)配置：包括多臺數(shù)據(jù)服務(wù)器的輸入FTP地址，以及數(shù)據(jù)存儲服務(wù)器的輸出FTP地址。

算法參數(shù)配置：主要包括安全帶檢測算法相關(guān)的參數(shù)。

檢測結(jié)果查詢：能在客戶端查詢當(dāng)前的處理量，檢測出的未系安全帶圖片等。

其他：包括用戶名和密碼設(shè)置，操作日志查詢，數(shù)據(jù)清理設(shè)置，等等。

3安全帶檢測算法

一旦接收到算法調(diào)度服務(wù)器分配的任務(wù)，安全帶檢測線程就會進(jìn)入計(jì)算流程，如圖3所示。下面詳細(xì)介紹流程中每個處理單元的實(shí)現(xiàn)過程。

圖3　安全帶檢測算法流程圖

(1)預(yù)處理。由于相機(jī)分辨率不同，且受天氣環(huán)境的影響，卡口圖像的成像質(zhì)量差別很大。如果不進(jìn)行預(yù)處理，直接以輸入的原圖進(jìn)行后續(xù)計(jì)算，檢測效果將不理想。首先，利用高斯算子進(jìn)行平滑[5]；然后，采用線性拉升算法，可以有效地提升輸入圖像的質(zhì)量。處理前后的效果如圖4所示。

(2)車輛定位。現(xiàn)有方法一般是基于車牌識別的結(jié)果定位整個車輛，但是這種方法對于無牌車無效。機(jī)動車作為一種剛體，比較適合利用HOG算子[6]進(jìn)行檢測。但是HOG算子可能檢測到偽車輛目標(biāo)。結(jié)合兩種方法，在檢測不到車牌的時候，利用HOG算子檢測機(jī)動車目標(biāo)。這樣可以保持較高的準(zhǔn)確率和召回率。

圖4　預(yù)處理前后的駕駛室區(qū)域效果對比(左為原始圖，右為預(yù)處理后的圖)

(3)車窗定位。車窗也是一種剛體，適合利用HOG算子進(jìn)行精確定位。利用收集的貨車、轎車、公交車等多種車輛類型的車窗區(qū)域作為正樣本，經(jīng)過訓(xùn)練后可用于車窗精確定位。

(4)模糊度判斷。定量的圖像質(zhì)量評價方法[7]包括均方誤差(MSE:Mean Square Error)，峰值信噪比(PSNR:Peak Signal to Noise Ratio)。但是這類基于點(diǎn)誤差累積的方法沒有充分考慮到人眼的視覺特征，用于車窗模糊度判斷的效果不理想?；谖墨I(xiàn)[8]提出的結(jié)構(gòu)相似度(SSM: Structural Similarity)，結(jié)合模糊的車窗具有局部灰度分布較為均勻的特性，可較為有效地判定車窗的模糊度。對于車窗模糊的圖片(如圖5左)，直接拒絕安全帶檢測。

(5)安全帶檢測。不管是主駕駛位的安全帶檢測，還是副駕駛位的安全帶檢測，均可以使用同一種算法。本文采用分級檢測的算法檢測安全帶。

圖5　模糊車窗圖(左)和清晰車窗圖(右)的比對

首先，將檢測到的車窗區(qū)域，等分為主駕駛和副駕駛區(qū)域。分別利用Sobel算子[9]進(jìn)行邊緣檢測。如果區(qū)域中具有一定長度和角度的直線，則認(rèn)為是安全帶。這一級只能在安全帶和衣服具有顯著梯度的圖像中檢測到安全帶。如果在第一級未檢測到安全帶，將整個區(qū)域送入以HOG特征為主的分類器進(jìn)行分類。分類器訓(xùn)練時，以駕駛區(qū)域的圖像作為正負(fù)樣本輸入。

3實(shí)驗(yàn)結(jié)果

為了測試整個系統(tǒng)的檢測結(jié)果，搭建了運(yùn)行環(huán)境。硬件采用至強(qiáng)E5-2600 3代CPU，內(nèi)存8G。利用.Net編寫了獨(dú)立的下載和上傳圖像的中間件，F(xiàn)TP服務(wù)器采用FlashFXP。為了驗(yàn)證方便，安全帶檢測中間件作為后臺服務(wù)，與數(shù)據(jù)的上傳與下載中間件放在同一臺服務(wù)器中，服務(wù)器運(yùn)行環(huán)境為Windows Server 2008。

經(jīng)過測試，在上述硬件配置情況下，一天能處理約20萬張圖片，安全帶檢測的綜合準(zhǔn)確率達(dá)到80%以上。但是，由于雨刮器的影響，算法對于雨天的圖片處理效果不佳。另外，由于車窗定位的誤差，算法對于大車圖像(比如貨車、卡車)中的安全帶檢測準(zhǔn)確率也有下降。

4結(jié)語

安全帶是保護(hù)駕駛員和乘客的生命之帶，在高速行駛過程中發(fā)生交通事故時，未系安全帶可能導(dǎo)致人員被甩出車外，造成嚴(yán)重人員傷亡。依靠短時間的突擊檢查和集中整治無法有效震懾司機(jī)與乘客，而基于本文提出的計(jì)算機(jī)視覺技術(shù)自動判斷是否系安全帶的分布式系統(tǒng)，可以處理大規(guī)模的、分布式的卡口抓拍數(shù)據(jù)，能更加有效地規(guī)范駕駛員和乘客的行為。

參考文獻(xiàn)

[1]數(shù)據(jù)顯示：正確系安全帶可挽救45%的生命[EB/OL].[2015-12-21].http:∥union.china.com.cn/txt/2015-05/26/content_7932892.htm.

[2]駱玉榮.安全帶識別系統(tǒng)的研究與實(shí)現(xiàn)[D].北京：北京工業(yè)大學(xué), 2008.

[3]吳法.圖像處理與機(jī)器學(xué)習(xí)在未系安全帶駕車檢測中的應(yīng)用 [D].杭州：浙江大學(xué), 2013.

[4]張晉.基于計(jì)算機(jī)視覺的駕駛員安全帶佩戴的識別方法研究 [D] .哈爾濱：哈爾濱工程大學(xué)，2014.

[5]高斯模糊的算法[EB/OL].[2015-12-17].http:∥site.douban.com/179880/widget/notes/10268661/note/248059359/.

[6]DALAL N, TRIGGS B.Histograms of Oriented Gradients for Human Detection[C]∥International Conference on Computer Vision and Pattern Recognition.2005, 1: 886-893.

[7]蔣剛毅, 黃大江, 王旭, 等.圖像質(zhì)量評價方法研究進(jìn)展 [J].電子與信息學(xué)報，2010, 32(1):219-226.

[8]WANG Z, BOVIK A C, SHEIKH H R, et al.Image quality assessment: From error visibility to structural similarity [J].IEEE Transactions on Image Processing, 2004, 13(4):600-612.

[9]袁春蘭, 熊宗龍, 周雪花.基于Sobel算子的圖像邊緣檢測研究 [J].激光與紅外, 2009, 39(1):85-87.

(責(zé)任編輯陳小明)

作者簡介唐恬(1974— )，男，浙江人，高級工程師。 研究方向?yàn)楣部萍技皥D像處理。

中圖分類號U491