基于快速背景建模的垃圾車識(shí)別系統(tǒng)*

法弘理 吳靜靜 安 偉 崔圣祥

（1.江南大學(xué)機(jī)械工程學(xué)院 無(wú)錫 214122）

（2.江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室 無(wú)錫 214122）

1 引言

隨著城市交通規(guī)模不斷擴(kuò)大、城市道路車輛構(gòu)成愈加復(fù)雜，屢屢出現(xiàn)不遵守交通規(guī)則的情況如垃圾專用車車載過(guò)大、違章偷倒垃圾等，造成城市安全事故頻發(fā)、道路污染嚴(yán)重。因此，為加強(qiáng)對(duì)城市道路交通的管理，應(yīng)用城市道路智能監(jiān)控系統(tǒng)［1］，實(shí)現(xiàn)城市公路交通安保工作網(wǎng)絡(luò)化、信息化和緊急事態(tài)條件下與城市安保資源應(yīng)急聯(lián)動(dòng)有著重要的現(xiàn)實(shí)意義。

為提高城市道路智能監(jiān)控系統(tǒng)的分析能力，國(guó)內(nèi)外學(xué)者做了大量的研究。柳長(zhǎng)源等［2］設(shè)計(jì)了基于視頻圖像的車輛實(shí)時(shí)監(jiān)控系統(tǒng)，實(shí)現(xiàn)了車流量的實(shí)時(shí)統(tǒng)計(jì)。孫玉硯等［3］設(shè)計(jì)了基于車牌識(shí)別和車輛軌跡的車輛異常行為檢測(cè)系統(tǒng)，其根據(jù)車牌信息和車輛軌跡的時(shí)間空間特征能夠有效地檢測(cè)出車輛的異常情況。朱晨等［4］研究了基于多目標(biāo)跟蹤的車流量統(tǒng)計(jì)算法，保證了復(fù)雜光照下的車流量統(tǒng)計(jì)。胥中南等［5］設(shè)計(jì)了復(fù)雜背景下的車輛目標(biāo)跟蹤系統(tǒng)來(lái)定位車輛并對(duì)特定車輛進(jìn)行道路布控。劉凱雄等［6］設(shè)計(jì)了高速道路交通視頻的車輛目標(biāo)提取以準(zhǔn)確判斷路口駛過(guò)車輛的具體類型。由上述文獻(xiàn)可知，城市道路車輛智能監(jiān)控系統(tǒng)在識(shí)別特定目標(biāo)車輛例如垃圾車等方向研究較少。為提高城市道路智能監(jiān)控系統(tǒng)對(duì)垃圾車的識(shí)別能力，本文基于快速背景建模設(shè)計(jì)了垃圾車智能識(shí)別系統(tǒng)。

2 系統(tǒng)整體方案

系統(tǒng)識(shí)別的對(duì)象主要為垃圾車，可分為如圖1所示的三類：生活垃圾車、建筑垃圾車和有斗垃圾車。為提高城市道路車輛智能監(jiān)控系統(tǒng)的能力，系統(tǒng)需完成35 個(gè)城市道路監(jiān)控點(diǎn)的垃圾車識(shí)別，并確保垃圾車識(shí)別的準(zhǔn)確性和實(shí)時(shí)性。此外，系統(tǒng)還需保證存儲(chǔ)數(shù)據(jù)的安全性，并實(shí)時(shí)展示車輛信息。針對(duì)以上要求，本文設(shè)計(jì)了相對(duì)應(yīng)的硬件系統(tǒng)和軟件系統(tǒng)。

圖1 垃圾車類別

2.1 硬件系統(tǒng)設(shè)計(jì)

為保證垃圾車識(shí)別系統(tǒng)的實(shí)時(shí)性和安全性，本文設(shè)計(jì)了如圖2 所示的系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。整體系統(tǒng)工作過(guò)程如下：首先，利用監(jiān)控?cái)z像機(jī)采集各交通監(jiān)控點(diǎn)的視頻。為提高垃圾車系統(tǒng)的識(shí)別率，設(shè)計(jì)車輛視頻側(cè)視采集系統(tǒng)以保留豐富的車輛特征。其次，為保證車輛視頻處理的實(shí)時(shí)性，各監(jiān)控點(diǎn)攝像機(jī)均配置了嵌入式工控機(jī)用于實(shí)時(shí)視頻的處理分析（簡(jiǎn)稱為智能視頻分析盒）。為保證車輛數(shù)據(jù)的安全性，由服務(wù)器存儲(chǔ)識(shí)別結(jié)果。最后，在電視墻上顯示識(shí)別結(jié)果。

圖2 垃圾車識(shí)別系統(tǒng)結(jié)構(gòu)

2.2 軟件系統(tǒng)設(shè)計(jì)

整體軟件系統(tǒng)流程如圖3 所示。首先，對(duì)輸入的視頻幀（Src）進(jìn)行快速背景建模得到前景圖像（Dst）。其次，設(shè)計(jì)動(dòng)態(tài)位置檢測(cè)的關(guān)鍵幀篩選法，動(dòng)態(tài)篩選出前景圖像；并提出斜線投影分割法進(jìn)行側(cè)視車輛圖像的目標(biāo)分割。分割完成后，對(duì)前景圖像進(jìn)行連通域分析，輸出垃圾車的感興趣區(qū)域（ROI）。為進(jìn)一步提高垃圾車識(shí)別率，設(shè)計(jì)基于SVM的多級(jí)分類器以進(jìn)行車輛識(shí)別。最后，系統(tǒng)將垃圾車信息發(fā)送至存儲(chǔ)服務(wù)器。

圖3 垃圾車識(shí)別系統(tǒng)軟件流程圖

3 基于背景更新策略的快速背景建模

實(shí)際應(yīng)用中，視頻采集系統(tǒng)獲取的圖像易受室外環(huán)境影響，導(dǎo)致背景建模的準(zhǔn)確度降低。為此需要選用對(duì)室外環(huán)境干擾魯棒性高的背景建模方法。由文獻(xiàn)［7～13］可知，K 近鄰法（KNN）背景建模受室外變化影響小，能很好地區(qū)分出對(duì)象與陰影。然而，KNN 背景建模時(shí)需要保存大量的歷史數(shù)據(jù)導(dǎo)致建模速度較慢；且其背景更新速率固定，前景提取的準(zhǔn)確度在突變的環(huán)境下較低，導(dǎo)致車輛分割失效。因此，本文為提升其建模速度和前景提取的準(zhǔn)確度，設(shè)計(jì)了背景更新控制策略。具體過(guò)程如圖4所示。

圖4 基于背景更新策略的快速背景建模流程圖

背景更新策略具體步驟如下：

1）讀取視頻幀（Src）。

2）采用線性插值法對(duì)視頻幀（Src）縮放，以不影響建模準(zhǔn)確性的情況下，提高建模速度。

3）計(jì)算圖像的平均灰度值，并設(shè)為tsmean，同時(shí)設(shè)定上限值tsmax、下限值tsmin。

（1）當(dāng)tsmean＞tsmax或者tsmean＜tsmin時(shí)，不進(jìn)行背景建模。

（2）當(dāng)tsmin≤tsmean≤tsmax時(shí)，進(jìn)行背景建模。

4）設(shè)KNN背景當(dāng)前視頻幀數(shù)為N，設(shè)置n1為更新閾值，該閾值需根據(jù)具體試驗(yàn)經(jīng)驗(yàn)值調(diào)整和設(shè)定。

（1）當(dāng)N＞n1時(shí)，提取前景并輸出前景圖像（Dst）。

（2）當(dāng)N ≤n1時(shí)，不提取前景并使N=N+1，進(jìn)入循環(huán)。

4 關(guān)鍵幀篩選與車輛目標(biāo)分割

4.1 基于動(dòng)態(tài)位置檢測(cè)的關(guān)鍵幀篩選

上述快速背景建模得到的前景圖像（Dst）雖包含了大部分的目標(biāo)區(qū)域，但處于較遠(yuǎn)處的車輛卻丟失了大量細(xì)節(jié)，不利于后續(xù)車輛的分割與識(shí)別。為此，本文設(shè)計(jì)了基于動(dòng)態(tài)位置檢測(cè)的關(guān)鍵幀篩選法。該方法通過(guò)計(jì)算前景圖像中連通域斑塊與所設(shè)置觸發(fā)線的距離，動(dòng)態(tài)篩選出前景圖像，具體過(guò)程如下。

1）設(shè)置一條垂直于車輛行駛方向的檢測(cè)觸發(fā)線L1，假設(shè)L1的方程為AXS+BYS+C=0，L1即為篩選車輛的位置參考線。

2）分析得到車輛連通域端點(diǎn)坐標(biāo)（XF，YF），并計(jì)算該端點(diǎn)于L1的距離d，如式（1）所示。

其中，d 為點(diǎn)到線的距離。設(shè)定距離斜線L1的動(dòng)態(tài)偏差閾值為h2，當(dāng)d ≤h2時(shí)，表明前景圖像（Dst）為關(guān)鍵幀，并輸出此關(guān)鍵幀，否則，不為關(guān)鍵幀，且不輸出。

4.2 基于斜線投影的車輛目標(biāo)分割

實(shí)際采集的側(cè)視車輛圖像中，易出現(xiàn)相鄰車道間車輛相互遮擋的情況，造成分割車輛的殘缺和“粘連”，影響垃圾車的識(shí)別。為解決該問(wèn)題，本文設(shè)計(jì)了基于斜線投影的車輛目標(biāo)分割方法，流程如圖5 所示。首先利用斜線投影法分離“粘連”的車輛，再使用連通域分析去除干擾區(qū)域，最后輸出垃圾車ROI。

圖5 基于斜線投影的車輛目標(biāo)分割流程圖

4.2.1 基于斜線投影的車輛分割

投影法［14］是一種基于投影曲線分割的方法，旨在得到正確的分割閾值以分離“粘連”的目標(biāo)。側(cè)視車輛圖像中相鄰車道間車輛的相互遮擋，會(huì)引起前景圖像中車輛連通域的“粘連”。為解決該問(wèn)題，本文設(shè)計(jì)了基于斜線投影的車輛分割法。具體步驟如下。

1）設(shè)置一條垂直于車輛行駛方向的斜線L2，假設(shè)L2方程為A1X+B1Y+C1=0。

2）前景圖像向斜線L2進(jìn)行投影。根據(jù)投影到斜線L2的數(shù)值擬合曲線，最終投影結(jié)果如圖6 所示。

圖6 基于斜線投影的車輛分割示意圖

3）觀察圖6 可知，兩車并排行駛時(shí)，投影圖中會(huì)出現(xiàn)兩個(gè)波峰、一個(gè)波谷。波谷的位置為（Xpos，Ypos），從該位置沿斜線L2的法線方向畫(huà)線即可分離兩車“粘連”的連通域，從而得到連通域未“粘連”的圖像。

4.2.2 車輛ROI區(qū)域篩選

由上一步得到的前景圖像中還包含干擾連通域例如陰影和車道線等，影響垃圾車的目標(biāo)分割。為解決該問(wèn)題，本文利用連通域分析以篩選車輛ROI，具體步驟如下。

1）設(shè)各車道的掩模為Mm，根據(jù)公式可計(jì)算出不同車道的ROI區(qū)域Rnm。

其中，Dn為經(jīng)斜線投影分割后的前景圖像。

2）計(jì)算各個(gè)連通域的最小外接矩形，得到其形狀特征和位置特征。形狀特征包含寬度W0、高度H0和長(zhǎng)寬比K0，位置特征為中心位置坐標(biāo)（Xcenter，Ycenter）。

3）篩選掉不滿足形狀特征和位置特征的干擾連通域。篩選條件如式（3）所示。

其中，根據(jù)垃圾車的長(zhǎng)寬值，設(shè)置寬度下限為Wmin，高度下限為Hmin；根據(jù)垃圾車的長(zhǎng)寬比例，設(shè)置長(zhǎng)寬比下限為Kmin，長(zhǎng)寬比上限為Kmax；根據(jù)車道的像素坐標(biāo)，設(shè)置車道區(qū)域下限為Ymin，車道區(qū)域上限為Ymax，并設(shè)置車道區(qū)域左限為Xmin，車道區(qū)域右限為Xmax。

4）當(dāng)連通域的形狀特征和位置特征滿足式（3）條件時(shí)，輸出垃圾車ROI，否則進(jìn)入循環(huán)。

5 基于SVM的多級(jí)分類器

經(jīng)上述操作后，篩選出了滿足條件的垃圾車ROI，將其裁剪出來(lái)作為待檢圖像。觀察可知，待檢圖像中包含多種類別，有垃圾車、小轎車、面包車和地面等，由于類別較多、類間方差較小，導(dǎo)致單級(jí)SVM的垃圾車識(shí)別效果差。為此，本文設(shè)計(jì)了基于SVM的多級(jí)分類器，整體結(jié)構(gòu)如圖7所示。

圖7 基于SVM的多級(jí)分類器結(jié)構(gòu)

多級(jí)分類器識(shí)別具體步驟如下：

1）構(gòu)建訓(xùn)練集。對(duì)已分割出的圖像進(jìn)行類別標(biāo)注，分為車輛和地面。同時(shí)，將已標(biāo)注好的車輛圖片按車型分為四類，包括生活垃圾車、建筑垃圾車、有斗垃圾車和其他車型。其中訓(xùn)練集占所有圖片的80%。

2）訓(xùn)練并得到第一級(jí)SVM 分類器。根據(jù)參考文獻(xiàn)［15～16］，提取庫(kù)中所有圖像的HOG 特征，其中樣本i的特征向量為xi，分類函數(shù)模型如下：

其中d（x）為線性映射函數(shù)，y1為第一級(jí)SVM的類別標(biāo)簽，y1=1表示該圖像類別為車輛，反為地面。

3）訓(xùn)練并得到第二級(jí)SVM 分類器。提取所有車輛圖像的HOG特征，并將其分類成如圖8所示的四類目標(biāo)車型。車型標(biāo)簽y2∈［0，1，2，3］，其中0 為其他車型、1為生活垃圾車、2為建筑垃圾車、3為有斗垃圾車。

圖8 前景提取試驗(yàn)對(duì)比圖

4）使用基于SVM 的多級(jí)分類器識(shí)別待檢圖像。首先使用第一級(jí)分類器識(shí)別待檢圖像，判定其是否為車輛圖像，若是，則將待檢圖像輸入第二級(jí)分類器，反之，舍棄該圖像，不輸入第二級(jí)分類器。其次，使用第二級(jí)分類器識(shí)別車輛圖像，若識(shí)別為生活垃圾車、建筑垃圾車和有斗垃圾車中的一類，則輸出垃圾車信息，反之，舍棄該圖像不輸出信息。

6 試驗(yàn)結(jié)果與分析

為驗(yàn)證本文垃圾車識(shí)別方法的可靠性，選取了6 段時(shí)長(zhǎng)為2h 的視頻作為測(cè)試樣本。所有測(cè)試樣本來(lái)源于不同天氣、不同路段、不同時(shí)間段的監(jiān)控路口，具有光照變化強(qiáng)、樹(shù)木陰影多、車流量大等特點(diǎn)。試驗(yàn)硬件環(huán)境為處理器Intel 賽揚(yáng)J1900 四核四線程；內(nèi)存：8G；顯卡：Intel HD Graphics；操作系統(tǒng)：默認(rèn)為Windows7 系統(tǒng)；開(kāi)發(fā)環(huán)境：Visual studio 2010，OpenCV庫(kù)函數(shù)。

6.1 前景提取對(duì)比試驗(yàn)

為驗(yàn)證基于KNN 背景建模的前景提取的魯棒性，本文對(duì)同一張圖片，分別使用KNN 背景建模、幀差法和三幀差法提取前景，結(jié)果如圖8 所示。顯然，KNN 背景建模法提取的前景效果更好，魯棒性更高。

6.2 背景建模法對(duì)比試驗(yàn)

為驗(yàn)證快速背景建模中背景更新策略的有效性，進(jìn)行了針對(duì)性的對(duì)比試驗(yàn)，結(jié)果如圖9所示。

圖9 背景建模的前景效果對(duì)比圖

試驗(yàn)結(jié)果表明，基于背景更新策略的快速背景建模方法比KNN 背景建模方法能更有效地進(jìn)行背景建模，更完整地提取出前景車輛。

6.3 車輛目標(biāo)分割的對(duì)比試驗(yàn)

為驗(yàn)證基于斜線投影的車輛目標(biāo)分割方法的有效性，將直接連通域分析和垂直投影分割的效果與斜線投影的分割效果進(jìn)行對(duì)比，如圖10所示。

圖10 車輛目標(biāo)分割試驗(yàn)對(duì)比圖

試驗(yàn)結(jié)果表明，基于斜線投影的車輛目標(biāo)分割方法能有效可靠地分開(kāi)相互遮擋的車輛，實(shí)現(xiàn)了車輛區(qū)域的完整分割，而直接連通域分析和垂直投影分割不能有效地實(shí)現(xiàn)車輛分割。

6.4 基于SVM的多級(jí)分類器對(duì)比試驗(yàn)

為驗(yàn)證SVM 多級(jí)分類器識(shí)別車輛的準(zhǔn)確性，本部分選取非垃圾車和垃圾車各300 張進(jìn)行測(cè)試，對(duì)多級(jí)SVM 分類器和單級(jí)SVM 分類器的結(jié)果進(jìn)行對(duì)比。

根據(jù)參考文獻(xiàn)［17］，采用當(dāng)前信息領(lǐng)域最常用的準(zhǔn)確率（Prediction）和召回率（Recall）作為判定指標(biāo)，如式（5）、（6）所示。

其中，TP（ci）表示屬于ci類且被正確分為ci類的樣本數(shù)；FN（ci）表示屬于ci類但沒(méi)有被正確分為ci類的樣本數(shù)；FP（ci）表示不屬于ci類但被分為ci類的樣本數(shù)。最終結(jié)果如表1所示。

表1 分類準(zhǔn)確率和召回率結(jié)果對(duì)比（單位：%）

由表1可以看出，多級(jí)SVM 分類器的準(zhǔn)確率可達(dá)96.8%，召回率可達(dá)92%。

7 結(jié)語(yǔ)

本文對(duì)城市道路智能監(jiān)控系統(tǒng)進(jìn)行了深入研究，并在此基礎(chǔ)上開(kāi)發(fā)了基于快速背景建模的垃圾車識(shí)別系統(tǒng)，包括硬件系統(tǒng)和軟件系統(tǒng)。首先，設(shè)計(jì)了系統(tǒng)的網(wǎng)絡(luò)拓樸結(jié)構(gòu)，保證了系統(tǒng)的實(shí)時(shí)性和安全性；并構(gòu)建車輛側(cè)視采集系統(tǒng)，以豐富車輛特征。其次，設(shè)計(jì)了背景更新控制策略，實(shí)現(xiàn)了快速可靠的背景建模；提出了基于動(dòng)態(tài)位置檢測(cè)的關(guān)鍵幀篩選方法和基于斜線投影的車輛目標(biāo)分割法，完成了側(cè)視車輛圖像的有效分割。最后，設(shè)計(jì)了基于SVM 的多級(jí)分類器進(jìn)一步提高垃圾車的識(shí)別率。對(duì)比試驗(yàn)結(jié)果表明，本文系統(tǒng)垃圾車識(shí)別率較高且實(shí)時(shí)性良好，在城市交通智能監(jiān)控系統(tǒng)中具有較強(qiáng)的應(yīng)用價(jià)值。