基于計算機視覺的智能交通監(jiān)控系統(tǒng)

王 為,姚明海

(浙江工業(yè)大學信息工程學院,浙江 杭州 310032)

隨著社會的發(fā)展和自動化程度的提高,城市中智能交通管理系統(tǒng)(ITS)的普及將是一種大的趨勢,現(xiàn)階段國內(nèi)各個大中城市都開始試運行相關(guān)的智能交通管理系統(tǒng)[1].筆者研究的就是一種基于計算機視覺的智能交通監(jiān)控系統(tǒng).該系統(tǒng)運用OpenCV開源計算機視覺庫,提出一種改進的背景差分算法,在VC++6.0平臺上開發(fā)實現(xiàn).所開發(fā)的系統(tǒng)界面友好,操作簡單,人機交互性強,用戶可以根據(jù)需要選擇不同的監(jiān)控對象.在實驗室,該系統(tǒng)通過網(wǎng)絡(luò)攝像頭模擬監(jiān)控,能夠?qū)崿F(xiàn)對視頻流的運動車輛的輪廓檢測和對象跟蹤,并能實時更新背景.作為智能交通管理系統(tǒng)(ITS)的一個子系統(tǒng)和智能交通管理系統(tǒng)實現(xiàn)的先決條件,基于視覺的智能交通監(jiān)控系統(tǒng)的研究和實現(xiàn)具有較好的現(xiàn)實意義.

1 相關(guān)知識

1.1 智能交通管理系統(tǒng)(ITS)簡介

ITS是指將先進的信息技術(shù)、電子通訊技術(shù)、自動控制技術(shù)、計算機技術(shù)以及網(wǎng)絡(luò)技術(shù)等有效綜合地運用于整個交通運輸管理體系,而建立起的一種在大范圍內(nèi),全方位發(fā)揮作用的,實時、準確、高效的交通運輸綜合管理和控制系統(tǒng).近幾年來隨著城市發(fā)展迅猛,人流、車流量猛增,交通職能部門急切需要有更加智能的交通管理系統(tǒng).因此,ITS是21世紀地面交通運輸科技、運營和管理的主要發(fā)展方向,是交通運輸?shù)囊粓龈锩?20世紀80年代末以來,西歐、北美和日本競相發(fā)展智能運輸系統(tǒng),制定并實施了開發(fā)計劃[2-3],發(fā)展中國家也開始ITS的全面開發(fā)與研究.

1.2 OpenCV簡介

OpenCV是Intel開源計算機視覺庫[4],它由一系列C函數(shù)和少量C++類構(gòu)成,獨立于操作系統(tǒng)、硬件和圖形管理器,具有通用的圖像/視頻載入、保存和獲取模塊,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法.OpenCV可用于開發(fā)實時的圖像處理、計算機視覺以及模式識別程序.同時,OpenCV對非商業(yè)應(yīng)用和商業(yè)應(yīng)用都是免費的.

1.3 常用交通流參數(shù)比較

目前,交通流參數(shù)檢測的方法很多,主要有超聲波檢測、紅外檢測、環(huán)形地埋式線圈檢測以及計算機視覺檢測.超聲波檢測精度不高,容易受車輛遮擋和行人的影響,檢測的距離短(一般不超過12 m);紅外線檢測受車輛本身熱源的影響,抗噪聲的能力不強;環(huán)形地埋式線圈感應(yīng)器檢測精度高,但要求設(shè)置于路面土木結(jié)構(gòu)中,對路面有損壞,施工和安裝不便;計算機視覺檢測在近年來隨著計算機技術(shù)、圖像處理、人工智能和模式識別等技術(shù)的不斷發(fā)展,在交通流檢測中獲得越來越廣泛的應(yīng)用.

計算機視覺檢測較其他交通流檢測技術(shù)而言具有以下特點:

(1)從視頻數(shù)字圖像中可以提取高質(zhì)量的車輛和交通場景的信息.

(2)視頻傳感器能檢測更大的交通場景面積,減少傳感器的安裝數(shù)目,投資少、費用低.

(3)視頻傳感器易于安裝和調(diào)試,對路面和土木設(shè)施不會產(chǎn)生破壞.

2 系統(tǒng)介紹

2.1 研發(fā)內(nèi)容簡介

筆者研究智能交通系統(tǒng)的重要組成部分——智能交通監(jiān)控系統(tǒng).一般的視頻交通監(jiān)控系統(tǒng)的結(jié)構(gòu)如圖1所示.在實際應(yīng)用中,通過架設(shè)在高處的角度固定、高度固定的攝像頭來獲得車輛[5-6].通過用數(shù)字圖象處理和模式識別技術(shù)來對圖像序列進行分析,可以得到所有需要的各種統(tǒng)計數(shù)據(jù).行駛圖像,經(jīng)過圖像處理,得到各種有用數(shù)據(jù).

圖1 視頻交通監(jiān)控系統(tǒng)的結(jié)構(gòu)Fig.1 Video Transportation Monitoring System

筆者研究的基于計算機視覺的交通監(jiān)控系統(tǒng)包括3個基本步驟:

(1)分割和跟蹤(包括車輛和行人).

(2)分析計算車流量、平均速度和隊列長度等交通參數(shù).

(3)根據(jù)道路的交通情況,規(guī)劃行駛路線,緩解擁塞,減少出行時間.

2.2 智能交通監(jiān)控系統(tǒng)介紹

運動物體的檢測是實現(xiàn)視覺監(jiān)控的第一步.程序運行以后,將分4個監(jiān)控窗口,見圖 2.包括“攝像頭讀入”的初始視頻,使用算法提取的“背景”,原圖與背景相減后產(chǎn)生的“前景”及已經(jīng)用矩形框跟蹤運動車輛的“運動目標檢測”等4個窗口.系統(tǒng)整體框架[7]如圖3所示.

圖2 智能交通監(jiān)控系統(tǒng)各監(jiān)控窗口Fig.2 The monitoring windows of ITS

圖3 基于視覺的監(jiān)控系統(tǒng)原理框圖Fig.3 Schematic diagram of the monitoring system

2.3 系統(tǒng)功能實現(xiàn)

實現(xiàn)系統(tǒng)的功能,包括運動目標檢測、背景提取和更新以及運動對象的軌跡跟蹤[8].下面先簡單介紹一下筆者采用的運動目標檢測方法[9].

2.3.1 運動目標檢測方法

對運動物體的檢測,首先要進行運動物體的分割,即找出有意義的圖像部分,從圖像中抽出特征.視頻圖像必須考慮將圖像分成運動區(qū)域和不變區(qū)域,分析連續(xù)畫面間的變化部分,從而抽出運動目標的特征,可以據(jù)此判斷目標的運動狀況.在這里,運動的物體主要是道路上的車輛以及行人.對運動物體的分割主要有兩種方法:光流法以及差分法.差分法又分為幀間差分法及背景差分法.

光流法的優(yōu)點是能夠檢測獨立運動的對象,不需要預(yù)先知道場景的任何信息,并且可用于攝像機運動的情況.但多數(shù)光流法計算復(fù)雜耗時,很難實現(xiàn)實時檢測.本系統(tǒng)在差分法的基礎(chǔ)上開發(fā)實現(xiàn).

(1)幀間差分法

幀間差分法是運動分割中最簡單的一種方法.該方法是在連續(xù)的圖像序列中兩個或三個相鄰幀間采用基于像素的幀間差分并且閾值化來提取圖像的運動區(qū)域.在序列圖像中,通過逐象素比較可直接求取前后兩幀圖像之間的差別.假設(shè)條件在多幀圖像間基本不變化,那么差分后圖像的不為零處表明該處的象素發(fā)生了移動.其思路是:假設(shè)用于獲取序列圖像的攝像機是靜止的.設(shè)視頻中連續(xù)兩幀的圖像為It(x,y)和It+1(x,y),通過對連續(xù)兩幀的圖像相應(yīng)的像素進行比較.

Dt(x,y)=|It+1(x,y)-It(x,y)|,對于幀 Dt(x,y),用一個閾值與之比較來檢測出運動物體:

幀間差分法得到的差分圖像并不是由理想封閉的輪廓區(qū)域組成的,運動目標的輪廓往往是局部且不連續(xù)的,往往具有邊緣圖像的性質(zhì).且誤差隨著運動目標的速度的增大而增大,所以幀間差分法不適于高速運動目標的檢測.

(2)背景差分法

背景差分法是目前運動分割中最常用的且最直接的一種方法.它是利用當前圖像與背景圖像的差分來檢測出運動物體的一種技術(shù),它對于動態(tài)場景的變換特別敏感.其思路是,在可控制環(huán)境下,或者在很短的時間間隔內(nèi),認為背景是固定不變的.假設(shè)用于獲取序列圖像的攝像機是靜止的.設(shè)當前運動物體的圖像是I(x,y),背景圖像為B(x,y),通過輸入圖像與背景模型進行比較D(x,y)=|I(x,y)-B(x,y)|,得到圖像中的各像素的變化信息,根據(jù)變化信息可檢測出運動物體:

2.3.2 程序功能實現(xiàn)

筆者設(shè)計的算法是運用背景建模檢測運動物體,并實現(xiàn)對象的跟蹤.表1是本程序功能實現(xiàn)所主要使用的OpenCV函數(shù).OpenCV能夠?qū)崿F(xiàn)對圖像數(shù)據(jù)的操作,包括分配、釋放、復(fù)制、設(shè)置和轉(zhuǎn)換數(shù)據(jù),以及對攝像頭的定標、對運動的分析等.在函數(shù)實現(xiàn)上,用到了Cv圖像處理的連接部件函數(shù),運動分析與對象跟蹤中的背景統(tǒng)計量的累積相關(guān)函數(shù)等相關(guān)的函數(shù).表1介紹使用到的函數(shù)名及其功能和使用格式等.

本系統(tǒng)就是運用上述函數(shù)實現(xiàn)對視頻流的運動車輛的輪廓檢測的.在實際運用中,背景差分法的關(guān)鍵,是要建立一個背景模型,并更新模型.尋找輪廓程序update_mhi的主要算法流程如圖4所示.

圖4 尋找輪廓程序update_mhi的主要算法流程Fig .4 Flow chart of update_mhi

表1 程序?qū)崿F(xiàn)所使用的函數(shù)Table 1 Functions used in the program

主程序的功能實現(xiàn)流程圖如圖5所示.

圖5 主程序功能實現(xiàn)流程圖Fig.5 Flow chart of the main program

3 實驗結(jié)果與討論

實驗系統(tǒng)的硬件及軟件資源:CPU:AMD 1.6 GHz;內(nèi)存 :512 M;操作系統(tǒng):Windows XP;軟件環(huán)境:Microsoft Visual C++6.0;攝像頭:HYUNDAI網(wǎng)絡(luò)攝像頭H103G.

系統(tǒng)運行和首先判斷是否存在攝像頭,如果存在就直接彈出相應(yīng)的監(jiān)控和跟蹤窗口,操作簡單.用戶可以根據(jù)需要,選擇相應(yīng)的監(jiān)控界面.

模擬實驗結(jié)果:由實驗中截取的3幀相鄰圖像進行說明.

圖6中自上而下各3幀圖像分別是從實驗的城市道路監(jiān)控視頻的中任意截取的連續(xù)視頻幀,從圖6中可以看到,本程序較好的實現(xiàn)了矩形輪廓尋找及運動物體的跟蹤.

根據(jù)實驗可知,本系統(tǒng)能夠?qū)崿F(xiàn)對視頻流的運動車輛的輪廓檢測和對象跟蹤,并能實時更新背景.攝像采樣的速度受到攝像頭本身參數(shù)和所運行程序算法的復(fù)雜程度的影響,在現(xiàn)有實驗室條件的基礎(chǔ)上,對城市交通閑時的監(jiān)控效果能滿足實時性的要求,車輛跟蹤正確率在95%以上.輪廓檢測正確率稍差,這主要是由于攝像頭所處的角度和車輛靠近的程度所影響.在交通運行高峰時期,該系統(tǒng)模擬監(jiān)控結(jié)果基本令人滿意.

圖6 智能交通監(jiān)控系統(tǒng)各監(jiān)控窗口模擬實驗結(jié)果Fig.6 The results of simulation experiment of ITS

交通監(jiān)控系統(tǒng)的功能包括:序列圖像的獲取,車輛檢測,檢測車輛軌跡,統(tǒng)計車輛數(shù)目,車輛速度檢測,車輛的分類識別.而本系統(tǒng)只是實現(xiàn)了序列圖像的獲取,運動車輛檢測和運動車輛軌跡的監(jiān)控工作,對于車輛速度檢測,需要建立相應(yīng)的攝像機與視覺系統(tǒng)的標定,對于車輛的分類識別需要建立相關(guān)的車輛模板匹配,這是以后的研究重點.

4 結(jié) 論

筆者主要介紹一種基于計算機視覺的智能交通監(jiān)控系統(tǒng),該系統(tǒng)在實驗室實現(xiàn)了通過網(wǎng)絡(luò)攝像頭模擬監(jiān)控,能夠?qū)崿F(xiàn)對視頻流的運動車輛的輪廓檢測和對象跟蹤,并能實時更新背景.主要做的工作是找到一個包圍車輛的最小矩形窗口側(cè),序列圖像的獲取,車輛檢測,檢測車輛軌跡等.本系統(tǒng)是結(jié)合OpenCV是開源計算機視覺庫,在VC++6.0平臺上開發(fā)實現(xiàn)的.

下一步希望能實現(xiàn)這樣的一個系統(tǒng):以一個十字路口交通管理系統(tǒng)為基本單元,采用動態(tài)攝像機標定技術(shù)[10],根據(jù)實際的路況,進行多車輛的監(jiān)控和車牌識別;根據(jù)道路車輛流量流向分析,并根據(jù)車流大小和擁擠程度,迅速計算出最佳控制模式,自動調(diào)節(jié)紅綠燈變換時間.在優(yōu)化提升紅綠燈切換的同時,附加交通信號控制系統(tǒng)、交通違法監(jiān)測系統(tǒng)、道路交通監(jiān)視系統(tǒng)和區(qū)域交通誘導(dǎo)系統(tǒng)等實用功能.另外,在此基礎(chǔ)上,考慮組建一整套聯(lián)網(wǎng)的系統(tǒng),對全區(qū)(市)的紅綠燈進行整體的研究,全面分析,從而從整體上優(yōu)化城市交通網(wǎng)絡(luò).

[1] 楊俊,王潤生.智能化交通視頻圖像處理技術(shù)研究[J].電視技術(shù),2006(9):74-77.

[2] BEYMER D,MCLAUCHLAN P,COIFMAN B,et al.A realtime computer vision system for measuring traffic parameters[J].Computer Vision and Pattern Recognition,1997(3),495-501.

[3] FA THY M,SIYAL M Y.A window-based image processing technique for quantitative and qualitative analysis of road traffic parameters[J].IEEE Transactions on Vehicular T echnology,1998,47(4):1342-1349.

[4] 劉瑞禎,于仕琪.OpenCV教程:基礎(chǔ)篇[M].北京:北京航空航天大學出版社,2007.

[5] MICCHALOPOULOS P G.Vehicle detection through video image processing:the autoscope system[J].IEEE Transaction on Vehicle Technology,1991,40:21-29.

[6] 張學工,張毅,宋靖雁,等.智能交通系統(tǒng)整體解決方案及視頻交通信息系統(tǒng)[J].ITS通訊,2000(4):21-27.

[7] K UMAR P.Framewo rk for real-time behavior interpretation from traffic video[J].IEEE T ransactions on Intelligent T ransportation Systems,2005,6(1):43-53.

[8] FERNANDEZ-CABA LLERO A,GOMEZ F J,LOPEZ-LOPEZ J.Road-traffic monitoring by knowledge-driven static and dynamic image analysis[J].Expert Systems with Applications,2008,35(3):701-719.

[9] 顧晶.基于計算機視覺的智能交通監(jiān)控系統(tǒng)的研究[D].南京:東南大學信息科學與工程學院,2006.

[10] SCHOEPFLIN T N,DAILEY D J.Dynamic camera calibration of roadside traffic management cameras for vehicle speed estimation[J].IEEE Trans Intelligent T ransportation System,2003,4(2):90-98.