基于能量圖像的目標(biāo)識別方法

李宇成，宋燕輝，歐曉丹，田 震

（北方工業(yè)大學(xué) 自動化系，北京100144）

0 引 言

運(yùn)動目標(biāo)的識別技術(shù)在智能視覺系統(tǒng)研究中一直是一個十分活躍的領(lǐng)域。目標(biāo)的識別、流量分析在城市交通環(huán)境中有著廣泛的應(yīng)用需求。近年來，AdaBoost算法［1］逐步開始用于目標(biāo)識別系統(tǒng)中解決分類問題，它對運(yùn)動目標(biāo)的顏色、尺寸、位置和外界環(huán)境的變化具有很好的識別率和魯棒性。除此以外，還有很多其它的運(yùn)動目標(biāo)的識別算法，例如機(jī)器集中學(xué)習(xí)算法、基于知識的算法、基于整體信息統(tǒng)計的算法和基于局部特征的算法等。這些算法大多集中在車 牌定位［2］、人臉識別［3－4］和車輛的檢測［5－9］上，而針對實(shí)際城鎮(zhèn)道路中騎車人的檢測鮮有相關(guān)文獻(xiàn)。由于騎車人和行人在外形上比較相似，區(qū)分特征很難選擇，所以課題具有一定的挑戰(zhàn)性。但是，隨著交通智能化的不斷發(fā)展，準(zhǔn)確識別騎車人和行人，對交通流量統(tǒng)計和制定交通控制策略具有現(xiàn)實(shí)的意義。

論文著重研究騎車人和行人的特征區(qū)分，進(jìn)行識別特征的選擇和構(gòu)建，并以此為基礎(chǔ)，完成騎車人、行人和車輛的分類識別工作。首先選擇紋理特征作為分類識別的依據(jù)，然后根據(jù)樣本圖像中紋理的能量分布情況，建立適合特定識別目標(biāo)的矩形特征集。最后以樣本的紋理能量圖代替?zhèn)鹘y(tǒng)的灰度圖作為樣本，以區(qū)域的能量差異值代替?zhèn)鹘y(tǒng)的灰度差異值作為特征值來進(jìn)行機(jī)器的集中學(xué)習(xí)，得到最終的分類器。

1 算法及系統(tǒng)框架

AdaBoost算法［1］是一種分類器算法，其基本思想是將多個分類能力一般的弱分類器疊加起來，構(gòu)成一個分類能力很強(qiáng)的強(qiáng)分類器，再將若干個強(qiáng)分類器串聯(lián)成為分級分類器完成圖像搜索檢測。串聯(lián)的級數(shù)［3］依賴于系統(tǒng)對錯誤率和識別速度的要求。

整個算法分為離線訓(xùn)練部分、在線檢測部分以及再學(xué)習(xí)環(huán)節(jié)，其結(jié)構(gòu)如圖1所示。離線訓(xùn)練部分包括對正負(fù)樣本（僅含有目標(biāo)的圖片為正樣本，不含目標(biāo)的圖片為負(fù)樣本）的紋理提取、積分圖計算和特征提取，這些樣本是從圖像的感興趣區(qū)域（region of interest，ROI）中收集的，然后對特征進(jìn)行集中學(xué)習(xí)。在線檢測部分是確認(rèn)在ROI中是否有目標(biāo)存在。即首先對ROI圖像進(jìn)行紋理提取，然后由分類器來判斷該ROI圖像中是否包含目標(biāo)。

再學(xué)習(xí)過程6是將那些被錯誤識別的樣本重復(fù)加入到樣本訓(xùn)練集中，以突出錯誤分類樣本的權(quán)重。然后，基于新的訓(xùn)練樣本集，重新進(jìn)行訓(xùn)練。直到分類效果相對滿意為止。

圖1 系統(tǒng)框架

2 構(gòu)建識別特征

課題的任務(wù)是識別交通道路上最常見的移動目標(biāo)：車輛，行人，騎車人。如所周知，AdaBoost算法起初用于人臉識別，后來被用于行人的識別。一般認(rèn)為，該算法對行人識別效果良好。但是，騎車人具有行人的大多數(shù)特點(diǎn)，檢測中兩者極易混淆；另外，汽車具有明顯的結(jié)構(gòu)特征，比較容易區(qū)分。因此，課題的難點(diǎn)在于找到騎車人與行人區(qū)別。由于騎車人和行人的外貌特征相似，實(shí)驗(yàn)表明，利用Viola和Jones提出的典型Haar－like基本特征［3］對騎車人與行人進(jìn)行分類識別的效果很差。因而，也就無法統(tǒng)計道路上騎車人和行人的流量。所以，我們要探究新的分類特征。

作者在前期工作中，基于圖像的紋理能量特征進(jìn)行了車牌的定位和提?。?0］以及多車道的車流量檢測［11］等。由于基本的Haar－like特征無法簡單的直接用于自行車的識別，我們轉(zhuǎn)而考慮采用紋理特征來完成這一富有挑戰(zhàn)性的工作。

2.1 騎車人特征構(gòu)建

紋理［12］是一種不依賴于顏色或亮度變化的反映圖像中同質(zhì)現(xiàn)象的視覺特征，刻畫了圖像像素鄰域灰度空間分布的規(guī)律。紋理主要有3種：自然紋理、人工紋理和混合紋理。我們采用自然紋理，該紋理未經(jīng)人工刻意加工，是自然存在的物體表面屬性。例如能量、熵、標(biāo)準(zhǔn)偏差、均值、平滑性、方差、相關(guān)性和一致性等。

如圖2所示，騎車人和行人相比，上半部分區(qū)別不大，區(qū)別主要集中在下半?yún)^(qū)域。行人兩腿之間存在縫隙或兩腿并攏，紋理較簡單，而自行車的紋理相對而言比較復(fù)雜。

圖2 騎車人和行人樣本示例

現(xiàn)在考慮如何獲取圖像的紋理能量分布圖［10］。為消除目標(biāo)顏色、光照、亮度等外界環(huán)境的變化帶來的影響，我們首先從樣本圖像重新構(gòu)造對比度圖［13］。先求出樣本灰度圖像I（·）中每行像素的局部灰度極值，構(gòu)造圖像的極值圖像P（·）。然后，對極值圖像處理，進(jìn)而得到原圖像的對比度圖像T（·），如圖3（b）所示。計算公式見式 （1）和式 （2）

采用區(qū)域卷積的方法構(gòu)造能量圖像，與單方向卷積相比，采用區(qū)域卷積不僅可以抑制噪聲，并且還能起到行間能量濾波的作用，從而得到更好的紋理能量分布圖像，如圖3（c）所示。能量圖像E（·）的計算公式見式 （3）和式 （4）

式中：H（·）——卷積核；卷積核的行與列數(shù)分別為（2＊M＋1）和 （2＊N＋1）。

為了提高程序的運(yùn)算速度，我們?nèi)【矸e核H（·）的每個元素

則能量計算公式可以簡化為

圖3 紋理能量圖像構(gòu)建

紋理的一般分析方法有4種：統(tǒng)計分析法、結(jié)構(gòu)分析法、模型分析法和頻譜分析法［12］。其中結(jié)構(gòu)分析法的基本思想是復(fù)雜的紋理可由簡單的紋理基元以一定的有規(guī)律的形式重復(fù)組合排列而成。當(dāng)紋理基元大到可以單獨(dú)分割和描述時，就要使用結(jié)構(gòu)分析法［12，14］。從大量樣本的紋理能量分布圖可以發(fā)現(xiàn)，能量的分布特點(diǎn)可以相對準(zhǔn)確的描述出騎車人與行人的特征和區(qū)別。由此，我們可以依據(jù)Ada－Boost算法的基本原理，以原始圖片的紋理能量分布圖像作為訓(xùn)練樣本，以能量作為特征值進(jìn)行訓(xùn)練。

常見的基本Haar－like特征已不能準(zhǔn)確的描述我們特定樣本的這種紋理分布特點(diǎn)，我們需要擴(kuò)充符合這種紋理特點(diǎn)的新特征。觀察能量圖發(fā)現(xiàn)，騎車人和行人的能量分布的主要不同集中在人的下半部分，自行車車身的能量值明顯要比行人下半部分的能量值高很多，表現(xiàn)為亮度比較大，而行人的下半部分能量值較低，比較暗。另外騎自行車時行人的四肢和自行車的相對位置很固定，兩只手臂放在自行車把兩側(cè)，車輪著地，腳和車輪在紋理圖上成拐角型特點(diǎn)，行人卻沒有如此復(fù)雜的紋理；自行車車身具有 “T”型和線型特征；由此增加新的特征如圖4所示。

圖4 拐角特征和 “T”型特征

2.2 汽車特征構(gòu)建

對于路上行駛的普通車輛來說，我們?nèi)匀豢梢杂么朔桨竵磉M(jìn)行有效的識別，因?yàn)檐囕v的紋理能量分布相對規(guī)矩和固定。這里僅以城鎮(zhèn)交通路況中最為常見的小轎車為例進(jìn)行討論，如圖5所示，其中車輛紋理能量分布情況見圖5（c）。

圖5 車輛紋理能量圖像構(gòu)建

考慮以車輛某些區(qū)域的能量差異值作為識別車輛的特征值。在能量圖中車頂、車窗、車前蓋能量比較低，比較暗，邊緣能量較高，表現(xiàn)為比較亮，對比度很強(qiáng)。由此可以構(gòu)造出新的特征：車頂、擋風(fēng)窗、車前蓋任意兩個和其周圍邊緣的能量分布可以創(chuàng)建如圖6（a）所示的兩種 “日”字型特征來描述。另外還利用圖6（b）、圖6（c）的特征來描述車身的拐角點(diǎn)、邊緣等細(xì)節(jié)的能量分布。實(shí)際上，這些特征也可以用于其它各種車輛 （如公交車，卡車）的識別。

圖6 新型Haar－like特征

2.3 特征值的計算

根據(jù)3.1、3.2節(jié)所創(chuàng)建的特征，我們知道每個特征矩形又由若干個小矩形組成，各個黑色矩形或白色矩形內(nèi)的總能量值的定義是區(qū)域內(nèi)各像素點(diǎn)上能量值的總和［15－16］。

從待檢測圖像中取出特征矩形檢測窗口，然后計算每個特征矩形內(nèi)黑色與白色區(qū)域的能量差，即為該特征的特征值。第j個特征的特征值Featurej的計算公式為

式中：N——與第j個特征相關(guān)的小矩形總個數(shù)；wi——各小矩形的權(quán)系數(shù)，其中，黑色矩形與白色矩形的權(quán)系數(shù)符號相異；RectSum（i）為第i個小矩形內(nèi)的能量值。

因?yàn)樵跇?gòu)建能量圖時，通過重新構(gòu)造對比度圖，減弱了光線的影響；同時，物體的陰影區(qū)域紋理簡單、能量很小［10］。因此，通過能量圖來計算特征值，能夠明顯提高識別過程中對光線、陰影的抗干擾能力，增強(qiáng)了算法的魯棒性。

3 訓(xùn)練和實(shí)驗(yàn)結(jié)果

3.1 訓(xùn)練分類器

建立的樣本庫包含實(shí)際城鎮(zhèn)道路上的各種場景。共有各種圖片7015張，其中單獨(dú)為騎車人、行人、汽車的圖片分別有1340、2130、1160張，不含上述3種目標(biāo)的圖片有2385張。訓(xùn)練騎車人時，1340張騎車人的圖片為正樣本，負(fù)樣本2000張；訓(xùn)練行人時，2130張行人的圖片為正樣本，負(fù)樣本3000張；訓(xùn)練汽車時，1160張汽車的圖片為正樣本，負(fù)樣本2000張。騎車人和行人的正樣本圖片尺寸歸一化成20×50dpi，汽車正樣本圖片尺寸歸一化成24×24dpi。在訓(xùn)練過程中，負(fù)樣本剪裁成與正樣本相同的尺寸，樣本示例如圖7所示。

訓(xùn)練結(jié)束后我們能夠分別得到識別上述3種目標(biāo)的3種分類器。為了探究在目標(biāo)識別過程中所建立特征集的實(shí)際效果，我們對騎車人的各級強(qiáng)分類器中的弱分類器所選特征進(jìn)行了觀察和解析。結(jié)果發(fā)現(xiàn)，在識別騎車人的弱分類器中，“T”型特征被使用的頻度最高。由此說明，該特征對騎車人紋理能量分布描述效果較佳，對區(qū)別騎車人與行人的差異貢獻(xiàn)最大。

3.2 算法測試和應(yīng)用

算法測試和應(yīng)用分成兩種情況：①對含有雜亂背景的靜態(tài)圖片進(jìn)行目標(biāo)檢測；②僅對視頻圖片中運(yùn)動目標(biāo)的前景團(tuán)塊進(jìn)行檢測。

檢測時首先基于灰度圖像對行人 （包含清晰的騎車人）進(jìn)行識別，然后對檢出的目標(biāo)，利用其能量圖進(jìn)行第二次識別，以區(qū)分出是否是騎車人；同時，也直接利用能量圖識別騎車人和汽車。有時在灰度圖中，發(fā)現(xiàn)不了的小目標(biāo)騎車人，在能量圖中也可能被識別出來。容易理解，上述①的情況是從全景圖片中，搜索各種目標(biāo)，所需時間和圖片的大小成正比。一般需要幾百毫秒時間才能夠完成一張1260×760大小的圖片中3種目標(biāo)的識別。第②種情況相對簡單，由于僅僅對很小的前景區(qū)域檢測目標(biāo)，不需要大范圍搜索，所以識別速度很快，識別一個前景目標(biāo)僅需不足0.1ms時間，能夠滿足實(shí)時檢測要求。

圖8是上述兩種情況下的實(shí)驗(yàn)結(jié)果，其中圖 （a）是針對靜態(tài)圖片的識別結(jié)果；圖 （b）～圖 （d）是動態(tài)前景目標(biāo)的識別結(jié)果。圖中標(biāo)識出了檢測到的目標(biāo)，其中行人用橢圓標(biāo)出，騎車人用矩形標(biāo)出，車輛用圓形標(biāo)出。兩種條件下的實(shí)驗(yàn)都取得了令人滿意的結(jié)果。

4 結(jié)束語

本文基于AdaBoost算法通過對目標(biāo)紋理特征的提取和矩形特征集的擴(kuò)充，應(yīng)用級聯(lián)分類器分別對騎車人、行人和車輛進(jìn)行了分類識別。與已有算法的不同之處是，我們采用了經(jīng)過處理后的紋理能量圖作為學(xué)習(xí)樣本，并以特征矩形內(nèi)的能量差異值作為特征值；同時，根據(jù)騎車人和車輛的固有紋理結(jié)構(gòu)特征，擴(kuò)充了適合表達(dá)騎車人和車輛紋理特征的矩形特征集。實(shí)驗(yàn)證明所提出方法對本課題中的

特定目標(biāo)：騎車人，行人和小轎車具有很好的區(qū)分識別率，并具有較強(qiáng)的魯棒性。本算法的思想，也可以借鑒到一般性的多目標(biāo)的識別應(yīng)用中。

［1］SHEN L，BAI L.Adaboost gabor feature selection for classification ［C］.Pattern Recognition Letters，2006：1758－1767.

［2］ZHANG Xiangdong，SHEN Peiyi，XIAO Yuli，et al.License plate－location using AdaBoost algorithm ［C］.Harbin：Proceedings of the IEEE International Conference on Information and Automation，2010：20－23.

［3］WU Tunhua，ZHOU Changle.Design and implementation of fast face detection system ［J］.Computer Applications，2005，25 （10）：2351－2353（in Chinese）.［吳暾華，周昌樂.快速人臉檢測系統(tǒng)的設(shè)計與實(shí)現(xiàn) ［J］.計算機(jī)應(yīng)用，2005，25 （10）：2351－2353.］

［4］Hart F，Shah Y，Cekander R，et al.A two－stage approach to people detection with HOG－based SVM ［C］.Performance Metrics for Intelligent Systems Workshop in Conjunction With the IEEE Safety Security and Rescue Robotics Conference，2006.

［5］CHOI J.Real time on－road vehicle detection with optical flows and Haar－like feature detector ［R］.Final Report of A Course CS543，2006.

［6］ZHANG Liangxiu，WANG Yulin，ZHANG Luzou.Real－time on－road vehicle detection approach based on tree structure ［J］.Journal of Qingdao University（Engineering ＆ Technology Edition），2008，23 （3）：49－53 （in Chinese）. ［張亮修，王玉林，張魯鄒.一種樹形結(jié)構(gòu)的實(shí)時道路車輛識別方法 ［J］.青島大學(xué)學(xué)報，2008，23 （3）：49－53.］

［7］Pablo Negri，Xavier Clady，Shehzad Muhammad HaniK，et al.A cascade of boosted generative and discriminative classifiers for vehicle detection ［J］.EURASIP Journal on Advances in Signal Processing，2008，8 （2）：1－12.

［8］Ponsa D，Antonio López.Cascade of classifiers for vehicle detection［C］.Proceedings of the 9th International Conference on Advanced Concepts for Intelligent Vision Systems，2007：980－989.

［9］YE Liyan，ZHAO Jianmin，ZHU Xinzhong，et al.Vehiclerear detection method based on adaboost［J］.Computer Simulation，2011，28 （1）：327－330 （in Chinese）.［葉麗燕，趙建民，朱信忠，等.基于AdaBoost的轎車尾部檢測方法 ［J］.計算機(jī)仿真，2011，28 （1）：327－330.］

［10］LI Yucheng，WANG Mushu.A fast license plate location and extraction algorithm ［J］.Computer Engineering ＆ Science，2010，32 （12）：42－45 （in Chinese）. ［李宇成，王目樹.一種快速的車牌定位和提取算法 ［J］.計算機(jī)工程與科學(xué)，2010，32 （12）：42－45.］

［11］LI Yucheng，LI Lei，WANG Mushu.Statistics of the traffic flow on multiple lanes ［J］.Process Automation Instrumentation，2010，31 （10）：51－60 （in Chinese）. ［李宇成，李雷，王目樹.多車道的車流量統(tǒng)計 ［J］.自動化儀表，2010，31（10）：51－60.］

［12］SUN Junding，MA Yuanyuan.Summary of texture feature research ［J］.Computer Systems ＆ Applications，2010，19（6）：245－250 （in Chinese）.［孫君頂，馬媛媛.紋理特征研究綜述 ［J］.計算機(jī)系統(tǒng)應(yīng)用，2010，19 （6）：245－250.］

［13］WEN Xuezhi，YUAN Huai，ZHAO Hong.Vehicle detection algorithm based on low contrast images ［J］.Computer Engineering，2008，34 （14）：210－212 （in Chinese）. ［文學(xué)志，袁淮，趙宏.一種基于低對比度圖像的車輛檢測算法 ［J］.計算機(jī)工程，2008，34 （14）：210－212.］

［14］Viola P，Jones M.Rapid object detection using a boosted cascade of simple features ［C］.Washington，DC：C3IEEE Conference on Computer Vision and Pattern Recognition IEEE Computer Society，2001：511－518.

［15］SUN Zehang，Bebis G，Miller R.On－road vehicle detection：A review ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28 （5）：694－711.

［16］Laika A，Stechele W.A review of different object recognition methods for the application in driver assistance systems ［C］.Proceedings of the 8th International Workshop on Image Analysis for Multimedia Interactive Services，2007：265－271.