基于輪廓方向特征的頭部特征識(shí)別

黃杰賢，黃志平，楊冬濤，歐陽(yáng)玉平

（1.廣東嘉應(yīng)學(xué)院 電子信息工程學(xué)院，廣東 梅州 514015；2.廣東振聲科技股份有限公司，廣東 梅州 514000；3.華南農(nóng)業(yè)大學(xué) 工程學(xué)院，廣東 廣州 510642）

危險(xiǎn)作業(yè)場(chǎng)所一般指生產(chǎn)易燃、易爆或高腐蝕性產(chǎn)品的生產(chǎn)場(chǎng)所，該類商品的特殊性與高危性使其與公共安全密切相關(guān)，直接影響到社會(huì)穩(wěn)定和千家萬(wàn)戶的安全。國(guó)家有關(guān)安全生產(chǎn)監(jiān)管部門對(duì)該類型的生產(chǎn)場(chǎng)所的作業(yè)人數(shù)進(jìn)行嚴(yán)格的限定——定員監(jiān)控。當(dāng)前政府對(duì)企業(yè)的定員監(jiān)控仍停留在對(duì)人數(shù)進(jìn)行現(xiàn)場(chǎng)清點(diǎn)，輔助以定期檢查、不間斷抽查的方法來(lái)獲取在崗在職人員數(shù)據(jù)信息。這就存在以下弊端：1）可靠性不高，容易產(chǎn)生漏洞；2）準(zhǔn)確率低，無(wú)法避免因人為疏忽導(dǎo)致的錯(cuò)誤；3）實(shí)時(shí)性差，信息匯總與上報(bào)存在時(shí)間差，導(dǎo)致監(jiān)管工作遲滯?？梢?jiàn)，采用傳統(tǒng)方法已難以滿足現(xiàn)代企業(yè)安全生產(chǎn)的發(fā)展要求。這就迫切要求發(fā)展一套全自動(dòng)、智能化的監(jiān)測(cè)方法，確保對(duì)工作人員的監(jiān)控與管理。

當(dāng)前，通過(guò)機(jī)器視覺(jué)技術(shù)對(duì)人頭進(jìn)行檢測(cè)、識(shí)別、跟蹤可成功地對(duì)人流進(jìn)行統(tǒng)計(jì)，該技術(shù)作為研究熱點(diǎn)得到科研，工程人員的重視[1-2]。常用的人頭檢測(cè)方法可分為分為雙目視覺(jué)與單目視覺(jué)兩大類。雙目視覺(jué)是目前最準(zhǔn)確的人頭檢測(cè)方法，采用雙目視覺(jué)不僅可獲取人頭的特征信息[3]，也可獲取人頭的深度信息，但是雙目視覺(jué)對(duì)硬件條件要求較高：兩個(gè)攝像頭——增加成本；計(jì)算機(jī)要求同時(shí)處理兩幅圖像——計(jì)算效率不高；使用之前兩個(gè)攝像頭要求做好標(biāo)定工作——增加了使用的復(fù)雜度。鑒于以上不足，大部分場(chǎng)合都采取單目視覺(jué)的人頭檢測(cè)方法，目前比較常用的人頭檢測(cè)算法主要有：顏色法、形態(tài)學(xué)分法、輪廓分析法、分類器設(shè)計(jì)法與人體特征法。采用顏色識(shí)別人頭的方法是最簡(jiǎn)單，最直觀的方法，但也是準(zhǔn)確率最低的方法。在使用顏色特征檢測(cè)人頭時(shí)，配合紋理特征或者形態(tài)特征提高檢測(cè)準(zhǔn)確率。例如盧等人采用頭發(fā)顏色信息與紋理信息實(shí)現(xiàn)對(duì)人頭的識(shí)別[4]；趙等人通過(guò)提取HSI空間的顏色特征，并配合數(shù)學(xué)形態(tài)學(xué)方法提高人頭檢測(cè)準(zhǔn)確率[5]。輪廓特征是重要的特征，Kulrapat建立了肩部與頭部的模型對(duì)人員進(jìn)行識(shí)別與跟蹤[6]；Jin采用橢圓擬合的方法對(duì)人頭進(jìn)行匹配[7]，于通過(guò)霍夫變換法非常有效地對(duì)人的頭部區(qū)域進(jìn)行提取[8]，張通過(guò)輪廓曲率判斷人頭目標(biāo)[9]，而在實(shí)際的檢測(cè)過(guò)程中，背景、衣服與頭部的顏色特征相似將造成頭部輪廓的可區(qū)分性下降使得輪廓無(wú)法提取。文嘉俊等使用AdaBoost算法學(xué)習(xí)訓(xùn)練人頭檢測(cè)分類器，然后通過(guò)過(guò)線跟蹤的方法統(tǒng)計(jì)進(jìn)出口人流量[10]。牛勝石結(jié)合Ada?Boost算法和支持向量機(jī)（Support Vector Machine，SVM）訓(xùn)練人頭檢測(cè)分類器[11]；但是該算法的離線訓(xùn)練過(guò)程繁雜，要求大量學(xué)習(xí)樣品以及選取最優(yōu)的權(quán)值參數(shù)才可取得較高的準(zhǔn)確率，這就限制了此種算法的推廣應(yīng)用。人體特征法主要通過(guò)對(duì)人的骨架特征進(jìn)行匹配進(jìn)而判斷出人頭位置，不足之處在于該種檢測(cè)方式的成像角度不可避免地產(chǎn)生遮擋問(wèn)題[12]。為了更準(zhǔn)確高效地對(duì)人頭進(jìn)行識(shí)別與跟蹤，本文首先對(duì)移動(dòng)目標(biāo)進(jìn)行分割，定義了方向熵與目標(biāo)置信度函數(shù)對(duì)人頭進(jìn)行提取，最終通過(guò)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡實(shí)現(xiàn)定員管理。

1 運(yùn)動(dòng)目標(biāo)的分割

背景均值分割是一種簡(jiǎn)單、快速、有效的移動(dòng)目標(biāo)提取方法，在監(jiān)控場(chǎng)景無(wú)監(jiān)控目標(biāo)的情況下首先獲取背景圖像B(x,y)為

式中：Ii(x,y)為第i幀圖像，背景圖像隨著時(shí)間改變不斷地根據(jù)式（1）進(jìn)行更新。將運(yùn)動(dòng)目標(biāo)從圖像背景中進(jìn)行分割依據(jù)下式

式中：Tn表示分割閾值，根據(jù)幀之間的3倍標(biāo)準(zhǔn)差獲取（如式（3））；Tm為頭發(fā)顏色灰度閾值。采用式（2）對(duì)移動(dòng)目標(biāo)（如圖1a）進(jìn)行分割，得到如圖1b所示的分割結(jié)果。

圖1 目標(biāo)分割實(shí)驗(yàn)

從圖1b可觀測(cè)得到，圖像分割的內(nèi)容不僅包括頭部區(qū)域，也包含其他雜點(diǎn)。為了避免這些雜點(diǎn)對(duì)后續(xù)的圖像處理造成干擾，采用圖像區(qū)域生長(zhǎng)方法對(duì)關(guān)鍵的區(qū)域進(jìn)行篩選，具體步驟如下：

步驟1，在對(duì)運(yùn)動(dòng)目標(biāo)分割的基礎(chǔ)上隨機(jī)選擇種子點(diǎn)；

步驟2，將種子點(diǎn)相鄰的、具有相同性質(zhì)的像素點(diǎn)（基于式（2）提取的像素點(diǎn)）進(jìn)行合并，新合并的像素點(diǎn)作為新的種子點(diǎn)重復(fù)步驟2的操作直至所有符合條件的區(qū)域合并完成；

步驟3，觀測(cè)該區(qū)域的面積區(qū)域，設(shè)置面積閾值（本實(shí)驗(yàn)選取人頭面積大小的值為閾值）得到移動(dòng)目標(biāo)最終處理結(jié)果（如圖1c）。

從圖1c的圖像處理結(jié)果觀測(cè)得到，非頭部區(qū)域的雜點(diǎn)被濾除，包含有頭部的圖像區(qū)域仍需做進(jìn)一步圖像分析實(shí)現(xiàn)頭部目標(biāo)的正確提取。

2 基于方向熵函數(shù)的圓輪廓提取

本節(jié)首先構(gòu)建方向熵函數(shù)以獲取圓形目標(biāo)的輪廓位置信息與方向信息[13-14]。在整幅圖像中，某像素點(diǎn)的紋理梯度數(shù)學(xué)表達(dá)式如式（4）所示，對(duì)應(yīng)的紋理梯度方向角度計(jì)算公式定義為

將θ劃分不同的角度級(jí)i，i=1,2,…,Nθ。在本實(shí)驗(yàn)中，當(dāng) θ∈ (0°，10°)時(shí)，i=1 ；當(dāng) θ∈ (10°，20°)時(shí) i=2 ，…，當(dāng)θ∈(80°，90°)時(shí)，Nθ=9為最高角度級(jí)。分別從整幅圖像中攫取R×S的圖像，定義統(tǒng)計(jì)函數(shù) fθ(i)（如式（6）所示），該公式表示為落入角度級(jí)為i的像素統(tǒng)計(jì)量，在整幅圖像中，像素落入i角度級(jí)區(qū)間的概率Pθ(i)為

定義方向熵為

將式（7）對(duì)圖2a圓目標(biāo)進(jìn)行圖像處理，從圖2b實(shí)驗(yàn)結(jié)果得到，邊緣的方向熵值明顯低于非邊緣區(qū)域，圖2c為設(shè)置方向熵閾值對(duì)邊緣的提取，邊緣區(qū)域的角度級(jí)也呈集中分布（如圖2c），輪廓點(diǎn)的方向亦可得以確定。

圖2 基于方向熵的輪廓特征信息提取

因此，圖2c與標(biāo)準(zhǔn)圓在位置上重合，在角度上相等的像素點(diǎn)可判定為可信的輪廓點(diǎn)。圖3為對(duì)圖2圓目標(biāo)的搜索過(guò)程，圖3a～圖3d搜索匹配的準(zhǔn)確率不斷提高，符合條件輪廓點(diǎn)也不斷增加（如圖3e表示），因此，根據(jù)輪廓點(diǎn)數(shù)量最大的原則可實(shí)現(xiàn)對(duì)目標(biāo)的匹配。圖4為最終的篩選結(jié)果及實(shí)現(xiàn)最佳匹配。

3 輪廓篩選與頭部定位

根據(jù)上文實(shí)驗(yàn)結(jié)果可以得到，使用式（5）不僅可以獲取邊緣的位置信息，也可以獲取輪廓角度信息。因此，使用輪廓及其方向角度級(jí)二元信息使得搜索圓目標(biāo)準(zhǔn)確性、可靠性更高。將其應(yīng)用于人體頭部特征的定位的基本思路與步驟為：

步驟1，采用式（7）對(duì)圖像進(jìn)行處理（如圖5b、圖6b所示）；

圖3 輪廓搜索

圖4 目標(biāo)匹配

圖5 頭部定位的實(shí)驗(yàn)1

圖6 頭部定位實(shí)驗(yàn)2

步驟2，基于標(biāo)準(zhǔn)圓的輪廓與角度信息對(duì)經(jīng)式（5）處理后的圖像作進(jìn)行輪廓篩選（如圖5c、圖6c所示）；

步驟3，根據(jù)局部輪廓特征實(shí)現(xiàn)對(duì)人頭定位（如圖5d、圖6d所示）。

4 基于弧長(zhǎng)置信度函數(shù)的多目標(biāo)定位

前文的實(shí)驗(yàn)驗(yàn)證了基于輪廓方向特征對(duì)于提取人頭區(qū)域有效性。但在現(xiàn)實(shí)的場(chǎng)景中存在多個(gè)人員目標(biāo)同時(shí)運(yùn)動(dòng)的情況，鑒于人頭尺寸大小不一，仍需對(duì)圖像做進(jìn)一步分析與處理以實(shí)現(xiàn)在同一場(chǎng)景中同時(shí)提取多個(gè)目標(biāo)。人頭是類圓型目標(biāo)，輪廓相當(dāng)于弧長(zhǎng)。在相同半徑條件下，弧長(zhǎng)越長(zhǎng)越更接近圓?；谠撎攸c(diǎn)，建立弧長(zhǎng)置信度函數(shù)對(duì)人頭進(jìn)行定位，定義如下

圖7 人頭目標(biāo)的搜索

在圖7中搜索的結(jié)果中，每個(gè)圓形區(qū)域都包含有人的頭部區(qū)域，驗(yàn)證了基于弧長(zhǎng)置信函數(shù)搜索方法的有效性。從所有搜索的候選區(qū)域中選取弧長(zhǎng)置信度最高的區(qū)域確立人的頭部區(qū)域（如圖8所示）。

圖8 頭部區(qū)域的確立

將該方法應(yīng)用于多個(gè)人員目標(biāo)定位情景中，實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 多目標(biāo)人頭定位

5 人頭目標(biāo)跟蹤

實(shí)現(xiàn)對(duì)人頭區(qū)域的定位工作后，本節(jié)從：1）相鄰幀圖像的人頭區(qū)域重合；2）基于連續(xù)相鄰幀圖像人頭運(yùn)動(dòng)的預(yù)測(cè)兩方面對(duì)人頭目標(biāo)進(jìn)行跟蹤[15-17]。對(duì)相鄰幀圖像進(jìn)行人頭定位，圖像之間的人頭在位置上存在重疊區(qū)域（如圖10所示），因此可判斷人頭從坐標(biāo)(x1,y1)移動(dòng)至坐標(biāo)(xn,yn)。

圖10 目標(biāo)移動(dòng)

針對(duì)移動(dòng)目標(biāo)的搜索與跟蹤過(guò)程中，為了更準(zhǔn)確、高效地對(duì)移動(dòng)目標(biāo)進(jìn)行搜索與跟蹤，可基于前幾幀圖像與當(dāng)前圖像的目標(biāo)位置對(duì)下一幀圖像目標(biāo)的位置進(jìn)行預(yù)測(cè)。本文選取3幀圖像：當(dāng)前幀（第k幀），前1幀（k-1幀）與前2幀（k-2幀）基于牛頓插值法建立預(yù)測(cè)函數(shù)定義如下

式中：fX(k)，fY(k)分別為第k幀（當(dāng)前幀）圖像目標(biāo)的X坐標(biāo)值與Y坐標(biāo)值。對(duì)目標(biāo)進(jìn)行跟蹤時(shí)，根據(jù)預(yù)測(cè)函數(shù)對(duì)目標(biāo)的坐標(biāo)位置進(jìn)行預(yù)判，從而縮小目標(biāo)搜索范圍，提高了搜索效率與準(zhǔn)確率。圖11為目標(biāo)的跟蹤及其運(yùn)動(dòng)軌跡線。

圖11 多目標(biāo)跟蹤及其運(yùn)動(dòng)軌跡

在圖11中，每個(gè)人頭目標(biāo)對(duì)應(yīng)著一對(duì)圓，分別表示目標(biāo)的起始區(qū)域與終點(diǎn)區(qū)域，該對(duì)圓心的坐標(biāo)分別為起始點(diǎn)坐標(biāo)與終點(diǎn)坐標(biāo)，之間的連線則是目標(biāo)的運(yùn)動(dòng)軌跡。圖11中的中間線為計(jì)數(shù)觸發(fā)線，當(dāng)目標(biāo)軌跡線由下向上越過(guò)中間線則表示該目標(biāo)“進(jìn)入”；當(dāng)目標(biāo)軌跡從上往下穿過(guò)中間線則表示“離開(kāi)”。因此基于機(jī)器視覺(jué)技術(shù)的定員管理算法可概括為：1）采用圖像處理技術(shù)確立移動(dòng)目標(biāo)；2）基于方向熵實(shí)現(xiàn)對(duì)圓輪廓進(jìn)行篩選；3）基于圓輪廓實(shí)現(xiàn)對(duì)人頭的識(shí)別；4）對(duì)人頭目標(biāo)進(jìn)行跟蹤，最終實(shí)現(xiàn)對(duì)進(jìn)出人員的實(shí)時(shí)監(jiān)控與統(tǒng)計(jì)。流程圖如圖12所示。

圖12 流程圖

為了測(cè)試該算法的性能，系統(tǒng)對(duì)視野內(nèi)的移動(dòng)目標(biāo)進(jìn)行跟蹤，對(duì)“進(jìn)入”與“離開(kāi)”的人數(shù)進(jìn)行統(tǒng)計(jì)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 目標(biāo)跟蹤統(tǒng)計(jì) 人

6 實(shí)驗(yàn)對(duì)比分析

表2中，選取237個(gè)人頭樣品并采用不同的算法進(jìn)行圖像處理，通過(guò)觀測(cè)“準(zhǔn)確率”與“算法時(shí)間”兩個(gè)指標(biāo)對(duì)算法性能進(jìn)行對(duì)比分析。實(shí)驗(yàn)中測(cè)試視頻抓取的每幀圖像大小為640×480，在雙核處理器 2 Gbyte內(nèi)存PC機(jī)的硬件平臺(tái)，VC2008軟件平臺(tái)上運(yùn)行。

表2 人頭識(shí)別對(duì)比實(shí)驗(yàn)

從表2的算法處理時(shí)間觀測(cè)得到：盡管“HSI顏色與形態(tài)學(xué)”與“霍夫變換法”是比較提取人頭識(shí)別的有效方法，但對(duì)人頭與背景的對(duì)比度要求較高，但人頭與背景的顏色相近時(shí)，算法準(zhǔn)確率下降。AdaBoost算法雖然在效率與準(zhǔn)確率上有優(yōu)勢(shì)，但達(dá)到高效、高準(zhǔn)確率的效果有兩個(gè)前提條件：1）選取大量樣品讓系統(tǒng)進(jìn)行學(xué)習(xí)，當(dāng)應(yīng)用場(chǎng)景變化，或者光照條件發(fā)生明顯變化時(shí)，要求系統(tǒng)重新學(xué)習(xí)；2）在對(duì)樣品學(xué)習(xí)的基礎(chǔ)上，要求工作人員調(diào)整好最優(yōu)的參數(shù)。以上兩點(diǎn)工作冗余、繁瑣、復(fù)雜。使得該算法不具通用性，推廣應(yīng)用難度大。

7 總結(jié)與展望

本文提出的算法在存在干擾的情況下實(shí)現(xiàn)對(duì)類圓形目標(biāo)的輪廓進(jìn)行提取，并基于輪廓實(shí)現(xiàn)對(duì)類圓目標(biāo)的匹配。將該算法應(yīng)用于廣東振聲科技股份有限公司的工業(yè)炸藥生產(chǎn)作業(yè)場(chǎng)所的定員管理為例，對(duì)“進(jìn)入”，“離開(kāi)”生產(chǎn)作業(yè)場(chǎng)所的人數(shù)進(jìn)行智能識(shí)別與統(tǒng)計(jì)，有效提升了企業(yè)的管理、監(jiān)控、安全水平。平均時(shí)間約為30 ms/f（毫秒/幀），完全可以滿足實(shí)時(shí)檢測(cè)的要求，準(zhǔn)確率達(dá)到90%以上。當(dāng)工人進(jìn)入生產(chǎn)場(chǎng)時(shí)，著裝佩戴的工作帽形態(tài)，顏色（灰色）具有一致性，本文的算法也適用于戴工作帽情況下。但該研究工作仍然存在不足之處：1）仍需進(jìn)一步提高準(zhǔn)確率；2）當(dāng)行人攜帶與人頭大小的圓形物品通過(guò)時(shí)，算法會(huì)將圓形物品錯(cuò)檢為人頭，從而導(dǎo)致計(jì)數(shù)錯(cuò)誤。如何克服以上問(wèn)題，提高檢測(cè)準(zhǔn)確率，則有待進(jìn)一步深入研究。

[1]BENABBAS Y，IHADDADENE N，YAHIAOUI T，et al.Spatiotemporal optical flow analysis for people counting[C]//Proc.of 7th IEEE International Conference on Advanced Video and Sig?nal Based Surveillance.Boston，USA：IEEE Press，2010：212-217.

[2]JAIJING K，KAEWTRAKULPONG P，SIDDHICHAI S.Object de?tection and modeling algorithm for automatic visual people count?ing system[C]//Proc.6th International Conference on Electrical Engineering/Electronic，Computer，Telecommunication and Infor?mation Technology.[S.l.]：IEEE Press，2009：1062-1065.

[3] 顧騁，錢惟賢，陳錢，等.基于雙目立體視覺(jué)的快速人頭檢測(cè)方法[J].中國(guó)激光，2014，41（1）：1-6.

[4] LU Huchuan，ZHANG Ruijuan，CHEN Yenwei.Head detection and tracking by mean-shift and kalman fiter[C]//Proc.3rd Interna?tional Conference on Innovative Computing Information and Con?trol.[S.l.]：IEEE Press，2008：357-360.

[5] 趙軍偉，侯清濤，李金屏，等.基于數(shù)學(xué)形態(tài)學(xué)和HSI顏色空間的人頭檢測(cè)[J].山東大學(xué)學(xué)報(bào)，2013，43（2）：6-10.

[6]JAIJING K，KAEWTRAKULPONG P，SIDDHICHAI S.Object de?tection and modeling algorithm for automatic visual people count?ing system[C]//Proc.6th International Conference on Electrical Engineering/Electronic，Computer，Telecommunication and Infor?mation Technology.[S.l.]：IEEE Press，2009：1062-1065.

[7] JIN Yonggang，MOKHTARIAN F.Towards robust head tracking by particles[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2005：864-867.

[8] 于海賓，劉敬彪，劉濟(jì)林.用于行人頭部特征提取的目標(biāo)區(qū)域匹配方法[J].中國(guó)圖像圖形學(xué)報(bào)，2009，14（3）：482-488.

[9] 張海洋，陳國(guó)龍，李現(xiàn)偉.基于曲率尺度空間的人頭檢測(cè)方法研究[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（14）：195-197.

[10] 文嘉俊，徐勇.基于AdaBoost和幀間特征的人數(shù)統(tǒng)計(jì)[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（9）：1729-1735.

[11] 牛勝石，毛曉暉，侯建華，等．基于AdaBoost和SVM的人頭實(shí)時(shí)檢測(cè)[J].微型機(jī)與應(yīng)用，2010（13）：33-36.

[12] 夏菁菁，高琳，范勇，等.基于骨架特征的人數(shù)統(tǒng)計(jì)[J].計(jì)算機(jī)應(yīng)用，2014，34（2）：585-588.

[13] YE Feng，LI Di，HUANG Jiexian，et al.Flaw detection on FPC solder surface[J].Circuit World，2012，38（3）：142-152.

[14] 楊冬濤，黃杰賢，龔昌來(lái)，等.基于輪廓方向特征的柚子果形檢測(cè)研究[J].激光與紅外，2013，43（6）：712-716.

[15]CONG Yong，GONG Haifeng，ZHU Songchun，et al.Flow mosa?icking：real-time pedestrian counting without scene-specific learning[C]//Proc.IEEE Conference on Computer Vision and Pat?tern Recognition （CVPR）2009.Miami，USA：IEEE Press，2009：1093-1100.

[16] ANTIC B，LETIC D，CULIBRK D，et al.K-means based seg?mentation for realtime zenithal people counting[C]//Proc.16th IEEE International Conference on Image Processing（ICIP）.Cai?ro，Egypt：IEEE Press，2009：2565-2568.

[17] DINESH K V P，TESSAMMA T.Performance study of an im?proved legendre moment descriptor as region-based shape de?scriptor[J].Pattern Recognition and Image Analysis，2008（1）：23-29.