基于GPU的視頻流人群實(shí)時(shí)計(jì)數(shù)

姬麗娜，陳慶奎，陳圓金，趙德玉，方玉玲，趙永濤

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093； 2.上海理工大學(xué) 管理學(xué)院，上海 200093)

(*通信作者電子郵箱coldpoint@sina.cn)

基于GPU的視頻流人群實(shí)時(shí)計(jì)數(shù)

姬麗娜1*，陳慶奎1,2，陳圓金1，趙德玉2，方玉玲2，趙永濤1

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093； 2.上海理工大學(xué) 管理學(xué)院，上海 200093)

(*通信作者電子郵箱coldpoint@sina.cn)

為了解決人群遮擋嚴(yán)重、光照突變等惡劣環(huán)境下人群計(jì)數(shù)準(zhǔn)確率低的問題，提出基于混合高斯模型(GMM)和尺度不變特征變換(SIFT)特征的人群數(shù)量統(tǒng)計(jì)分析新方法。首先，基于GMM提取運(yùn)動(dòng)人群，并采用灰度共生矩陣(GLCM)和形態(tài)學(xué)方法去除背景中移動(dòng)的小物體和較密集的噪聲等非人群前景，針對(duì)GMM算法提出了一種效率較高的并行模型；接著，檢測運(yùn)動(dòng)人群的SIFT特征點(diǎn)作為人群統(tǒng)計(jì)的基礎(chǔ)，基于二值圖像的特征提取大大減少了執(zhí)行時(shí)間；最后，提出基于人群特征數(shù)和人群數(shù)量進(jìn)行統(tǒng)計(jì)分析的新方法，選擇不同等級(jí)的人群數(shù)量的數(shù)據(jù)集分別進(jìn)行訓(xùn)練，統(tǒng)計(jì)得出平均單個(gè)特征點(diǎn)數(shù)，并對(duì)不同密度的行人進(jìn)行計(jì)數(shù)實(shí)驗(yàn)。算法采用基于GPU多流處理器進(jìn)行加速，并針對(duì)所提算法在統(tǒng)一計(jì)算設(shè)備架構(gòu)(CUDA)流上任務(wù)的有效調(diào)度的方法進(jìn)行分析。實(shí)驗(yàn)結(jié)果顯示，相比單流提速31.5%，相比CPU提速71.8%。

視頻監(jiān)控；GPU并行計(jì)算；人群計(jì)數(shù)；尺度不變特征變換；混合高斯模型；統(tǒng)一計(jì)算設(shè)備架構(gòu)

0 引言

視頻監(jiān)控領(lǐng)域中人群數(shù)目統(tǒng)計(jì)一直是視頻監(jiān)控領(lǐng)域的研究熱點(diǎn)，在實(shí)際場景有著非常廣泛的應(yīng)用，比如通過分析人數(shù)用動(dòng)態(tài)控制交通信號(hào)燈來優(yōu)化管理行人流量、控制地鐵站入口處的乘客流量、旅游景點(diǎn)客流量統(tǒng)計(jì)、公共安全監(jiān)控等。人群統(tǒng)計(jì)的方法一般有直接統(tǒng)計(jì)和間接統(tǒng)計(jì)：直接統(tǒng)計(jì)法比如通過分類器等聚類算法首先對(duì)視頻圖像進(jìn)行分割，把行人分割成單獨(dú)的個(gè)體[1-3]；間接統(tǒng)計(jì)法比如機(jī)器學(xué)習(xí)算法、統(tǒng)計(jì)分析法[4-6]。然而在實(shí)際應(yīng)用中人群統(tǒng)計(jì)面臨著諸多挑戰(zhàn)：首先最常見的遮擋問題使算法無法精確地分割出每個(gè)人，光照突變常常導(dǎo)致背景分割和連通體檢測很大的誤檢率，算法要想在視頻中分割每個(gè)個(gè)體并進(jìn)行計(jì)數(shù)是非常困難的，本文選擇間接統(tǒng)計(jì)法，把視頻中的人群和人群特征視為一個(gè)整體，從宏觀的視角去分析這些人群的特征和人群個(gè)數(shù)的關(guān)系相對(duì)來說更加合理。此外視頻監(jiān)控的實(shí)時(shí)性在實(shí)際應(yīng)用中也有很大的需求。綜上所述要精確并實(shí)時(shí)地統(tǒng)計(jì)人群數(shù)目，本文選擇間接統(tǒng)計(jì)法和基于GPU(Graphics Processing Unit)的算法并行加速。

為了提高人流分析的效率和準(zhǔn)確度，本文提出了新的解決方法，具體包括以下幾個(gè)方面：

1)針對(duì)高斯混合模型(Gaussian Mixture Model, GMM)算法特點(diǎn)，提出一種并行模型，減少內(nèi)存復(fù)制操作從而減少算法執(zhí)行時(shí)間，并與另外一種模型進(jìn)行比較分析。

2)比較統(tǒng)一計(jì)算設(shè)備架構(gòu)(Compute Unified Device Architecture, CUDA)多流處理器和單流處理器的異同，對(duì)多流處理器上任務(wù)的調(diào)度進(jìn)行分析和實(shí)驗(yàn)對(duì)比。

3)在運(yùn)動(dòng)向量生成階段，本文選擇基于混合高斯背景分割得到的二值圖像進(jìn)行尺度不變特征變換(Scale-Invariant Feature Transform, SIFT)提取。這樣做的原因是雖然基于攝像頭的背景分割效果并不非常理想，但是因?yàn)楸疚暮竺娴姆治鍪遣扇〗y(tǒng)計(jì)分析的方法，不需要過于在乎背景分割的人群輪廓等信息，而是從宏觀上考慮整個(gè)人群的總體特征。另一方面，SIFT算法對(duì)光照、旋轉(zhuǎn)、尺度變換等都有很強(qiáng)的魯棒性，但是算法復(fù)雜度高，執(zhí)行時(shí)間長，而本文采取基于二值圖像的特征提取大幅減少了算法執(zhí)行時(shí)間，提高了執(zhí)行效率。該方法為人群統(tǒng)計(jì)的探索開拓了一個(gè)新視角。

4)在人群個(gè)數(shù)統(tǒng)計(jì)過程中，本文的算法受Albiol等[4]的啟發(fā)，采取根據(jù)特征點(diǎn)個(gè)數(shù)Nc和單個(gè)人的特征點(diǎn)個(gè)數(shù)N1之間的簡單映射關(guān)系，得到當(dāng)前視頻幀的人群個(gè)數(shù)，然而不同的是，Albiol等的算法對(duì)N1的估算上只提取一幀圖像來估計(jì)平均值，這種方法雖然在PETS2009數(shù)據(jù)集上表現(xiàn)出色，但是本文在實(shí)驗(yàn)過程發(fā)現(xiàn)這種做法對(duì)其他場景并不適用，本文將采取對(duì)N1新的訓(xùn)練方法，即采取不同等級(jí)的數(shù)據(jù)對(duì)N1進(jìn)行訓(xùn)練，提高了檢測精度，本文用這種訓(xùn)練方法在多處場景的各種條件下進(jìn)行實(shí)驗(yàn)，均表現(xiàn)良好。

此外需要說明的是本文應(yīng)用場景為：固定攝像頭下的行人統(tǒng)計(jì)，并且攝像頭視角中的人群不是由遠(yuǎn)至近或由近至遠(yuǎn)，而是垂直視角，攝像頭中的行人在人眼中的大小是基本相同或者有非常小的尺度變換；因此本文對(duì)場景作以下合理假設(shè)：假設(shè)行人在攝像頭范圍內(nèi)各個(gè)位置的平均特征點(diǎn)數(shù)量基本相等。接下來本文將分別闡述人流分析的相關(guān)工作，進(jìn)行算法分析，展示實(shí)驗(yàn)結(jié)果并進(jìn)行對(duì)比分析，最后進(jìn)行總結(jié)。

1 相關(guān)工作

目前人群統(tǒng)計(jì)方面的研究基本從兩個(gè)不同的視角分析：一種是直接檢測；另一種是間接檢測。前者是基于目標(biāo)檢測的人群密度估計(jì)算法，這種模式識(shí)別的方法在行人遮擋嚴(yán)重的情況下進(jìn)行分割非常艱難。間接檢測法包括最早被采用的人群密度特征即基于像素統(tǒng)計(jì)的方法和基于紋理分析的人群密度估計(jì)方法。近年來，很多學(xué)者都致力于研究間接檢測的方法，這種方法不需要分別檢測和識(shí)別每個(gè)人，而是提取整個(gè)視頻中的動(dòng)態(tài)特征向量，并根據(jù)特征點(diǎn)數(shù)量和人群數(shù)目的映射關(guān)系來統(tǒng)計(jì)人數(shù)。

事實(shí)上想要準(zhǔn)確地把每個(gè)人都單獨(dú)分割出來本身就是一項(xiàng)非常具有挑戰(zhàn)的任務(wù)，算法通常都會(huì)受到光照、環(huán)境變化的影響，甚至在遮擋非常嚴(yán)重的情況下，這項(xiàng)工作根本難以進(jìn)行。相對(duì)而言，間接檢測的方法更加穩(wěn)定，魯棒性更強(qiáng)，因?yàn)檫@種方法基于相對(duì)更容易檢測的特征點(diǎn)進(jìn)行分析。這種方法簡單易實(shí)現(xiàn)，在很多場景中無論是在精度還是效果上都表現(xiàn)出色。由Albiol等在2009年提出的統(tǒng)計(jì)分析法的人群計(jì)數(shù)和事件檢測在PET2009數(shù)據(jù)集上表現(xiàn)出色，到目前為止，有很多學(xué)者對(duì)此陸續(xù)做出了大量的改進(jìn)工作，以解決偽靜態(tài)點(diǎn)被忽略[7]、角點(diǎn)檢測算法魯棒性不夠強(qiáng)[8]、角點(diǎn)數(shù)和人數(shù)的映射關(guān)系[9]、視角變換和密度影響[10]等問題。Hou等則通過背景差分法提取動(dòng)態(tài)人群，接著基于EM(Expectation Maximization)算法和新的聚類模型定位每個(gè)人，最后根據(jù)位置、特征等信息計(jì)算人群個(gè)數(shù)，該方法把前景像素點(diǎn)個(gè)數(shù)和人群個(gè)數(shù)視為線性關(guān)系[11-12]。上述的改善工作中由于使用過于復(fù)雜的模型，雖然對(duì)效果有一定的改善，但是花費(fèi)過度的資源和時(shí)間去改善的效率可能并不是很高，尤其是視頻圖像處理中，速度和精度也同樣重要。因此本文將對(duì)Albiol等的方法中參數(shù)N1的訓(xùn)練階段作一定改進(jìn)，得到更合理的參數(shù)，在提升精度的同時(shí)并不會(huì)增加執(zhí)行時(shí)間的開銷。在此基礎(chǔ)上，本文將基于目標(biāo)檢測和基于特征分析的方法結(jié)合，通過改善基于高斯混合模型(GMM)的背景分割法和基于二值圖像的SIFT特征基礎(chǔ)上進(jìn)行人群的統(tǒng)計(jì)分析。由于是基于運(yùn)動(dòng)人群，而不是基于模式識(shí)別等方式，因此本文方法同樣非常適合分辨率非常低的視頻圖像。

2 算法分析

本章將詳細(xì)闡述本文提出的方法。由于是基于攝像頭的視頻圖像分析，因此本文將首先進(jìn)行攝像頭視角調(diào)整，調(diào)整原則為：由于人的視覺特點(diǎn)是近大遠(yuǎn)小，如果攝像頭位置過低則可能造成行人在攝像頭視角內(nèi)在最遠(yuǎn)處和最近處的大小差距太大：如果攝像頭位置過高可能讀取的行人會(huì)很小，特征也會(huì)過少。本文經(jīng)過矯正的兩個(gè)實(shí)驗(yàn)場景中攝像頭合適位置如圖1所示。

圖1 攝像頭矯正圖示

下面分別對(duì)背景分割、特征提取和人數(shù)統(tǒng)計(jì)進(jìn)行討論。

2.1 流加速的背景分割

前景分割方法有很多[13]，考慮到算法復(fù)雜度和抗干擾度等方面的因素，本文采取為圖像每個(gè)像素建立自適應(yīng)的高斯混合模型進(jìn)行背景分割。首先進(jìn)行按照式(1)進(jìn)行多個(gè)高斯分布加權(quán)建模，并采取自學(xué)習(xí)方式進(jìn)行背景更新，更新模型方法如式(2)～(4)。由于后續(xù)的特征分析是基于提取的前景圖像，因此前景的提取效果至關(guān)重要，但是需要注意的是，這里的提取效果并不是指傳統(tǒng)意義上為了進(jìn)行連通體個(gè)數(shù)統(tǒng)計(jì)而要求運(yùn)動(dòng)前景必須能夠單獨(dú)分離每個(gè)個(gè)體，不能容忍任何噪聲和前景被分裂等現(xiàn)象，前文已經(jīng)討論過，要達(dá)到這種效果由于受到各種復(fù)雜條件的干擾本身就很難實(shí)現(xiàn)。本文算法是基于特征統(tǒng)計(jì)，對(duì)行人的前景輪廓不做作殊要求，但是如果場景中大面積都是運(yùn)動(dòng)的背景，是不可行的，因此需要對(duì)場景中的干擾進(jìn)行優(yōu)化。針對(duì)背景中大量細(xì)小的噪點(diǎn)，本文將對(duì)提取的運(yùn)動(dòng)人群進(jìn)行形態(tài)學(xué)處理。另外場景中可能存在小幅度往復(fù)運(yùn)動(dòng)的物體如搖晃的樹葉、飄搖的廣告橫幅等，本文采取基于灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)提取出來的紋理特征來去除干擾，這些特征具有很強(qiáng)的抗光照突變特征和局部序列性，具體方法之前已有研究[14]，在此不再贅述。

此外，為了提高視頻處理的速度，本文采取基于GPU/CPU協(xié)同計(jì)算的方法，在CPU上處理邏輯性比較強(qiáng)的任務(wù)，由于本文中前景提取算法在圖像像素之間沒有任何關(guān)聯(lián)性，每個(gè)像素進(jìn)行單獨(dú)計(jì)算，非常適合在GPU上并行計(jì)算。如果使用默認(rèn)的單流進(jìn)行計(jì)算，每幀圖像都要進(jìn)行HOST和GPU的之間數(shù)據(jù)傳入傳出，內(nèi)存復(fù)制的時(shí)間太長，這會(huì)大大減弱使用GPU進(jìn)行并行加速的時(shí)間優(yōu)勢，因此選擇申請(qǐng)多個(gè)CUDA流來處理數(shù)據(jù)，分配兩組相同的GPU緩沖區(qū)，這樣每個(gè)流分別單獨(dú)在輸入數(shù)據(jù)塊上執(zhí)行工作，利用多流的重疊功能隱藏傳輸時(shí)間。改進(jìn)單流程序的思想很簡單，包括“分塊”計(jì)算以及內(nèi)存復(fù)制和核函數(shù)執(zhí)行的重疊。比如，第0個(gè)流將核函數(shù)計(jì)算結(jié)果傳出到HOST端的同時(shí)，第1個(gè)流將開始執(zhí)行核函數(shù)。緊接著，第1個(gè)流將計(jì)算結(jié)果傳出到HOST端，同時(shí)第0個(gè)流可以開始在下一塊數(shù)據(jù)上執(zhí)行核函數(shù)。如果內(nèi)存?zhèn)鬏敳僮骱秃撕瘮?shù)執(zhí)行時(shí)間大致相同。在任何執(zhí)行內(nèi)存復(fù)制和核函數(shù)的執(zhí)行相互重疊的設(shè)備上，當(dāng)使用多個(gè)流時(shí)，程序的整體性能都會(huì)提升。每個(gè)流中為每個(gè)像素分配一個(gè)線程，假設(shè)圖像的寬和高分別為W、H，那么在GPU上申請(qǐng)大小為W×H×sizeof(unsigned char)的緩存空間，并申請(qǐng)W×H個(gè)線程，線程塊大小為8×8。

(1)

ωxy,i,t=(1-α)ωxy,i,t-1+α

(2)

μxy,i,t=(1-ρ)μxy,i,t-1+ρIxy,t

(3)

(4)

其中：η(Ixy,t,μxy,t,σxy,t)表高斯分布，ωxy,i,t是t時(shí)刻坐標(biāo)為(x,y)像素點(diǎn)第i個(gè)高斯分布的權(quán)重，μxy,i,t表均值，σxy,i,t表方差，Ixy,t是像素值，ρ是第二學(xué)習(xí)率，α是第一學(xué)習(xí)率。

需要注意的是，雖然從邏輯上來看，不同的流之間是相互獨(dú)立的，但事實(shí)上GPU的隊(duì)列機(jī)制并非如此，因?yàn)橛布胁]有流的概念，而是包含一個(gè)或多個(gè)引擎來執(zhí)行內(nèi)存復(fù)制操作，另一個(gè)引擎來執(zhí)行核函數(shù)，這些引擎彼此獨(dú)立地對(duì)操作進(jìn)行排隊(duì)[15]。如圖2中所示，第0個(gè)流對(duì)A的內(nèi)存復(fù)制需要在對(duì)B的內(nèi)存復(fù)制之前完成，而對(duì)B的復(fù)制又要在核函數(shù)A啟動(dòng)之前完成。而在硬件中這些依賴性將丟失，因此在使用流時(shí)必須要注意到硬件的工作方式和CUDA流編程模型的方式是不同的，將操作放入流中隊(duì)列的順序?qū)⒂绊懼鳦UDA驅(qū)動(dòng)程序調(diào)度這些操作以及執(zhí)行的方式。為了確保相互獨(dú)立的流能夠真正地并行執(zhí)行，需要合理調(diào)度流，從而高效使用多個(gè)CUDA流。如果同時(shí)調(diào)度某個(gè)流的所有操作，那么很容易無意中阻塞另一個(gè)流的內(nèi)存拷貝或者核函數(shù)執(zhí)行，因此在將操作放入流的隊(duì)列時(shí)應(yīng)采用寬度優(yōu)先方式，而非深度優(yōu)先方式。如果內(nèi)存復(fù)制操作時(shí)間與核函數(shù)執(zhí)行時(shí)間大致相當(dāng)，那么真正的執(zhí)行時(shí)間將如圖3所示。箭頭表示引擎間的依賴性，可以看到在新的調(diào)度順序中，這些依賴性仍能得到滿足。

圖2 程序在使用兩個(gè)不同流時(shí)的執(zhí)行時(shí)間段

注：為了圖示的簡單明了，圖2和圖3的流均使用2個(gè)CUDA流作為示例，多個(gè)流執(zhí)行同理。

圖3 改進(jìn)后流隊(duì)列執(zhí)行順序

前景分割具體執(zhí)行過程如算法1所示，需要注意的是，由于需要為每個(gè)像素建立多個(gè)高斯模型，并且除了第一幀外，每一幀圖像在模型更新結(jié)束后都需要前一幀圖像的模型信息，因此選擇直接在GPU上申請(qǐng)大小為W×H×sizeof(model)的內(nèi)存空間，并且為此GPU設(shè)備端的模型申請(qǐng)為全局變量，這樣不必每次在使用上一幀圖模型信息時(shí)，進(jìn)行耗費(fèi)時(shí)間的設(shè)備端和主機(jī)端傳輸工作，這樣的做法相比一開始就在CPU端為模型申請(qǐng)內(nèi)存空間再傳入設(shè)備端的做法大大提高了算法執(zhí)行速度。從圖4～5可知，這種方法減少了每幀兩次的內(nèi)存復(fù)制操作，而在視頻圖像處理過程中，內(nèi)存復(fù)制操作相對(duì)來說是相當(dāng)耗時(shí)的，這也通常被視為是性能的瓶頸之一。

算法1 運(yùn)動(dòng)目標(biāo)檢測。

輸入: frame, width, height, Idx, Idy。 輸出: foreground image。 函數(shù) foreGroundDetector () gmm_model *dd_gmmmodel;

//申請(qǐng)全局變量,在GPU端建立混合高斯模型 cudaMalloc((void**)&dd_gmmmodel,WIDTHSIZE* HEIGHTSIZE*sizeof(gmm_model));

//為模型分配空間 cudaMemset(dd_gmmmodel,0,WIDTHSIZE*HEIGHTSIZE* sizeof(gmm_model));

//初始化模型 WHILE(true)

//開始混合視頻幀循環(huán) IF Idx>0 && Idx0 && Idy

//流同步

cuda Stream Synchronize(stream1);

//流同步

輸出得到二值前景圖像

END IF

END WHILE

RETURN;

END 函數(shù)

圖4 GMM更新在CPU/GPU端的并行模型

圖5 改進(jìn)后的GMM并行模型

2.2 檢測運(yùn)動(dòng)人群特征點(diǎn)

本文對(duì)場景作以下合理的假設(shè)：場景中運(yùn)動(dòng)的大面積對(duì)象是行人，這與其他人流統(tǒng)計(jì)分析要求相同。假設(shè)場景中大面積的運(yùn)動(dòng)對(duì)象不是人群，而是車流、搖晃的樹等，本文方法不適用。

通過2.1節(jié)的討論已經(jīng)得到場景中人群的運(yùn)動(dòng)前景，想要通過這些前景直接進(jìn)行人群統(tǒng)計(jì)比如通過連通體計(jì)數(shù)等方法，這在高密度的人群中并不容易甚至根本無法執(zhí)行，因?yàn)閲?yán)重的遮擋問題、室外不穩(wěn)定的光照問題等，會(huì)使得一個(gè)人被分裂為多個(gè)前景塊(可能被計(jì)數(shù)多次)、一群人由于擠在一起可能被提取為一個(gè)前景塊(可能只被計(jì)數(shù)一次)。因此，本文采取間接計(jì)數(shù)的方式，從整幅圖像的所有特征點(diǎn)出發(fā)進(jìn)行分析。

關(guān)于特征點(diǎn)檢測方法，Albiol等[4]采取Harris算法實(shí)現(xiàn)對(duì)分析圖像的特征點(diǎn)檢測，Harris等[16]指出了采用Harris算法對(duì)特征點(diǎn)檢測的不足，相對(duì)于Harris算法[17]，SIFT算法檢測的特征點(diǎn)在具有對(duì)平移、旋轉(zhuǎn)、噪聲的不變性的同時(shí)，對(duì)尺度縮放、亮度變化和局部遮擋也不敏感，并且對(duì)視角變化、仿射變換也保持一定的穩(wěn)定性，因此SIFT算法檢測的特征點(diǎn)相對(duì)來穩(wěn)定性更強(qiáng)，因此本文在運(yùn)動(dòng)人群的特征點(diǎn)檢測上采用SIFT算法。它在尺度空間中尋找極值點(diǎn)，并提取其位置、尺度、旋轉(zhuǎn)不變量，是一種局部特征描述子，具有獨(dú)特性、多量性和可擴(kuò)展性等特點(diǎn)。算法2為基于SIFT的二值圖像特征點(diǎn)檢測過程。其中GaussianPyramid()、DogPyramid()分別通過(5)～(7)建立高斯和差分金字塔，結(jié)果如圖6和圖7所示，其中DoG(Difference of Gaussian)為高斯差分濾。

(5)

L(x,y,σ)=G(x,y,σ)*I(x,y)

(6)

D(x,y,σ)=G(x,y,kσ)-G(x,y,σ)

(7)

圖6 通過高斯濾波處理得到的部分高斯金字塔結(jié)果(k=21/3)

圖7 通過差分濾波處理得到的部分差分金字塔結(jié)果(k=21/3)

L(x,y,σ)是高斯濾波函數(shù)，其中G(x,y)是圖像像素(x,y)處的高斯分布函數(shù)，(m,n)是平滑模板，σ是高斯分布標(biāo)準(zhǔn)差，初始值為1.6，D(x,y,σ)表差分濾波函數(shù)。DetectionLocalExtrama()通過子像素插值法求局部極值點(diǎn)，如圖8左中圓點(diǎn)所示，OrientationAssignment()為關(guān)鍵點(diǎn)分配主方向從而實(shí)現(xiàn)圖像旋轉(zhuǎn)不變性，如圖8右箭頭所示。實(shí)驗(yàn)發(fā)現(xiàn)在該場景中檢測到的SIFT特征點(diǎn)數(shù)量高達(dá)350個(gè)左右，這樣的計(jì)算量是相當(dāng)巨大的，而其中大部分特征點(diǎn)都是背景產(chǎn)生的，圖9所示是在2.1節(jié)中方法進(jìn)行背景分割之后再進(jìn)行特征點(diǎn)檢測，并且是本文最關(guān)心的行人的特征點(diǎn)，在該圖中雖然圖中的人只是微小的運(yùn)動(dòng)，前景塊也很小，但是特征點(diǎn)數(shù)量仍然能夠達(dá)到15個(gè)，這就為后續(xù)方法在大大減少計(jì)算量的同時(shí)仍能保證后續(xù)計(jì)數(shù)的穩(wěn)定性和準(zhǔn)確性。

圖8 局部極值點(diǎn)檢測和方向分配結(jié)果(351個(gè)特征點(diǎn))

圖9 基于二值圖像的SIFT特征點(diǎn)檢測結(jié)果(15個(gè)特征點(diǎn))

圖9所示為對(duì)某場景攝像頭數(shù)據(jù)分別通過2.1節(jié)方法進(jìn)行運(yùn)動(dòng)前景提取并采用SIFT算法進(jìn)行特征點(diǎn)檢測的效果，圖9中的圓點(diǎn)為所標(biāo)記的SIFT特征點(diǎn)，白色區(qū)域?yàn)檫\(yùn)動(dòng)前景點(diǎn)。

算法2 特征檢測。

輸入:foregroundimage,sigma,width,height,Idx,Idy。 輸出:features。 函數(shù)ScaleInvarFeatureTransform()IFIdx>0 &&Idx0 &&Idy

//圖像預(yù)處理：先將原圖灰度化，再擴(kuò)大一倍后，用高斯模糊平滑octaves=lb((double)min(width*2,height*2))-2;

//計(jì)算組數(shù)，其中2是0～lb(min(width*2,height*2))的經(jīng)驗(yàn)值GaussianPyramid(init_gray,gauss_pyr,octaves,intervals=3,sigma);

//高斯金字塔建立DogPyramid(gauss_pyr,dog_pyr,octaves,intervals);

//差分金字塔建立

DetectionLocalExtrema(dog_pyr,extrema,octaves,intervals);

//局部極值檢測

OrientationAssignment(extrema,features,gauss_pyr);

//方向分配

DescriptorRepresentation(features,gauss_pyr,BINS=8,WindowWidth=4);

//特征描述子ENDIF

RETURN;

END函數(shù)

2.3 人群個(gè)數(shù)統(tǒng)計(jì)

通過前面的討論可以知道當(dāng)前視頻中區(qū)域特征點(diǎn)數(shù)量Nc會(huì)保持在一定范圍內(nèi)浮動(dòng)，受Albiol等[4]的啟發(fā)，本文通過統(tǒng)計(jì)學(xué)分析，對(duì)Nc以及當(dāng)前場景中每個(gè)人平均所包含的特征點(diǎn)數(shù)量N1進(jìn)行分析，然而Albiol等[4]的方法在本場景中存在以下問題：Albiol等[4]簡單地計(jì)算僅僅一幀視頻中N1的值，那么這樣會(huì)使N1的值有很大的偶然性，同一個(gè)場景同一個(gè)視角中可能得出的N1的值相差非常大。然而事實(shí)上本文方法中對(duì)具體某場景的假設(shè)是行人在攝像頭范圍內(nèi)各個(gè)位置的平均特征點(diǎn)數(shù)量基本相等，這和假設(shè)是相悖的，在實(shí)際應(yīng)用中N1對(duì)這重要的一幀選擇的依賴性相當(dāng)大，如果選擇不合適那么很可能直接導(dǎo)致檢測結(jié)果誤差非常大。

因此本文通過一定的先驗(yàn)校正和訓(xùn)練的方法獲取人群數(shù)量。由于N1關(guān)系到最終的計(jì)數(shù)精確度，因此N1的選取至關(guān)重要。為了研究場景中每個(gè)人平均所包含的特征點(diǎn)數(shù)目N1，本文提出改善方法：通過輸出該場景幾十幀特殊的圖像的特征點(diǎn)數(shù)量Nc和該場景中的人群數(shù)量Np來進(jìn)行一定的訓(xùn)練，從而得出N1的最終值。首先選擇場景中無遮擋密度小即只有一個(gè)人的視頻幀輸出其特征點(diǎn)數(shù)目Nc和Np，接著選擇場景中有有遮擋即密度較大視頻幀，最后選擇場景中有遮擋嚴(yán)重的高密度人群的視頻幀，那么由Nc/Np=N1計(jì)算出每幀情況下的N1，如圖10(a)～(c)所示。可知N1的平均值，即對(duì)于該場景來說每人所包含的特征點(diǎn)個(gè)數(shù)平均為N1個(gè)。需要注意的是Np由手動(dòng)測量所得，目的就是為了校正N1，但是本文的訓(xùn)練數(shù)據(jù)集不多，只是人為地選擇一些特殊的幀，以便于校正N1，人群計(jì)數(shù)的具體執(zhí)行步驟如算法3所示，最終人群數(shù)量Np的統(tǒng)計(jì)方法即可按照式(8)得到：

Np=Nc/N1

(8)

算法3 人群數(shù)量統(tǒng)計(jì)。

輸入:features,width,height,Idx,Idy。 輸出: 人群數(shù)量Np。 函數(shù)peopleCounting()IFIdx>0 &&Idx0 &&Idy

Np=(Nc<10)?0:(Nc>10 &&Nc

ENDIF

RETURN;

END函數(shù)

3 實(shí)驗(yàn)結(jié)果與分析

本文所做實(shí)驗(yàn)均是基于Nvidia獨(dú)立顯卡的測試環(huán)境，本文采用2核IntelCore2E8400CPU，內(nèi)存4GB，主頻3.0GHz，顯卡采用NvidiaGTX670獨(dú)立顯卡，系統(tǒng)類型為Windows7 64位操作系統(tǒng)。編程平臺(tái)為VisualStudio2010，OpenCV2.4.8，開發(fā)環(huán)境為C/C++/CUDA。下面將分別從執(zhí)行時(shí)間、GPU資源使用和視頻處理運(yùn)行效果等幾個(gè)方面進(jìn)行實(shí)驗(yàn)展示和分析。

圖10 不同人群密度情況下特征點(diǎn)數(shù)量統(tǒng)計(jì)結(jié)果

3.1 算法執(zhí)行時(shí)間分析

針對(duì)2.1節(jié)中提到的GMM的CUDA執(zhí)行架構(gòu)模型的改進(jìn)和本文中算法流多處理器的使用方法分析，下面將給出實(shí)驗(yàn)對(duì)比分析：分別給出本文算法在單流、多流情況下的對(duì)比如圖11所示,GMM算法在使用改進(jìn)模型前后的對(duì)比如圖12所示，本文算法在CPU和改進(jìn)后GPU端的執(zhí)行時(shí)間如圖13所示。

圖11中顯示使用多流比單流執(zhí)行速度要快，并且隨著圖像分辨率的增加也即計(jì)算任務(wù)的增多，多流的優(yōu)勢也越來越明顯。當(dāng)前實(shí)驗(yàn)數(shù)據(jù)中，基于多個(gè)CUDA流比單個(gè)CUDA流執(zhí)行速度平均快31.5%，最快可達(dá)35.8%。但是需要注意的是分辨率為320×240的圖像使用多流執(zhí)行時(shí)間卻比單流執(zhí)行速度慢，而隨著分辨率的增加多流逐漸比單流速度快很多。

這是由于多流的使用需要?jiǎng)?chuàng)建流、啟動(dòng)流和多個(gè)流之間同步等待等操作，本身也需要耗費(fèi)一定的時(shí)間，因此對(duì)于計(jì)算量較小的任務(wù)來說可能使用多流比使用單流反而慢，如果開啟更多的流那么開啟流和多個(gè)流同步時(shí)間可能更長，這說明并不是開啟越多的流執(zhí)行速度就會(huì)越快，而是要根據(jù)任務(wù)的計(jì)算量來判斷，當(dāng)然計(jì)算量較大的算法可以開啟較多的流，計(jì)算量較小的可以只開啟兩個(gè)流或者使用單流。

圖11 本文算法多流和單流執(zhí)行時(shí)間對(duì)比

圖12 基于改進(jìn)模型和未改進(jìn)GMM算法執(zhí)行時(shí)間對(duì)比

圖13 本文算法在CPU和GPU上執(zhí)行時(shí)間

從圖12中可以看出，GMM算法的GPU加速過程中使用本文提出的架構(gòu)執(zhí)行速度明顯提高，平均提速51.3%，最快可提高62%。從圖13可以看出本文算法在GPU上執(zhí)行時(shí)間比CPU上執(zhí)行速度提高52.2%～78.6%，平均提速71.8%。

3.2 GPU資源使用分析

本文實(shí)驗(yàn)所用的獨(dú)立顯卡NVIDIAGeForceGTX670，多流處理器數(shù)量為20個(gè)，位寬256bit，帶寬224.4GB/s，顯存類型GDDR5(Hynix)，GPU默認(rèn)時(shí)鐘頻率1.27GHz，顯存默認(rèn)時(shí)鐘頻率1.71GHz。

表1中是在正常顯示和開始運(yùn)行本文程序時(shí)顯卡各項(xiàng)參數(shù)的變化。

通過表1中的運(yùn)行時(shí)參數(shù)變化，可以看到：GPU核心的頻率在運(yùn)行時(shí)由135MHz變?yōu)?12MHz；GPUload表示GPU的占用量，正常顯示時(shí)是1%甚至更低，運(yùn)行時(shí)是19%，還是有提高的空間；MemoryUsed顯存使用量由310MB變?yōu)?16MB，大概要增加200MB左右的動(dòng)態(tài)顯存，這是因?yàn)轱@存在內(nèi)存上動(dòng)態(tài)分配，運(yùn)行時(shí)需要較多的顯存空間，所以系統(tǒng)需要?jiǎng)討B(tài)為顯卡分配顯存。

3.3 基于二值圖像的特征提取和人群計(jì)數(shù)效果

本文分別在兩個(gè)場景進(jìn)行了實(shí)驗(yàn)測試。

圖14為上海理工大學(xué)計(jì)算中心612實(shí)驗(yàn)室的檢測結(jié)果，其中：(a)展示了行人在距離攝像頭最近和最遠(yuǎn)情況下，平均每個(gè)人特征個(gè)數(shù)基本保持不變；(b)為視頻中行人被分裂為多塊，完全無法進(jìn)行單獨(dú)個(gè)體的分割情況下并不影響本文算法的統(tǒng)計(jì)；(c)展示了人群遮擋較為嚴(yán)重并且光照變化比較強(qiáng)烈，得出的前景并不理想的情況下，本文算法的檢測結(jié)果。

圖15中是2016年4月8—10日，在第十三屆上海教育博覽會(huì)上作者展示本文算法中的人群計(jì)數(shù)結(jié)果圖，視頻中游覽展會(huì)的行人時(shí)而駐足觀看(幾乎靜止，二值圖像特征很少的情況)，時(shí)而緩慢步行，時(shí)而蜂擁而入，時(shí)而奔跑以及展會(huì)中的各種光線變化等條件，但是本文算法都表現(xiàn)出很好的穩(wěn)定性和準(zhǔn)確度，圖15中分別展示了這些條件下的展示結(jié)果。

注：由于圖15是上海教育博覽會(huì)展會(huì)現(xiàn)場的視頻截圖，圖中左下角的數(shù)字和行人區(qū)域的箭頭是與本文無關(guān)的數(shù)字，請(qǐng)讀者忽略，窗口中左上角的數(shù)字字所在窗口只是為了向讀者展示視頻中的人數(shù)。

圖14和圖15中可以看出即使每個(gè)行人的前景檢測被分為多塊甚至十幾塊，但是算法依然能很準(zhǔn)確地統(tǒng)計(jì)出行人的數(shù)量，并且圖14～15展示不同程度的遮擋情況，意味著不同程度的人群密度，然而不論是場景中人群密度很低甚至只有一個(gè)人還是場景中人群密度很高遮擋很嚴(yán)重，本文方法依然能保持很好的穩(wěn)定性和準(zhǔn)確性。

實(shí)驗(yàn)說明本文算法在多種實(shí)際場景都有很強(qiáng)的適用性和穩(wěn)定性。

表1 顯卡各項(xiàng)資源使用對(duì)比

圖14 上海理工大學(xué)計(jì)算中心612實(shí)驗(yàn)室的檢測結(jié)果

圖15 2016第十三屆上海教育博覽會(huì)人群計(jì)數(shù)結(jié)果

4 結(jié)語

本文針對(duì)GMM算法并行化方案中每幀圖像的K個(gè)模型在GPU內(nèi)存上的頻繁讀寫問題、本文算法的GPU多流加速問題以及人群計(jì)數(shù)中的特征點(diǎn)和N1映射問題提出了相應(yīng)的改善方案，實(shí)驗(yàn)結(jié)果表明本文方案有一定改良。很多研究學(xué)者認(rèn)為將前景檢測直接運(yùn)用于人群統(tǒng)計(jì)很困難，因?yàn)榍熬皺z測尤其是基于攝像頭的前景檢測由于受到視覺變換、攝像頭校正等問題干擾使得人群分割很困難，因此本文從另外一個(gè)角度考慮，把所有前景區(qū)域看成一個(gè)整體，去檢測其特征點(diǎn)，并根據(jù)特征點(diǎn)個(gè)數(shù)和人群個(gè)數(shù)的關(guān)系進(jìn)行人群統(tǒng)計(jì)。實(shí)驗(yàn)證明這種方法效果較好，具有一定實(shí)用價(jià)值，并且本文經(jīng)過GPU加速后由實(shí)驗(yàn)分析中的圖11可知完全可以做到攝像頭實(shí)時(shí)檢測。然而需要注意的是，這種方法也有一定的局限性，比如如果場景中存在一直靜止的人，那么這些人將不會(huì)被統(tǒng)計(jì)到，這也是未來需要持續(xù)關(guān)注和亟待解決的問題。

References)

[1] ZENG C B, MA H D.Robust head-shoulder detection by PCA-based multilevel HOG-LBP detector for people counting [C]// ICPR 2010: Proceedings of the 2010 20th International Conference on Pattern Recognition.Piscataway, NJ: IEEE, 2010: 2069-2072.

[2] DALAL N, TRIGGS B.Histograms of oriented gradients for human detection [C]// CVPR’ 05: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington, DC: IEEE Computer Society, 2005: 886-893.

[3] LI M, ZHANG Z X, HUANG K Q, et al.Estimating the number of people in crowded scenes by MID based foreground segmentation and head-shoulder detection [C]// ICPR 2008: Proceedings of the 19th International Conference on Pattern Recognition.Piscataway, NJ: IEEE, 2008: 1-4.

[4] ALBIOL A, SILLA M J, ALBIOL A, et al.Video analysis using corner motion statistics [C]// PETS 2009: Proceedings of the 2009 IEEE International Workshop on Performance Evaluation of Tracking and Surveillance.Washington, DC: IEEE Computer Society, 2009: 31-38.

[5] CHAN A B, VASCONCELOS N.Counting people with low-level features and Bayesian regression [J].IEEE Transactions on Image Processing, 2012, 21(4): 2160-2177.

[6] KONG D, GRAY D, TAO H.A viewpoint invariant approach for crowd counting [C]// ICPR 2006: Proceedings of the 18th International Conference on Pattern Recognition.Piscataway, NJ: IEEE, 2006: 1187-1190.

[7] CHI Y J, SUGIL C, SEUNG W H.A method for counting moving and stationary people by interest point classification [C]// ICIP 2013: Proceedings of the 2013 IEEE International Conference on Image Processing.Piscataway, NJ: IEEE, 2013: 4545-4548.

[8] CONTE D, FOGGIA P, PERCANNELLA G, et al.Counting moving people in videos by salient points detection [C]// EUSIPCO 2012: Proceedings of the 20th International Conference on Pattern Recognition.Washington, DC: IEEE Computer Society, 2010: 1743-1746.

[9] FRADI H, DUGELAY J L.People counting system in crowded scenes based on feature regression [C]// ICPR 2010: Proceedings of the 20th European Signal Processing Conference.Bucharest, Romania: [s.n.], 2012: 136-140.

[10] CONTE D, FOGGIA P, PERCANNELLA G, et al.A method for counting people in crowded scenes [C]// AVSS 2010: Proceedings of the 2010 IEEE International Conference on Advanced Video and Signal Based Surveillance.Piscataway, NJ: IEEE, 2010: 225-232.

[11] HOU Y L, PANG G K H.People counting and human detection in a challenging situation [J].IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 2011, 41(1): 24-33.

[12] HOU Y L, PANG G K H.Automated people counting at a mass site [C]// Proceedings of the 2008 IEEE International Conference on Automation and Logistics.Piscataway, NJ: IEEE, 2008: 464-469.

[13] LI H, ACHIM A, BULL D R.GMM-based efficient foreground detection with adaptive region update [C]// ICIP 2009: Proceedings of the 16th IEEE International Conference on Image Processing.Piscataway, NJ: IEEE, 2009: 3145-3148.

[14] 姬麗娜,陳慶奎,趙永濤,等.一種基于GLCM的運(yùn)動(dòng)目標(biāo)檢測新方法[J].太原理工大學(xué)學(xué)報(bào),2015,46(6):719-726.(JI L N, CHEN Q K, ZHAO Y T, et al.A novel method of moving object detection based on GLCM [J].Journal of Taiyuan University of Technology, 2015, 46(6): 719-726.)

[15] SANDERS J, KANDROT E.GPU高性能編程CUDA實(shí)戰(zhàn)[M].聶雪軍,譯.北京:機(jī)械工業(yè)出版社,2011:139-151.(SANDERS J, KANDROT E.CUDA by Example: An Introduction to General-Purpose GPU Programming [M].NIE X J, translated.Beijing: China Machine Press, 2011: 139-151.)

[16] HARRIS C, STEPHENS M.A combined corner and edge detector [C]// Proceedings of the 4th Alvey Vision Conference.Manchester: Alvey Vision Club, 1988: 147-151.

[17] 梁榮華,劉向東，馬祥音,等.基于SURF的高密度人群計(jì)數(shù)方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012，24(12):1568-1575.(LIANG R H, LIU X D, MA X Y, et al.High-density crowd counting method based on SURF feature [J].Journal of Computer-Aided Design & Computer Graphics, 2012, 24(12): 1568-1575.)

This work is partially supported by the National Natural Science Foundation of China (61572325, 60970012), the Ministry of Education Doctoral Funds for Ph.D Supervisor of China (20113120110008), Shanghai Key Science and Technology Project (14511107902), Shanghai Engineering Research Center Project (GCZX14014), Shanghai Leading Academic Discipline Project (XTKX2012), Shanghai Special Fund for Research Base (C14001).

JI Lina, born in 1990, M.S.candidate.Her research interests include computer graphics and image processing, parallel computing, pattern recognition.

CHEN Qingkui, born in 1966, Ph.D., professor.His research interests include network computing, parallel computing, Internet of things.

CHEN Yuanjing, born in 1991, M.S.candidate.His research interests include single photon detector.

ZHAO Deyu, born in 1978, Ph.D.candidate.His research interests include high performance computing, GPU architecture, scheduling strategy in CPU-GPU heterogeneous system.

FANG Yuling, born in 1990, Ph.D.candidate.Her research interests include high performance computing, GPU architecture, scheduling strategy in CPU-GPU heterogeneous system.

ZHAO Yongtao, born in 1991, M.S.candidate.His research interests include pattern recognition, parallel computing.

Real-time crowd counting method from video stream based on GPU

JI Lina1*, CHEN Qingkui1,2, CHEN Yuanjing1, ZHAO Deyu2, FANG Yuling2, ZHAO Yongtao1

(1.CollegeofOptical-ElectricalandComputerEngineering,UniversityofShanghaiScienceandTechnology,Shanghai200093,China;2.CollegeofBusiness,UniversityofShanghaiScienceandTechnology,Shanghai200093,China)

Focusing on low counting accuracy caused by serious occlusions and abrupt illumination variations, a new real-time statistical method based on Gaussian Mixture Model (GMM) and Scale-Invariant Feature Transform (SIFT) features for video crowd counting was proposed.Firstly, the moving crowd were detected by using GMM-based motion segment method, and then the Gray Level Co Occurrence Matrix (GLCM) and morphological operations were applied to remove small moving objects of background and the dense noise in non-crowd foreground.Considering the high time-complexity of GMM algorithm, a novel parallel model with higher efficiency was proposed.Secondly, the SIFT feature points were acted as the basis of crowd statistics, and the execution time was reduced by using feature exaction based on binary image.Finally, a novel statistical analysis method based on crowd features and crowd number was proposed.The data sets with different level of crowd number were chosen to train and get the average feature number of a single person, and the pedestrians with different densities were counted in the experiment.The algorithm was accelerated by using multi-stream processors on Graphics Processing Unit (GPU) and the analysis about efficiently scheduling the tasks on Compute Unified Device Architecture (CUDA) streams in practical applications was conducted.The experimental results indicate that the speed is increased by 31.5% compared with single stream, by 71.8% compared with CPU.

video surveillance; Graphics Processing Unit (GPU) parallel computing; crowd counting; Scale-Invariant Feature Transform (SIFT); Gaussian Mixture Model (GMM); Compute Unified Device Architecture (CUDA)

2016-07-30;

2016-08-08。 基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(61572325, 60970012)；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研博導(dǎo)基金資助項(xiàng)目(20113120110008)；上海重點(diǎn)科技攻關(guān)項(xiàng)目(14511107902)；上海市工程中心建設(shè)項(xiàng)目(GCZX14014)；上海市一流學(xué)科建設(shè)項(xiàng)目(XTKX2012)；滬江基金研究基地專項(xiàng)(C14001)。

姬麗娜(1990—)，女，河南信陽人，碩士研究生，主要研究方向：計(jì)算機(jī)圖形圖像處理、并行計(jì)算、模式識(shí)別； 陳慶奎(1966—)，男，上海人，教授，博士生導(dǎo)師，博士，CCF會(huì)員，主要研究方向：網(wǎng)絡(luò)計(jì)算、并行計(jì)算、物聯(lián)網(wǎng)； 陳圓金(1991—)，男，河南信陽人，碩士研究生，主要研究方向：單光子探測器； 趙德玉(1978—)，男，山東臨沂人，博士研究生，主要研究方向：高性能計(jì)算、GPU架構(gòu)、CPU-GPU異構(gòu)集群調(diào)度；方玉玲(1990—)，女，河南信陽人，博士研究生，主要研究方向：高性能計(jì)算、GPU架構(gòu)、CPU-GPU異構(gòu)集群調(diào)度； 趙永濤(1991—)，男，河北邯鄲人，碩士研究生，主要研究方向：模式識(shí)別、并行計(jì)算。

1001-9081(2017)01-0145-08

10.11772/j.issn.1001-9081.2017.01.0145

TP391.413

A