基于人物識別的智慧視頻監(jiān)控在機房中的應(yīng)用

董偉鑫

(中南空中交通管理局, 廣東 廣州 510000)

0 引言(Introduction)

隨著互聯(lián)網(wǎng)時代的不斷發(fā)展,服務(wù)器等計算機設(shè)備已經(jīng)是企業(yè)的基礎(chǔ)設(shè)施,企業(yè)對信息安全越來越重視,而對機房的管理是保證企業(yè)服務(wù)器正常運行和信息安全的關(guān)鍵。傳統(tǒng)的機房主要依靠人工監(jiān)管,對人員出入也有嚴格的審查機制,不僅浪費人力和物力,而且容易受管理人員工作狀態(tài)和主觀因素的影響導(dǎo)致安全紕漏。隨著技術(shù)的不斷革新,視頻監(jiān)控已經(jīng)廣泛地應(yīng)用到社會生活的方方面面,它的功能包括實時監(jiān)控、錄像和回放等,大大方便了企業(yè)對機房的管理[1]。這種方式在一定程度上減輕了人員的負擔(dān),但需要人員實時盯著監(jiān)控屏幕,仍受人員主觀因素的影響,不能有效地提高對機房監(jiān)管的效率和安全性。當管理人員感到疲憊或出現(xiàn)懈怠時,容易忽略監(jiān)控視頻的內(nèi)容,造成機房的不安全。因此,需要智慧視頻監(jiān)控輔助人員工作[2-4]。本文將基于人臉識別的智慧視頻技術(shù)應(yīng)用到機房的監(jiān)控中,可以實時地識別機房內(nèi)人員的身份及其異常行為,從而更好地保障機房及機房內(nèi)人員的安全。

1 機房監(jiān)控研究現(xiàn)狀(Research status of computer room monitoring)

視頻監(jiān)控目前已廣泛地應(yīng)用于安防領(lǐng)域,是一種重要的安全管理手段,視頻的清晰程度對安全監(jiān)控至關(guān)重要,但是視頻越清晰,產(chǎn)生的視頻數(shù)據(jù)越龐大,這就導(dǎo)致對數(shù)據(jù)的分析、存儲和查看等工作變得困難。一般的監(jiān)控技術(shù)只能實現(xiàn)視頻的實時查看、保存及回放等功能,隨著計算機技術(shù)和視覺領(lǐng)域的不斷發(fā)展,視頻監(jiān)控融合了更多的視覺技術(shù)。ARROYO等[5]建立了一個用于監(jiān)控商場的智能視頻系統(tǒng),該系統(tǒng)采用多個攝像頭同時檢測目標人員,生成目標人員行動軌跡,并對行為進行分析識別,從而協(xié)助安防人員的工作。LEE等[6]建立一個用于自動取款機(ATM)網(wǎng)點的安全監(jiān)控系統(tǒng),采用基于卷積神經(jīng)網(wǎng)絡(luò)的行為分析技術(shù)檢測人員的行為,對可疑行為發(fā)出告警。DI等[7]設(shè)計一種用于交通管理的視頻監(jiān)控分析技術(shù),采用大數(shù)據(jù)的方法檢測交通堵塞狀況,在檢測出現(xiàn)異常時發(fā)出警報。視頻內(nèi)容分析是智慧視頻監(jiān)控的核心功能,而分析算法的復(fù)雜性決定了技術(shù)的有效性,但算法的復(fù)雜性越高,對硬件環(huán)境要求越高,并且實時性也越低,這是目前多數(shù)智慧視頻系統(tǒng)存在的問題。LIN等[8]設(shè)計一個基于Hadoop的視頻監(jiān)控系統(tǒng),優(yōu)化了數(shù)據(jù)的存儲,使用結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)存儲。

傳統(tǒng)機房的視頻監(jiān)控還處于僅對環(huán)境狀態(tài)進行監(jiān)控的階段,無法對人員及其行為進行檢測識別,需要管理人員實時觀看監(jiān)控,耗費人力和物力資源,而且機房的安全性容易受到管理人員身體狀況的影響,無法有效地保證機房和機房內(nèi)人員的安全。

2 智慧視頻監(jiān)控系統(tǒng)(Intelligent video monitoring system)

本文將基于人物識別的智慧視頻技術(shù)融入監(jiān)控系統(tǒng),該系統(tǒng)對實時監(jiān)控視頻進行處理分析,可以查看機房狀態(tài)與歷史監(jiān)控畫面;實時識別人員信息并記錄人員活動;提取人員人臉信息并與數(shù)據(jù)庫中的信息對比,若存在未授權(quán)人員,則發(fā)出警報;實時監(jiān)控人員行為并自動識別異常行為,及時發(fā)出告警。經(jīng)過實驗證明,該系統(tǒng)可以較好地識別人員信息及其行為,從而更好地保障機房和機房內(nèi)人員的安全,并且提高了機房的管理效率。系統(tǒng)總體設(shè)計框圖如圖1所示。

圖1 系統(tǒng)總體設(shè)計框圖Fig.1 The block diagram of system overall design

2.1 監(jiān)控視頻部署

為了最大限度地保證視頻數(shù)據(jù)的有效性和易處理性,需要對機房內(nèi)監(jiān)控設(shè)備的布點進行選擇。在傳統(tǒng)的視頻監(jiān)控布點中,往往根據(jù)人為經(jīng)驗或者估算測量確定,這種方式容易造成監(jiān)控區(qū)域重復(fù)、盲區(qū)和死角等問題,不能有效地利用監(jiān)控資源。本文參考文獻[9]提出的方法,通過建立數(shù)據(jù)模型的方式,結(jié)合監(jiān)控重要度,并采用遺傳算法進行優(yōu)化,從而得到最優(yōu)的布點參數(shù)。進行監(jiān)控布點時,要根據(jù)機房環(huán)境、監(jiān)控設(shè)備的清晰度、最遠監(jiān)控距離(xt,yt)、最遠監(jiān)控的高度h及最遠的水平距離D等參數(shù)確定監(jiān)控設(shè)備的方向、所在位置(x,y)、高度H、水平角度θ和鏡頭焦距f[10]。圖2為監(jiān)控設(shè)備參數(shù)示意圖,采用對點式部署方案可以滿足大多數(shù)機房監(jiān)控的需求,圖2中的陰影部分為可視范圍。

圖2 監(jiān)控設(shè)備參數(shù)示意圖Fig.2 The diagram of monitoring device parameters

上述參數(shù)因場景而異,一般企業(yè)機房的高度為2.7 m,這里以高度2.7 m為例,運用仿真軟件進行計算,當β=37.3°、θ=22.7°時,攝像頭的覆蓋范圍最大,監(jiān)控距離最遠,可以最大限度地利用監(jiān)控資源。

2.2 監(jiān)控視頻采集

視頻采集主要依靠高分辨率的監(jiān)控設(shè)備,而目前的監(jiān)控設(shè)備可根據(jù)應(yīng)用場景、尺寸、清晰度和功能等要求分為多種類型。針對機房等封閉室內(nèi)環(huán)境,具有固定的場景、固定的監(jiān)控角度及范圍、穩(wěn)定的供電和網(wǎng)絡(luò),一般選擇高清半球式或筒式攝像頭,并且考慮選擇具備紅外功能的監(jiān)控設(shè)備,在檢測環(huán)境亮度較低時可以自動啟動紅外夜視功能。

根據(jù)機房面積、監(jiān)控范圍及設(shè)備成本,選擇具有一定清晰度的設(shè)備,若需要拍攝人臉細節(jié)的設(shè)備,則其分辨率不能低于2 MP(Megapixels,百萬像素)[11]。

3 視頻處理模塊(Video processing module)

3.1 機房人員身份核驗

為了有效地提高對機房出入人員的管理效率,方便記錄工作情況和核驗進入機房人員的權(quán)限,提升人員身份識別的效率和準確性,采用人臉信息比對的方式識別人物,預(yù)先將工作人員的信息存儲到監(jiān)控平臺,包括人臉信息、用戶ID、名稱、聯(lián)系方式、權(quán)限、級別和考勤等。

如圖3所示,視頻處理模塊對采集到的視頻數(shù)據(jù)進行分析,為保證處理效率和實時性,每間隔0.5～1 s提取視頻幀,采用SRIVASTVA等[12]提出的方法進行人物識別。當視頻幀中未檢測到人物,則跳過此幀,進行下一次的識別。當視頻幀中存在人物時,采用基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉識別算法自動識別并提取人臉信息,并與數(shù)據(jù)庫中的人員信息進行比對,設(shè)置相似度閾值,超過閾值時表示識別成功,反之表示失敗[13]。若某一視頻幀的人臉識別成功,則提取該員工的信息,根據(jù)檢測出人體的寬、高,找到外接方框,并將用戶ID標記在人物的外接方框上,同一視角內(nèi)不再對該員工進行信息對比。若由于遮擋無法提取人臉信息,則持續(xù)進行捕捉;若對比失敗超過2次,則將人物標記為未授權(quán),并將人物人臉信息儲存到臨時庫中,同時發(fā)出聲光告警,提示有未授權(quán)人員,并記錄告警日志。圖4為授權(quán)人員識別圖。

圖3 人員身份核驗流程圖Fig.3 The flow chart of personnel identity verification

圖4 授權(quán)人員識別Fig.4 Identification of authorized personnel

3.2 機房人員行為識別

由于人體行為復(fù)雜多變,難以識別是否對機柜或設(shè)備造成傷害的行為,所以本文主要考慮人員在機房中的安全狀態(tài),一般進入機房的人員較少,而且部分時間為夜晚,若發(fā)生觸電事故或其他原因?qū)е碌娜藛T倒地昏迷現(xiàn)象,難以有他人察覺,將造成難以接受的后果。

為了更有效地管理機房,提高機房的安全性和機房內(nèi)人員的安全性,系統(tǒng)對進入機房的人員進行異常行為識別,通過提取監(jiān)控視頻的人員信息,識別其身份的同時,分析和記錄其行為,若發(fā)現(xiàn)人員有異常行為,監(jiān)控系統(tǒng)自動發(fā)出聲光告警,并記錄告警信息。由于多個攝像頭之間都是獨立的,為了保證完整地提取人員行為等信息,需要對每個攝像頭采集的視頻進行識別分析。

人物異常行為識別的具體流程如圖5所示,采用文獻[12]的方法對監(jiān)控視頻進行人物檢測,當視頻中存在人物時,采用BULAT等[14]提出的方法提取人體的骨架特征點,如圖6所示,分析人物行為,該方法可以識別包括站立、行走、趴著、蹲著、躺著等人物行為。由于視頻的清晰程度較高,為了更好地保證識別結(jié)果的實時性,采用移動端視覺神經(jīng)網(wǎng)絡(luò)(MobileNet)模型進行特征點提取,有效地降低了處理過程的復(fù)雜度[15]。若檢測人物有異常行為,主要指人員倒地昏迷等,監(jiān)控系統(tǒng)會立刻發(fā)出聲光告警,并記錄異常信息。通過對人物行為的識別,可以及時發(fā)現(xiàn)機房內(nèi)人員的異常行為,最大限度地保證人員安全。當視頻未檢測到人物或無異常行為時,則進行下一次檢測。

圖5 異常行為檢測流程圖Fig.5 The flow chart of abnormal behavior detection

圖6 人體骨架特征點圖Fig.6 The picture of human skeleton feature points

3.3 數(shù)據(jù)同步

一方面,由于不同數(shù)據(jù)的處理速度和輸出速度不同,每個攝像頭采集的視頻數(shù)據(jù)不同,導(dǎo)致對不同攝像頭視頻數(shù)據(jù)分析處理的時間不同;另一方面,由于算法的性能受多種因素影響,難以保證識別不同視角下同一人物行為的結(jié)果一致性,容易出現(xiàn)同一個人物在不同監(jiān)控視頻內(nèi)檢測結(jié)果不同的現(xiàn)象,對機房管理人員的工作造成消極的影響。

為了保證不同監(jiān)控視頻檢測結(jié)果的一致性,并且提高處理結(jié)果的實時性,降低數(shù)據(jù)的計算量。當不同監(jiān)控視頻中存在相同人物時,對同一人物的分析結(jié)果進行同步,以計算時間為基準,以最快速度將得到的結(jié)果傳遞到其他視頻處理中,并停止對同一人物的身份信息進行重復(fù)識別。由于對視頻進行處理分析時需要大量的計算資源,受計算機硬件運行狀態(tài)的影響較大,因此為了保證信息處理的實時性和有效性,在對人物進行識別分析的過程中,系統(tǒng)會自動記錄處理每一幀圖像的時間,若處理的時間超過一定閾值時,系統(tǒng)會發(fā)出告警,此時需要檢查處理時間變長的原因,由此反映系統(tǒng)的運行狀態(tài)是否正常。

4 實驗與分析(Experiment and analysis)

將智慧視頻技術(shù)運行在實驗平臺上進行測試,服務(wù)器的參數(shù)為Centos7.5操作系統(tǒng)、i7-7700 CPU、GTX1660 TI顯卡、128 GB內(nèi)存和16 TB硬盤。為了保證系統(tǒng)的處理速度,本文將提取視頻幀的間隔時間設(shè)置為0.5 s,對某機房24 h內(nèi)的數(shù)據(jù)進行處理分析。該機房有12個720 P的攝像頭,每個攝像頭每天能產(chǎn)生約31.7 GB的視頻數(shù)據(jù),每天共產(chǎn)生約380.4 GB的視頻數(shù)據(jù),視頻中包含人物的有118 435幀圖像,其中45 871幀中人物為躺著狀態(tài)。通過該系統(tǒng)對視頻進行處理,在104 056幀圖像中成功識別到人物,其余14 379幀圖像為誤識別和未識別,人物識別的準確率約為87.86%。在42 481幀圖像中成功識別人物為躺著狀態(tài),其余3 390幀圖像為誤識別,異常行為的識別準確率約為92.61%。每幀圖像的處理時間平均約為0.3 s,可以保證較好的實時性,整個處理過程總共產(chǎn)生約153 965.8 MB的處理數(shù)據(jù)。

從人物及異常行為的識別結(jié)果可以看出,該系統(tǒng)具有較好的性能,可以快速準確地識別機房中人員身份及其異常行為,并極大地提高了信息檢索的效率,可以有效地協(xié)助人員管理機房,更好地保證機房和機房內(nèi)人員的安全。

在視頻數(shù)據(jù)分析過程中,當有人員走入或走出攝像頭的視角時,該系統(tǒng)會對人物及身份進行識別分析,此時的處理速度較慢,處理時間約為1 s,導(dǎo)致結(jié)果無法實時地顯示在監(jiān)控畫面上;當人物在同一攝像頭的視角內(nèi)移動時,不會對人物身份進行重復(fù)識別,此時的處理速度較快,處理結(jié)果也能保持較好的實時性。

5 結(jié)論(Conclusion)

隨著信息時代的不斷進步,數(shù)據(jù)存儲和數(shù)據(jù)安全越來越重要,企業(yè)也越來越重視對機房的管理。傳統(tǒng)機房的安全易受到管理人員身體狀況及主觀因素的影響,本文將基于人物識別的智慧視頻技術(shù)應(yīng)用到機房的監(jiān)控系統(tǒng)中,能夠提取監(jiān)控視頻中的人物信息,實時地識別人員身份及其行為是否存在異常。經(jīng)過實驗證明,對機房內(nèi)人員的識別準確率約為87.86%,異常行為的識別準確率約為92.61%,可以有效地協(xié)助機房管理人員管理機房,并提高了機房和進入機房人員的安全性,降低了由人員懈怠和疲憊導(dǎo)致機房不安全的風(fēng)險。但是,受到軟、硬件等因素的影響,該系統(tǒng)難以同時保證識別結(jié)果的實時性及準確性,相信隨著對人物及其行為的識別技術(shù)的不斷革新,智慧監(jiān)控技術(shù)也會更加成熟,本文也為智慧監(jiān)控的發(fā)展提供了有益參考。