基于智能視頻分析的區(qū)域氣象站異常事件的檢測(cè)

李 偉，陳泰星，李 哲

(海南省氣象探測(cè)中心，海南省南海氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室，海南 ?？?570203)

經(jīng)過多年的快速經(jīng)濟(jì)發(fā)展，科技進(jìn)步日新月異，氣象站也在不斷地發(fā)展和變化，2020年4月1日，我國(guó)地面氣象觀測(cè)全面實(shí)現(xiàn)了自動(dòng)化，這標(biāo)志著自動(dòng)觀測(cè)全面取代了人工觀測(cè).目前，我國(guó)區(qū)域自動(dòng)氣象站超過了40 000個(gè)，海南區(qū)域部分自動(dòng)氣象站的外貌如圖1所示，這些自動(dòng)氣象站為氣象部門“精密監(jiān)測(cè)、精準(zhǔn)預(yù)報(bào)、精細(xì)服務(wù)”的戰(zhàn)略任務(wù)提供了保障[1-2].然而，隨著城市的快速發(fā)展，氣象設(shè)施和氣象探測(cè)環(huán)境屢遭破壞的情況日益突出，某些區(qū)域的氣象站因遭受到人為破壞而被迫搬遷，這嚴(yán)重影響了氣象預(yù)報(bào)的準(zhǔn)確性，直接制約了 防災(zāi)減災(zāi)的能力和為經(jīng)濟(jì)社會(huì)服務(wù)的能力.

圖1 海南部分區(qū)域的自動(dòng)氣象站

為保護(hù)氣象站不受破壞，按照相關(guān)規(guī)范，各地氣象局在管轄區(qū)域內(nèi)的氣象站設(shè)置了堅(jiān)固的防護(hù)圍欄[3]，同時(shí)設(shè)立了用于防護(hù)的告示牌，盡管如此，在全國(guó)各地仍有民眾隨意攀爬圍欄并進(jìn)入?yún)^(qū)域氣象站的現(xiàn)象，甚至出現(xiàn)了雨量筒被當(dāng)成垃圾桶、溫度傳感器被觸摸、氣象設(shè)備被盜竊等人為破壞的現(xiàn)象.

目前，我國(guó)各地的區(qū)域自動(dòng)氣象站有一部分裝有視頻監(jiān)控設(shè)備，這些區(qū)域的自動(dòng)氣象站有的位于人流密集的鬧市、有的位于人跡罕至的偏遠(yuǎn)山區(qū)，它們對(duì)該地區(qū)的氣象觀測(cè)有不可替代的作用.氣象站的視頻監(jiān)控需要24小時(shí)人工值守，這大大消耗了人力和財(cái)力；除此之外，當(dāng)破壞氣象設(shè)備的犯罪事件反生后，仍需要執(zhí)法部門投入大量的人力來觀看和回放視頻，以便對(duì)各類異常行為進(jìn)行取證，這樣就無法充分發(fā)揮視頻監(jiān)控的功能[4-6].將智能視頻分析技術(shù)運(yùn)用到氣象站的監(jiān)控系統(tǒng)中，能充分發(fā)揮視頻監(jiān)控的作用，這不僅能減少人為破壞行為的發(fā)生，保障氣象設(shè)備的安全，而且還節(jié)省了大量的人力、物力和財(cái)力.

當(dāng)前，國(guó)內(nèi)外眾多學(xué)者和專家對(duì)視頻監(jiān)控進(jìn)行了研究和分析，例如：孫寶聰[7]提出了在機(jī)場(chǎng)環(huán)境下用 YOLO v3模型對(duì)人員進(jìn)行目標(biāo)識(shí)別，同時(shí)采用SK-CNN行為識(shí)別模型識(shí)別圍欄攀爬行為，該方法能較為準(zhǔn)確地檢測(cè)出異常行為，但其算法比較繁瑣，且運(yùn)行時(shí)間較長(zhǎng)；又如：胡正平等[8]提出，在室外環(huán)境下對(duì)運(yùn)動(dòng)異常目標(biāo)的圖像進(jìn)行檢測(cè)與數(shù)據(jù)解剖，同時(shí)采用圖像識(shí)別技術(shù)來識(shí)別視頻監(jiān)控系統(tǒng)中的異常行為，該方法雖然能夠有效地檢測(cè)到異常行為，但是在較為復(fù)雜的場(chǎng)景下，其檢測(cè)的準(zhǔn)確率卻不高.針對(duì)上述問題，本研究提出了一種基于HOG-LBP的聯(lián)合特征和AdaBoost-SVM分類器的檢測(cè)方法，該方法在區(qū)域氣象站場(chǎng)景具有良好的識(shí)別效果，能快速識(shí)別出圍欄攀爬這種異常行為.

1 運(yùn)動(dòng)目標(biāo)的提取

氣象站視頻監(jiān)控畫面中含有各種各樣的運(yùn)動(dòng)目標(biāo)，如飄落的雨滴、運(yùn)動(dòng)的行人、飛過的鳥兒，如果每時(shí)每刻對(duì)氣象站監(jiān)控視頻進(jìn)行檢測(cè)和分析，那么將會(huì)嚴(yán)重地占用系統(tǒng)的內(nèi)存，甚至?xí)驗(yàn)檎加孟到y(tǒng)內(nèi)存過大而導(dǎo)致系統(tǒng)崩潰.

常見的對(duì)運(yùn)動(dòng)目標(biāo)快速提取的方法有：幀差法、背景差分法、光流法等.經(jīng)過多次實(shí)驗(yàn)研究，本文提出可根據(jù)區(qū)域自動(dòng)氣象站視頻監(jiān)控的特點(diǎn)采用幀差法來檢測(cè)和提取運(yùn)動(dòng)目標(biāo)[9].為了進(jìn)一步減小系統(tǒng)的數(shù)據(jù)分析量，本文提出將圍欄的正上方作為感興趣區(qū)域并對(duì)其進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，當(dāng)感興趣區(qū)域檢測(cè)到運(yùn)動(dòng)目標(biāo)時(shí)，此運(yùn)動(dòng)目標(biāo)還需有一定的大小和比例，這才能說明運(yùn)動(dòng)目標(biāo)出現(xiàn)，此法在實(shí)際應(yīng)用中效果更佳.

幀差法的原理是：對(duì)相鄰兩幀或多幀間隔的圖像序列做差分運(yùn)算，然后再通過二值化處理、形態(tài)學(xué)處理和閾值分割處理來提取出圖像中的運(yùn)動(dòng)目標(biāo).相鄰圖像的差分運(yùn)算可以表示為：

(1)

其中，Δ表示人為定義的閾值，f(x,y,t+1)表示t+1時(shí)刻的圖像幀，f(x,y,t)表示t時(shí)刻的圖像幀.當(dāng)Diff(x,y,t+1)的值為0時(shí)表示前景，1表示背景.當(dāng)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度較為緩慢，并趨近于靜止時(shí)，相鄰幀的差別不大，此時(shí)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)效果不好.為此，本文提出可以適當(dāng)加大相隔的幀數(shù)并籍此來進(jìn)行檢測(cè)，故對(duì)公式修改如下：

(2)

2 圍欄攀爬的檢測(cè)

HOG特征和LBP特征均能有效描述運(yùn)動(dòng)行人的底層特征，所以本研究經(jīng)過多次試驗(yàn)，決定采用兩者的結(jié)合來描述行人攀爬圍欄的特征[10].

2.1 HOG特征HOG(Histogram of Oriented Gradient)為方向梯度直方圖，將圖像局部梯度的方向信息統(tǒng)計(jì)值作為特征值，從而可計(jì)算出圖像的HOG值，該特征可廣泛運(yùn)用于行人識(shí)別中[11].

根據(jù)以下五個(gè)步驟，可提取出圖像的HOG特征[12]，如圖2所示：

(1)首先對(duì)自動(dòng)氣象站的監(jiān)控視頻進(jìn)行幀處理并進(jìn)行標(biāo)準(zhǔn)化處理，如(3)式所示：

H(x,y)=H(x,y)gamma，

(3)

H(x,y)表示圖像在像素點(diǎn)〗(x,y)處的像素值，經(jīng)多次試驗(yàn)，此處的gamma值取0.5時(shí)，能解決圖像照度不均勻的問題.

(2)Gx(x,y)表示圖像中各像素點(diǎn)的水平方向梯度，〗Gy(x,y)則表示像素點(diǎn)的垂直方向梯度.模板運(yùn)算時(shí)，水平方向和垂直方向分別選取[-1,0,1]和[-1,0,1]7，各方向的梯度計(jì)算公式如(4)式所示：

(4)

根據(jù)公式(5)及(6)所示，計(jì)算每點(diǎn)的梯度幅值和方向：

(5)

(6)

(7)

(3)將每個(gè)像素劃分成Block塊和Cell塊，然后收集每個(gè)Block中的Cell的特征向量，對(duì)Cell內(nèi)的每個(gè)像素依據(jù)梯度方向和梯度大小進(jìn)行加權(quán)投影，即可得梯度方向的直方圖，如圖3所示：

(4)為減小因?qū)Ρ榷榷鸬恼`差，通過歸一化因子對(duì)圖像的局部梯度進(jìn)行標(biāo)準(zhǔn)化處理：

(8)

(9)

(10)

(11)

本文采用L2-Hys的方式進(jìn)行處理，其中，ε=0.002.

(5)級(jí)聯(lián)特征向量是根據(jù)人體攀爬姿勢(shì)的特點(diǎn)，采用64×128大小的檢測(cè)窗口，進(jìn)一步將窗口分割成塊(Block)和單元(Cell)，然后定義每個(gè)Cell為16×16的像素大小，每2×2個(gè)Cell組成一個(gè)Block，由于每個(gè)Cell包含9個(gè)特征，故每個(gè)Block就包含了36個(gè)特征，再由于步長(zhǎng)包含了8個(gè)像素，因此水平方向和垂直方向就分別有7個(gè)和15個(gè)掃描窗口，所以64×128的圖片于是總共有3 780個(gè)特征(36×7×15=3 780)，圖4表示的就是Cell與Block之間的關(guān)系.

2.2 LBP特征LBP(local binary pattern)具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)，它能有效度量行人攀爬姿勢(shì)的紋理信息[13].

(1)第一步，對(duì)圖像進(jìn)行灰度化處理，然后按照16×16的大小進(jìn)行分割.

(2)第二步，將切割后的中心像素與其周圍8個(gè)像素進(jìn)行比較，若后者大，該值為1，反之則為0，如此可得到256維向量的LBP值，經(jīng)降維處理后，每個(gè)像素點(diǎn)的LBP值為59維向量.

(3)第三步，采用歸一化因子進(jìn)行處理，以降低噪聲、光線等其他外界因素的干擾，然后計(jì)算每個(gè)Cell的直方圖.

(4)本文采用了64×128的檢測(cè)窗口，該窗口包含了32個(gè)Cell，每個(gè)Cell包含了59維的特征向量，則每個(gè)檢測(cè)窗口最終可以得到1 888維的特征向量(59×32=1 888).

圖6描述了LBP紋理特征的計(jì)算過程，圖7則描述了對(duì)圖像中的每個(gè)像素求取LBP特征值的過程.

圖7 LBP紋理特征圖

2.3 支持向量機(jī)(SVM)支持向量機(jī)SVM(Support Vector Machine)是一種二分類模型，由于很多多維數(shù)據(jù)在二維層面上不是線性可分的，因此可采用常用的線性、高斯徑向、多項(xiàng)式等核函數(shù)類型，以此來將原來不可分的低維空間轉(zhuǎn)換為線性可分的高維空間.

支持向量機(jī)的原理是在n維空間上通過構(gòu)造滿足最大化幾何邊緣區(qū)與最小化經(jīng)驗(yàn)誤差的超平面，將其簡(jiǎn)單映射到y(tǒng)=-1和y=1上實(shí)現(xiàn)分類，這種方法常被廣泛應(yīng)用于數(shù)據(jù)分類、統(tǒng)計(jì)處理等應(yīng)用中[15-18]，如圖8所示：

2.4 基于圖像分析的圍欄攀爬檢測(cè)首先將區(qū)域氣象觀測(cè)站圍欄的中上位置劃分為感興趣區(qū)域，然后通過幀差法檢測(cè)出運(yùn)動(dòng)目標(biāo)，再將AdaBoost分類器作為第一級(jí)分類器，在判別為異常事件后，通過SVM分類器進(jìn)行第二級(jí)檢測(cè)，若檢測(cè)仍為異常事件，則判定圍欄攀爬行為發(fā)生，其總體框架流程圖如圖10所示：

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境與樣本庫(kù)為驗(yàn)證本文算法的有效性，筆者在海南?？诙鄠€(gè)區(qū)域的氣象站進(jìn)行了實(shí)驗(yàn).

硬件環(huán)境：HIKVISION130W同軸攝像頭、戴爾PRECISION TOWER 3620塔式工作站.

軟件環(huán)境：Microsoft Visual Studio 2013、Open CV 3開發(fā)軟件，Windows7操作系統(tǒng).

本文中的攀爬檢測(cè)SVM分類器和AdaBoost分類器的訓(xùn)練樣本來源于INRIA行人數(shù)據(jù)庫(kù)與自有數(shù)據(jù)集，兩個(gè)分類器的正/負(fù)樣本數(shù)量均各為800和2 000，SVM分類器為Open CV3中的線性支持向量機(jī)( lin_SVM)[20].

3.2 SVM分類器的訓(xùn)練與測(cè)試首先需對(duì)正/負(fù)樣本進(jìn)行預(yù)處理，處理圖片的邊緣信息，盡量只包含完整的攀爬姿態(tài)，而不摻雜過多的背景信息，同時(shí)，將正/負(fù)樣本歸一化至64×128大小，然后對(duì)每個(gè)樣本分別進(jìn)行灰度化處理，再進(jìn)行LBP及HOG特征的提取，總共提取5 668維向量，接著將正/負(fù)樣本構(gòu)造的特征文件輸入到Libsvm中，并調(diào)節(jié)所需參數(shù)，最后得到分類模型[21].

本文的SVM分類器核函數(shù)類型為RBF核函數(shù)，主要的參數(shù)為懲罰系數(shù)c和核參數(shù)g，根據(jù)多次試驗(yàn)，此處c取值為4～10，g取默認(rèn)值，其流程如圖11所示：

HOG-LBP組成的特征集可以表示為：

(12)

ty=[1,1,1…-1,-1,-1]T，

(13)

其中，H(i)為HOG的特征向量，L(j)為L(zhǎng)BP的特征向量，n表示樣本的數(shù)量，m表示正樣本的數(shù)量，n-m表示負(fù)樣本的數(shù)量，tx和ty分別表示特征向量集和特征類型.為了能夠比較不同方法的準(zhǔn)確率，這里利用δ準(zhǔn)確進(jìn)行衡量，計(jì)算公式如式(14)所示：

(14)

本文將訓(xùn)練好的圍欄攀爬檢測(cè)分類器在測(cè)試集上測(cè)試，測(cè)試集中正樣本準(zhǔn)確率為493/500×100%=98.6%，負(fù)樣本準(zhǔn)確率為989/1 000×100%=98.9%，則樣本分類器為97.51%.

3.3 實(shí)驗(yàn)結(jié)果分析本研究對(duì)海南大學(xué)、西海岸觀海臺(tái)等5個(gè)區(qū)域的自動(dòng)氣象站所采集到的8段視頻進(jìn)行了測(cè)試分析，這8段視頻共出現(xiàn)了162個(gè)圍欄攀爬目標(biāo).下面就將文中提出的圍欄攀爬檢測(cè)方法分別與文獻(xiàn)[7]和文獻(xiàn)[8]提出的方法進(jìn)行比較.其中，漏檢率=漏檢總?cè)藬?shù)/視頻出現(xiàn)的總?cè)藬?shù)，誤檢率=誤檢總?cè)藬?shù)/檢測(cè)出的總?cè)藬?shù)×100%.

實(shí)驗(yàn)結(jié)果如表1所示，檢測(cè)效果圖如圖12所示，本文提出的方法與文獻(xiàn)[7]和文獻(xiàn)[8]所提出的方法相比，前者具有較低的漏檢率和誤檢率.為降低誤判率，實(shí)際應(yīng)用中可以設(shè)置成以下情形，即只有當(dāng)連續(xù)3次都檢測(cè)為攀爬行為時(shí)，才判定區(qū)域自動(dòng)氣象站出現(xiàn)了圍欄攀爬的異常事件.

圖12 攀爬檢測(cè)的效果圖

表1 不同方法檢測(cè)圍欄攀爬的準(zhǔn)確率

文中提出的方法由于加入了感興趣區(qū)域和對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)和定位，因而大大節(jié)省了系統(tǒng)的計(jì)算量，實(shí)驗(yàn)結(jié)果表明，文中提出的方法(平均 100 ms/f)相較于文獻(xiàn)[7]的方法，其速度提高了約6倍，也比文獻(xiàn)[8]的方法(1 s/f)平均快10倍左右，檢測(cè)速度在 10 幀/s 左右，完全能滿足視頻監(jiān)控的實(shí)時(shí)要求.

4 結(jié) 論

保護(hù)區(qū)域氣象站對(duì)筑牢防災(zāi)減災(zāi)的第一道防線具有至關(guān)重要的作用，本文提出的基于攀爬圖像的圍欄攀爬檢測(cè)無需安裝其他的傳感器及檢測(cè)設(shè)備，具有實(shí)現(xiàn)方便，準(zhǔn)確率高、檢測(cè)快速的特點(diǎn).然而，就智能視頻的分析而言，對(duì)圖像的檢測(cè)成功率依賴于圖像的成像品質(zhì)，在本文中，于陰暗的光線背景下，圖像檢測(cè)的準(zhǔn)確率較低，未來，我們可以嘗試將計(jì)算機(jī)視覺、紅外線傳感器、壓力傳感器緊密地聯(lián)系在一起，以此來提升智能視頻的分析效果，從而確保公共氣象儀器和設(shè)備不被人為破壞.