基于智能定位的工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測研究

張聞中，華守彤，陳 逸，林義杰

（華能國際電力股份有限公司 上海石洞口第二電廠，上海 201100）

0 引言

工業(yè)生產(chǎn)為我國經(jīng)濟(jì)發(fā)展創(chuàng)造了具體的價值。近年來隨著自動化設(shè)備的使用，機(jī)械逐漸代替手工，還節(jié)省了人工成本和降低了人工生產(chǎn)風(fēng)險[1]?，F(xiàn)代工業(yè)生產(chǎn)主要在生產(chǎn)車間中開展。車間中布置了大量的機(jī)械，其中部分機(jī)械價值非常高，部分機(jī)械操作非常危險?；谏鲜霰尘埃M(jìn)行工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測具有重要的現(xiàn)實(shí)意義。不僅能夠監(jiān)測出非工作期間出現(xiàn)在生產(chǎn)現(xiàn)場的異常人員，還能監(jiān)測現(xiàn)場突發(fā)性火災(zāi)等，保證工業(yè)資產(chǎn)安全，甚至還能及時發(fā)現(xiàn)工作期間工業(yè)生產(chǎn)過程中存在的風(fēng)險因素，幫助工作人員及時規(guī)避[2]。目前工業(yè)全天候視頻監(jiān)控中存在的異常主要通過三種方法進(jìn)行檢測。其中，基于遺傳算法的異常檢測方法在應(yīng)用時容易受到遺傳算法本身早熟問題的影響，異常檢測準(zhǔn)確性不高?；谏窠?jīng)網(wǎng)絡(luò)的異常檢測方法在應(yīng)用時易受到神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的影響，抗干擾能力差。基于支持向量機(jī)的異常檢測方法一旦檢測的樣本中包括多個類型，檢測過程就難以實(shí)現(xiàn)，準(zhǔn)確率不高，另外只適合小樣本圖像的異常檢測。針對上述問題，提出一種基于智能定位的工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測方法。通過該研究以期提高工業(yè)現(xiàn)場監(jiān)控可靠性，保證監(jiān)控現(xiàn)場安全。

1 工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測方法

為保證工作期間工業(yè)現(xiàn)場人員以及非工作期間車間設(shè)備的安全，進(jìn)行工業(yè)現(xiàn)場全天候監(jiān)控是十分必要的。通過攝像頭實(shí)時拍攝現(xiàn)場視頻圖像，然后針對一系列視頻圖像進(jìn)行處理和分析，定位圖像中存在的異常，分類識別異常類型，完成工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測[3]?；谏鲜龇治?，下面進(jìn)行具體分析。

1.1 全天候監(jiān)控視頻圖像采集與預(yù)處理

全天候監(jiān)控，即24小時監(jiān)控，無論是白天還是晚上都需要拍攝工業(yè)現(xiàn)場的視頻圖像。相較于白天來說，晚上拍攝的視頻圖像存在明顯清晰度不足的問題，這也是造成后續(xù)異常檢測存在誤差的原因之一。針對這種問題，工業(yè)現(xiàn)場的監(jiān)控設(shè)備需要選擇帶有夜視功能的高清攝像頭。

攝像頭在完成工業(yè)現(xiàn)場視頻圖像拍攝之后，將其發(fā)送到異常檢測中心，進(jìn)行進(jìn)一步的處理和分析。其中，第一步的處理就是預(yù)處理圖像，提高圖像質(zhì)量。

1）視頻圖像灰度化

視頻圖像灰度化目的是去除圖像色彩的干擾，讓其像素值范圍為0～255?；叶然饺缦拢?/p>

式(1)中，S代表圖像灰度化模型；R、G、B代表紅色、綠色、藍(lán)色三個基色分量。

2）視頻圖像濾波

視頻圖像濾波旨在消除圖像中的噪聲點(diǎn)，提高圖像中細(xì)節(jié)的清晰度。視頻圖像濾波公式如下：

式(2)中，F(xiàn)x,y、F`x,y代表中值和均值濾波，用于去除圖像中的不同類型的噪聲；W、M代表中值、均值濾波窗口；fx,y代表視頻圖像中(x，y)處的像素值；N代表窗口鄰域內(nèi)像素點(diǎn)數(shù)量。

3）直方圖均衡化

白天拍攝的工業(yè)現(xiàn)場圖像可能存在曝光度過大問題，導(dǎo)致整圖非常明亮；晚上拍攝的工業(yè)現(xiàn)場圖像則可能光線不夠，導(dǎo)致整圖非?；璋怠＿@兩種環(huán)境都會造成視頻圖像信息不清晰，因此需要進(jìn)行均衡化調(diào)節(jié)，增強(qiáng)對比度。處理過程如下：首先計(jì)算工業(yè)現(xiàn)場視頻圖像的直方圖，其次確定直方圖分割閾值，劃分為不同的映射區(qū)間，然后對每個映射區(qū)間進(jìn)行峰值剪切，最后分別進(jìn)行均衡化操作，得到每個區(qū)間像素的映射灰度值，并與一個偏移系數(shù)相乘，完成歸一化處理[4]。歸一化處理后輸出的視頻圖像就是均衡化后的圖像。

1.2 全天候監(jiān)控視頻圖像目標(biāo)智能定位

工業(yè)現(xiàn)場全天候監(jiān)控視頻圖像中有的目標(biāo)是靜態(tài)的，如機(jī)械設(shè)備、生產(chǎn)的產(chǎn)品；有的目標(biāo)是動態(tài)的，如工作人員，運(yùn)動中的搬運(yùn)小車等。對前者靜態(tài)目標(biāo)，很容易實(shí)現(xiàn)定位，但是對于后者動態(tài)目標(biāo)，定位就比較困難。為此，針對視頻圖像中的動態(tài)目標(biāo)，本章節(jié)提出一種智能定位方法。該方法具體過程如下：

步驟1：輸入前K幀工業(yè)現(xiàn)場全天候監(jiān)控視頻序列圖像；步驟2：視頻圖像預(yù)處理，見1.1節(jié)；

步驟3：利用粒子濾波算法設(shè)計(jì)目標(biāo)跟蹤器；

步驟4：獲取初始幀視頻圖像中目標(biāo)的位置和尺度；

步驟5：利用跟蹤器獲得工業(yè)現(xiàn)場視頻圖像中候選目標(biāo)所在的區(qū)域；

步驟6：將跟蹤結(jié)果構(gòu)成訓(xùn)練集，記為G=(g1,g2,...,gN)T；

步驟7：利用SIFT算子提取圖像特征，具體過程如下：

1）通過對視頻圖像連續(xù)進(jìn)行降采樣處理，采樣間隔設(shè)置為2σ；

2）構(gòu)建圖像金字塔。圖像塔最下邊為原視頻圖像，圖像分辨率最大，順次往上圖像分辨率越來越?。?/p>

3）加入高斯核，利用尺度空間因子σ進(jìn)行卷積；

4）構(gòu)建差分高斯尺度空間；

5）檢測差分高斯空間的極值點(diǎn)；

6）利用子像素插值的方法精確極值點(diǎn)位置及其像素值；

7）消除邊緣響應(yīng)，完成視頻圖像特征點(diǎn)定位；

8）確定各個特征點(diǎn)的主要方向；

9）確定SIFT算子的維度；

10）生成網(wǎng)格；

11）移動網(wǎng)格至關(guān)鍵點(diǎn)方向；

12）計(jì)算相應(yīng)維度SIFT算子；

13）生成高維特征描述子。

步驟8：通過K-means聚類算法將特征劃分為M個簇；

步驟9：將每個簇的中心作為特征單詞，以此構(gòu)建視覺字典；

步驟10：計(jì)算訓(xùn)練集中每幅圖像的特征與視覺字典之間的投影距離；

步驟11：進(jìn)行投影距離排序，選擇距離最小的特征單詞表示圖像特征；

步驟12：計(jì)算每個特征單詞的頻率，并歸一化處理；

步驟13：將歸一化特征繪制在一個坐標(biāo)系當(dāng)中，生成訓(xùn)練圖像的特征直方圖；

步驟14：輸入新的測試視頻圖像樣本；

步驟15：利用跟蹤器初步獲取測試視頻圖像目標(biāo)候選區(qū)域；

步驟16：計(jì)算測試樣本中動態(tài)目標(biāo)與訓(xùn)練圖像樣本之間的特征直方圖相似性。

式(3)中，Simi代表測試圖像候選目標(biāo)區(qū)域與訓(xùn)練集中第i個目標(biāo)的相似性；fj(x)代表測試圖像候選目標(biāo)區(qū)域第j個特征直方圖；fj(xi)代表訓(xùn)練圖像第i個候選目標(biāo)區(qū)域第j個特征直方圖；m代表直方圖柱的個數(shù)；n代表候選目標(biāo)區(qū)域的個數(shù)。

步驟17：判斷視頻圖像中動態(tài)目標(biāo)是否丟失；當(dāng)Simi大于設(shè)定閾值，認(rèn)為目標(biāo)未丟失；否則，認(rèn)為目標(biāo)丟失，需要回到步驟14，重新定位目標(biāo)。

經(jīng)過上述流程，實(shí)現(xiàn)了對工業(yè)現(xiàn)場監(jiān)控視頻圖像中動態(tài)目標(biāo)的智能定位，為后續(xù)異常檢測奠定了基礎(chǔ)。

1.3 工業(yè)現(xiàn)場監(jiān)控視頻異常檢測

針對目標(biāo)定位結(jié)果，本章節(jié)進(jìn)一步確定定位目標(biāo)的是否存在異常以及存在異常的類型。在這里，基于深度學(xué)習(xí)設(shè)計(jì)分類器，實(shí)現(xiàn)工業(yè)現(xiàn)場監(jiān)控視頻異常檢測，過程包括兩個，即提取目標(biāo)的細(xì)節(jié)特征和異常檢測實(shí)現(xiàn)[5]。下面進(jìn)行具體分析。

1）提取目標(biāo)的細(xì)節(jié)特征

上一章節(jié)利用SIFT算子提取的圖像特征只是用于將目標(biāo)與圖像中其他背景干擾因素區(qū)分開，而本章節(jié)提取的特征是為了識別目標(biāo)本身的正常、異常情況，簡單地說，前邊是異類對比，本章節(jié)是同類對比。提取的特征包括5種，提取方法如表1所示。

表1 目標(biāo)細(xì)節(jié)特征及其提取方法

表1中這5點(diǎn)特征能幫助后面構(gòu)建的分類器快速檢測異常。

2）異常檢測實(shí)現(xiàn)

異常檢測主要通過基于深度學(xué)習(xí)中的深度置信網(wǎng)絡(luò)模型構(gòu)建的分類器來實(shí)現(xiàn)。深度學(xué)習(xí)表現(xiàn)形式有多種，在本研究中選擇其中的深度置信網(wǎng)絡(luò)來構(gòu)建分類器。深度置信網(wǎng)絡(luò)由多個受限玻爾茲曼機(jī)（RBM）和一個BP神經(jīng)網(wǎng)絡(luò)堆疊而成，如圖1所示。

圖1 深度置信網(wǎng)絡(luò)模型

深度置信網(wǎng)絡(luò)模型并不能直接作為分類器，用于監(jiān)控視頻異常檢測當(dāng)中，它需要像人工神經(jīng)網(wǎng)絡(luò)一樣，需要進(jìn)行訓(xùn)練。訓(xùn)練過程從下到上進(jìn)行，以下一層的結(jié)果為輸入，首尾相連，直至所有RBM訓(xùn)練完畢。最后進(jìn)入最上層的BP神經(jīng)網(wǎng)絡(luò)當(dāng)中，執(zhí)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程，完成BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。這樣深度置信網(wǎng)絡(luò)模型各層的權(quán)值和閾值都調(diào)整完畢，完成深度置信網(wǎng)絡(luò)模型整體訓(xùn)練，即完成分類器構(gòu)建。

將測試樣本輸入到訓(xùn)練好的深度置信網(wǎng)絡(luò)分類器當(dāng)中，完成工業(yè)現(xiàn)場監(jiān)控視頻異常檢測。

2 實(shí)例測試與分析

借助MATLAB平臺，進(jìn)行異常檢測方法有效性測試，并與基于遺傳算法、神經(jīng)網(wǎng)絡(luò)、以及支持向量機(jī)的異常檢測方法檢測結(jié)果進(jìn)行對比。

2.1 工業(yè)現(xiàn)場全天候監(jiān)控視頻圖像樣本采集

為適應(yīng)全天候地監(jiān)控工業(yè)現(xiàn)場的需要，選擇DHIPC-POE200W帶有夜視功能的高清攝像頭作為現(xiàn)場視頻圖像樣本的采集設(shè)備。該設(shè)備帶有紅外夜視功能，晚上畫面清晰度高；帶有動態(tài)監(jiān)測功能，可識別畫面中靜動態(tài)物體，如有人員闖入或突發(fā)火災(zāi)，第一時間進(jìn)行預(yù)警，報警信息至監(jiān)控中心，即刻采取防護(hù)措施；攝像頭帶有兩顆大功率白光燈，可選擇紅外、白光兩種模式，紅外補(bǔ)光距離最遠(yuǎn)可達(dá)40米，白光可達(dá)30米，根據(jù)需要自由切換，彌補(bǔ)了光線不足的問題；支持多個攝像機(jī)同步回放功能，可以隨時回放查看。

將攝像頭布設(shè)在待監(jiān)控的工業(yè)現(xiàn)場，現(xiàn)場工作人員模擬異常情況，通過攝像頭拍攝圖像。部分監(jiān)控視頻圖像樣本如圖2所示。

圖2 部分監(jiān)控視頻圖像樣本

利用布設(shè)在6種工業(yè)現(xiàn)場的攝像頭采集現(xiàn)場視頻圖像，組成樣本集合，用于后續(xù)測試與分析。監(jiān)控視頻圖像樣本集分布情況如表2所示。

表2 總監(jiān)控視頻圖像樣本分布表

2.2 基本參數(shù)設(shè)置

測試中相關(guān)算法參數(shù)設(shè)置如表3所示。

表3 基本參數(shù)設(shè)置表

2.3 目標(biāo)定位實(shí)現(xiàn)

基于1.2節(jié)研究對監(jiān)控視頻圖像中出現(xiàn)的目標(biāo)進(jìn)行智能定位。以表2中的一個樣本為例，目標(biāo)定位結(jié)果如圖3所示。

圖3 定位結(jié)果

從圖3中可以看出，所研究方法應(yīng)用下，準(zhǔn)確定位出了工業(yè)現(xiàn)場視頻圖像中的目標(biāo)物體，為后續(xù)異常檢測與識別奠定了重要的基礎(chǔ)。

2.4 異常檢測方法評價指標(biāo)

視頻異常檢測方法的評價指標(biāo)有三個，即靈敏度、特異度和正確率。這三個指標(biāo)計(jì)算公式如下：

式(4)～式(6)中，各個參數(shù)含義如表4所示。

2.5 檢測結(jié)果與分析

利用所研究方法、基于遺傳算法、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的檢測方法對測試樣本進(jìn)行異常檢測。檢測結(jié)果如圖4所示。

圖4 檢測結(jié)果

從圖4中可以看出，以基于遺傳算法、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的檢測方法方法相比，所研究檢測方法應(yīng)用下，得出的靈敏度、特異度和正確率均要更高，說明所研究檢測方法表現(xiàn)更好。

3 結(jié)語

綜上所述，工業(yè)生產(chǎn)現(xiàn)場很容易發(fā)生各種各樣的事故，另外工業(yè)現(xiàn)場有很多有價值的機(jī)械設(shè)備。為了保證工業(yè)現(xiàn)場工作人員安全，同時也為了保證非工作期間設(shè)備的安全，進(jìn)行全天候的監(jiān)控是十分必要的。在此背景下，提出一種基于智能定位的工業(yè)現(xiàn)場全天候監(jiān)控視頻異常檢測方法。該方法通過檢測視頻圖像中的目標(biāo)狀態(tài)來識別異常。通過測試與分析，證明了所研究檢測方法有效性，靈敏度、特異度和正確率三個指標(biāo)的表現(xiàn)均要更好，但是本研究受到時間和研究能力的限制，檢測方法仍存在不足，其中檢測效率方面就是一個較為嚴(yán)重的問題，因此在下一步的研究中有待進(jìn)一步優(yōu)化檢測方法，提高算法運(yùn)行效率，縮短異常檢測時間。