煤礦井下巷道變形巡檢視頻異常檢測方法

楊春雨， 袁曉光

(1.中國礦業(yè)大學(xué) 地下空間智能控制教育部工程研究中心， 江蘇 徐州 221116；2.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院， 江蘇 徐州 221116)

0 引言

基于機器人與無人機等移動平臺的智能視頻巡檢技術(shù)[1]突破了固定相機監(jiān)控的局限，在變電站巡檢[2-3]、輸電線路航拍[4-5]、交通監(jiān)控[6-7]等領(lǐng)域得到廣泛應(yīng)用。在煤礦井下，智能視頻巡檢技術(shù)多用于帶式輸送機等設(shè)備運行狀態(tài)的遠(yuǎn)程監(jiān)控[8-9]、綜采工作面巡檢[10]、行人檢測[11-12]等，用于巷道變形檢測的智能視頻技術(shù)多采用固定相機采集視頻圖像[13-14]，尚未有視頻巡檢技術(shù)應(yīng)用的報道。本文提出將智能視頻技術(shù)用于巷道變形巡檢機器人，對巷道變形情況進(jìn)行監(jiān)測，以及時發(fā)現(xiàn)巷道變形與支護(hù)隱患，保障煤礦安全生產(chǎn)。

背景差分算法是一種常用的巡檢視頻異常檢測方法，能精準(zhǔn)地檢測出視頻圖像中的異常，且環(huán)境適應(yīng)性強[15-16]。傳統(tǒng)的背景差分算法僅能實現(xiàn)固定相機拍攝圖像的異常目標(biāo)檢測，不適用于巡檢視頻。本文根據(jù)煤礦井下巷道變形巡檢機器人勻速、定向運動及周期性采集視頻數(shù)據(jù)的特點，對巡檢視頻分段提取關(guān)鍵幀，采用均值哈希算法建立背景模型，再對背景模型和關(guān)鍵幀進(jìn)行差分運算，并對運算結(jié)果進(jìn)行優(yōu)化，從而準(zhǔn)確地檢測出異常目標(biāo)。

1 背景差分算法

1.1 算法基本原理

背景差分算法對圖像進(jìn)行色彩空間和大小調(diào)整等預(yù)處理后，根據(jù)圖像歷史信息建立背景模型，然后對輸入圖像與背景模型進(jìn)行差分操作，實現(xiàn)背景與異常像素分類，在消除噪聲與錯誤的檢測結(jié)果后得到異常信息，并根據(jù)差分檢測結(jié)果更新背景模型。背景模型的建立與更新是背景差分算法的核心。經(jīng)典的背景建模算法包括高斯建模算法、ViBe算法等。高斯建模算法利用高斯函數(shù)生成視頻圖像各像素的灰度分布模型[17-18]，據(jù)此判斷待測像素是否為異常像素，并按照一定權(quán)重更新背景模型。ViBe算法基于時空連續(xù)思想，通過單幀圖像像素及其鄰域建立單個像素點的背景模型[19-20]，并在匹配成功時隨機更新。經(jīng)典背景差分算法中，背景模型是基于固定相機持續(xù)輸入圖像訓(xùn)練而建立的，輸入數(shù)據(jù)需具有良好的時空連續(xù)性，以滿足模型訓(xùn)練更新需求。對于井下巷道變形巡檢視頻，相機運動引起的背景改變及視頻數(shù)據(jù)周期性采集的特性無法適用上述背景建模算法。本文提出分段視頻背景建模方法，以滿足井下巷道變形巡檢視頻分析需要。

1.2 背景建模

本文研究的巡檢視頻由融合了射頻定位技術(shù)的軌道巡檢機器人獲取。在機器人運行軌道上均勻安裝帶有位置編號的射頻卡來提供定位信息，根據(jù)射頻卡編號分段標(biāo)記采集的巡檢視頻。因此，可對巡檢視頻分段提取背景模型關(guān)鍵幀，進(jìn)而建立背景模型。對一段巡檢機器人采集的初始巡檢視頻，按需采樣生成背景模型關(guān)鍵幀mi集合M={mi|i=1,2,…,N}，其中N為關(guān)鍵幀數(shù)量，根據(jù)視頻長度、巡檢距離及場景視野等確定。

以第1段視頻P1為例說明關(guān)鍵幀提取過程。統(tǒng)計P1幀數(shù)q，將視頻序列記作{p1，p2,…，pq}。令n=[q/N]，則有m1=pα，m2=pα+n，…，mN=pα+(N-1)α，其中α為不大于n的隨機正整數(shù)。生成的關(guān)鍵幀序列號1—N對應(yīng)巡檢視頻段編號1，據(jù)此可迅速匹配關(guān)鍵幀與采集的巡檢視頻段。

從初始巡檢視頻中提取關(guān)鍵幀后，采用哈希算法建立背景模型。哈希算法是一類相似圖像檢索算法的總稱[21]，根據(jù)圖像生成64位哈希值序列，并用2張圖像哈希值之間的漢明距離衡量圖像相似程度，實現(xiàn)簡單、高效?？紤]到巡檢視頻抖動與漸進(jìn)特性，針對當(dāng)前巡檢視頻，采用均值哈希算法建立背景模型。對于本文中的巡檢視頻，任意關(guān)鍵幀mi可直接定位其對應(yīng)的當(dāng)前巡檢視頻段Pj(j=1,2,…,J,J為視頻分段數(shù))，則構(gòu)造mi與Pj中圖像的哈希值，然后比較mi與Pj中各幀圖像的漢明距離。在一定范圍內(nèi)，漢明距離越小，說明mi與該幀圖像的拍攝位置越接近。

受巡檢視頻漸變特性和均值哈希算法精度影響，mi可能與Pj中1幀或多幀圖像之間的漢明距離取得最小值。因此從當(dāng)前巡檢視頻段Pj中篩選出1幀或多幀圖像生成關(guān)鍵幀mi的背景模型Qi。Qi中圖像滿足與mi間漢明距離不大于某閾值(可選為當(dāng)前巡檢視頻段Pj中圖像與mi間漢明距離的最小值)，且在Pj中為連續(xù)幀。

1.3 背景模型檢測與更新

巡檢視頻背景模型檢測與更新主要包括差分異常檢測、形態(tài)學(xué)操作、結(jié)果輸出與關(guān)鍵幀更新，如圖1所示。

(1) 差分異常檢測。考慮到相機抖動與軌道顫動干擾，采用特征跟蹤將背景模型中的圖像以關(guān)鍵幀為基準(zhǔn)進(jìn)行校正。將校正后的圖像與關(guān)鍵幀分別轉(zhuǎn)換為灰度圖I1(x,y)，I2(x,y)((x,y)為任意像素點坐標(biāo))，并獲取其差分圖像：

S(x,y)=|I1(x,y)-I2(x,y)|

(1)

根據(jù)某一閾值Tr將S(x,y)轉(zhuǎn)換為二值掩膜:

(2)

圖1 背景模型檢測與更新流程Fig.1 Detecting and update process of background model

根據(jù)式(2)，二值掩膜為1的像素為異常像素。

(2) 形態(tài)學(xué)操作。對于二值掩膜進(jìn)行形態(tài)學(xué)濾波，以消除噪聲。主要操作包括開運算去噪與閉運算連通，保留置信度更高的檢測結(jié)果。

(3) 檢測并輸出結(jié)果。根據(jù)差分異常檢測結(jié)果，統(tǒng)計檢測到的異常數(shù)，保留異常數(shù)最小的檢測結(jié)果并保存，在背景模型中最小異常數(shù)對應(yīng)的圖像記作mi的匹配幀，在匹配幀上標(biāo)記異常并輸出。

(4) 關(guān)鍵幀更新。在異常排除后，重新采集該段巡檢視頻，并采樣替換該段視頻的關(guān)鍵幀集合。

背景模型異常檢測效果如圖2所示。

圖2 背景模型異常檢測效果Fig.2 Anomaly detection result of background model

2 基于背景差分的巡檢視頻異常檢測

基于背景差分的巡檢視頻異常檢測流程如圖3所示。軌道巡檢機器人搭載相機，定向獲取初始巡檢視頻，對巡檢視頻分段采樣提取背景模型關(guān)鍵幀。將相同位置的關(guān)鍵幀集合與當(dāng)前巡檢視頻段進(jìn)行匹配，根據(jù)關(guān)鍵幀生成背景模型。之后對背景模型與關(guān)鍵幀進(jìn)行差分異常檢測，生成二值掩膜并進(jìn)行去噪及連通處理后，輸出最終異常檢測結(jié)果，并更新關(guān)鍵幀集合。

圖3 基于背景差分的巡檢視頻異常檢測流程Fig.3 Anomaly detection process of inspection video based on background difference

3 實驗及結(jié)果分析

為了驗證基于背景差分的煤礦井下巷道變形巡檢視頻異常檢測方法的有效性，以某煤礦運輸巷道巡檢視頻為研究對象進(jìn)行實驗。硬件環(huán)境：2.8 GHz CPU，8 GB RAM；軟件環(huán)境：Win10企業(yè)版，Visual Studio 2017 Community，計算機視覺開源庫OpenCV3.4.4。

實驗所用分段視頻為300幀圖像。以30幀為間隔，選取第70，100，…，280幀圖像作為1—8號關(guān)鍵幀，再從8張關(guān)鍵幀中隨機抽取4張人工添加12處異常信息，作為9—12號關(guān)鍵幀。關(guān)鍵幀檢測結(jié)果如圖4所示，自上而下依次為關(guān)鍵幀、校正后的背景幀、二值掩膜和檢測結(jié)果。

對圖4中的圖像進(jìn)行多次檢測，結(jié)果見表1?？煽闯霰疚姆椒奢^準(zhǔn)確地找到關(guān)鍵幀在當(dāng)前巡檢視頻中的對應(yīng)位置。對于9—12號關(guān)鍵幀中人工標(biāo)記的12處異常，檢出率與準(zhǔn)確率均達(dá)到100%。對于無異常的8號關(guān)鍵幀，盡管在匹配過程中出現(xiàn)微小誤差，但基于特征跟蹤及檢測結(jié)果優(yōu)化策略，仍能夠輸出正確的檢測結(jié)果，表現(xiàn)出良好的魯棒性。對巡檢視頻的檢測速度約為50幀/s，檢測效率高。

4 結(jié)語

基于背景差分的煤礦井下巷道變形巡檢視頻異常檢測方法對分段巡檢視頻提取關(guān)鍵幀后，采用均值哈希算法建立分段視頻的背景模型，并對差分檢測結(jié)果進(jìn)行優(yōu)化，保證了檢測效率與準(zhǔn)確度。采用井下巡檢視頻對該方法進(jìn)行驗證，結(jié)果表明在一定條件下其可較準(zhǔn)確地定位關(guān)鍵幀并檢測出異常目標(biāo)，檢測速度約為50幀/s。

圖4 井下巷道變形巡檢視頻異常檢測結(jié)果Fig.4 Anomaly detection results of inspection video for underground roadway deformation

表1 異常檢測統(tǒng)計Table 1 Statistics of anomaly detection