基于紋理特征和輪廓光流矢量的煙霧識別*

張　潔，吳愛國，趙　萌（天津大學(xué)電氣與自動(dòng)化工程學(xué)院，天津300072）

基于紋理特征和輪廓光流矢量的煙霧識別*

張潔，吳愛國，趙萌
（天津大學(xué)電氣與自動(dòng)化工程學(xué)院，天津300072）

為了提高火災(zāi)探測的準(zhǔn)確率和快速性，提出了基于紋理特征和輪廓光流矢量的煙霧識別算法。一方面為了獲得更全面的紋理特征，建立圖像金字塔，使用局部二值模式（LBP）和基于方差的局部二值模式（LBPV）結(jié)合的新方法分別提取金字塔不同層的紋理特征。另一方面是動(dòng)態(tài)紋理特征，由于煙霧運(yùn)動(dòng)的湍流特性導(dǎo)致方向具有特定的一致性，改進(jìn)了對全部可疑區(qū)域進(jìn)行分析的方法，僅對可疑區(qū)域輪廓進(jìn)行光流矢量分析，降低運(yùn)算量。將靜態(tài)紋理特征和動(dòng)態(tài)紋理特征輸入支持向量機(jī)（SVM）中進(jìn)行識別。采用“靜—靜—?jiǎng)印钡男滦妥R別方法，實(shí)驗(yàn)結(jié)果表明：該算法能夠及時(shí)準(zhǔn)確報(bào)警，可靠率高。

煙霧檢測；局部二值模式；光流法；支持向量機(jī)；圖像識別

0　引言

火災(zāi)發(fā)生直接危及人類生命和財(cái)產(chǎn)安全，因此，如何在火災(zāi)早期及時(shí)檢測出火災(zāi)并將其消除在萌芽狀態(tài)具有重要意義。而傳統(tǒng)的探測器如感溫、感光、感煙探測器等在小空間具有良好的效果，但是在大空間具有一定缺陷。隨著圖像處理和模式識別技術(shù)的發(fā)展和提高，圖像型火災(zāi)探測成為火災(zāi)監(jiān)測的重要研究方向。

基于煙霧的視覺特征，研究人員已經(jīng)取得一些研究成果。Yu Chunyu等人［1］采用灰度共現(xiàn)矩陣法提取煙霧紋理特征值，實(shí)現(xiàn)了基于紋理特征的煙霧圖像實(shí)時(shí)監(jiān)測。Chen T H等人［2］結(jié)合RGB顏色模型和HIS顏色模型中I分量進(jìn)行了火災(zāi)煙霧識別，其方法是基于火災(zāi)煙霧顏色一般為灰色。Yuan Feiniu等人［3］首先將視頻圖像分割成大小相等的塊，然后采用某種搜索模板和塊匹配的方法估計(jì)塊的運(yùn)動(dòng)方向；吳愛國等人［4］在RGB空間利用混合高斯模型對背景進(jìn)行建模，通過背景差法提取可疑區(qū)域并分割可疑圖元，接著在HSV空間提取顏色飽和度特征值；Toreyin B U［5］，利用小波變換提取煙霧圖像邊緣特征，根據(jù)煙霧具有模糊性，邊緣信息減少的現(xiàn)象來判斷煙霧的存在。但這些方法都具有一定的局限性，在復(fù)雜場所下檢測性能會(huì)有一定程度下降。

煙霧檢測是一個(gè)復(fù)雜的過程，不能夠簡單地通過某一特征量進(jìn)行檢測，必須結(jié)合多個(gè)特征量進(jìn)行綜合判斷。本文提出了基于紋理特征和輪廓光流矢量的煙霧識別算法，實(shí)驗(yàn)結(jié)果表明該算法能夠及時(shí)準(zhǔn)確報(bào)警，可靠性高。

1　算法綜述

首先對每幀圖像進(jìn)行雙邊濾波，除去由于視頻質(zhì)量差而存在的干擾，利用高斯混合模型和背景減除法提取出前景運(yùn)動(dòng)區(qū)域，由于煙霧是運(yùn)動(dòng)的，排除非運(yùn)動(dòng)干擾，提取靜態(tài)、動(dòng)態(tài)煙霧特征的運(yùn)算量將大大減少；接著用顏色模型判斷出疑似煙霧區(qū)域；然后對疑似煙霧區(qū)域用局部二值模式（local binary pattern，LBP）和基于方差的局部二值模式（LBP based on variance，LBPV）法提取煙霧的紋理特征，用基于金字塔的LK光流法提取疑似煙霧輪廓的動(dòng)態(tài)特征；最后，將紋理和運(yùn)動(dòng)特征輸入支持向量機(jī)（SVM）中進(jìn)行判定。

2　預(yù)處理

一般情況下，由于存在大量的噪聲，視頻煙霧圖像質(zhì)量較差。采用濾波寬度為6，控制空間鄰近度因子衰減度為3，亮度近似度因子衰減度為0.1的保留邊界信息雙邊濾波器對圖像進(jìn)行濾波，此方法既保留了細(xì)節(jié)又對圖像的噪聲進(jìn)行了抑制，提高了視頻圖像的質(zhì)量。如圖1，監(jiān)控場所可能存在與煙霧相近顏色的靜態(tài)目標(biāo)，嚴(yán)重影響了探測的準(zhǔn)確性，采取混合高斯模型對背景進(jìn)行建模，通過背景減除法獲得前景運(yùn)動(dòng)目標(biāo)，可排除干擾，如圖2。

圖1　當(dāng)前幀和濾波后圖像Fig 1　Image of current frame and image after filtering

圖2　前景運(yùn)動(dòng)區(qū)域Fig 2　Prospect moving area

3　特征提取

3.1顏色特征

顏色模型有簡單、計(jì)算量小、計(jì)算速度快等優(yōu)點(diǎn)，在圖像型煙霧識別得到廣泛應(yīng)用。實(shí)際應(yīng)用中，易受水蒸汽、灰塵等干擾源影響，尤其在復(fù)雜場景中，對煙霧會(huì)引起較高誤判。因此，需與其它檢測方法結(jié)合來實(shí)現(xiàn)煙霧識別。

煙霧RGB模型為

式中I為煙霧亮度，L1約為150，L2約為220；滿足式（1）、式（2）為 dark-gray煙霧，D1約為80，D2約為150，滿足式（1）、式（3）為light-gray煙霧。

顏色檢測后，需經(jīng)中值濾波消除孤立點(diǎn)，形態(tài)學(xué)處理消除孤立小區(qū)域，得到連續(xù)疑似煙霧區(qū)域。滿足以上條件的區(qū)域被判定為疑似煙霧區(qū)域，圖3為圖1的處理結(jié)果。

圖3　疑似煙霧區(qū)域Fig 3　Suspicious smog area

3.2LBP和LBPV紋理特征

3.2.1LBP

LBP是一種對圖像的局部紋理有卓越描繪能力的灰度紋理描述算子，LBP將一個(gè)像素視為中心點(diǎn)，它的值以該點(diǎn)與其鄰域像素的相對灰度值作為響應(yīng)，對其周圍鄰域像素點(diǎn)的值進(jìn)行計(jì)算得到，即

式中g(shù)c為該中心點(diǎn)像素的灰度值，gi為該點(diǎn)鄰域像素點(diǎn)的灰度值。P為總的鄰域像素點(diǎn)的個(gè)數(shù)，R為鄰域的半徑。本文選擇R=1，P=8。

Ojala［6］定義了三種不同類型的LBP。統(tǒng)一化LBP公式如下

式中mod為求余運(yùn)算，該模式下輸出為59個(gè)。旋轉(zhuǎn)不變LBP公式如下

式中ROR（x，i）為將二進(jìn)制位串x向右循環(huán)移i位，該模式下輸出為36個(gè)。

旋轉(zhuǎn)不變統(tǒng)一LBP公式如下

該模式下輸出為10個(gè)。

3.2.2LBPV

LBPV［7］紋理分類方法將每個(gè)點(diǎn)的方差作為編碼值的權(quán)重，進(jìn)行直方圖的累加，定為

式中VAR為區(qū)域變化的表示，VAR值越大，對該區(qū)域內(nèi)的區(qū)分性貢獻(xiàn)越大，對應(yīng)的編碼權(quán)重越大。LBPV方法無需量化處理，且不需要訓(xùn)練，就在紋理分類實(shí)驗(yàn)中獲得了很好效果。

算法具體描述：通過建立3層圖像金字塔獲取疑似煙霧區(qū)域局部和全局紋理特征。原圖像I0為圖像金字塔第0層，提取統(tǒng)一LBP和LBPV紋理特征；然后對I0高斯濾波，I0降維生成圖像金字塔第1層I1，提取旋轉(zhuǎn)不變LBP和LBPV紋理特征；同理，對I1降維生成圖像金字塔第2層I2，提取旋轉(zhuǎn)不變統(tǒng)一LBP和LBPV紋理特征。將三個(gè)尺度下的LBP和LBPV特征組合作為疑似煙霧區(qū)域最終紋理特征。圖1的LBP特征如圖4，LBPV特征為圖5。

圖4　LBP紋理特征Fig 4　LBP texture feature

圖5　LBPV紋理特征Fig 5　LBPV texture feature

3.3動(dòng)態(tài)特征

為了解決光流計(jì)算耗時(shí)較長的問題，本文僅對輪廓像素點(diǎn)進(jìn)行光流矢量計(jì)算。邊緣檢測可除去一些不相關(guān)信息，保留圖像重要的結(jié)構(gòu)屬性，因此，對檢測結(jié)果影響較小。

光流算法是研究圖像灰度值在時(shí)間上的變化大小和方向。本文僅研究疑似區(qū)域輪廓的光流矢量，用Lucas-Kanade［8］算法，在運(yùn)算速度上對該算法進(jìn)行了改進(jìn)。在LK局部平滑光流算法的基礎(chǔ)上進(jìn)行金字塔分層迭代來計(jì)算光流場。

具體步驟如下：首先計(jì)算金字塔最上層圖像上的光流，然后根據(jù)最上層光流的結(jié)果估計(jì)次上層光流初始值，再計(jì)算此上層圖像上光流的精確值，直至最底層原始圖像。

金字塔原理：設(shè)金字塔層數(shù)為L，令I(lǐng)0=I，金字塔第0層，在金字塔中分辨率最高，然后以遞歸方式建立金字塔，從I0中計(jì)算I1，依此類推，第IL層由第IL-1層得到

計(jì)算輪廓點(diǎn)光流：金字塔每一層L，算法需找到當(dāng)前圖像的位移殘差矢量dL，使當(dāng)前層匹配誤差函數(shù)ε最小

光流失量的解為

得到運(yùn)動(dòng)矢量，需對其運(yùn)動(dòng)速度大小、方向進(jìn)行分析，以確定是否滿足煙霧運(yùn)動(dòng)特征。圖6、圖7為處理后運(yùn)動(dòng)方向和速度。

圖6　光流矢量角度圖Fig 6　Angle of optical flow vector

4　實(shí)驗(yàn)結(jié)果與分析

SVM中徑向核函數(shù)能夠很好地平衡運(yùn)算時(shí)間和預(yù)測效果，提高分類速度，因此，選擇徑向核函數(shù)，令c=100，δ=

圖7　光流矢量速度圖Fig 7　Velocity of optical flow vector

3。將LBP，LBPV直方圖和光流矢量角度形成的305維特征F輸入到SVM中進(jìn)行訓(xùn)練和分類，特征F如下

在Matlab上實(shí)現(xiàn)本文檢測方法，視頻來自http：∥signal.ee.bilkent.edu.tr/VisiFire，圖8和圖9視頻標(biāo)準(zhǔn)化為240×320，采樣率為25幀/s。矩陣表示為檢測出的煙霧。

圖8　煙霧視頻Fig 8　Smog videos

圖9　部分視頻檢測結(jié)果Fig 9　Detection results of partial video

不同算法檢測率對比如表1。視頻1為室外火災(zāi)視頻，存在微風(fēng)，煙霧比較濃且集中，煙霧特征比較明顯，檢測率最高。視頻2室外火災(zāi)視頻，煙霧比較薄，且存在環(huán)境風(fēng)速較大、人物移動(dòng)遮擋等干擾因素的影響，檢測率較視頻1低。視頻3為室內(nèi)煙霧視頻，環(huán)境風(fēng)速很大，但煙霧較濃且沒有其他遮擋，因此，檢測率較好。視頻4為在窗口燃燒的煙霧，窗口有風(fēng)，煙霧稀薄且有被吹散，以及有人員走動(dòng)、陽光照射等干擾因素的影響，檢測率較前幾個(gè)視頻低。視頻5不是火災(zāi)煙霧視頻，但白色燈光照在路面上，形成有些類似于煙霧紋理的區(qū)域，但是其運(yùn)動(dòng)方向一般不滿足煙霧的運(yùn)動(dòng)特征，因此，誤檢率得到了控制。

表1　不同算法的檢測率對比結(jié)果Tab 1　Detection rate comparison results of different algorithms

5　結(jié)論

本文采用了“靜—靜—?jiǎng)印钡男滦妥R別方法，分別用顏色模型和不同的LBP和LBPV算子相結(jié)合提取圖像金子塔每層紋理特征的方法，獲取更全面的靜態(tài)特性，對可疑區(qū)域輪廓進(jìn)行光流矢量分析的方法提取動(dòng)態(tài)特性，基于運(yùn)動(dòng)矢量基本呈現(xiàn)向上、向外擴(kuò)散的趨勢，角度基本位于0°～180°之間，最后這些特征輸入SVM中進(jìn)行識別。此方法運(yùn)算量小，計(jì)算速度快，準(zhǔn)確率高，誤檢率低。實(shí)驗(yàn)結(jié)果分析通過對比得到的結(jié)果也支持了以上結(jié)論，在室內(nèi)外的火災(zāi)視頻中都有良好的檢測率，而昏暗街道視頻中的漏檢率也有所下降。

［1］Yu Chunyu，Zhang Yongming.Texture analysis of smoke for realtime fire detection［C］∥IEEE The Second International Workshop on Computer Science and Engineering，Qingdao，2009：511-515.

［2］Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire alarming system based on video processing［C］∥IEEE International Conference on Intelligent Information and Multimedia Signal Processing，2006：427-430.

［3］Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection［J］.Pattern Recognition Letters，2008，29（7）：925-932.

［4］吳愛國，杜春燕，李明.基于混合高斯模型與小波變換的火災(zāi)煙霧探測［J］.儀器儀表學(xué)報(bào)，2008，29（8）：1622-1626.

［5］Toreyin B U，Dedeoglu Y，Cetin A E.Contour-based smoke detection in video using wavelets［C］∥Proc of 14th European Signal Processing Conf（EUSIPCO），F(xiàn)lorence：EURASIP，2006：1-5.

［6］Ojala T，Pietikainen M，Maenpaa T T.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［7］Guo Z H，Zhang L，Zhang D.Rotation invariant texture classification using LBP variance（LBPV）with global matching［J］.Pattern Recognition，2010，43（3）：706-719.

［8］Cucchiara R，Grana C，Piccardi M，et al.Detecting moving objects，ghosts，and shadows in video streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1337-1342.

［9］李文輝，肖林廠，王瑩.一種基于塊的視頻煙霧檢測算法［J］.吉林大學(xué)學(xué)報(bào)，2012，50（5）：979-985.

張潔（1990-），陜西渭南人，碩士研究生，研究方向?yàn)榛馂?zāi)煙霧識別。

Smog detection based on texture features and optical flow vector of contour*

ZHANG Jie，WU Ai-guo，ZHAO Meng
（School of Electrical Engineering&Automation，Tianjin University，Tianjin 300072，China）

In order to improve accuracy and rapidity of fire detection，a smog detection algorithm based on texture features and optical flow vector of contour is proposed.On one hand，to obtain more comprehensive texture feature，image pyramid is constructed，a new method combines local binary pattern（LBP）with LBP based on variance （LBPV）are used to extract texture feature of different level of the image pyramid.On the other hand，due to special turbulence characteristics of smoke movement，its moving directions are with a certain consistency，improve the method of analysis on all suspicious area，optical flow vector analysis is carried out only on suspicious area contour，which greatly reduces computational complexity.These features are input to SVM for recognition.‘Still—Still—Moving'approach is used，experimental results prove that it can timely and accurately gives alarm and it has high reliability.

smog detection；local binary pattern（LBP）；optical flow method；SVM；image recognition

TP391

A

1000—9787（2016）06—0017—04

10.13873/J.1000—9787（2016）06—0017—04

2015—09—23

國家自然科學(xué)基金資助項(xiàng)目（61170328）