基于特征分析的卷積神經(jīng)網(wǎng)絡(luò)煙霧識別

殷亞萍，柴 文，凌毅德，朱芳華，王曉君

(1.河北省胸科醫(yī)院，河北 石家莊 050000；2.河北省肺病重點實驗室，河北 石家莊 050000；3.河北省結(jié)核病防治院，河北 石家莊 050000；4.河北省肺癌防治研究中心，河北 石家莊 050000；5.河北科技大學(xué) 信息學(xué)院，河北 石家莊 050000；6.河北省衛(wèi)生和計劃生育委員會 統(tǒng)計信息中心，河北 石家莊 050000)

0 引言

隨著科技的迅速發(fā)展，利用視頻監(jiān)控進行火災(zāi)檢測的技術(shù)手段被運用于各種不同需求的消防場所。與基于傳感器的火災(zāi)檢測技術(shù)不同，機器視覺檢測技術(shù)的信息采集主要依賴于視頻監(jiān)控系統(tǒng)，具有較高的穩(wěn)定性和環(huán)境適應(yīng)性?；馂?zāi)初期階段，著火點會產(chǎn)生大量煙霧，因此煙霧檢測是火災(zāi)檢測的首要步驟。

煙霧識別技術(shù)中，特征分析是十分重要的步驟。煙霧特征可分為靜態(tài)特征(例如顏色、紋理等)和動態(tài)特征(例如運動方向等)。Li等人[1]采用高斯混合分量對煙霧顏色進行分析實現(xiàn)煙霧自主化檢測；Chen等人[2]在RGB顏色空間對煙霧像素在R、G、B3個顏色通道中的分布規(guī)律進行分析，得到煙霧檢測的決策規(guī)則；Prema等人[3]使用二維小波分解和三維體積小波分解對煙霧的紋理進行描述，然后建立紋理特征向量并輸入分類器進行煙霧探測與識別；Ko等人[4]基于煙霧向上運動的特性提取HOG特征，并提取定向光流直方圖作為煙霧的識別特征。Zhang等人[5]利用加權(quán)交叉熵值對深度學(xué)習(xí)中的損失函數(shù)進行優(yōu)化，建立起一套基于注意機制的煙霧檢測模型；Zhong等人[6]利用RGB顏色空間和CNN結(jié)合的方式對候選煙霧圖像進行分類；張斌等人[7]將煙霧的運動特征與CNN算法進行結(jié)合，有效地提高了檢測能力。但是由于煙霧本身形狀變化速度快，形態(tài)不穩(wěn)定，手工提取特征過程中，人為可操作性較高，很難保證特征的真實性。除此之外，利用深度學(xué)習(xí)的方法進行煙霧的檢測識別，將原始尺寸的煙霧圖像作為分類器輸入極易造成運算量的增加，拖慢處理速度。

針對以上問題，本文提出一種結(jié)合目標區(qū)域特征分析與卷積神經(jīng)網(wǎng)絡(luò)的檢測識別(Characteristic Analysis Net_CNN，CAN_CNN)算法。根據(jù)煙霧運動特征獲取目標區(qū)域，分析該區(qū)域運動目標的運動方向和顏色特征，將符合條件的圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)實驗比較后發(fā)現(xiàn)，本文算法在準確性與魯棒性方面表現(xiàn)出一定優(yōu)越性。

1 基于特征分析的卷積神經(jīng)網(wǎng)絡(luò)煙霧檢測識別

煙霧屬于非剛性運動物體，邊界不明顯，對其進行特征提取過程中極易產(chǎn)生誤差，因此本文提出一種煙霧CAN_CNN算法。首先對視頻進行歸一化并進行相關(guān)濾波處理；然后使用高斯混合模型獲取運動目標；其次進行坐標標記，對運動目標做運動方向與顏色特征判斷；最后裁剪符合條件的目標塊并輸入到卷積神經(jīng)網(wǎng)絡(luò)中完成分類，通過分類結(jié)果結(jié)合圖像塊位置坐標在視頻幀中標記出煙霧區(qū)域。具體流程如圖1所示。

圖1 煙霧識別流程

1.1 特征分析層結(jié)構(gòu)設(shè)計

1.1.1 疑似煙霧區(qū)域獲取

煙霧一直處于運動狀態(tài)，利用這一特性可將疑似煙霧區(qū)域提取出來。常用的運動區(qū)域檢測算法包含三幀差分算法、高斯混合模型和光流法等，由于光流法運算復(fù)雜，因此不做考慮。三幀差分算法和高斯混合模型對運動區(qū)域的提取效果如圖2所示。

(a) 煙霧圖像

由圖2可以看出，高斯混合模型獲取到煙霧運動區(qū)域十分完整，三幀差分算法提取的運動區(qū)域存在大面積空洞。綜合2種算法實驗效果，本文選取高斯混合模型進行運動區(qū)域的獲取。

1.1.2 煙霧運動方向特征

視頻中不僅包含煙霧，還包含有其他運動物體，例如云層、飛機等，因此還需要添加其他特征濾除干擾物體。煙霧運動方向為整體向上，基于圖像塊分析煙霧運動方向，可濾除掉大部分運動干擾。煙霧運動方向示意如圖3所示。

圖3 煙霧運動方向示意圖

煙霧的運動方向可劃分為：水平向左(180°)、水平向右(0°)、正上方(90°)、正下方(270°)、左上方(135°)、右上方(45°)、左下方(225°)和右下方(315°)。從0°方向依次進行編號，正左方編號為“5”，左上方編號為“4”。將320 pixel×240 pixel圖像按照32 pixel×24 pixel大小進行坐標標記，分別計算間隔幀圖像對應(yīng)位置圖像塊的中心圖像與八鄰域圖像質(zhì)心點距離，8組質(zhì)心距離差距最大的方向即為運動方向。如果經(jīng)過計算物體在2，3，4方向移動，則滿足煙霧向上運動特征，計算過程如圖4所示。

圖4 運動方向計算示意

設(shè)(xt(n0),yt(n0))為第t幀圖像的第n塊圖像塊(n∈[1,100])的中心圖像運動區(qū)域質(zhì)心點坐標，(xt(ni),yt(ni)),i=1,2,…,8表示其八鄰域運動區(qū)域質(zhì)心坐標。(xt+k(n0),yt+k(n0))表示第t+k幀圖像中第n塊圖像塊的中心圖像運動區(qū)域質(zhì)心點坐標，(xt+k(ni),yt+k(ni)),i=1,2,…,8表示其八鄰域運動區(qū)域質(zhì)心坐標。第t幀與t+k幀圖像中圖像塊的八鄰域質(zhì)心距離n與Li(t+k)可表示為：

(1)

第t幀與t+k幀圖像第n塊圖像塊的對應(yīng)八鄰域質(zhì)心距離差為：

ΔLi=Lt+k(ni)-Lt(ni),i=1,2,…,8，

(2)

則第n塊圖像塊中運動物體的運動方向可表示為：

i=max(ΔLi)。

(3)

1.1.3 煙霧顏色特征

顏色特征算法實現(xiàn)過程相對簡單，且更加穩(wěn)定，因此特征分析層的第2個特征選取煙霧顏色特征。結(jié)合文獻[2]提出的煙霧顏色特征規(guī)律，煙霧顏色分布在R、G、B三通道分布規(guī)律一致如圖5和圖6所示。

從圖5和圖6可以看出，淺色煙霧和深色煙霧在RGB三分量的值相差較小，且都處于50～150之間。

(a) 淺色煙霧圖像

(a) 深色煙霧圖像

綜上所述，煙霧顏色特征大致符合文獻[2]提出的規(guī)則，只是由于攝像頭，圖像環(huán)境等因素，根據(jù)大量數(shù)據(jù)實驗結(jié)果對規(guī)則進行了調(diào)整。

利用現(xiàn)有數(shù)據(jù)集進行多次實驗，對文獻[2]提出的規(guī)則稍做修改，如式(4)所示:

,

(4)

式中，α取值范圍為15～20;L1=50;L2=150。

1.2 目標識別層設(shè)計

1.2.1 結(jié)構(gòu)設(shè)計

煙霧的淺層特征并不能完全反應(yīng)出煙霧本質(zhì)，還需利用卷積神經(jīng)網(wǎng)絡(luò)進行深入的特征挖掘。淺層特征用于濾除掉部分干擾圖像，降低卷積神經(jīng)網(wǎng)絡(luò)的工作量，利用多層卷積分析煙霧圖像深層復(fù)雜的特征。網(wǎng)絡(luò)自動學(xué)習(xí)過程中，參數(shù)通過反向傳播機制不斷進行優(yōu)化更新，解決人工定義參數(shù)與特征提取的問題[8]。

網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計直接影響到整體模型的性能，本文網(wǎng)絡(luò)結(jié)構(gòu)共包含3個卷積層、3個池化層、1個全連接層和1個輸出層，結(jié)構(gòu)示意如圖7所示。

圖7 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

輸入層Input：輸入圖像為經(jīng)過特征分析層處理的圖像，大小為32 pixel×24 pixel×3的彩色圖像，經(jīng)過歸一化后像素區(qū)間縮小到[0,1]。

卷積層Conv_1：卷積核的大小直接影響到特征提取的范圍，如果卷積核設(shè)計過小，無法避免會提取到部分低參考量信息，增加網(wǎng)絡(luò)計算量的同時降低模型性能，因此本層的卷積核規(guī)格為5×5，步長設(shè)計為1，卷積核數(shù)量為32。選取Relu作為激活函數(shù)，特征圖譜(Feature Map)是像素信息經(jīng)過Relu非線性變換的結(jié)果，大小為32 pixel×24 pixel×32。

池化層Pool_1：采用MaxPooling，池化核規(guī)格為2×2，步長設(shè)計為2，數(shù)量為32，得到的特征圖譜大小為16 pixel×12 pixel×32。

卷積層Conv_2：功能與Conv_1相同。本層卷積核規(guī)格為5×5，步長設(shè)計為1，數(shù)量為64，同樣利用Relu函數(shù)進行非線性變換，得到的特征圖譜大小為16 pixel×12 pixel×64。

池化層Pool_2：采用MaxPooling，池化核大小為2×2，步長為2，個數(shù)為64，得到的特征圖譜大小為8 pixel×6 pixel×64。

卷積層Conv_3：本層煙霧特征已經(jīng)縮小，防止卷積核體積過大而錯失煙霧特征信息，因此設(shè)計本層卷積核規(guī)格為3×3，步長設(shè)計為1，數(shù)量總計128。

池化層Pool_3：采用MaxPooling，池化核設(shè)計為2×2，步長距離為2，個數(shù)總量為128，得到的特征圖譜大小為4 pixel×3 pixel×128。

全連接層F1：設(shè)置神經(jīng)元數(shù)量為1 024。使用Relu作為激活函數(shù)，選取dropout方式降低過擬合發(fā)生可能性。

輸出層Output：包含2個神經(jīng)元，使用Softmax函數(shù)，映射出煙霧圖像分類情況。

1.2.2 參數(shù)設(shè)計

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計包含部分超參數(shù)，本文模型設(shè)計的超參數(shù)數(shù)值為深度學(xué)習(xí)優(yōu)化選擇隨機梯度下降(Stochastic Gradient Decent，SGD)法，SGD參數(shù)更新計算如式(5)所示:

(5)

動量參數(shù)：0.9，學(xué)習(xí)率初值：0.01，batch size ：100，權(quán)重初始化方式采用正態(tài)分布函數(shù)(truncated_normal)，損失函數(shù)選取交叉熵函數(shù)，定義如式(6)所示:

(6)

式中，p(x)為真實值；q(x)為預(yù)測值。

2 實驗與結(jié)果分析

本文煙霧檢測識別實驗環(huán)境主要參數(shù)為：Intel i7 5500處理器，CPU 2.40 GHz,拓展庫numpy 1.18.2，matplotlib 3.0.3，tensorflow 1.15.0-rc0.，opencv-python 4.2.0.34，scikit-image 0.14.0。

2.1 建立數(shù)據(jù)集

使用的煙霧數(shù)據(jù)集主要來自于袁非牛實驗室、韓國啟明大學(xué)CVPR實驗室和比爾肯大學(xué)實驗室，還有部分來源于網(wǎng)絡(luò)。經(jīng)過收集、篩選共得到可用的煙霧視頻20個，非煙霧視頻17個，視頻樣例如圖8所示。煙霧視頻包含室外濃煙視頻、室外淺色煙霧視頻、室內(nèi)消防栓煙霧視頻、紅色背景下室外煙霧視頻和野外雜草燃燒煙霧視頻等。非煙霧視頻包含不同背景下不同運動速度的白云視頻，其中含有晃動的樹枝、飛鳥，以及高聳的白色建筑等干擾。經(jīng)過對視頻的分割并利用CAN_CNN特征分析層對圖像的裁剪等手段，得到可用于模型建立的煙霧圖像12 500張，非煙霧圖像12 900張，共25 400張。深度學(xué)習(xí)領(lǐng)域為保證建立模型的可靠性與穩(wěn)定性，將數(shù)據(jù)集劃分為訓(xùn)練集與測試集。為提升測試結(jié)果的準確性以及對模型泛化能力的效果反映的真實性，訓(xùn)練集與測試集選取來自不同視頻源的圖像集，即訓(xùn)練集與測試集的數(shù)據(jù)分布并不相同。本次實驗數(shù)據(jù)集中訓(xùn)練集比重為7/10,另外3/10不同于訓(xùn)練集的數(shù)據(jù)作為測試集。

2.2 模型訓(xùn)練

模型的訓(xùn)練過程可以通過對epoch次數(shù)與損失率和檢測率的對應(yīng)變化來反映。epoch是指數(shù)據(jù)集訓(xùn)練的總輪數(shù)。煙霧檢測識別模型的建立共進行了2 000輪的訓(xùn)練，每100次進行一次輸出。圖9為準確率變化圖，由圖9可以看出，隨著訓(xùn)練輪數(shù)的增加，模型準確率也在不斷提升。在epoch為100時，準確率有一個飛躍式的提升；在100～700之間，準確率整體呈上升趨勢，之后準確率沒有太大波動，一直處于一個較高的水平；最終訓(xùn)練集準確率為97.95%，測試集準確率為96%，說明模型對測試數(shù)據(jù)也有著較強的擬合能力。圖10為損失值變化圖，反映了epoch和損失值之間的關(guān)系。模型在100輪訓(xùn)練時，損失值陡然直下；在100～1 000輪之間一直呈不斷下降趨勢，之后趨于平穩(wěn)；最終訓(xùn)練集的損失值為0.049，測試集的損失值為0.06，表明網(wǎng)絡(luò)的參數(shù)得到了有效優(yōu)化。

圖9 準確率變化

圖10 損失值變化

2.3 評價指標

煙霧圖像檢測識別算法中常用3個參數(shù)來衡量模型的性能：檢測率(DR)、準確率(AR)和誤報率(FAR)[9]。一個性能優(yōu)良的檢測模型需要具備高的檢測率與準確率和較低的誤報率。相關(guān)定義如下：

(7)

(8)

(9)

式中，DR為正樣本正確檢測的概率；AR為全部樣本正確檢測的概率；FAR為負樣本誤檢為正樣本概率；P為正樣本數(shù)量；N為負樣本數(shù)量。

2.4 實驗效果

2.4.1 模型效果對比

為了更加直觀地反映出本文模型的性能，將CAN_CNN網(wǎng)絡(luò)與AlexNet[10]、VGG16[11]和DNCNN[12]進行效果對比。傳統(tǒng)的煙霧檢測算法與基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程存在差異，所以在此不對傳統(tǒng)煙霧檢測識別算法進行比較。具體比較結(jié)果如表1所示。

表1 不同網(wǎng)絡(luò)模型效果對比實驗

由表1可以看出，在測試集數(shù)據(jù)中，CAN_CNN網(wǎng)絡(luò)的AR與DR都高于其他3種網(wǎng)絡(luò)，在CAR方面低于VGG16與DNCNN，但是稍高于AlexNet。整體來說，本文提出的CAN_CNN網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對煙霧的有效檢測，但是還需提升模型的環(huán)境適應(yīng)性，降低模型的誤檢率。

2.4.2 算法效果對比

模型輸出層的輸出格式為包含2個概率數(shù)值的一維數(shù)組，其中之一代表煙霧圖像的概率，另一個代表非煙霧圖像的概率。如果煙霧圖像的概率大于非煙霧圖像概率則將圖片標記為煙霧圖像，反之標記為非煙霧圖像。煙霧區(qū)域的標記就是根據(jù)圖像塊的坐標，將判斷為煙霧的圖像塊在視頻中進行標注。如圖11所示，煙霧視頻分別包含不同背景下的深色煙霧和淺色煙霧，非煙霧視頻包含流動的云、顏色與煙霧相近的天然霧氣、晃動的樹枝等干擾物體。由檢測結(jié)果看出，本文算法針對不同顏色、不同背景下的煙霧都有較好的檢測效果，干擾視頻中，誤檢率較低，在抗干擾方面有良好的表現(xiàn)。

(a) 煙霧視頻1

3 結(jié)束語

針對煙霧邊緣模糊、易擴散、特征提取難度高問題，提出了基于特征分析的卷積神經(jīng)網(wǎng)絡(luò)煙霧檢測識別算法。根據(jù)煙霧向上運動的特征和顏色特征建立網(wǎng)絡(luò)的特征分析層，將圖像分割為包含煙霧信息的小尺寸圖像塊，作為目標識別層的輸入數(shù)據(jù)，降低網(wǎng)絡(luò)計算數(shù)量級，提升運算速度與識別率。煙霧運動方向的確定依靠間隔幀圖像對應(yīng)位置圖像塊的八鄰域質(zhì)心點距離，8組質(zhì)心距離差距最大的方向滿足整體向上且符合顏色特征則將其保留為煙霧圖像塊。目標識別層使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取煙霧圖像塊的深度特征，利用dropout防止過擬合問題的發(fā)生。最后根據(jù)圖像塊的坐標將視頻圖像中的煙霧標注出來。對煙霧檢測識別模型建立過程中的參數(shù)選取過程與訓(xùn)練過程以及模型的檢測效果進行了展示，并通過與其他經(jīng)典網(wǎng)絡(luò)的效果對比，結(jié)果表明本文提出的CAN_CNN算法具有較高的檢測率，可達98.57%。