基于ER-ShuffleNet 的薄霧森林火災識別

譚 熙，方 睿，王 宇，魏袁慧

（成都信息工程大學 計算機學院，成都 610225）

0 引言

森林火災作為世界性林業(yè)災害，造成了大量的碳排放、自然環(huán)境損失和經(jīng)濟損失［1］。但由于自然因素和人為因素的影響，森林火災具有突發(fā)性和不可控性，這使得預防森林火災具有一定的難度和挑戰(zhàn)性［2］。森林火災發(fā)生伊始常伴隨煙霧產(chǎn)生，隨后才會出現(xiàn)明火，因此早期煙霧的識別對防止火災擴大損失至關重要。

目前的森林火災預防措施大多依賴于人力晝夜不停飽和式地監(jiān)測，而在人工監(jiān)測上，存在著任務重、客觀性差、效率低等問題，并且耗費了大量人力物力，最終的預防效果卻不盡如人意［3］。傳統(tǒng)機器視覺方法通常涉及到復雜的分類規(guī)則制定、特征選取、目標求解優(yōu)化過程等步驟，還需要較強的專業(yè)技術知識；而在算力資源支持下，利用深度學習圖像分類算法對煙霧和火災圖像進行分類，速度快、精度高、訓練方便，因此該方法現(xiàn)已成為了目前領域的研究熱點。

近年來，許多學者投身深度學習來研究森林火災識別檢測的方法。富雅捷等人［4］提出了一種基于遷移學習的卷積神經(jīng)網(wǎng)絡森林火災檢測算法，準確率達到了97%。傅天駒等人［5］針對小樣本林火識別，提出了一種用于復雜背景下森林火災識別的深度卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，正確率達到了98%。楊劍等人［6］為解決對煙霧視頻圖像自適應較差的問題，提出了改進殘差結(jié)構(gòu)的ResNet，取得了不錯的效果。盡管這些研究都取得了可觀進展，但模型效果極易受到和煙霧具有相似特征的物體干擾，尤其是薄霧天氣，煙霧的特征被嚴重削弱，最終導致實際表現(xiàn)不佳。

針對薄霧天氣，因為缺少公開數(shù)據(jù)集，一些學者在自建數(shù)據(jù)集上做了相關研究。Muhammad 等人［7］、Khan 等人［8］分別使用了在ImageNet 上預訓練的VGG-16 和MobileNet-V2 遷移學習，在自建的霧天數(shù)據(jù)集上訓練，并取得了96%和98%的準確率。?zbek 等人［9］先將圖像顏色空間從RGB 轉(zhuǎn)換至HSV，使用MobileNet-V2 在合成霧圖的數(shù)據(jù)集上訓練，取得了2.23%的精度提升，達到98.95%，并節(jié)約了一定的內(nèi)存空間。但這些研究仍存在一些不足，首先，上述研究使用的數(shù)據(jù)單一，方法簡單，模型還有亟待改進的地方；其次，森林火災場景存在許多易混淆的目標、即會造成誤報，而誤報帶來的風險與代價較大。因此更高的精度、更低的誤報率是十分必要的。

1 數(shù)據(jù)集

經(jīng)調(diào)查研究發(fā)現(xiàn)，目前還沒有森林火災領域具有影響力的公開數(shù)據(jù)集，大多數(shù)學者采用的數(shù)據(jù)集主要來自中國科學技術大學消防科學實驗室、韓國啟明大學CVPR 實驗室以及比爾肯大學火災研究實驗室，加上一些零散的網(wǎng)絡圖片以及攝影作品。這些數(shù)據(jù)大多為不包含森林背景的視頻，就可能導致訓練出來的模型泛化能力不足。學者們獲取分類圖像的方法主要有按幀截取和切幀濾除相似圖片兩種，但前者數(shù)據(jù)重復度高，后者數(shù)據(jù)量又極小。

因此，本文在網(wǎng)絡上大量收集了森林火災煙霧圖片作為補充，以增加數(shù)據(jù)多樣性；同時，采用隨機截取視頻幀的方法，這樣既能保證數(shù)據(jù)量，也能避免數(shù)據(jù)高度重復。此外，考慮到森林火災場景中存在許多易混淆的目標，如云彩、云霞等，所以在數(shù)據(jù)集中加入了這2 類數(shù)據(jù)作為訓練數(shù)據(jù)的補充，能夠幫助模型區(qū)分易混淆目標，降低模型誤報率。最后，目前針對極端天氣森林火災煙霧識別檢測的研究并不多，薄霧天氣的數(shù)據(jù)十分稀少。基于此，其他學者紛紛選擇人工合成帶霧的數(shù)據(jù)，本文未能找出更好的解決方法，因此也選擇了人工合成霧圖。

目前主流的圖像合成霧方法主要有RGB 通道合成和標準光學模型合成兩種。RGB 通道合成是通過調(diào)整RGB 三通道的值實現(xiàn)一種“不透光”感。Muhammad 等人［7］、Khan 等人［8］都是將霧通過圖像疊加的方式添加到圖像上。?zbek 等人［9］在原圖上疊加100 亮度值達到合成效果。而標準光學模型合成則是采用標準光學模型進行圖像合成霧。

本文采用了中心點合成霧的方法，簡稱Certer方法。簡單來說，是根據(jù)圖像中的位置調(diào)整標準光學模型中的透射率t（x）生成霧化粒子。透射率t（x）由深度信息和霧化濃度決定：

其中，β為霧化濃度因子，d（x）為深度信息。

進一步地，研究中推得：

其中，xi，xj為圖像上按行、列排布的像素點；centerrow，centercol為圖像行、列的中心點；θ為生成霧化粒子的尺寸因子，本文設置為：θ ＝

最終的標準光學模型為：

其中，I（x）為合成后的霧圖像；J（x）為待合成的圖像；原圖像中，t（x）為透射率；L為大氣光成分，本文設置為L ＝0.5。不同方法合成霧效果如圖1 所示。

圖1 合成霧效果圖Fig. 1 Synthetic fog renderings

依據(jù)Center 方法合成帶霧數(shù)據(jù)，建立提出了含有5 類樣本的薄霧森林火災數(shù)據(jù)集，并通過數(shù)據(jù)增強避免了數(shù)據(jù)不均衡。數(shù)據(jù)集見表1。

表1 數(shù)據(jù)集類別及數(shù)量Tab.1 Categories and quantities of data sets

2 模型構(gòu)建

針對森林火災薄霧天氣識別困難的問題，提出了一種多重注意力分類網(wǎng)絡ER-ShuffleNet，搭載了通道注意力模塊（CASB）和反向注意力模塊（RAB），能夠兼顧深層次與淺層次特征，同時考慮多個顯著特征以區(qū)分易混淆目標，實驗表明本文方法顯著優(yōu)于其他學者方法。

2.1 多重注意力分類網(wǎng)絡ER-ShuffleNet

ShuffleNet-V2［10］作為最優(yōu)秀的輕量級分類網(wǎng)絡，考慮到其精度高、速度快、模型小等優(yōu)點，故本文擬對此進行重點研究。

根據(jù)ShuffleNet-V2 的策略構(gòu)建了一種多重注意力分類網(wǎng)絡ER-ShuffleNet，由CASB 模塊和下采樣模塊構(gòu)建各個Stage，并命名為CA-Stage 以作區(qū)分；用GELU激活函數(shù)［11］替換Relu，能夠保留更多信息促進通道信息交互；將全連接分類頭替換為1×1 卷積分類頭［12-13］；并在分類頭之前增加了RAB 模塊。這樣經(jīng)CASB 提取的特征高度濃縮，在特征上呈現(xiàn)出“一超多強”的現(xiàn)象，而特征經(jīng)由RAB 處理后則會呈現(xiàn)“多極化”趨勢，更利于捕捉細節(jié)，區(qū)分易混淆目標。ER-ShuffleNet 模型結(jié)構(gòu)如圖2 所示。

圖2 ER-ShuffleNet 結(jié)構(gòu)Fig. 2 ER-ShuffleNet structure

2.2 通道注意力模塊（CASB）

Wang 等人［14］提出一種相比SE 模塊更高效的通道注意力機制（Efficient Channel Attention，ECA）。ECA 承襲了SE 模塊中Squeeze 與Excitation 的思想，通過自適應平均池化壓縮通道特征至通道維度，隨后使用一維卷積聚合鄰近通道特征，使局部通道信息交互，僅涉及少量參數(shù)，卻大幅提升了模型精度。

結(jié)合Shuffle Block 與ECA，提出了一種增強通道注意力的CASB 模塊，其下采樣分支保持不變。CASB 模塊如圖3 所示。

圖3 CASB 模塊Fig. 3 CASB block

本文將ECA 模塊置于3×3 卷積與1×1 卷積之間。這樣設計的目的是為了利用深度卷積的特征提取能力，使ECA 壓縮的通道特征更具代表性，而經(jīng)ECA 獲得通道注意力的特征圖再由1×1 卷積進一步聚合整理，讓網(wǎng)絡學習到的局部通道信息更加穩(wěn)定有效。通道信息在推理過程中反復被壓縮、交互、擴張，使網(wǎng)絡能夠同時關注圖像的淺層次與深層次特征，獲得更好的學習能力。

2.3 反向注意力模塊（RAB）

在Sun 等人［15］的研究中提到一種分散網(wǎng)絡對顯著特征的注意力，從而迫使網(wǎng)絡關注其他同樣具有區(qū)分度的特征的方法、即峰值抑制（Peak Suppression）結(jié)合塊抑制（Patch Suppression）構(gòu)建的多樣化模塊（Diversification Block），該模塊能夠提高易混淆目標識別精度。

RAB 模塊如圖4 所示。研究可知，RAB 模塊舍棄了多樣化模塊中的塊抑制，并且優(yōu)化了其峰值抑制方法：不再建立額外的映射特征圖，而是直接對網(wǎng)絡最后一層輸出特征圖進行最大采樣，節(jié)省了大量的內(nèi)存空間和參數(shù)量。RAB 模塊依據(jù)下列公式進行最大采樣和反向注意力：

圖4 RAB 模塊Fig. 4 RAB block

其中，Rc（i，j）為得到的反向注意力特征圖；α為反向注意系數(shù)，在本文實驗中設置α＝0.9；Mc（i，j）為輸入模塊的特征圖，（i，j）∈（H，W）。

3 實驗結(jié)果及分析

本文的數(shù)據(jù)集按照7 ∶2 ∶1 比例劃分訓練集、驗證集、測試集。采用的評估標準有F1-Score準確率、參數(shù)量、誤報率。實驗分為2 個階段，其步驟可做闡釋分述如下。

（1）就本文提出的改進點進行消融實驗，結(jié)果表明PASB 模塊能夠以少量參數(shù)代價顯著降低誤報率，而RAB 模塊能夠迫使網(wǎng)絡學習多個特征，提高網(wǎng)絡精度，實驗結(jié)果見表2。

表2 改進點消融實驗Tab.2 Modified point ablation experiment

（2）將本文提出的方法與一些學者的方法對比后可知，本文方法的準確率相比其他方法高出了1.36%～4.09%，實驗結(jié)果見表3。

表3 與其他方法對比試驗Tab.3 Comparison test with other methods

首先將本文提出的改進點：PASB 模塊、RAB 模塊（分別標記為P、R）進行消融實驗。

P 通過局部通道信息交互，同時學習淺層及深層信息，以少量參數(shù)代價就能顯著降低誤報率；R會迫使網(wǎng)絡同時考慮多個顯著特征，從而更好區(qū)分易混淆目標，這時網(wǎng)絡需要更強的學習能力來處理多個顯著特征。兩者結(jié)合在一起，效果就有了質(zhì)的提升，準確率比基準高出了1.74%，誤報率也降低到了2.041%，而參數(shù)量代價卻很小。

此后，與其他學者的先進方法進行了對比試驗，包括基準模型ShuffleNet-V2、轉(zhuǎn)換HSV 顏色空間［9］和在ImageNet 上預訓練［7-8］的方法，分別標記為Shuffle、Shuffle_HSV、Shuffle_TRANS，本文方法標記為ER-Shuffle。

不同方法損失對比和準確率對比的結(jié)果曲線分別如圖5、圖6 所示。遷移學習能夠?qū)㈩A訓練的知識轉(zhuǎn)移進而提升基線性能，不需要額外的參數(shù)開銷，相比基準模型提升了0.38%準確率，但無法修改模型，修改過的模型自主預訓練所需的算力資源較大，不便于實現(xiàn)。轉(zhuǎn)換HSV 顏色空間的方法在基準模型上效果較差，并未顯示出有效性。本文提出的方法準確率較基準模型ShuffleNet-V2 提升了1.74%，誤報率降低至2.041%，而僅付出了較少參數(shù)量的代價，這表明本文提出的通道注意力結(jié)合反向注意力機制是十分有效的。

圖5 不同方法損失對比Fig. 5 Loss comparison of different methods

圖6 不同方法準確率對比Fig. 6 Accuracy comparison of different methods

4 結(jié)束語

本文針對薄霧天氣準確率較低、誤報率較高的問題，提出中心點合成霧的方法來提供數(shù)據(jù)支持，建立了薄霧森林火災數(shù)據(jù)集；并且提出了一種多重注意力分類網(wǎng)絡，在本文數(shù)據(jù)集上較基準模型ShuffleNet-V2準確率提高1.74%，相比其他方法提高1.36%～4.09%，參數(shù)量僅為2.7 MB，完全能夠滿足輕量化的需求，其分類結(jié)果也可作為多種火災場景綜合預防預警的數(shù)據(jù)支持，為森林火災防控提供有益參考。

盡管本文提出的網(wǎng)絡實現(xiàn)了高精度、快速度薄霧森林火災分類，但在實際應用中還應在視頻監(jiān)控中標注出疑似火災的位置以幫助工作人員及時發(fā)出預警，因此將本文方法應用于目標檢測將是此后研究主要內(nèi)容。