基于FBF神經(jīng)網(wǎng)絡的秸稈燃燒檢測算法研究

馬樂 魏雄 鄭明 許萍萍 同小軍

摘要：利用煙霧檢測實現(xiàn)秸稈燃燒檢測，針對傳統(tǒng)煙霧檢測方法中煙霧特征提取難、卷積神經(jīng)網(wǎng)絡方法檢測準確率低等問題，提出了FBF神經(jīng)網(wǎng)絡的秸稈燃燒煙霧檢測方法。神經(jīng)網(wǎng)絡提取特征時，低層網(wǎng)絡的特征語義信息比較少，目標位置準確；高層的特征語義信息比較豐富，目標位置比較粗略，對特征圖采用自下而上的提取、自上而下和橫向連接融合的方法。在保證較大特征被提取利用的情況下，使得較小的特征有更好的學習及利用，提高了煙霧識別的準確率。與現(xiàn)有的卷積神經(jīng)網(wǎng)絡模型進行對比，實驗結(jié)果表明該方法具有較高的檢測準確率。相比Faster RCNN檢測網(wǎng)絡，檢測準確率提高了10%，誤報率降低了16.2%。

關鍵詞：FBF；秸稈燃燒檢測；特征圖融合

中圖分類號：TP391.4文獻標志碼：A文章編號：1008-1739（2020）24-66-4

0引言

秸稈燃燒產(chǎn)生的大顆粒物質(zhì)會造成空氣污染，是環(huán)境保護中一個非常嚴重的問題[1]，秸稈的不充分燃燒產(chǎn)生大量的碳化物危害人類生命健康。秸稈燃燒檢測可以提供實時秸稈燃燒信息，及時制止燃燒行為有利于環(huán)境保護?，F(xiàn)有秸稈燃燒檢測主要是靠檢測秸稈燃燒產(chǎn)物來實現(xiàn)的，煙霧檢測是秸稈燃燒檢測的重要手段之一，是近年來機器視覺領域研究的熱點和難點。

目前大多數(shù)方法都是利用火災和煙霧的顏色、紋理、幾何、閃爍和運動等視覺特征方法實現(xiàn)煙霧檢測。Yamagishi[2]和Yamaguchi[3]提出了一種基于火焰時空波動數(shù)據(jù)的火焰檢測算法，該方法使用顏色信息取得了煙霧檢測較好的成果，但不能消除火焰接近顏色物體引起的干擾。類似的紋理[4-5]、Hog、高斯模型[6]等方法對特定的特征有很好的效果，但不能排除其他因素的干擾，這些方法在實際應用中還存在魯棒性的問題。Yuan[7]和Chunyu[8]提出了利用煙霧運動信息進行煙霧檢測，該特征能夠很好地描述煙霧的運動信息，提升了煙霧檢測的準確性。

近年來，深度卷積神經(jīng)網(wǎng)絡（CNN）從圖像分類到目標提取和語義分割等計算機視覺中取得了前所未有的成功，與傳統(tǒng)的計算機視覺方法相比，深度學習方法避免了手工設計并主導了許多著名的基準評估。深度學習在煙霧探測中的應用研究日益受到重視。Frizzi[9]和Tao[10]用CNN從不同方向進行煙霧探測，CNN克服了煙霧特征提取難的問題，但秸稈燃燒的野外環(huán)境復雜，產(chǎn)生的煙霧的顏色、梯度等視覺特征不固定，這2種方法在檢測中難以將煙霧與外界干擾區(qū)分開，導致檢測精度不高。

提出了一種基于FBF神經(jīng)網(wǎng)絡的秸稈燃燒煙霧檢測方法，在特征融合和Faster RCNN網(wǎng)絡基礎上實現(xiàn)秸稈燃燒檢測。Faster RCNN[11]用網(wǎng)絡結(jié)構(gòu)較深的VGG16網(wǎng)絡提取特征圖，該網(wǎng)絡對較小的特征沒有較好效果。針對特征提取網(wǎng)絡的不足進行研究，用CNN自下而上特征提取的特性，結(jié)合自上而下和橫向鏈接的特征融合方法來構(gòu)造新的特征圖，利用包含有更強的特征信息的特征圖訓練檢測模型，提升秸稈燃燒煙霧檢測的準確率。實驗結(jié)果表明，該方法能獲得更高的準確率和較低的誤報率。

1 Faster RCNN

CNN在目標檢測研究中發(fā)揮了非常重要的作用?；趨^(qū)域的CNN（RCNN）是一種非常重要且非常成功的通用目標檢測框架，提供了有效的監(jiān)督學習。RCNN生成類別相關區(qū)域的建議并利用這些定義了檢測器可用的候選檢測集。RCNN提高了精度，但也存在低速等缺點。Girshick對RCNN的網(wǎng)絡結(jié)構(gòu)進行了改進，提出了Fast RCNN[14]檢測網(wǎng)絡。Fast RCNN支持對共享卷積特征的端到端檢測器訓練，并顯示出令人信服的準確性和速度。在RCNN的基礎上，多損失函數(shù)的使用以及回歸和區(qū)域分類的融合提高了整個網(wǎng)絡的速度，F(xiàn)ast RCNN還加入了ROI池化層，從性能上優(yōu)化了整個結(jié)構(gòu)。Fast RCNN一定程度上加快了RCNN的檢測速度，但是用于選擇性搜索的候選框選擇機制非常耗時，Girshick對Fast RCNN再次改進，提出了Faster RCNN檢測網(wǎng)絡。Faster RCNN網(wǎng)絡提出了一種使用RPN代替選擇性搜索新的候選框選擇機制。RPN與訓練網(wǎng)絡共享一個網(wǎng)絡層，大大節(jié)省了時間。Faster RCNN結(jié)構(gòu)如圖1所示，RPN網(wǎng)絡基本上以零資源消耗但同時生成了含有正樣本的區(qū)域建議，F(xiàn)aster RCNN形成了一個統(tǒng)一的端到端的學習框架。

2特征圖融合

特征提取在目標檢測中占據(jù)著十分重要的地位，特征提取的質(zhì)量很大程度上影響著最終檢測的效果。CNN中的特征提取是利用卷積、池化等操作完成的，隨著卷積和池化層的逐步深入，特征的語義信息和位置信息也在發(fā)生改變。低層的特征語義信息比較少，但是目標位置準確；高層的特征語義信息比較豐富，但是目標位置比較粗略。將低層的目標信息和高層的語義信息相結(jié)合，使得特征圖具有更強的特征信息。利用CNN特征提取的特點，進行特征圖信息的加強。

2.1自下而上的路徑

CNN的前饋計算就是自下而上的路徑，特征圖經(jīng)過卷積核計算，通常是越變越小，也有一些特征層的輸出和原來大小一樣，稱為相同網(wǎng)絡階段（Same Network Stage，SNS）。在特征提取過程中對每個階段定義一個金字塔級別，然后選擇每個階段的最后一層的輸出作為特征圖的參考集。選擇最后一層的特征層是很自然的，因為每個階段的最深層具有最強的特征。

2.2自上而下的路徑和橫向連接

自上而下的路徑是將低層次的特征和高層次語義信息進行融合。方法就是把語義更強地更抽象的高層特征圖進行上取樣，然后把該特征橫向連接至前一層特征，因此高層特征得到加強。值得注意的是，橫向連接的2層特征在空間尺寸上要相同，這樣做是為了利用底層的定位細節(jié)信息。

自上而下的路徑把高層特征做2倍上采樣（最鄰近上采樣法），然后將其和對應的前一層特征結(jié)合（前一層經(jīng)過1*1的卷積核，目的是改變通道數(shù)，要和后一層的通道數(shù)相同），結(jié)合方式就是做像素間的加法。重復迭代該過程，直至生成最精細的特征圖。為了后面的應用能夠在所有層級共享分類層，這里使用3*3卷積后的輸出通道為，這設為256。因此所有額外的卷積層具有256通道輸出，如圖2所示。

3 FBF煙霧識別模型設計

現(xiàn)有秸稈燃燒檢測主要秸稈燃燒產(chǎn)生的煙霧作為檢測的目標，但煙霧沒有固定的顏色和形狀，這對傳統(tǒng)方法的特征提取增加了很多難度。CNN的出現(xiàn)很大程度上緩解了特征提取難的問題，卷積神經(jīng)網(wǎng)絡不需要將特征提取和分類訓練分開，在一定程度提升了煙霧識別的準確率。

秸稈燃燒煙霧檢測的場景是在野外，監(jiān)控設備獲取秸稈燃燒畫面的圖像野外場景復雜、客觀物體（房屋、河流等）、光照、天氣等對煙霧檢測造成了干擾。利用CNN的煙霧檢測方法在準確率上有待提高。因此，提出了一種FBF煙霧識別方法，本方法對其特征提取的網(wǎng)絡進行改進，使網(wǎng)絡可以提取到更多信息的特征，從而使檢測的準確率更高。將特征圖與Faster RCNN神經(jīng)網(wǎng)絡融合后的網(wǎng)絡結(jié)構(gòu)如圖3所示。本文的特征提取網(wǎng)絡是先經(jīng)過自下而上的路徑，提取每一層金字塔的最后一層卷積后的特征圖，再利用自上而下的路徑，將除了第一層金字塔外的其他金字塔層得到的特征圖進行上采樣，然后把每層金字塔上采樣后的特征圖進行橫向連接至前一層特征，從而實現(xiàn)特征圖的融合。

訓練集圖像經(jīng)過融合的特征提取網(wǎng)絡后，得到包含有更強特征信息的特征圖，然后經(jīng)過RPN，ROIPooling，RCNN網(wǎng)絡進行訓練，得到最終的網(wǎng)絡模型。

在自下而上和自上而下的2個過程中，低層次的特征信息和高層次的語義信息進行的融合，使得煙霧的特征信息更加全面。在自上而下的融合過程中，將自下而上的卷積層的結(jié)果進行了一個1×1的卷積過程，是對2個不同的特征圖的通道的統(tǒng)一化。自上而下的路徑把高層特征做2倍上采樣，然后將其和對應的前一層特征結(jié)合，結(jié)合方式就是做像素間的加法。重復迭代該過程，直至生成最精細的特征圖，最終得到的預測模型更準確。

4實驗

為了評估所提出的方法是否能使測量更準確，在以下平臺上進行了實驗：Inter-Core i7，64 GB RAM，NVIDIA Geforce RTX 2080 Ti GPU，操作系統(tǒng)為Windows10，使用Tensorflow框架來實現(xiàn)網(wǎng)絡。

4.1數(shù)據(jù)集

本實驗使用的數(shù)據(jù)集圖像來自于實際項目中由高塔攝像頭采集的圖像畫面。數(shù)據(jù)集分為3組，分別命名為Data1，Data2，Data3。Data1如圖4所示，有21 464張含有煙霧的圖像，將圖像中的煙霧區(qū)域打標，作為改進的Faster RCNN網(wǎng)絡的訓練數(shù)據(jù)集。Data2和Data3分別含有10 000張圖像，Data2如圖5所示，圖像含有煙霧作為測試的正樣本，Data3如圖6所示，圖像不含煙霧作為測試的負樣本。

4.2網(wǎng)絡模型訓練

實驗基于Tensorflow框架，該網(wǎng)絡采用隨機梯度下降法（SGD）對每層的參數(shù)進行更新，最小批量為256，動量為0.9，權值衰減為0.000 1，初始學習率為0.01。將RPN網(wǎng)絡的2個閾值設置為0.3和0.7，且卷積網(wǎng)絡模型的訓練使用了GPU并行處理。

4.3評價指標

從圖7中的數(shù)據(jù)結(jié)果可以分析出，與AlexNet、Faster RCNN秸稈燃燒煙霧檢測方法相比較，本文的方法再煙霧檢測的準確率、召回率、誤報率都有更好的表現(xiàn)。在對Faster RCNN和本文的實驗數(shù)據(jù)對比中發(fā)現(xiàn)，在負樣本的識別中有較大的提升，數(shù)據(jù)中較小的某些特征（房屋、湖泊、河流）識別更加準確，減少了誤報數(shù)量，降低了誤報率。同時，在原有較好的正樣本的識別基礎上，進一步提升了識別的準確率。由此說明，本文方法改進的Faster RCNN網(wǎng)絡更加成功，多特征圖的融合使得識別率更高。