結(jié)合感受野模塊與并聯(lián)RPN網(wǎng)絡(luò)的火焰檢測

鮑文霞，孫強，梁棟，胡根生，楊先軍

1. 安徽大學(xué)電子信息工程學(xué)院，合肥 230601； 2. 中國科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥 230031

0 引 言

近年來，世界各地多座百年建筑和多處森林接連遭遇火災(zāi)，星星之火為生態(tài)環(huán)境帶來了潛在的致命危險。為最大程度減少人員傷亡、環(huán)境和財產(chǎn)損害，實施快速準(zhǔn)確的早期火焰檢測已勢在必行。雖然煙霧報警器和火焰報警器已廣泛用于室內(nèi)火焰報警，但這些傳統(tǒng)的物理傳感器具有許多局限性。例如，需要靠近火源、不適于戶外場景等。隨著圖像處理和機器學(xué)習(xí)技術(shù)的發(fā)展，利用現(xiàn)有監(jiān)控圖像進(jìn)行實時火焰檢測的方法已廣泛應(yīng)用。

顏色是火焰圖像的重要特征，也是基于圖像的火焰檢測方法的基礎(chǔ)。Chen等人(2004)提出一種兩階段火焰檢測方法。首先根據(jù)RGB顏色空間中的色度和飽和度檢測火焰像素。然后使用火焰的無序特征和火焰區(qū)域的增長特性來驗證來自上一步的火焰像素。?elik和Demirel(2009)以及Celik(2010)利用統(tǒng)計分析和閾值法提取前景信息，實現(xiàn)了火焰的實時檢測。這類方法先將圖像轉(zhuǎn)換為Lab(CIE LAB)或YCbCr(ITU-R YCbCr)顏色空間，例如使用YCbCr顏色空間將亮度Y分量與色度Cb分量和Cr分量分離，在3個分量上通過閾值法分類火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過邊緣提取操作提取圖像的邊緣梯度來識別火焰。這些基于顏色的火焰檢測方法受光照變化影響較大，并且不能正確區(qū)分場景中偽火類物體。

隨著計算機視覺技術(shù)的發(fā)展，研究人員利用機器學(xué)習(xí)的方法檢測火焰。Truong和Kim(2012)首先使用自適應(yīng)高斯混合技術(shù)確定移動像素區(qū)域，然后使用模糊C均值聚類(fuzzy c-means，F(xiàn)CM)方法從這些區(qū)域中選擇候選火焰區(qū)域，利用離散小波變換算法提取火焰區(qū)域的近似系數(shù)，最后使用支持向量機(support vector machine，SVM)對火焰像素和非火焰像素進(jìn)行分類。Chakraborty和Paul(2010)使用K-means聚類技術(shù)檢測火焰像素，在RGB和HSI(hue saturation intensity)兩種顏色空間中對顏色閾值使用K-means聚類，聚類后輸出背景集群和前景集群，背景集群被零像素取代，前景集群中保留了圖像的火焰像素，從而實現(xiàn)火焰檢測。在Khatami等人(2017)提出的基于粒子群優(yōu)化(particle swarm optimization，PSO)的K-medoids聚類火焰檢測方法的基礎(chǔ)上，Hashemzadeh和Zademehdi(2019)提出基于帝國競爭算法(imperialist competitive algorithm，ICA)的K-medoids聚類火焰檢測方法，通過基于ICA的K-medoids初步提取候選火焰像素區(qū)域，再使用運動強度感知技術(shù)獲得候選區(qū)域像素的移動速率，最后由SVM對火焰區(qū)域和非火焰區(qū)域進(jìn)行分類。使用支持向量機、聚類等傳統(tǒng)的機器學(xué)習(xí)方法檢測火焰，通常需要人工設(shè)計火焰特征，此種方式主觀性強，且對復(fù)雜背景圖像的適應(yīng)能力差。

基于深度學(xué)習(xí)模型的火焰檢測是當(dāng)前研究的熱點。Zhang等人(2016)提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的森林火焰檢測方法，采用級聯(lián)方式檢測火焰。首先由前級分類器對完整圖像進(jìn)行測試，若檢測到火焰，則先對完整圖像進(jìn)行分割，得到連續(xù)的圖像塊，再通過后級分類器檢測圖像塊是否含有火焰，從而得到火焰的精確位置。Frizzi等人(2016)提出一種基于CNN的視頻火焰和煙霧檢測方法，判定視頻幀中是否包含火焰或煙霧。結(jié)果表明，基于CNN的方法比一些傳統(tǒng)的火焰檢測方法具有更好的性能。Shen等人(2018)使用改進(jìn)的YOLOv1(you only look once)深度學(xué)習(xí)模型進(jìn)行火焰檢測，使用數(shù)據(jù)增廣技術(shù)擴增數(shù)據(jù)集進(jìn)行模型訓(xùn)練，結(jié)果表明，該算法的檢測速率為45幀/s，但容易將偽火類物體錯誤分類為火焰，且對火焰的定位不夠準(zhǔn)確。Kim和Lee(2019)使用Faster R-CNN(region CNN)在空間維度上關(guān)注火焰特征，再使用長短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)在時間維度上累積連續(xù)幀中的火焰時序特征，實現(xiàn)了火焰檢測，但耗時較長。

上述方法在火焰檢測任務(wù)中取得了成功，對火災(zāi)發(fā)生后期的中大型火焰具有很好的檢測準(zhǔn)確率，但對火災(zāi)發(fā)生初期的小火焰容易漏檢，且場景中存在偽火類物體時誤警率較高。

為降低對偽火焰物體的誤警率并提高小火焰的檢測準(zhǔn)確率，本文設(shè)計了一種結(jié)合感受野(receptive field，RF)模塊和并聯(lián)RPN(parallel region proposal network，PRPN)的卷積神經(jīng)網(wǎng)絡(luò)。RF模塊是一種用于多尺度特征融合的模塊，PRPN是一種并聯(lián)結(jié)構(gòu)的RPN子網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類器3部分組成。特征提取模塊采用輕量級MobileNet(Howard等，2017)的卷積層，使本文算法在不損失火焰檢測性能的同時，加快了算法的運行速度。在特征提取模塊中，本文將RF模塊嵌入其中，從而擴大感受野，捕獲更豐富的上下文信息，用來提取更具鑒別性的火焰特征，降低了偽火類物體導(dǎo)致的高誤警率；在并聯(lián)區(qū)域建議網(wǎng)絡(luò)部分，結(jié)合火災(zāi)發(fā)生時期火焰大小不一的特點，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，并使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰漏檢問題；分類器由softmax和smooth L1分別實現(xiàn)分類與回歸，用來輸出最終火焰類別和在圖像中的位置信息。在本文數(shù)據(jù)集上的實驗結(jié)果表明，所提出的網(wǎng)絡(luò)對火焰的檢測準(zhǔn)確度比一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法更高，并且能夠更好地區(qū)分場景中的偽火類物體。

1 材料和方法

1.1 數(shù)據(jù)集樣本標(biāo)注

實驗數(shù)據(jù)主要來源于意大利薩萊諾(Salerno)大學(xué)(https://mivia.unisa.it/datasets/video-analysis-datasets/fire-detection-dataset/)、土耳其畢爾肯(Bilkent)大學(xué)(http://signal.ee.bilkent.edu.tr/VisiFire/Demo/SampleClips.html)、Ultimate Chase(http://www.ultimatechase.com/Fire_Video.htm)以及Github網(wǎng)頁(https://github. com/cair/fire-detection-image-dataset)。本文從這些數(shù)據(jù)中整理得到3 017幅火焰圖像，包括室內(nèi)、建筑物、森林和夜晚等場景。偽火類數(shù)據(jù)主要來源于Github網(wǎng)頁和其他電影畫面，共692幅圖像，主要有燈光、晚霞、火燒云和陽光等偽火類物體。部分火焰及偽火類圖像如圖1所示。

圖1 實驗數(shù)據(jù)

本文使用labelImg對實驗數(shù)據(jù)進(jìn)行標(biāo)注，分為兩個類別，火焰標(biāo)注框用fire作為類別名，偽火類標(biāo)注框用like作為類別名。標(biāo)注火焰數(shù)據(jù)時，僅標(biāo)注火焰區(qū)域，盡量少標(biāo)或不標(biāo)火焰周圍的燃燒物體，避免將燃燒物體誤判為火焰而產(chǎn)生誤警。同時，為避免與火類似的紅色、黃色、橙色物體等引發(fā)誤警，對偽火類數(shù)據(jù)如燈光、晚霞等進(jìn)行了負(fù)樣本標(biāo)注。部分標(biāo)注后的火焰及偽火類圖像如圖2所示。

圖2 樣本標(biāo)注

1.2 R-PRPNet

1.2.1 網(wǎng)絡(luò)總體架構(gòu)

本文基于Faster R-CNN(Ren等，2017)網(wǎng)絡(luò)思想，構(gòu)造了一種基于感受野模塊和并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類器3部分構(gòu)成。特征提取模塊采用輕量級MobileNet的卷積結(jié)構(gòu)，包括14個卷積層，分為5組，第1組卷積由1個基礎(chǔ)卷積和1個深度可分離卷積組成，第2—5組分別由2、2、6、2個深度可分離卷積組成。在第4組I3卷積層后端嵌入RF模塊，輸出具有更大感受野和更豐富上下文信息的增強特征rI3，特征提取模塊再通過拼接、下采樣和逐元素相加將特征{I2,I3,rI3}進(jìn)行組合，獲得增強的16倍下采樣和32倍下采樣特征圖{aI3,I4}，從而提取到更具鑒別性的火焰特征。在并聯(lián)區(qū)域建議網(wǎng)絡(luò)中，為了解決小火焰的漏檢問題，將PRPN與增強的16倍下采樣和32倍下采樣特征圖{aI3,I4}建立多尺度采樣層，并在PRPN中使用3×3和5×5的全卷積進(jìn)一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問題。最后，由分類器得到最終真實火焰類別和在圖像中的位置信息。

圖3 R-PRPNet網(wǎng)絡(luò)架構(gòu)

1.2.2 感受野模塊

rI3=RF(DOWN(I2)?I3)

(1)

式中，RF表示感受野模塊，DOWN表示特征矩陣下采樣，符號?表示特征矩陣拼接。

I3特征與rI3特征逐元素相加后，得到特征aI3，即

aI3=rI3⊕I3

(2)

式中，符號⊕表示特征矩陣逐元素相加。

特征aI3經(jīng)過3 × 3卷積后生成特征I4。如圖3所示，得到一組增強的特征{aI3,I4}，用來構(gòu)成多尺度采樣層。

RF模塊的設(shè)計源自Inception-V2(Szegedy等，2016)結(jié)構(gòu)。如圖4所示，RF使用1 × 3和3 × 1的卷積組合代替3 × 3的卷積形式，可在保持分辨率不變的同時降低計算量。RF模塊有3個分支，前2個分支采用相似的結(jié)構(gòu)設(shè)計。在第1個分支中，1 × 3和3 × 1的卷積均設(shè)置參數(shù)padding為1，3 × 3的空洞卷積設(shè)置參數(shù)padding和空洞率均為3?？斩淳矸e的設(shè)計用于擴增RF模塊的感受野，捕獲更豐富的上下文信息，以進(jìn)一步提升對偽火類的分類效果。第3個分支為1個1 × 1卷積，在保持分辨率不變的前提下改善特征的非線性表達(dá)。3個分支串聯(lián)后，通過1 × 1卷積操作，將通道數(shù)降為512。如令 RF模塊的輸入為Ci，則其輸出為

圖4 感受野模塊

RF=conv1(dilation3(conv3(Ci))?
dilation5(conv5(Ci))?conv1(Ci))

(3)

式中，convi為i×i的卷積操作，dilationi為padding和空洞率為i的3 × 3卷積操作。

1.2.3 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

本文利用兩個相似結(jié)構(gòu)的RPN設(shè)計了一種并聯(lián)結(jié)構(gòu)的PRPN，PRPN與特征提取模塊后端的多尺度采樣層{aI3,I4}建立連接，并使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點的感受野寬度，用來解決小火焰的漏檢問題。如圖5所示，并聯(lián)區(qū)域建議網(wǎng)絡(luò)上半部分為標(biāo)準(zhǔn)RPN，RPN頭利用3 × 3全卷積通過滑動窗口方式生成邊界框回歸建議；除了標(biāo)準(zhǔn)RPN，本文還擴展了另一支RPN子網(wǎng)絡(luò)，采用與標(biāo)準(zhǔn)RPN相似的網(wǎng)絡(luò)結(jié)構(gòu)，因為較小卷積核在小目標(biāo)特征區(qū)域會進(jìn)行多次重疊卷積，從而造成小目標(biāo)特征消失，所以擴展的RPN頭采用了較大卷積核的5 × 5全卷積，通過連接上文RF模塊獲取增強特征aI3。

圖5 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

圖6為特征圖可視化?？梢钥闯觯瑘D6(b)相較于圖6(c)(d)能更好地保留小火焰的特征信息，解決了火災(zāi)發(fā)生前期的小火焰在深層特征傳播的過程中的消失問題，從而在區(qū)域建議中對小火焰進(jìn)行更精確的檢測。最后，通過對擴展分支RPN進(jìn)行下采樣，與標(biāo)準(zhǔn)RPN逐元素相加后，將兩個RPN分支的區(qū)域建議集組合為最終的建議集。

圖6 特征圖可視化

另外，對RPN的另一項改進(jìn)是在訓(xùn)練階段限制正負(fù)錨點的比率。在原始的RPN實現(xiàn)中，正負(fù)錨點的預(yù)期比率是1，但在實驗中，發(fā)現(xiàn)該比率通常很大，這種不平衡會導(dǎo)致網(wǎng)絡(luò)偏向負(fù)樣本(背景類物體)，從而損害提案的召回率。為解決這個問題，在實驗中限制正負(fù)錨點比率為1，當(dāng)負(fù)錨點多于正錨點時，將隨機丟棄富余的負(fù)錨點，以平衡正負(fù)錨點的分布。

1.3 火焰檢測算法流程

首先，將實驗數(shù)據(jù)按8 ∶2的比例劃分訓(xùn)練集和測試集。劃分后，訓(xùn)練集有2 413幅火焰圖像和553幅偽火類圖像，測試集有604幅火焰圖像和139幅偽火類圖像。為了提高網(wǎng)絡(luò)的泛化能力，采取鏡像、旋轉(zhuǎn)和平移對訓(xùn)練集中的樣本進(jìn)行增廣，避免因訓(xùn)練樣本過少產(chǎn)生過擬合，增廣后的訓(xùn)練集有4 826幅火焰圖像和1 106幅偽火類圖像。其次，使用labelImg工具對測試集和增廣后的訓(xùn)練集進(jìn)行標(biāo)注。然后，使用增廣訓(xùn)練集的火焰數(shù)據(jù)對R-PRPNet進(jìn)行訓(xùn)練，并將增廣訓(xùn)練集的偽火類物體圖像作為負(fù)樣本，凍結(jié)網(wǎng)絡(luò)除后兩層的所有層進(jìn)行負(fù)樣本微調(diào)，微調(diào)的學(xué)習(xí)率設(shè)置為0.000 1。最后，將測試集輸入訓(xùn)練好的R-PRPNet網(wǎng)絡(luò)中，網(wǎng)絡(luò)給出預(yù)測的真實火焰標(biāo)簽，并過濾掉偽火類標(biāo)簽，實現(xiàn)對火焰的檢測。算法流程如圖7所示。

圖7 本文方法總體流程

2 實驗及結(jié)果分析

2.1 實驗環(huán)境及訓(xùn)練過程

實驗的軟件環(huán)境為Ubantu 16.04 LTS 64位操作系統(tǒng)，編程語言為Python3.6，網(wǎng)絡(luò)采用深度學(xué)習(xí)框架Tensorflow1.14，使用英偉達(dá)GeForce RTX 2070 GPU加速訓(xùn)練過程，CUDA版本為10.0。實驗采用批(batch)訓(xùn)練方式，將訓(xùn)練集和測試集分為多個批次，每個batch大小設(shè)置為1，即每批輸入1幅圖像進(jìn)行訓(xùn)練。實驗中，訓(xùn)練過程使用隨機梯度下降優(yōu)化算法(stochastic gradient descent，SGD)優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率為0.001，每隔200個迭代次數(shù)保存一次訓(xùn)練權(quán)重，最大迭代次數(shù)設(shè)置為62 500。

R-PRPNet的訓(xùn)練損失曲線如圖8所示，訓(xùn)練開始時，損失振蕩較大，當(dāng)訓(xùn)練到40 000次時，損失曲線開始趨于穩(wěn)定。當(dāng)?shù)螖?shù)為50 000次時，損失值已基本穩(wěn)定在0.4以下。說明訓(xùn)練階段的各個超參數(shù)設(shè)置合理且學(xué)習(xí)效果理想。

圖8 R-PRPNet損失曲線

2.2 評價指標(biāo)

目標(biāo)檢測任務(wù)中，采用準(zhǔn)確率、召回率、誤警率、漏檢率、預(yù)測框與真實框的交并比、網(wǎng)絡(luò)每秒運算圖像的數(shù)量作為火焰檢測算法的評估指標(biāo)。

準(zhǔn)確率(accuracy，A)即正確識別火焰和非火焰占全部測試集的比例。召回率(recall，R)代表正確識別火焰數(shù)量占實際火焰數(shù)量的比例。誤警率(probability of false alarm，Pfalse)即錯誤識別火焰數(shù)量占實際非火焰數(shù)量的比例。漏檢率(probability of missed detection，Pmiss)表示未檢測到火焰數(shù)量占實際火焰數(shù)量的比例。預(yù)測框與真實框的交并比(intersection over union，IoU)表示預(yù)測的火焰檢測框準(zhǔn)確性。網(wǎng)絡(luò)每秒運算圖像的數(shù)量(frames per sec-ond，F(xiàn)ps)表明網(wǎng)絡(luò)的運算速度。各項指標(biāo)的具體定義為

(4)

(5)

(6)

(7)

(8)

Fps=N

(9)

式中，TP(true positive)表示真陽性，指火焰被正確識別的數(shù)量；FP(false positive)表示假陽性，代表非火焰被錯誤識別為火焰的數(shù)量；TN(true negative)指非火焰被正確識別的數(shù)量；FN(false negative)代表火焰被錯誤識別為非火焰的數(shù)量。BBpred表示預(yù)測框面積；BBtruth表示真實框面積。N表示每秒運算圖像的數(shù)量。

2.3 結(jié)果對比與分析

2.3.1 消融實驗

為了驗證本文網(wǎng)絡(luò)在解決火焰檢測任務(wù)中漏檢和誤警問題的有效性，將Faster R-CNN特征提取模塊用MobileNet卷積結(jié)構(gòu)替換后的網(wǎng)絡(luò)作為基線網(wǎng)絡(luò)，依次添加RF模塊、PRPN和負(fù)樣本微調(diào)的訓(xùn)練策略進(jìn)行消融實驗，實驗結(jié)果如表1所示?？梢钥闯?，與基線網(wǎng)絡(luò)相比，具有RF模塊的網(wǎng)絡(luò)能夠?qū)W習(xí)到更具鑒別性的火焰特征，在漏檢率和誤警率上分別降低了1.1%和0.43%。對比表1的第3行和第2行可知，PRPN的并行RPN子網(wǎng)絡(luò)有效提升了網(wǎng)絡(luò)對多尺度火焰的識別率，在召回率上提升了1.7%，漏檢率上降低了1.7%，在檢測框準(zhǔn)確度上提升了0.02%。與RF相比，負(fù)樣本微調(diào)豐富了偽火類特征，更好地提升了網(wǎng)絡(luò)對真實火焰與偽火類物體的分類性能，對比表1的最后一行與第3行可知，負(fù)樣本微調(diào)在誤警率上降低了21%，性能獲得大幅提升。在加入RF模塊和PRPN后，網(wǎng)絡(luò)的運行速度減少了2幀/s，但仍可適用于火焰檢測的實時性需求。

表1 消融實驗結(jié)果

2.3.2 與傳統(tǒng)火焰檢測算法對比

首先對比傳統(tǒng)機器學(xué)習(xí)方法(Celik，2010；?elik和Demirel，2009；Ouyang等，2018；Khatami等，2017)與本文網(wǎng)絡(luò)R-PRPNet的火焰檢測結(jié)果。Celik(2010)提出了一種基于Lab顏色空間的火焰檢測方法，在L、a、b 3個分量上使用閾值法分類火焰像素。?elik和Demirel(2009)將圖像轉(zhuǎn)換為YCbCr顏色空間，使用YCbCr顏色空間有效地將亮度Y分量與色度Cb分量和Cr分量分離，在3個分量上通過閾值法分類火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過邊緣提取操作提取圖像的邊緣梯度識別火焰。Khatami等人(2017)提出基于粒子群優(yōu)化(PSO)的K-medoids聚類火焰檢測方法，先使用K-medoids聚類劃分?jǐn)?shù)據(jù)集，再通過PSO從劃分后的數(shù)據(jù)集中得到具有分色(區(qū)分火焰像素與非火焰像素的顏色)特性的轉(zhuǎn)換矩陣，將該矩陣應(yīng)用于火焰圖像來突出火焰區(qū)域，從而實現(xiàn)對火焰的檢測。

實驗結(jié)果如表2所示。可以看出，本文網(wǎng)絡(luò)的火焰檢測性能優(yōu)于傳統(tǒng)算法。其中，Ouyang等人(2018)和Khatami等人(2017)的方法在準(zhǔn)確率和召回率上優(yōu)于其他兩個傳統(tǒng)算法，說明Ouyang等人(2018)的邊緣梯度信息和Khatami等人(2017)的聚類方法，可以有效避免偽火類物體對火焰檢測的影響。從誤警率可知，Ouyang等人(2018)和Khatami等人(2017)的方法好于?elik和Demirel(2009)以及Celik(2010)的方法，在Fps指標(biāo)上，它們的平均運行速度與本文算法相近。

表2 與傳統(tǒng)火焰檢測算法的比較結(jié)果

2.3.3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法對比

將所提算法R-PRPNet和不采用負(fù)樣本微調(diào)的R-PRPNet算法(用R-PRPNet*表示)與目前常用的基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法進(jìn)行對比。其中，Kim等人(2018)利用Faster R-CNN進(jìn)行火焰檢測，Shen等人(2018)對YOLOv1改進(jìn)后實現(xiàn)火焰檢測。此外，將Faster R-CNN的特征提取模塊換成ResNet101(He等，2016)和MobileNet后構(gòu)成Faster_ResNet101和Faster_MobileNet網(wǎng)絡(luò)進(jìn)行火焰檢測對比。同時，將SSD(single shot multibox detector)(Liu等，2016)、YOLOv3(Redmon和Farhadi，2018)、YOLOv4(Bochkovskiy等，2020)和YOLOX-L(Ge等，2021)等也用于火焰檢測，對比結(jié)果如表3所示。可以看出，YOLO系列算法在準(zhǔn)確率上較其他算法低，但檢測速度相比其他方法更快，其中YOLOv4相較于YOLOv3多了數(shù)據(jù)增強(該數(shù)據(jù)增強為網(wǎng)絡(luò)本身具備)并改進(jìn)了主干網(wǎng)絡(luò)，從YOLOv4的實驗結(jié)果來看，在漏檢率上相比YOLOv3具有一定的性能提升。YOLOX-L作為YOLO系列的巔峰框架，新引入了Decoupled Head、Anchor Free和SimOTA樣本匹配等方法，使其在漏檢率上相較于YOLOv4得到了較大提升，降低了4.95%的漏檢率，而在其他指標(biāo)上雖然優(yōu)于其他YOLO系列方法，但依然不如Faster R-CNN系列方法。基于Faster R-CNN系列的算法除速度外的各項指標(biāo)上均優(yōu)于YOLO及SSD算法。單從Faster R-CNN系列方法上分析可知，F(xiàn)aster_MobileNet的卷積層結(jié)構(gòu)相比原始Faster R-CNN的VGG16(Visual Geometry Group 16-layer net)以及ResNet101火焰檢測效果更好，而本文R-PRPNet是在Faster_MobileNet基礎(chǔ)上加入了RF模塊和PRPN網(wǎng)絡(luò)，因此相比Faster_MobileNet在準(zhǔn)確率和召回率上分別提升了約8%和約5%，而R-PRPNet*在誤警率上相比Faster_MobileNet也降低了約0.7%。同時也可以看出，負(fù)樣本微調(diào)的訓(xùn)練策略能夠很好地降低R-PRPNet網(wǎng)絡(luò)的誤警率。

表3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法的比較結(jié)果

圖9為上述方法的部分火焰檢測結(jié)果圖，從第1行圖像可以看出，YOLOv3檢測框的定位精度稍差于其他方法，YOLOv3檢測框的右下角含有多余的背景區(qū)域。在第2行的森林場景下，前3種方法均出現(xiàn)了小火焰漏檢，YOLOv3還出現(xiàn)了一個檢測框內(nèi)包含多個實例對象的問題，這些是導(dǎo)致基線算法召回率較低的主要原因。由最后兩行圖像容易看出，正確分類偽火類物體對目標(biāo)檢測類方法具有一定困難，改進(jìn)后的R-PRPNet*仍可能在檢測與火類似的紅色、黃色、橙色物體時生成誤警。為此，本文采用負(fù)樣本微調(diào)的訓(xùn)練策略。由圖9(e)第3、4行的圖像可以看出，負(fù)樣本微調(diào)可以很好地解決偽火類物體的誤警問題。

圖9 不同算法的部分火焰檢測結(jié)果圖

2.3.4 不同場景火焰檢測結(jié)果對比

為驗證本文網(wǎng)絡(luò)在不同場景的泛化性，分別在室內(nèi)、夜晚、建筑和森林等場景進(jìn)行實驗，結(jié)果如表4所示。本文提出的R-PRPNet在4種火焰場景取得平均97.82%的召回率。在夜晚場景，受自身燃燒光影影響，火焰失去了紋理、形狀等特征，導(dǎo)致少量火焰對象沒有檢測到。在森林場景，存在一些小火焰無法檢測到的問題，導(dǎo)致本文網(wǎng)絡(luò)在森林場景相比其他場景，漏檢率為4.6%。

圖10顯示了部分不同場景火焰檢測實例圖?？梢钥闯觯谑覂?nèi)和建筑場景，本文算法能夠很好地定位檢測框位置，檢測框平均置信度約為0.96。通過圖10(b)的實例圖可以看出，夜晚環(huán)境下檢測框會受到光亮影響，導(dǎo)致檢測框內(nèi)含有小部分背景區(qū)域。在圖10(d)的實例圖像中，存在容易漏檢小火焰的問題，這也是表4森林場景下漏檢率較高的原因。從圖10整體來看，本文網(wǎng)絡(luò)在火焰檢測任務(wù)上，具有較好的適用性，能夠在不同場景下完成火焰檢測任務(wù)。

圖10 不同場景的火焰檢測實例圖

表4 不同場景火焰的檢測結(jié)果

3 結(jié) 論

現(xiàn)有火焰檢測方法在火焰檢測任務(wù)中雖然已經(jīng)取得了相當(dāng)大的成功，但當(dāng)場景中存在偽火類物體時誤警率較高，并且這些方法對火災(zāi)發(fā)生初期的小火焰容易漏檢。為了進(jìn)一步降低對偽火焰物體的誤警率并同時提高小火焰的檢測準(zhǔn)確率，本文設(shè)計了一種結(jié)合感受野模塊與并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)R-PRPNet用于火焰的檢測。R-PRPNet在特征提取模塊中嵌入RF模塊，通過拼接、下采樣和逐元素相加將火焰特征進(jìn)行組合，擴大感受野，捕獲更豐富的上下文信息，提取更具鑒別性的火焰特征。再結(jié)合火災(zāi)發(fā)生時期火焰大小不一的特點，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問題。將所提網(wǎng)絡(luò)與一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法相對比，實驗結(jié)果表明，所提網(wǎng)絡(luò)能夠在不同場景下自動提取復(fù)雜圖像火焰特征，并能夠準(zhǔn)確過濾偽火類物體，在火災(zāi)發(fā)生的更早期及時發(fā)現(xiàn)火情，促進(jìn)應(yīng)急管理，從而有助于預(yù)防火災(zāi)失控。但本文網(wǎng)絡(luò)也存在不足，在夜晚場景下檢測框依然不夠精確，并存在少量誤警問題。在后續(xù)研究中，將著眼于這些不足，從時序網(wǎng)絡(luò)方面出發(fā)，提取火焰燃燒的動態(tài)特征，進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)性能。