基于改進YOLOv5s 的火災(zāi)煙霧檢測算法研究

蔡 靜，張 讚，冉光金，李 震，李良榮

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025）

0 引言

火災(zāi)是造成環(huán)境問題、人員傷亡和經(jīng)濟損失的重大災(zāi)害之一。在國外許多地方，火災(zāi)的面積和強度都以驚人的速度增加。這不僅僅是火災(zāi)數(shù)量在增加，火災(zāi)的性質(zhì)也在發(fā)生變化，尤其是在巴西和澳大利亞。例如，“地球之肺”亞馬遜雨林發(fā)生的大火，已燒毀了總計4920 平方公里的雨林，面積超過50萬個足球場，給人類和自然環(huán)境帶來了難以估量的破壞。因此，為了有效控制和減輕火災(zāi)，對火災(zāi)的萌發(fā)進行預(yù)警尤為重要。對于火災(zāi)的預(yù)警，與火災(zāi)火焰相比，煙霧出現(xiàn)時間更早，傳播速度更快，體積更大，更易于識別。

傳統(tǒng)的煙霧檢測主要是基于對紋理、溫度、顏色、運動特征和空氣透明度的分析［1］，最常見的煙霧探測器是基于紅外／紫外攝像頭?；诖?，Deldjoo Y 等人［2］使用穩(wěn)健的煙霧特征評估方法區(qū)分煙霧和非煙霧運動對象，利用模糊推理系統(tǒng)，以模糊化的方式將煙霧特征結(jié)合起來進行最終評估，并決定何時發(fā)出火災(zāi)警報。J Qian 等人［3］利用延時參數(shù)改進高斯混合模型提取候選煙霧區(qū)域，通過煙霧的面積變化率和運動方式等運動特征，從候選區(qū)域中選擇煙霧區(qū)域。Yuan F 等人［4］利用Gabor 網(wǎng)絡(luò)對煙霧圖像進行識別以及對其紋理信息進行分類。殷夢霞等人［5］利用煙霧圖像塊的HSV（Hue、Saturation、Value）顏色特征、能量特征等物理特征，提出了基于多特征融合的自適應(yīng)煙霧檢測算法。劉長春等人［6］根據(jù)可見光視頻圖像處理原理，以及煙霧塊的紋理特征、HSV 顏色空間等物理特征，提出了一種基于局部區(qū)域圖像動態(tài)特征的林火視頻煙霧檢測方法。王偉剛等人［7］提出一種TDFF（Triple Multi Feature Local Binary Patterns and Derivative Gabor Feature Fusion）的煙霧檢測算法，采用T-MFLBP（Triple Multi-Feature Local Binary Patterns）算法獲得煙霧的紋理特征，利用高斯核函數(shù)進一步優(yōu)化圖像邊緣灰度信息，最后對融合后的特征進行訓(xùn)練，對煙霧區(qū)域進行識別。

但是，當(dāng)背景復(fù)雜以及影響因數(shù)較多時，傳統(tǒng)的檢測算法會受到限制。由于煙霧為非剛性物體，其形狀、顏色和紋理等物理特征容易隨時間變化，導(dǎo)致無法提取煙霧的最本質(zhì)特征［8］，且傳統(tǒng)的煙霧檢測傳感器大多用于室內(nèi)，難以在森林和草原等戶外場景中發(fā)揮有效作用，有時也會有較高的錯檢率以及誤警率［9］。

得益于各種人工智能領(lǐng)域的進步，圖像處理和計算機視覺等基于視覺的研究領(lǐng)域已經(jīng)取得了一定的成果，基于計算機視覺的火災(zāi)煙霧檢測模型也通過這些技術(shù)得到了改進。與傳統(tǒng)的檢測模型相比，基于計算機視覺的火災(zāi)檢測模型在成本、準(zhǔn)確性、魯棒性和可靠性等方面都具有許多優(yōu)勢。Zhang［10］和張倩［11］等人利用Faster R-CNN 對煙霧圖像進行識別檢測。Lee Y 等人［12］利用三幀差分算法和均方誤差獲得輸入幀圖像，通過Faster R-CNN 提取火焰和煙霧候選區(qū)域，最后利用局部HSV 和RGB 顏色直方圖，確定最終的火災(zāi)和煙霧區(qū)域。謝書翰等人［13］通過改進YOLOv4 模型對火災(zāi)煙霧圖片進行了檢測識別。Saponara S 等人［14］提出了一個非常輕量級的神經(jīng)網(wǎng)絡(luò)FireNet，開發(fā)了一個物聯(lián)網(wǎng)（IoT）火災(zāi)探測單元取代當(dāng)前基于物理傳感器的火災(zāi)探測器，在Raspberry Pi 3B 等嵌入式設(shè)備上進行訓(xùn)練；聯(lián)合物聯(lián)網(wǎng)功能允許探測單元在發(fā)生火災(zāi)緊急情況時，向用戶提供實時視覺反饋和火災(zāi)警報。劉麗娟等人［15］通過改進SSD 算法對火災(zāi)煙霧圖像進行識別。葉寒雨等人［16］將光流估計與YOLOv4 算法結(jié)合，提出了SmokeNet 算法對煙霧進行檢測。

基于計算機視覺的檢測算法雖然在精度和速度上都有所提高，但是當(dāng)背景復(fù)雜、檢測目標(biāo)距離較遠(yuǎn)時，仍然存在漏檢以及錯檢等問題。針對以上問題，本文提出一種基于改進的YOLOv5s 的火災(zāi)煙霧檢測算法，在 YOLOv5s 的 骨干網(wǎng)上引 入 Vision Transformer 模塊，增強其特征提取能力；使用Ghost Block 卷積代替常規(guī)卷積，減少模型參數(shù)和計算量。實驗結(jié)果表明，該算法的檢測性能均提高且模型參數(shù)顯著減少。

1 相關(guān)工作

根據(jù)型號的大小，YOLOv5 分為YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 4 個版本。模型越大，單個圖像的精度越高，檢測時間越長。由于4 種版本只是在其模型寬度和深度的不同，且對于火災(zāi)煙霧檢測而言，不僅對檢測精度有極高的要求，對檢測速度也要求實現(xiàn)實時檢測，所以選用YOLOv5s 作為本文的基本檢測模型。YOLOv5s 在數(shù)據(jù)輸入端使用了Mosaic 數(shù)據(jù)增強［17］、自適應(yīng)錨計算和自適應(yīng)圖像縮放等技術(shù)，來提高對小目標(biāo)的檢測。主干使用了跨階段局部網(wǎng)絡(luò)（CSP）［18］結(jié)構(gòu)，提取輸入圖像特征，頭部主要解決從主干提取特征映射的定位問題，并執(zhí)行類概率預(yù)測。Neck 結(jié)構(gòu)由特征金字塔網(wǎng)絡(luò)（FPN）［19］和路徑聚合網(wǎng)絡(luò)（PAN）［20］組成，Neck 結(jié)構(gòu)是連接主干和頭部的部分，主要是對特征圖進行細(xì)化和重構(gòu)。此外YOLOv5s 的Neck 結(jié)構(gòu)中，還借鑒了CSPNet 中設(shè)計的CSP2_X 結(jié)構(gòu)，加強網(wǎng)絡(luò)特征融合的能力［21］。YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，YOLOv5s 結(jié)構(gòu)中的組件結(jié)構(gòu)如圖2 所示。

圖1 YOLOv5s 結(jié)構(gòu)Fig.1 YOLOv5s structure

圖2 YOLOv5s 組件圖Fig.2 YOLOv5s component diagram

2 算法的改進

2.1 Ghost Convolution 模塊

在深層網(wǎng)絡(luò)中常規(guī)的特征提取方式會堆疊大量的卷積層，產(chǎn)生豐富的特征圖，但是同時需要保存大量參數(shù)，占用其有限內(nèi)存，不利于在嵌入式設(shè)備上部署網(wǎng)絡(luò)模型。本文使用一種Ghost Convolution 模塊［22］替換原網(wǎng)絡(luò)中的常規(guī)卷積模塊，可以通過較少的參數(shù)來提取特征。與常規(guī)卷積相比，在不改變輸出特征映射大小的情況下，該Ghost Convolution 模塊所需的參數(shù)和計算量都有所降低，其結(jié)構(gòu)如圖3 所示。

圖3 Ghost Convolution 模塊Fig.3 Ghost Convolution module

Ghost Convolution 模塊通過常規(guī)卷積生成幾個固有的特征映射，然后使用線性運算來擴展特征和增加通道。給定輸入數(shù)據(jù)X∈Rc×h×w，其中c為輸入通道數(shù)，h、w是X的高度和寬度，任意卷積層生成特征圖的操作可表示為

式中：?表示卷積運算，b表示偏差，Y∈是具有n個通道的輸出特征圖，f∈Rc×k×k×n是這一層中的卷積濾波器。此外，h＇和w＇表示輸出特征圖Y的高度和寬度，k × k表示f的核大小。

使用常規(guī)卷積生成m個固有特征圖的操作可表示為

其中，f ＇∈Rc×k×k×m（m≤n）表示所用濾波器，濾波器的大小、填充、步幅等超參數(shù)與式（1）中的常規(guī)卷積相同。

對y中每個固有的特征圖進行線性運算，生成s個Ghost 特征，其計算公式可表示為

由公式（3）得到n ＝m·s個特征圖Y ＝y(tǒng)11，y12，…，yms作為Ghost 模塊的輸出數(shù)據(jù)。

2.2 網(wǎng)絡(luò)改進

2.2.1 Vision Transformer 模塊

在機器視覺領(lǐng)域中，為了改善卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［23］在低層特征依賴關(guān)系范圍較大時存在的局限性。Dosovitskiy A等人［24］在Transformer 的基礎(chǔ)上提出了Vision Transformer。與CNN 網(wǎng)絡(luò)不同，Vision Transformer在獲取全局信息能力上很強大，將 Vision Transformer 與CNN 模型結(jié)合，通過自注意力機制改善底層特征提取。Vision Transformer 網(wǎng)絡(luò)模塊結(jié)構(gòu)如圖4 所示。

圖4 Vision Transformer 模塊Fig.4 Vision Transformer module

為了將圖片轉(zhuǎn)換為標(biāo)準(zhǔn)的Transformer 編碼器，用于處理序列數(shù)據(jù)，將輸入二維圖像x∈RH×W×C分割成固定大小的圖片xp∈。其中（H，W）是原始圖像的分辨率，C表示通道數(shù)，（P，P）是每個圖片塊（patch）的分辨率，N ＝HW／P表示獲得的圖片塊總數(shù)，其也用作變換器的有效輸入序列長度；然后線性嵌入每個面片，添加位置嵌入，并將生成的矢量序列提供給標(biāo)準(zhǔn)的Transformer 編碼器；再將Transformer 的第一個輸出送入MLP Head 得到預(yù)測結(jié)果。此外，在輸入的序列數(shù)據(jù)之前添加了一個分類標(biāo)志位（class），可以更好地表示全局信息。

2.2.2 嵌入Coordinate Attention 注意力

在某些情況下，攝像頭捕捉到的物體圖像較小，而Yolov5s 模型對小目標(biāo)的檢測效果欠佳，此時模型預(yù)測易受顏色、亮度等因素的影響。因此，本文引入Coordinate Attention 注意力機制［25］，可以有效地提高骨干網(wǎng)絡(luò)的特征提取能力，進一步提升準(zhǔn)確率。

Coordinate Attention 模塊可以視為一個計算單元，有效提升網(wǎng)絡(luò)的表達能力，并且可以充分利用捕獲的位置信息，從而準(zhǔn)確地定位感興趣的區(qū)域。Coordinate Attention 注意力的實現(xiàn)過程如圖5所示。

圖5 CA 模塊結(jié)構(gòu)圖Fig.5 CA module structure diagram

Coordinate Attention 注意力為了獲取輸入圖像全局上的注意力，并對每個通道信息進行編碼。首先將輸入特征圖分為寬度和高度兩個方向進行全局平均池化，獲得在寬度和高度兩個方向的特征圖。其中，分別逐通道使用兩個大小為（H，1）和（W，1）池化核，在高度為h的第c個通道的輸出可表示為

通過式（4）、式（5）獲得全局感受野并編碼精確的位置信息，兩種變換分別沿空間兩個方向聚合特征，生成一對特征映射張量，這有助于網(wǎng)絡(luò)更準(zhǔn)確地定位感興趣的對象。

隨后將兩個方向的特征圖進行融合，使用大小為1×1 的卷積模塊，把維度降低為原來的C／r，再通過批量歸一化處理送入非線性激活函數(shù)中獲得輸出特征圖，如式（6）：

其中，［·，·］表示沿空間維度的融合操作，F(xiàn)1為1×1 卷積，f∈表示在水平方向和垂直方向上編碼空間信息的中間特征圖，δ是非線性激活函數(shù)，r表示下采樣比例。然后沿著空間維度將f分解成兩個獨立的張量f h∈和f w∈，再使用兩個1×1 卷積Fh和Fw將特征圖變換為與輸入X相同數(shù)量的通道。得到結(jié)果如式（7）、式（8）：

式中：δ為Sigmoid 函數(shù)，gh、gw分別用作兩個空間上注意力的權(quán)重。最后在原始特征圖上通過乘法加權(quán)計算，將得到在寬度和高度方向上帶有注意力權(quán)重的特征圖，如式（9）：

2.3 改進算法結(jié)構(gòu)

本文將改進模塊加入到Y(jié)OLOv5s 模型中，優(yōu)化結(jié)構(gòu)如圖6 所示。

圖6 改進后的結(jié)構(gòu)Fig.6 Improved structure diagram

圖7 中，GBS 表示使用Ghost Convolution 模塊替換原網(wǎng)絡(luò)中的常規(guī)卷積模塊的結(jié)構(gòu)圖，C3_TR 表示使用Transformer 替換原CSP 結(jié)構(gòu)中的Resunit 模塊的結(jié)構(gòu)圖。

圖7 改進結(jié)構(gòu)圖的組件圖Fig.7 Component diagram of improved structure diagram

3 實驗對比

3.1 實驗環(huán)境

實驗的操作系統(tǒng)為windows7 系統(tǒng)，訓(xùn)練框架為PyTorch1.7.1。CPU 為8 GB RAM 的Intel（R）Core（TM）i7 -6700k ＠ 4.00 GHz，GPU 為NVIDIA GeForce GTX 970。

3.2 火災(zāi)煙霧數(shù)據(jù)集

由于公開的火災(zāi)煙霧數(shù)據(jù)集較少，通過互聯(lián)網(wǎng)采集數(shù)據(jù)，最終經(jīng)過清洗獲得20 114張圖片，隨機選取18 287張作為訓(xùn)練集，1 827張作為測試集。數(shù)據(jù)集圖像包含建筑、草原、森林、車輛起火4 種場景，并且涵蓋白天、黑夜以及其它背景干擾因素。數(shù)據(jù)集中部分火災(zāi)煙霧如圖8 所示。

圖8 部分?jǐn)?shù)據(jù)集Fig.8 Partial Dataset

3.3 評價指標(biāo)

實驗使用召回率（Recall）、精準(zhǔn)率（Precision）、平均精度AP（Average Precision）、平均精度均值mAP（mean Average Precision）來評價檢測模型準(zhǔn)確性。評價指標(biāo)計算公式如下：

其中，m表示樣本類別數(shù)；p（r）表示Precision以recall為參數(shù)的一個函數(shù)；TP（True Positives）是指被正確識別的正樣本；TN（True Negatives）為被正確識別的負(fù)樣本；FP（False Positives）表示負(fù)樣本被錯誤識別為正樣本；FN（False Negatives）表示正樣本被錯誤識別為負(fù)樣本。

3.4 實驗結(jié)果與分析

本文主要從實際檢測結(jié)果圖進行對比分析，檢測對比數(shù)據(jù)見表1，實際檢測結(jié)果如圖9、圖10 所示。

圖9 YOLOv5s 檢測結(jié)果Fig.9 Yolov5s test result chart

圖10 改進YOLOv5s 檢測結(jié)果Fig.10 Image of improved YOLOv5s test results

表1 改進前后算法測試結(jié)果對比表Tab.1 Comparison of test results before and after the improvement

表1 中，mAP為mAP＠0.5 值。通過測試結(jié)果可以得出，改進后mAP提高了0.73%，檢測速度提高了22.5%，模型參數(shù)比原網(wǎng)絡(luò)參數(shù)減少了17%。

通過圖9、圖10 對比結(jié)果可知，改進后的YOLOv5s 模型在不同場景中對煙霧、火焰目標(biāo)算法都可以有效地解決原YOLOv5s 存在的漏檢、錯檢。

在相同的運算環(huán)境下，將深度學(xué)習(xí)算法YOLOv4-Tiny、傳統(tǒng)單階段算法SSD、原網(wǎng)絡(luò)YOLOv5s 同本文算法進行比較分析。算法的對比結(jié)果見表2。

表2 檢測算法測試結(jié)果對比表Tab.2 Comparison table of test results of detection algorithm

由表2 可見，在檢測精度和檢測速度上，YOLOv4-tiny 檢測算法相對本文改進的模型有一定的優(yōu)勢，而檢測速度的快慢與算法的模型參數(shù)量等因素成反比，即模型參數(shù)量越小，檢測速度則越快。YOLOv4-tiny 是YOLOv4 的輕量化網(wǎng)絡(luò)架構(gòu)，極大地減少了模型參數(shù)量以及降低了模型的計算量，提高了檢測速度，但是該算法的總體性能略低。

通過對比實驗可以看出，本文算法總體上優(yōu)于其它幾種算法，該檢測算法在實際工程應(yīng)用中更具優(yōu)勢。

4 結(jié)束語

本文提出了一種基于YOLOv5s 的火災(zāi)煙霧檢測模型，在YOLOv5s 模型的基礎(chǔ)上進行優(yōu)化，并引入注意力機制、Vision Transformer 模塊提高檢測精度，解決目標(biāo)漏檢和錯檢等問題；引入Ghost Convolution 模塊，減少模型參數(shù)，提高火災(zāi)煙霧檢測算法的性能。與同一環(huán)境下的其他檢測模型相比，改進后的模型在識別精度和速度上都有良好優(yōu)勢。

但是，本文的召回率還有很大的進步空間，在之后的工作中，在保證準(zhǔn)確率的條件下，提升召回率；其次，還應(yīng)擴充火災(zāi)煙霧數(shù)據(jù)集，豐富火災(zāi)煙霧檢測場景，增強火災(zāi)煙霧圖片質(zhì)量。