基于改進YOLOv5算法的火災(zāi)圖像檢測研究

王龍興，劉為國，朱洪波

(安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001)

在日常生活當中，火災(zāi)頻繁發(fā)生，它給公眾安全和社會發(fā)展帶來了極大的危害[1].而傳統(tǒng)的火災(zāi)檢測系統(tǒng)是通過溫濕度探測器、煙霧探測器和一氧化碳探測器等來檢測環(huán)境中溫濕度變化、空氣中煙霧的密度變化和空氣中各種氣體濃度變化，從而做出判斷.這個過程需要較長的時間，且容易受到環(huán)境的影響，這使得傳統(tǒng)的火災(zāi)檢測系統(tǒng)存在著檢測速度慢和容易誤報的問題.

近年來，深度學(xué)習(xí)作為人工智能技術(shù)中發(fā)展最快、應(yīng)用最廣、效果最佳的技術(shù)[2]，受到廣泛關(guān)注.這使得火災(zāi)檢測可能不需要攝像機以外的其他設(shè)備，與傳統(tǒng)的火災(zāi)檢測方案相比，其檢測速度更快、精度更高、不受環(huán)境限制[3]，并且可以直接在現(xiàn)有的監(jiān)控設(shè)備上進行環(huán)境搭建，不需要增加額外的成本.

為達到提早發(fā)現(xiàn)火災(zāi)、降低成本以及減少火災(zāi)損失的目的，不少學(xué)者將深度學(xué)習(xí)[4]引入到火災(zāi)檢測中，并對其進行研究.何晨陽等[5]通過對圖像進行分割和特征提取，得到相應(yīng)的特征信息，再采用BP(back propagation)神經(jīng)網(wǎng)絡(luò)對其進行分類，進而達到火災(zāi)識別的目的.李杰等[6]提出將火災(zāi)圖像轉(zhuǎn)換成HIS格式，來凸顯火災(zāi)的視覺特性，再通過改進的卷積神經(jīng)網(wǎng)絡(luò)來對火災(zāi)進行識別.韋海成等[7]通過改進聚類算法對火災(zāi)進行檢測.張堅鑫等[8]增加多尺度的特征融合來提高Resnet101模型的特征提取能力.Zhang等[9]提出將圖像的地物復(fù)雜度進行量化，通過比較圖像復(fù)雜度的基真值和預(yù)測分數(shù)來進行火災(zāi)檢測.Li等[10]采用基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像火災(zāi)檢測算法，并對各種常用的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)果進行對比.

對以往的模型研究可以發(fā)現(xiàn)以下不足：① 傳統(tǒng)的模型檢測需要先對圖像進行預(yù)處理，再將處理后的信息導(dǎo)入到模型中；② 傳統(tǒng)的模型較為龐大，檢測時間較長，精度不高.為了更加快速且準確地檢測火災(zāi)，本文提出一種改進的YOLOv5火災(zāi)檢測算法.該模型在主干網(wǎng)絡(luò)部分融入Involution算子和CA注意力機制，分別從特征圖的空間上和權(quán)重分配上來提高特征提取能力.對定位損失函數(shù)進行冪變化，來提升模型回歸精度.

1 系統(tǒng)構(gòu)成

改進的YOLOv5火災(zāi)檢測系統(tǒng)主要由監(jiān)控部分、圖像處理和報警部分組成[11].監(jiān)控部分為攝像機監(jiān)控，通過攝像機對所監(jiān)控的區(qū)域?qū)崟r檢測，并將圖像傳輸?shù)綀D像處理部分.圖像處理部分用于判斷是否有火災(zāi)發(fā)生，報警部分為聲音報警器，當檢測到火災(zāi)時，開始報警.火災(zāi)檢測系統(tǒng)工作流程如圖1所示.

圖1 火災(zāi)檢測系統(tǒng)工作流程Fig.1 Wrok flow chart of fire detection system

2 YOLOv5算法改進

2.1 YOLOv5算法

YOLOv5算法總共有4種網(wǎng)絡(luò)模型，按照網(wǎng)絡(luò)深度和特征圖大小，依次分為YOLOv5s、YOLOv5x、YOLOv5m和YOLOv5l[12].選取運行速度最快，精度相對較高的YOLOv5s作為YOLOv5的基礎(chǔ)模型架構(gòu)，并對YOLOv5進行改進.YOLOv5算法架構(gòu)如圖2所示.

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLOv5 network structure

YOLOv5算法由圖像輸入端、主干網(wǎng)絡(luò)、頸部和輸出層4個部分組成[13].

1) 圖像輸入端.輸入圖片使用Mosaic數(shù)據(jù)增強，隨機將4種圖片進行縮放、裁剪和拼接，豐富了數(shù)據(jù)集，提高了對小目標檢測效果.通過自適應(yīng)錨框計算來獲取最佳錨框.并對圖片進行縮放操作，統(tǒng)一圖片大小，減少計算量.

2) 主干網(wǎng)絡(luò).使用CSPDarknet53網(wǎng)絡(luò)，通過切片、卷積層、C3模塊和金字塔池化(spatial pyramid pooling network，SPP)模塊來對圖像進行縮放、特征提取以及感受野增強，從而獲得豐富的特征信息.

3) 頸部網(wǎng)絡(luò).采用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)(feature pyramid networks,FPN)與自上而下的路徑聚集網(wǎng)絡(luò)結(jié)構(gòu)(path aggregation network,PAN)相結(jié)合的方式，對不同層的特征圖進行拼接.FPN通過近鄰插值上采樣操作，擴大特征圖尺度，傳遞語義特征，PAN通過卷積步長為2，縮小特征圖尺度，傳遞定位特征.融合兩種結(jié)構(gòu)使得模型可以獲取更豐富的特征信息[14].

4) 輸出層.對頸部網(wǎng)絡(luò)輸出的20×20、40×40和80×80這3個不同尺度的特征圖通過損失函數(shù)和非極大抑制，來實現(xiàn)對不同大小目標的預(yù)測.

2.2 Involution算子

在傳統(tǒng)的卷積操作中，由于受到感受野的大小限制，特征圖無法獲取空間上長距離關(guān)系.同時，對不同維度的特征圖使用不同的卷積核，會產(chǎn)生信息冗余的問題[15].因此，增加Involution算子來擴大感受野，降低空間無關(guān)性帶來的信息冗余的影響[16].Involution算子在不改變通道數(shù)的前提下，給特征圖的空間上不同位置分配不同的權(quán)重，同時采用分組卷積操作，降低卷積核數(shù)量.

如圖3所示，該算子由2個部分組成.第1部分為生成卷積核，計算公式如下：

圖3 Involution算子結(jié)構(gòu)Fig.3 Structure diagram of Involution operator

Hi,j=φ(xi,j)=w1σ(w0xi,j)，

(1)

式中，xi,j表示特征圖位置為(i,j)的特征向量，w0和w1為1×1的卷積，目的是對特征圖通道數(shù)進行縮放，降低計算量，σ是對特征向量進行批標準化(batch normalization，BN)和激活函數(shù)操作.

通過φ變換，可以得到對應(yīng)通道數(shù)的權(quán)重值，再進行重新排列，最終可以得到所需大小的卷積核.由于采用分組操作，此時獲取的卷積核通道數(shù)為G，小于原特征圖通道數(shù)，故要對其進行組內(nèi)廣播操作，從而最終獲取大小為K×K×C的卷積核.

第2部分為計算內(nèi)卷積，將特征圖上xi,j的點擴展到K×K大小后展開.再與卷積核先進行相乘，再進行累加的操作，最終輸出結(jié)果.

2.3 CA注意力模塊

為了更好地使模型從大量信息中篩選出少量重要信息，抑制無關(guān)信息.使用一種將位置信息嵌入到通道的坐標注意力機制(CA)[17]，如圖4所示.

圖4 CA網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 CA network structure

CA由2個部分組成.第1部分為坐標信息嵌入，分別對特征圖的高度和寬度兩個方向進行全局平均池化.如式(2)(3)所示.

(2)

(3)

第2部分為坐標特征圖生成，將池化后的特征圖進行拼接后，通過1×1的卷積降維.再將得到的特征圖進行BN和激活函數(shù)操作后，將特征圖分成2個單獨的張量，經(jīng)過激活函數(shù)得到在寬度和高度上的注意力權(quán)重wxi和wyj.通過i和j兩個參數(shù)可以定位到輸入圖像的相應(yīng)位置xc(i,j)，將對應(yīng)位置的xc(i,j)與權(quán)重相乘，最終得到輸出特征圖，如式(4)所示：

yc(i,j)=xc(i,j)×wxi×wyj.

(4)

2.4 定位損失函數(shù)

YOLOv5的損失函數(shù)是由3部分組成的，分別是分類損失、定位損失和置信度損失，總損失函數(shù)為三者加權(quán)和[18].

在YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)中，使用CIoU loss作為定位損失.CIoU將目標和邊框之間的距離、重疊率、尺度以及懲罰項都考慮進去，使得目標框回歸變得更加穩(wěn)定[19].如式(5)所示.

(5)

為了提高模型的回歸精度，He等[20]在CIoU的基礎(chǔ)上提出了一種新的IoU損失函數(shù)，即α-CIoU，如式(6)所示.α-CIoU在CIoU的基礎(chǔ)上引入冪變化，從而可以自適應(yīng)地改變CIoU的各項參數(shù)大小，α取3.

(6)

實驗結(jié)果表明，在不增加其他參數(shù)和訓(xùn)練時間的前提下，α-CIoU Loss相較于CIoU Loss，可以更好地提高精度和定位效果.

2.5 改進后的網(wǎng)絡(luò)架構(gòu)

采用下采樣的Involution算子，來擴大感受野和防止過擬合.為避免下采樣操作使特征圖過小而導(dǎo)致信息丟失，只在主干網(wǎng)絡(luò)的第3層增加Involution算子.同時，為進一步提取特征，在主干網(wǎng)絡(luò)的第6層后加入注意力機制模塊，優(yōu)化后網(wǎng)絡(luò)結(jié)構(gòu)如表1所示.最終，特征圖的檢測尺度為10×10、20×20和40×40共3個不同尺度.

表1 改進的YOLOv5主干網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Improved YOLOv5 backbone network structure

3 實驗結(jié)果和分析

3.1 實驗環(huán)境

實驗平臺操作系統(tǒng)為Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz,8G的運行內(nèi)存，顯卡為Nvidia Geforce GTX1650ti,操作系統(tǒng)為Windows10,64位，整個實驗的學(xué)習(xí)框架為Pytorch 1.8,實驗環(huán)境是Python 3.8，GPU加速軟件為CUDA10.2和CUDNN7.6.實驗中batch size為8，epoch設(shè)置為300.

3.2 數(shù)據(jù)集準備

數(shù)據(jù)集來源于自建的互聯(lián)網(wǎng)火災(zāi)圖像數(shù)據(jù)集，包括房屋著火、森林火災(zāi)和汽車著火等，總共2 059張火災(zāi)圖像，使用labelme標注軟件對數(shù)據(jù)集進行標注，標記類別為fire.將標記好的數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和驗證集，得到1 647張訓(xùn)練圖和412張驗證圖.

3.3 評測指標

通過驗證集來評估改進的YOLOv5算法性能.采用精確度(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精度均值(mean average precision,mAP)和檢測速度(frames per second,FPS)作為性能評價指標.具體的計算公式如下.

(8)

(10)

式中，TP指的是正樣本預(yù)測出正樣本數(shù)量，F(xiàn)P是負樣本預(yù)測出正樣本數(shù)量，F(xiàn)N是正樣本預(yù)測出負樣本數(shù)量.P指的是所有預(yù)測為正樣本的結(jié)果中，預(yù)測正確的比率，R指的是所有正樣本中被正確預(yù)測的比率[21].AP為P-R曲線的積分面積，反映的是在當前類別下，模型訓(xùn)練結(jié)果的好壞.mAP根據(jù)IoU的閾值，分為mAP@0.5和mAP@0.5:0.95，其中m表示平均，@后面的數(shù)表示判定IoU為正負樣本的閾值大小，大于閾值則為正樣本，否則為負樣本.@0.5:0.95表示閾值從0.5到0.95，步長0.05后取均值.mAP越大，網(wǎng)絡(luò)性能越好.FPS則反映了模型每秒能處理的圖像數(shù)量.

3.4 消融實驗

為了驗證增加Involution算子、CA注意力機制以及修改定位損失函數(shù)對YOLOv5火災(zāi)檢測的有效性，本文做了相應(yīng)的消融實驗進行驗證，改進點1為在主干網(wǎng)絡(luò)增加Involution算子，改進點2為在主干網(wǎng)絡(luò)增加CA注意力機制，改進點3為修改定位損失函數(shù).

由表2可知：① 在YOLOv5中分別加入3種不同的改進措施，都可以有效地提升模型的精度;② 改進的YOLOv5算法相較于YOLOv5算法對火災(zāi)進行檢測時，精確率、mAP@0.5、mAP@0.5:0.95分別提升了8.20%、3.78%、5.81%，有效地提高了火災(zāi)檢測的精度.

表2 改進的YOLOv5算法的消融實驗Tab.2 Ablation experiment of improved YOLOv5 algorithm

為了更好地反映改進YOLOv5和YOLOv5的檢測區(qū)別，選擇部分火災(zāi)圖像進行對比，如圖5所示.

(a) 測試圖片 (b) YOLOv5 (c) 改進YOLOv5圖5 實驗結(jié)果對比圖Fig.5 Comparison of experimental results

從圖5可以得出，相較于YOLOv5模型，改進YOLOv5模型的置信度雖然有所降低，但定位框更加準確，同時，改進YOLOv5模型對于YOLOv5模型的漏檢點和誤檢點有更好的檢測性能.

雖然改進YOLOv5算法的平均精度有所提高，但依舊存在著一定問題，如圖6所示.

(a) 測試圖片 (b) YOLOv5 (c) 改進YOLOv5圖6 錯誤檢測圖Fig.6 Detection error diagram

由圖6可知，當火災(zāi)圖形較小時，YOLOv5和改進YOLOv5都會產(chǎn)生漏檢.同時，由于夜間路燈的光照形狀類似于火災(zāi)形狀，導(dǎo)致YOLOv5和改進YOLOv5都產(chǎn)生了誤判.

3.5 算法對比實驗

為驗證改進YOLOv5算法相對于其他算法的優(yōu)越性，選擇目標檢測算法SSD[22]和YOLOv3[23]進行對比實驗，所有的實驗均在相同的實驗環(huán)境和數(shù)據(jù)集上進行，實驗結(jié)果如表3所示.

表3 不同模型的檢測性能Tab.3 Detection performance of different models

由表3可知：改進YOLOv5算法相較于SSD、YOLOv3和YOLOv5算法，改進YOLOv5算法的平均精度最高.改進YOLOv5算法檢測速度比SSD低，但相較于YOLOv5算法的檢測速度有了一定的提升，保證了檢測的實時性.

4 結(jié)論

本文提出了一種基于改進YOLOv5的火災(zāi)檢測算法，在YOLOv5的主干網(wǎng)絡(luò)中加入Involution算子和CA注意力機制，分別從兩個不同的方向來提高模型的特征提取能力，降低信息冗余；修改YOLOv5算法的定位損失函數(shù)，來提高回歸精度.實驗結(jié)果表明，改進后的算法可以更好地對火災(zāi)進行檢測.在后續(xù)研究中，將在保證模型精度和檢測速度的前提下，對模型輕量化進行研究，使得模型可以更好地部署在移動端中.