基于改進(jìn)YOLOv4的消防設(shè)施檢測(cè)算法

耿鵬志 吳富起 王瑞 葉向陽 劉煒達(dá) 王海

關(guān)鍵詞：目標(biāo)檢測(cè)；消防設(shè)施；卷積神經(jīng)網(wǎng)絡(luò)；YOLOv4

0 引言

近年來，隨著我國經(jīng)濟(jì)的增長，城市人口和建筑的持續(xù)增長，火災(zāi)預(yù)控愈發(fā)重要，但在發(fā)展的同時(shí)，火災(zāi)隱患增量卻在逐步上升，部分火災(zāi)危害大、風(fēng)險(xiǎn)高[1]。消防安全作為政府、企事業(yè)單位以及居民生活的重要管理部分，加強(qiáng)消防工程的建設(shè)顯得尤為重要。盡管如設(shè)立微型消防站、遠(yuǎn)程監(jiān)控系統(tǒng)網(wǎng)格化管理等智慧消防工作建設(shè)如火如荼地開展，但在某些方面仍然存在欠缺，如專業(yè)人員匱乏、日常巡檢巡查不到位、消防設(shè)施誤報(bào)漏報(bào)及監(jiān)管統(tǒng)計(jì)等問題[2]，如何提升消防安全管理建設(shè)成為當(dāng)下研究熱點(diǎn)。

隨著深度學(xué)習(xí)的發(fā)展，目標(biāo)檢測(cè)技術(shù)[3]已經(jīng)得到了廣泛應(yīng)用，可以從圖像中識(shí)別物體，獲取圖像區(qū)域內(nèi)的信息數(shù)據(jù)，替代了枯燥乏味的工作[4]。目標(biāo)檢測(cè)在早期因受計(jì)算機(jī)資源限制，需基于滑動(dòng)窗口或手工構(gòu)建特征，但檢測(cè)精度低，魯棒性弱，代表作為尺度不變特征[5]、局部二值模式[6]、Viola-Jones檢測(cè)器[7]或HOG 行人檢測(cè)算法[8]。然而隨著深度學(xué)習(xí)的發(fā)展，該技術(shù)取得了質(zhì)的突破，由傳統(tǒng)的人工特征轉(zhuǎn)為數(shù)據(jù)驅(qū)動(dòng)，不僅成了學(xué)術(shù)界的研究熱點(diǎn)，還為工業(yè)界帶來了巨大的利潤。目前目標(biāo)檢測(cè)按照是否存在顯式區(qū)域可主要分為兩種，即One-stage 和Two-stage 兩類，Onestage方法是一種基于回歸目標(biāo)檢測(cè)算法，對(duì)整幅圖片直接進(jìn)行檢測(cè)，不生成區(qū)域，代表性算法有YOLO[9]和SSD[10]等。Two-stage方法是將檢測(cè)問題轉(zhuǎn)化為對(duì)目標(biāo)局部區(qū)域內(nèi)容的分類，代表性算法主要有R-CNN[11]、Fast R-CNN[12]和SPP-Net[13]等。

目前我國的消防安全管理仍有很大的不足，如檢測(cè)統(tǒng)計(jì)仍采用手工等方法，缺乏智能化輔助功能。2017年公安部消防局印發(fā)《關(guān)于全面推進(jìn)“智慧消防”建設(shè)的指導(dǎo)意見》[14]提出，要加速推進(jìn)現(xiàn)代科技與消防工作的深度融合。在此背景下，提升消防管理能力迫在眉睫，針對(duì)于建筑圖紙中消防設(shè)施自動(dòng)識(shí)別算法應(yīng)運(yùn)而生。

本文的主要貢獻(xiàn)如下：

1） 構(gòu)建建筑圖紙消防中設(shè)施數(shù)據(jù)集，用于圖紙中消防設(shè)施識(shí)別等研究工作。

2） 將目標(biāo)檢測(cè)應(yīng)用于建筑圖紙中消防設(shè)施的檢測(cè)，提出一種基于YOLOv4[15]的檢測(cè)算法，實(shí)現(xiàn)了自動(dòng)檢測(cè)和識(shí)別功能。

3） 對(duì)模型進(jìn)行了改進(jìn)，使其適合當(dāng)前任務(wù)檢測(cè)。首先通過實(shí)驗(yàn)選取合適的特征提取層，其次采用ASPP[16]擴(kuò)大模型感受野，提升模型的特征提取能力，最后對(duì)Mosaic數(shù)據(jù)增強(qiáng)算法進(jìn)行了超參數(shù)實(shí)驗(yàn)，使模型學(xué)習(xí)到更多魯棒性特征。

1 基于改進(jìn)YOLOv4 的消防設(shè)施檢測(cè)算法

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺領(lǐng)域的基本任務(wù)，可從圖像和視頻中提取出所需要的信息，在學(xué)術(shù)和工業(yè)領(lǐng)域中得到了廣泛應(yīng)用。YOLO作為該領(lǐng)域內(nèi)的著名模型，是一種單階段目標(biāo)檢測(cè)算法，能夠直接對(duì)圖像進(jìn)行計(jì)算并完成分類（Classification） 和定位（Localization） 兩類任務(wù)。

1.1 YOLOv4模型

YOLOv4 是基于 YOLOv3 改進(jìn)的一種單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，由Alexey Bochkovskiy于2020年提出。作為對(duì)YOLOv3 的改進(jìn)，該模型融合了Weighted-Residual-Connections（WRC）、Self-adversarial-training（SAT）和Cross-Stage-Partial-connection（CSP）[16]等多種深度學(xué)習(xí)技巧，作者又進(jìn)行了大量實(shí)驗(yàn)，在輸入網(wǎng)絡(luò)分辨率、卷積層數(shù)量等參數(shù)量之間找到了最佳平衡，該網(wǎng)絡(luò)由Backbone、Neck和Head三部分組成：即CSP?Darknet53 作為 Backbone， SPP[17]模塊用于增大感受野；PANet作為Neck用于生成不同空間分辨率的特征圖；Head仍沿襲YOLOv3，對(duì)Neck輸出的特征圖進(jìn)行結(jié)果預(yù)測(cè)，確定先驗(yàn)框有無目標(biāo)以及目標(biāo)種類。然后根據(jù)位置參數(shù)對(duì)先驗(yàn)框調(diào)整得到預(yù)測(cè)框，最后篩選出置信度高于設(shè)定閾值的預(yù)測(cè)框，并通過非極大抑制獲得分?jǐn)?shù)最高的預(yù)測(cè)框作為最后檢測(cè)結(jié)果，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 本文所使用的算法

YOLOv4 的先驗(yàn)框和檢測(cè)層的選擇都是基于COCO[18]和PASCAL VOC[19]等公開數(shù)據(jù)集。但建筑圖紙中的消防設(shè)施目標(biāo)較小，且大小相對(duì)固定，在經(jīng)過降采樣后會(huì)出現(xiàn)語義信息的損失，所以原模型并不適用于該物體的檢測(cè)。為了更好地對(duì)消防設(shè)施進(jìn)行檢測(cè)，提升特征表達(dá)。一方面需調(diào)整模型的先驗(yàn)框設(shè)置，另一方面需能力對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，達(dá)到良好的檢測(cè)效果。

1.2.1 先驗(yàn)框尺寸的設(shè)置

先驗(yàn)框的數(shù)量在一定程度上會(huì)影響模型性能，先驗(yàn)框數(shù)量不足時(shí)會(huì)無法匹配到目標(biāo)，造成漏檢的情況的出現(xiàn)，但數(shù)量過多時(shí)，又會(huì)影響模型的推理速度，降低檢測(cè)效率，所以合適的先驗(yàn)框選取至關(guān)重要。為了準(zhǔn)確地檢測(cè)公開數(shù)據(jù)集中物體，原始YOLOv4模型對(duì)先驗(yàn)框進(jìn)行了聚類統(tǒng)計(jì)，主要是針對(duì)于不同尺寸和種類的物體。而本文檢測(cè)目標(biāo)形狀相對(duì)固定，目標(biāo)單一，所以不適宜使用先驗(yàn)框的默認(rèn)參數(shù)設(shè)置，為此使用Kmeans聚類算法對(duì)圖紙中的消防設(shè)施進(jìn)行計(jì)算，根據(jù)統(tǒng)計(jì)結(jié)果將先驗(yàn)框尺寸設(shè)置為[11，23]、[21，23]和[17，40]。

1.2.2 金字塔池化

特征金字塔作為目前在目標(biāo)檢測(cè)領(lǐng)域中一個(gè)比較重要的部分，可以在不同尺度下?lián)碛胁煌姆直媛?，不僅可避免將圖片裁剪為模型的固定輸入大小，能讓小目標(biāo)擁有合適的特征表示，還能通過融合多尺度信息提升對(duì)小目標(biāo)的檢測(cè)性能。

空洞卷積（Atrous Convolution） [20]是在卷積核元素之間填充空格來擴(kuò)大卷積核的一種方法，使用擴(kuò)張率（Dilation rate） 來調(diào)節(jié)，可在不損失信息的前提下增加大感受野，以此來捕捉上下文信息，如圖2所示，擴(kuò)張率從左往右分別為： dilation rate=1、dilation rate=2 和dilation rate=3。

SPP（Spatial pyramid pooling） 是由三個(gè)最大池化層組成，其步長和滑窗大小要做自適應(yīng)調(diào)整，經(jīng)過特征映射的特征層再進(jìn)行拼接，得到相應(yīng)的特征向量，這樣不僅可以將不同尺寸的特征圖輸出為固定大小向量，還可以提取不同尺寸的空間特征信息。但因?yàn)楦惺芤拜^小，在面對(duì)低分辨率圖形的情況下，容易丟失許多細(xì)節(jié)信息。

ASPP很好地解決了這一問題，將卷積層改為了空洞卷積，其結(jié)構(gòu)由一個(gè)1×1卷積層、三個(gè)3×3的空洞卷積和一個(gè)全局池化層構(gòu)成，共4個(gè)分支機(jī)構(gòu)，之后將這4個(gè)分支機(jī)構(gòu)融合在一起，進(jìn)行特征提取，這樣既不丟失分辨，也可通過擴(kuò)大卷積核的感受野，提升模型的檢測(cè)性能，如圖3所示。

1.2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

原YOLOv4模型是對(duì)不同尺寸的物體進(jìn)行檢測(cè)，盡管融合多種深度學(xué)習(xí)技巧，也有不錯(cuò)檢測(cè)性能，但是對(duì)于固定的目標(biāo)檢測(cè)信息有些冗余，模型參數(shù)量較大。為此本文對(duì)原模型進(jìn)行了改進(jìn)，通過對(duì)不同特征層提取的特征信息進(jìn)行實(shí)驗(yàn)，選取合適的特征層進(jìn)行檢測(cè)，同時(shí)為減少模型參數(shù)量，刪去了其余的檢測(cè)頭，得到模型YOLOv4_shallow。

文獻(xiàn)[15]提到，在CSPDarknet53上添加SPP塊可極大地增加感受野，分離出最顯著的上下文特征，但由于其感受野有限，會(huì)存在無法學(xué)習(xí)到目標(biāo)有效的特征信息的問題。為進(jìn)一步提升模型的檢測(cè)效果，獲得精確的定位信息和豐富的語義信息，以滿足實(shí)際檢測(cè)需求，本文對(duì)模型進(jìn)行了改進(jìn)，將SPP 模塊替換為ASPP，得到模型YOLOv4_fire-equiment，如圖4所示。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 消防設(shè)施數(shù)據(jù)集的構(gòu)建

本文實(shí)驗(yàn)數(shù)據(jù)來自消防疏散圖等建筑圖紙，為保證實(shí)驗(yàn)數(shù)據(jù)的多樣性，使用ACDSEE等軟件，對(duì)圖紙進(jìn)行模糊、亮度以及噪聲等處理，最終得到消防疏散圖558張。

本文檢測(cè)建筑圖紙中消防設(shè)施，為單類別檢測(cè)任務(wù)。在標(biāo)注過程中使用 LabelImg軟件對(duì)消防疏散圖進(jìn)行手工標(biāo)注，并使標(biāo)注框緊密覆蓋消防設(shè)施且不能框到疏散圖邊界，最后制成PACAL VOC數(shù)據(jù)集的格式并保存到指定的文件夾中，標(biāo)簽命名為“fire equipment”，所以共標(biāo)記消防設(shè)施3 552個(gè)，標(biāo)注過程如圖5所示。

2.2 實(shí)驗(yàn)環(huán)境的配置

本文實(shí)驗(yàn)平臺(tái)為Ubuntu操作系統(tǒng)，開發(fā)環(huán)境為：ML-Ubuntu16.04-Desktop-v2.6，cuda11.0，GPU為1塊RTX3090 顯卡，搭配Intel（R）Xeon（R）CPUE5-2650v4@2.20GHz 處理器。代碼均在 PyTorch1.2 框架下實(shí)現(xiàn)。為提高訓(xùn)練效果，所用算法均使用遷移學(xué)習(xí)策略。

實(shí)際訓(xùn)練中的超參數(shù)設(shè)置為：Epoch =150，前50 個(gè)Epoch的訓(xùn)練方式為凍結(jié)網(wǎng)絡(luò)，后100個(gè)epoch將其解凍，學(xué)習(xí)率分別設(shè)置為l=0.001和l=0.000 1，學(xué)習(xí)率調(diào)整策略均為 Adam，Batchsize=32。

2.3 評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)領(lǐng)域中最常見的評(píng)價(jià)指標(biāo)是Map和參數(shù)量Param，用于衡量模型檢測(cè)能力的強(qiáng)弱的大小。Map是由精確度P（precision） 、召回率R（recall） 和平均精度AP（Average Precision） 計(jì)算而來，AP值為PR曲線下面的面積，AP的值越大，則說明模型的平均準(zhǔn)確率越高。但由于本文檢測(cè)任務(wù)為單類別檢測(cè)任務(wù)，所以評(píng)價(jià)指標(biāo)MAP與AP值相等，故使用AP作為精度評(píng)價(jià)指標(biāo)，計(jì)算如下：

2.4 實(shí)驗(yàn)結(jié)果分析

2.4.1 不同特征層對(duì)于檢測(cè)結(jié)果的影響

由于不同特征層的感受野不同，對(duì)于模型檢測(cè)性能有一定影響，為此本文根據(jù)模型特征提取網(wǎng)絡(luò)CSP?darknet53的特點(diǎn)，共設(shè)置了3組不同深度特征提取網(wǎng)絡(luò)，分別選用特征圖大小為304×304、76×76和38×38 的特征圖作為檢測(cè)層，由淺到深分別命名為YOLO_p1、YOLO_p2和YOLO_p3，實(shí)驗(yàn)結(jié)果如表1所示。

從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，當(dāng)特征圖為304x304時(shí)，盡管參數(shù)量較小，但由于網(wǎng)絡(luò)層數(shù)過淺，無法學(xué)習(xí)到目標(biāo)有效的特征信息，存在嚴(yán)重的信息損失，不能有效地提取消防設(shè)施的圖像特征。而當(dāng)特征圖為38×38檢測(cè)效果最好，AP值為72.61。所以根據(jù)實(shí)驗(yàn)結(jié)果最終選取38×38作為本文模型的特征提取層，命名為YOLOv4_basline，設(shè)為本文基線的模型。

2.4.2 特征金字塔對(duì)于檢測(cè)結(jié)果的影響

Spp-Net 是一種可以不考慮圖像大小，可輸出固定長度的網(wǎng)絡(luò)結(jié)構(gòu)，可讓目標(biāo)在不同尺度下都能相應(yīng)的特征表示，性能效果也在不同數(shù)據(jù)集上得到了驗(yàn)證。但由于其感受野有限，丟失了較多的全局信息和局部語義信息，所以在面對(duì)低分辨率時(shí)，效果并不好。而ASPP采用空洞卷積對(duì)輸入圖像以不同的采樣率進(jìn)行采樣，之后為整合空間上下文信息將多支路特征融合，進(jìn)而很好地提升模型的性能，為此本文進(jìn)行了對(duì)比實(shí)驗(yàn)，如表2所示。

從表2中可以看出，ASPP的檢測(cè)精度高達(dá)77.82，比SPP要高5.43個(gè)百分點(diǎn)，說明對(duì)于消防設(shè)施這類小目標(biāo)物體，ASPP中的空洞卷積由于擁有的不同感受野，可以有效地從低分辨率圖像中提取有效信息，使檢測(cè)模型獲得更豐富的特征。

2.4.3 模型的優(yōu)化實(shí)驗(yàn)

數(shù)據(jù)增強(qiáng)作為深度學(xué)習(xí)的重要驅(qū)動(dòng)力，可以在不改變參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)的情況下進(jìn)行訓(xùn)練，有效地緩解了過擬合情況的出現(xiàn)。Mosaic是一種拼接類數(shù)據(jù)增強(qiáng)方法，主要思想是將4張圖片進(jìn)行隨機(jī)縮放，再隨機(jī)地拼接為1張圖片進(jìn)行訓(xùn)練，隨機(jī)縮放可以增加很多小目標(biāo)，豐富數(shù)據(jù)集的多樣性，同時(shí)由于其可以一次性處理4張照片，也減少了訓(xùn)練時(shí)數(shù)據(jù)的處理時(shí)間，提升了處理速度，如圖6所示。

由于不同的縮放比例對(duì)目標(biāo)的大小有很大的影響。所以本文也對(duì)Mosaic的縮放比例的超參數(shù)進(jìn)行了對(duì)比實(shí)驗(yàn)，共設(shè)置0.3、0.4和0.5三組實(shí)驗(yàn)，結(jié)果如表3所示。

從實(shí)驗(yàn)結(jié)果中可以看出，Mosaic對(duì)于模型性能有著顯著提升，檢測(cè)精度提升約有11.65個(gè)百分點(diǎn)，這主要是由于，圖片的縮放和裁剪操作縮小了消防設(shè)施的大小，迫使模型去學(xué)習(xí)更小的目標(biāo)，學(xué)習(xí)到更多的魯棒性特征，提升了模型的檢測(cè)性能。同時(shí)，當(dāng)超參數(shù)p 為0.3時(shí)比p=0.4和p=0.5分別要高0.56和1.77個(gè)百分點(diǎn)，猜測(cè)可能是P=0.3的目標(biāo)大小較p=0.5更小，豐富了檢測(cè)數(shù)據(jù)集，讓模型學(xué)習(xí)到更多消防設(shè)施特征。

綜上所述，設(shè)計(jì)的YOLOv4_fire-equipment 模型在測(cè)試集上最終的AP值達(dá)0.894 7，檢測(cè)結(jié)果優(yōu)于基線模型YOLOv4_baseline，檢測(cè)精度提高16.86個(gè)百分點(diǎn)，圖7為實(shí)驗(yàn)檢測(cè)結(jié)果。

3 結(jié)論

本文提出一種YOLOv4 模型進(jìn)行改進(jìn)的YO?LOv4_fire-equipment，通過聚類方法設(shè)置先驗(yàn)框、選取合適的特征檢測(cè)層、使用ASPP擴(kuò)大模型感受野以及對(duì)Mosaic參數(shù)進(jìn)行實(shí)驗(yàn)，有效地增強(qiáng)了網(wǎng)絡(luò)對(duì)建筑圖紙中的消防設(shè)施的檢測(cè)性能，對(duì)消防監(jiān)督統(tǒng)計(jì)效率有一定提升作用。

未來將進(jìn)一步考慮優(yōu)化YOLOv4_fire-equipment 模型，加入不同的特征融合模塊，在提升檢測(cè)精度前提下，進(jìn)一步降低模型的參數(shù)量。同時(shí)擴(kuò)充實(shí)驗(yàn)數(shù)據(jù)集，提升樣本的多樣性，以此來更貼近于復(fù)雜實(shí)戰(zhàn)場(chǎng)景。