YOLO V4模型在含硫井站火焰和煙霧檢測中的應(yīng)用

向 偉，龔云洋，李華昌

（中國石化西南油氣分公司采氣三廠，四川 德陽 618000）

1 引言

中國石化西南油氣分公司含硫氣井每年能生產(chǎn)30億方天然氣，同時大量的H2S伴隨著天然氣被攜帶出來，H2S具有腐蝕性、有毒性、易燃性等特點，嚴(yán)重影響井站管線、設(shè)備、人員的安全。含硫天然氣在生產(chǎn)過程中難免會遇到設(shè)備故障、違規(guī)操作等意外事件發(fā)生，一旦引起火災(zāi)事故，將會造成不可估計的損失，含硫井站的安全需要高度重視。

目前大多數(shù)天然氣生產(chǎn)井站都是采用固定式的火焰探測器、煙霧探測器、氣體檢測儀等火災(zāi)報警器來預(yù)防火災(zāi)發(fā)生，火災(zāi)報警器主要是將明火、火焰熱輻射、煙霧濃度、可燃?xì)怏w濃度等特征參量作為火災(zāi)預(yù)警的判斷依據(jù)，通?；馂?zāi)報警器的位置固定，井站生產(chǎn)空間大，現(xiàn)場設(shè)備高低起伏，環(huán)境復(fù)雜，火焰、煙霧偵察能力有限，這些特征參量還易受溫度、濕度和氣流變化影響，對火災(zāi)報警器的預(yù)警造成影響。如果含硫井站發(fā)生火災(zāi)、爆炸，空氣中的可燃?xì)怏w、有毒氣體出現(xiàn)，現(xiàn)場環(huán)境將非常危險，不僅會給救援工作帶來極大困難，還會對消防救援人員的生命安全造成極大威脅，所以含硫井站的火災(zāi)預(yù)警和救援偵察是一個迫切需要解決的問題。

目前，在火災(zāi)預(yù)警領(lǐng)域，有研究人員通過傳統(tǒng)圖像處理特征提取的方法來對煙霧和火焰進行檢測［1］，文獻(xiàn)［2］采用煙霧增強顏色變換MSER（Maximally Stable Extremal Regions）檢測方法對煙霧進行檢測，文獻(xiàn)［3］采用LBP特征組合SVM分類器來對森林中的煙霧和火焰進行檢測，但傳統(tǒng)的圖像處理和機器學(xué)習(xí)的火焰、煙霧檢測方法不能反應(yīng)出火焰、煙霧本質(zhì)，手工提取的特征易受到現(xiàn)場復(fù)雜環(huán)境干擾，影響火焰、煙霧檢測準(zhǔn)確率。深度學(xué)習(xí)目標(biāo)檢測模型是計算機視覺領(lǐng)域的杰出代表，對圖像不僅有強大的特征提取能力，還能降低復(fù)雜環(huán)境對模型檢測效果的影響，在物體的檢測和識別上有突出的效果［4］。文獻(xiàn)［5］采用深度學(xué)習(xí)Faster RCNN［6］目標(biāo)檢測模型對火焰和煙霧進行檢測，但Faster R-CNN目標(biāo)檢測模型屬于基于候選區(qū)域的目標(biāo)檢測算法，該算法檢測速度較慢，應(yīng)用在巡檢機器人上不能實時檢測。其次，從石油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場火災(zāi)現(xiàn)場收集到的火焰和煙霧樣本較少，不足以訓(xùn)練出較好的深度學(xué)習(xí)目標(biāo)檢測模型。

針對以上問題，這里選擇檢測速度快、能在移動端實時檢測的基于回歸的深度學(xué)習(xí)YOLO V4目標(biāo)檢測模型進行實驗，首先，將YOLO V4模型對公開的火焰、煙霧數(shù)據(jù)集進行訓(xùn)練；接著，將訓(xùn)練得到的模型采用遷移學(xué)習(xí)的訓(xùn)練方法對數(shù)量較少的井站火焰、煙霧數(shù)據(jù)集進行訓(xùn)練；最后，經(jīng)遷移學(xué)習(xí)訓(xùn)練后的YOLO V4目標(biāo)檢測模型對井站火焰、煙霧的檢測精度均值（mAP）高達(dá)99.62%，有更好的井站火焰、煙霧檢測效果，配合巡檢機器人進行火焰和煙霧檢測將具有檢測精度高、反應(yīng)速度快、實時性好、檢測范圍廣等優(yōu)點，應(yīng)用在含硫井站將具有更好的火災(zāi)預(yù)警和救援偵察能力。

2 相關(guān)理論基礎(chǔ)

2.1 YOLO V4目標(biāo)檢測算法

YOLO V4［7］（You Only Look Once）是2020年提出的一種基于回歸的深度學(xué)習(xí)目標(biāo)檢測模型，YOLO V4目標(biāo)檢測模型主要有2部分創(chuàng)新點：

（1）YOLO V4目標(biāo)檢測模型采用CSPDarknet53網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，CSPDarknet53網(wǎng)絡(luò)部分所示，如圖1所示。

CSPDarknet53 網(wǎng)絡(luò)第一層卷積操作后采用Mish 函數(shù)代替LeakyReLU進行激活，解決LeakyReLU激活可能導(dǎo)致梯度消失的問題，Mish激活后輸出的特征信息將有更好的穩(wěn)定性。

CSPDarknet53網(wǎng)絡(luò)經(jīng)過第一層卷積操作后采用不同數(shù)量堆疊的Resblock_body模塊進行特征提取，CSPDarknet53網(wǎng)絡(luò)在原Resblock_body模塊中增加殘差連接，將淺層特征和深層特征相融合，使Resblock_body模塊提取到更加多樣的圖像特征信息。

（2）YOLO V4網(wǎng)絡(luò)增加SPP和PANet兩組特征金字塔結(jié)構(gòu)來強化CSPDarknet53網(wǎng)絡(luò)提取到的特征，如圖1中SPP和PANet部分所示。

SPP 是金字塔池化（Spatial Pyramid Pooling）結(jié)構(gòu)，經(jīng)CSPDarknet53網(wǎng)絡(luò)提取得到的特征通過卷積操作后進入SPP金字塔池化結(jié)構(gòu)，SPP采用1*1、5*5、9*9、13*13這4個不同大小的池化核進行最大池化處理，將提取到的不同大小圖像特征組合后作為Cons1目標(biāo)檢測輸出。

PANet 特征金字塔結(jié)構(gòu)是一種特征反復(fù)提取的結(jié)構(gòu)，先將SPP 提取后13*13大小的深層圖像特征分別與CSPDarknet53網(wǎng)絡(luò)輸出的26*26和52*52大小淺層特征相融合，使輸出的圖像特征更加豐富。接著將豐富的圖像特征經(jīng)多次卷積特征提取后分作兩部分，一部分作為Cons2和Cons3目標(biāo)檢測特征直接輸出，使Cons2和Cons3能獲得更加豐富的特征信息，保證YOLO V4模型目標(biāo)檢測效果；另一部分Cons2和Cons3輸出特征將與Cons1特征相融合，使Cons1能獲得豐富的全局特征信息，加強YOLO V4模型目標(biāo)檢測效果。YOLO V4模型融合多層特征，在3個不同尺寸的特征圖上進行目標(biāo)檢測，可以一次性對多個目標(biāo)進行檢測，具有較高的檢測精度和較快的檢測速度。

2.2 遷移學(xué)習(xí)

獲得一個深度學(xué)習(xí)目標(biāo)檢測模型通常需要從頭開始訓(xùn)練，并且需要大量樣本和時間來保證網(wǎng)絡(luò)模型訓(xùn)練質(zhì)量。遷移學(xué)習(xí)是一種特別的模型訓(xùn)練方法，遷移學(xué)習(xí)可以學(xué)到多個不同模型的共同特征，淺層卷積網(wǎng)絡(luò)提取到圖像形狀、顏色等低級語義特征，深層卷積層提取到更為抽象復(fù)雜的深層特征，不同任務(wù)中其決定作用的是網(wǎng)絡(luò)最后的卷積層和全連接層，因此對于訓(xùn)練新的模型，只需要將網(wǎng)絡(luò)模型前面卷積層凍結(jié)，對最后幾層網(wǎng)絡(luò)進行重新訓(xùn)練，將已訓(xùn)練好的模型參數(shù)遷移到新的樣本上進行再次訓(xùn)練，從而獲得新的模型。所以我們利用遷移學(xué)習(xí)，能在石油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場火災(zāi)樣本數(shù)量較少的情況下訓(xùn)練出較好的模型，并且只需對模型最后幾層進行訓(xùn)練，不僅降低模型訓(xùn)練所需的樣本數(shù)量，節(jié)約大量訓(xùn)練時間，還能保證模型訓(xùn)練質(zhì)量。

3 實驗過程和結(jié)果分析

3.1 實驗平臺

實驗巡檢機器人平臺，如圖2所示。巡檢機器人平臺主要由履帶式車體、氣體傳感器安裝箱、控制箱和機械臂等部件組成。氣體傳感器安裝箱內(nèi)有氣體檢測裝置，負(fù)責(zé)檢測周圍易燃?xì)怏w的濃度。

機械臂上有云臺和消防水槍架，云臺上有防爆監(jiān)控攝像機組，防爆監(jiān)控攝像機組負(fù)責(zé)對周圍環(huán)境進行監(jiān)控，將實時檢測到的火災(zāi)隱患及時反饋給控制箱?？刂葡鋬?nèi)有準(zhǔn)確連接的數(shù)據(jù)處理模塊和通信模塊，負(fù)責(zé)分析和處理氣體傳感器和防爆攝像機組返回的實時信息并采取相應(yīng)措施。該巡檢機器人適用于完成石油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場日常的巡檢任務(wù)，消除安全隱患；還能在發(fā)生火災(zāi)時代替救援人員進入火災(zāi)現(xiàn)場，對現(xiàn)場進行救援巡檢任務(wù)。

3.2 實驗數(shù)據(jù)收集

采用遷移學(xué)習(xí)對模型進行訓(xùn)練，兩個模型訓(xùn)練的樣本相似度越高，模型訓(xùn)練的效果就越好，所以收集2個較為相似的數(shù)據(jù)集進行訓(xùn)練，第一部分?jǐn)?shù)據(jù)是公開的火焰和煙霧數(shù)據(jù)集，用于YOLO V4模型先進行訓(xùn)練，第二部分?jǐn)?shù)據(jù)是收集的樣本數(shù)量較少的石油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場等火災(zāi)數(shù)據(jù)集，用于YOLO V4模型進行遷移學(xué)習(xí)訓(xùn)練。

第一部分?jǐn)?shù)據(jù)集從Bilkent大學(xué)公開的火災(zāi)火焰視頻庫中的6段火災(zāi)現(xiàn)場視頻中進行截取，也從樓房火災(zāi)和森林火災(zāi)等不同類型火災(zāi)現(xiàn)場視頻中截取火焰樣本，以增強深度學(xué)習(xí)樣本的多樣性，提高檢測精度，最終一共收集到不同類型的火災(zāi)現(xiàn)場火焰樣本共12000張。第二部分?jǐn)?shù)據(jù)集是從油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場火災(zāi)現(xiàn)場視頻中截取的火焰數(shù)據(jù)集，一共收集到504張現(xiàn)場火焰樣本，然后將504張樣本增強處理，進行不同角度旋轉(zhuǎn)、顏色變化和添加噪音處理，增強后一共得到2000張樣本，接著用labelImage進行標(biāo)注，實驗?zāi)繕?biāo)是檢測火焰（fire）和煙霧（smoke）。

3.3 實驗訓(xùn)練

采用tensorflow 框架在python3.7 環(huán)境下進行訓(xùn)練，先用YOLO V4模型對第一部分?jǐn)?shù)據(jù)集進行訓(xùn)練，隨機選用11000張作為訓(xùn)練集，其余1000張作為測試集，基礎(chǔ)學(xué)習(xí)率0.001，動量大小為0.9，訓(xùn)練批次大小為8，權(quán)重衰減系數(shù)為0.0005，一共訓(xùn)練30000次得到權(quán)重文件。接著采用遷移學(xué)習(xí)對油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場火災(zāi)現(xiàn)場火焰和煙霧樣本進行遷移學(xué)習(xí)訓(xùn)練，選用1800張作為訓(xùn)練集，其余200張作為測試集，基礎(chǔ)學(xué)習(xí)率0.1，動量大小為0.9，批次大小為8，訓(xùn)練584次自動停止。采用平均精度均值mAP（mean Average Precision）和交并比IOU（Intersection Over Union）作為評價準(zhǔn)則，模型的mAP值越高，代表模型的檢測效果越好。將IOU閾值設(shè)為0.5，得到模型的訓(xùn)練時間和平均精度均值mAP對比，如表1所示。

表1 YOLO V4模型訓(xùn)練結(jié)果對比Tab.1 Comparison of YOLO V4 Model Training Results

從表1可以知道，第一次采用第一部分12000張樣本進行普通訓(xùn)練，訓(xùn)練時間是31.5h，測試得到模型的平均檢測精度均值是94.36%，具有較好的火焰和煙霧檢測精度，但模型訓(xùn)練的時間較長。第二次采用第二部分樣本進行遷移學(xué)習(xí)訓(xùn)練，訓(xùn)練時間是0.8h，訓(xùn)練所需的時間大幅縮小，測試得到模型的平均檢測精度均值是99.62%，具有突出的火焰和煙霧檢測精度，對火焰和煙霧精度進行測試，得到火焰精度和煙霧精度，如圖3所示。

圖3 模型測試結(jié)果Fig.3 Model Test Results

得到模型對火焰（fire）的檢測精度（AP）為100%，表示模型對井站火焰的檢測精度是100%；對煙霧（smoke）的檢測精度（AP）為99.24%，保留2位數(shù)后為99%，表示模型對井站煙霧的檢測精度是99%。YOLO V4目標(biāo)檢測模型對火焰和煙霧檢測的平均精度均值（mAP）是99.62%，具有較好的火焰和煙霧檢測效果，運用遷移學(xué)習(xí)訓(xùn)練后的YOLO V4目標(biāo)檢測模型對火災(zāi)現(xiàn)場圖像的測試情況，如圖4所示。

圖4 火災(zāi)現(xiàn)場圖像測試Fig.4 Fire Scene Image Test

圖4（a）和圖4（b）分別是YOLO V4 目標(biāo)檢測模型對現(xiàn)場火苗、煙霧的檢測效果圖，YOLO V4目標(biāo)檢測模型能準(zhǔn)確檢測出現(xiàn)場的煙霧和火苗，檢測出的煙霧的得分值分別是1.00、0.94，檢測出的火苗的得分值分別是0.99、0.91，都具有較高的得分值，有較好的火焰、煙霧檢測能力。圖4（c）是火災(zāi)現(xiàn)場的檢測圖，YOLO V4模型能降低復(fù)雜火災(zāi)現(xiàn)場對火災(zāi)檢測效果影響，遷移學(xué)習(xí)訓(xùn)練后的YOLO V4模型能準(zhǔn)確檢測出現(xiàn)場的火焰和煙霧，檢測結(jié)果均有較高得分值，應(yīng)用在含硫井站將不僅有較好的火焰、煙霧檢測能力，還能協(xié)助和代替消防救援人員在地形復(fù)雜、環(huán)境惡劣的危險火災(zāi)現(xiàn)場進行火災(zāi)隱患檢測和救援偵察工作，避免了易燃、有毒氣體和高溫環(huán)境對救援人員生命安全的威脅，巡檢機器人結(jié)合計算機視覺技術(shù)的火焰、煙霧檢測方法能為石油煉化廠、采氣井場、集氣站、增壓站、儲液站等站場的火災(zāi)預(yù)警和救援偵察提供一種新思路。

4 結(jié)論

針對火災(zāi)預(yù)警器、傳統(tǒng)火焰、煙霧檢測算法易受井站復(fù)雜環(huán)境影響，且含硫井站人工巡檢存在一定風(fēng)險，這里提出一種將巡檢機器人與計算機視覺技術(shù)相結(jié)合的含硫井站火焰和煙霧檢測方法。先將能在移動端進行實時檢測的YOLO V4目標(biāo)檢測模型對公開火焰、煙霧數(shù)據(jù)集進行訓(xùn)練，接著將訓(xùn)練好的模型采用遷移學(xué)習(xí)方法對數(shù)量較少的井站火焰、煙霧數(shù)據(jù)集進行訓(xùn)練，最終得到對井站火焰、煙霧檢測精度均值（mAP）高達(dá)到99.62%的YOLO V4目標(biāo)檢測模型，相比火災(zāi)預(yù)警器、傳統(tǒng)火焰、煙霧檢測算法，YOLO V4模型能降低復(fù)雜環(huán)境對檢測結(jié)果的影響，將有更好的火焰、煙霧實時檢測能力，結(jié)合巡檢機器人能為含硫井站、無人值守井站火災(zāi)預(yù)警和救援偵察提供一種新的方法。