基于Faster R-CNN的火電廠冷卻塔檢測(cè)及工作狀態(tài)判定

安健健，孟慶巖，胡蝶，胡新禮，楊健，楊天梁

(1.昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明 650093；2.中國(guó)科學(xué)院空天信息創(chuàng)新研究院，北京 100094；3.三亞中科院遙感研究所，三亞 572029；4.中國(guó)科學(xué)院空天信息研究院海南研究院，三亞 572029)

0 引言

電能是國(guó)家重要的戰(zhàn)略能源?；鹆Πl(fā)電是歷史上最久遠(yuǎn)且最重要的發(fā)電方式之一[1]。國(guó)際能源署(International Energy Agency，IEA)公布的2016年全球電力來(lái)源分布圖顯示，煤、天然氣、石油等化石燃料燃燒產(chǎn)生的電量占全球總發(fā)電量的65.1%，進(jìn)一步證明了其重要的戰(zhàn)略地位。因此，在大區(qū)域范圍內(nèi)，對(duì)于火力發(fā)電廠的精確檢測(cè)及其工作狀態(tài)自動(dòng)、有效判定變得日益重要。

隨著遙感技術(shù)的飛速發(fā)展，遙感圖像目標(biāo)檢測(cè)技術(shù)也迅速發(fā)展[2-3]，區(qū)域建議方法[4]和基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-based conoolational neural network,R-CNN)[5]的出現(xiàn)極大提高了目標(biāo)檢測(cè)的準(zhǔn)確性，但訓(xùn)練時(shí)間長(zhǎng)且占用空間大。Ren等[6]提出使用區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)來(lái)生成有效且準(zhǔn)確的區(qū)域建議，它與檢測(cè)網(wǎng)絡(luò)共享完整圖像的卷積特征，因此區(qū)域建議幾乎實(shí)現(xiàn)了零成本。生成的區(qū)域建議提供給Fast R-CNN作檢測(cè)使用，從而大大減少了檢測(cè)網(wǎng)絡(luò)的運(yùn)行時(shí)間，提高了目標(biāo)檢測(cè)精度。在此基礎(chǔ)上，國(guó)內(nèi)外一些學(xué)者將其應(yīng)用到遙感圖像目標(biāo)檢測(cè)中[7-15]：Yao等[16]選取高分辨率遙感影像中油罐目標(biāo)進(jìn)行驗(yàn)證實(shí)驗(yàn)；Zhang等[17]以機(jī)場(chǎng)為檢測(cè)場(chǎng)景，將飛機(jī)作為檢測(cè)目標(biāo)進(jìn)行實(shí)驗(yàn)；Zhang等[18]通過(guò)自然場(chǎng)景中水面物體的檢測(cè)，及時(shí)發(fā)現(xiàn)并處理水面漂浮物。上述實(shí)驗(yàn)在檢測(cè)目標(biāo)時(shí)均取得較好效果，有力推動(dòng)了Faster R-CNN模型在目標(biāo)檢測(cè)中的應(yīng)用。目前，Yao等[19]利用該模型提出了一種冷卻塔和煙囪的檢測(cè)方法，但尚未有研究對(duì)火力發(fā)電廠的工作狀態(tài)進(jìn)行有效判定。

綜上，本文基于火力發(fā)電廠冷卻塔工作狀態(tài)下的排氣特征和Faster R-CNN的深度卷積神經(jīng)網(wǎng)絡(luò)方法，提出一種以冷卻塔為關(guān)鍵地物目標(biāo)的火力發(fā)電廠檢測(cè)方法，并根據(jù)冷卻塔是否排氣判定其工作狀態(tài)。首次將深度學(xué)習(xí)方法應(yīng)用于目標(biāo)工作狀態(tài)判定。此外，本方法亦可遷移至煉油廠、煉鋼廠、核電站等具有排煙、排氣現(xiàn)象的其他大型工業(yè)地物目標(biāo)，快速獲取工業(yè)生產(chǎn)活動(dòng)的工作狀態(tài)信息。研究成果可有效幫助相關(guān)部門對(duì)周邊環(huán)境進(jìn)行監(jiān)測(cè)，減輕空氣污染、改善空氣質(zhì)量。

1 實(shí)驗(yàn)原理

1.1 冷卻塔特征

因?yàn)閱稳~雙曲面是一個(gè)雙直紋曲面，所以可以用直鋼梁來(lái)構(gòu)造，這樣不僅能夠減小風(fēng)阻，而且可以用最少的材料來(lái)保持結(jié)構(gòu)的完整性。這種結(jié)構(gòu)不僅可以提高空氣的對(duì)流速度，而且可以提高冷卻效率。因此，大多數(shù)電廠的冷卻塔結(jié)構(gòu)采用單葉雙曲面結(jié)構(gòu)。如圖1(a)所示，電廠運(yùn)行時(shí)，燃燒產(chǎn)生的余熱隨冷卻水進(jìn)入冷卻塔，塔內(nèi)水泵將其壓入灑水系統(tǒng)。在下落過(guò)程中，灑水管將水均勻分布，它與塔內(nèi)空氣進(jìn)行熱交換，形成大量的水蒸氣從冷卻塔頂排出。如圖1(b)所示，本實(shí)驗(yàn)將冷卻塔上方水蒸氣液化形成的霧狀水汽作為發(fā)電廠處于工作狀態(tài)下的判定標(biāo)志，進(jìn)行目標(biāo)檢測(cè)。

(a)非工作狀態(tài)下的冷卻塔 (b)工作狀態(tài)下的冷卻塔

1.2 網(wǎng)絡(luò)模型

1.2.1 Faster R-CNN模型

Faster R-CNN共分為兩大模塊，第一個(gè)模塊是RPN網(wǎng)絡(luò)，第二個(gè)模塊是使用建議區(qū)域的Fast R-CNN檢測(cè)器[20]，具體結(jié)構(gòu)如圖2所示。首先，將原始圖像輸入網(wǎng)絡(luò)，由特征提取網(wǎng)絡(luò)提取特征圖；之后，將特征圖分別輸入到區(qū)域建議網(wǎng)絡(luò)和Fast R-CNN，由區(qū)域建議網(wǎng)絡(luò)中生成一組矩形目標(biāo)建議和相應(yīng)的目標(biāo)得分，采取非極大值抑制(non-maximum suppression,NMS)方法使用前N個(gè)得分的目標(biāo)建議區(qū)域，并將其輸入到Fast R-CNN中，提取區(qū)域建議特征；最后，通過(guò)全連接層對(duì)目標(biāo)分類和邊框回歸，得到最終的目標(biāo)檢測(cè)結(jié)果。

圖2 Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Faster R-CNN target detection network structure

1.2.2 RPN模型

RPN是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，其作用是將以特征提取網(wǎng)絡(luò)輸出的特征圖輸出為多種尺度和寬高比的矩形候選區(qū)域。這個(gè)卷積神經(jīng)網(wǎng)絡(luò)會(huì)首先讓一個(gè)滑動(dòng)窗口(實(shí)質(zhì)上為3×3的卷積核)在特征圖上滑動(dòng)，然后把滑動(dòng)窗口每次停留的位置上的特征映射成一個(gè)512維(選用VGG16作為特征提取網(wǎng)絡(luò)時(shí)為512維，若選用其他網(wǎng)絡(luò)時(shí)，則該維度會(huì)發(fā)生變化)的特征向量，然后將每個(gè)特征向量分別輸入到分類層和位置回歸層這兩個(gè)全連接層之中，這樣會(huì)分別得到分類信息和位置信息。在每個(gè)滑動(dòng)窗口的中心位置定義了9個(gè)錨點(diǎn)(anchor),每個(gè)錨點(diǎn)對(duì)應(yīng)錨盒(anchor box)，而每個(gè)對(duì)應(yīng)的錨盒其尺度和長(zhǎng)寬比是不同的；分類層具有2×9個(gè)輸出，估計(jì)每個(gè)建議是否是檢測(cè)目標(biāo)的概率；回歸層具有4×9個(gè)輸出，是編碼邊界框的坐標(biāo)。Faster R-CNN中為訓(xùn)練RPN將圖像損失函數(shù)定義為：

(1)

(2)

(3)

1.2.3 訓(xùn)練卷積網(wǎng)絡(luò)模型

VGG16網(wǎng)絡(luò)訓(xùn)練模型部分結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)使用了16個(gè)層，包括13個(gè)卷積層和3個(gè)全連接層。根據(jù)VGG16模型結(jié)構(gòu)，13個(gè)卷積層被分成5個(gè)組，相鄰的兩個(gè)組之間會(huì)有1個(gè)池化層。冷卻塔作為火力發(fā)電廠必不可少的冷卻裝置，因此將其作為檢測(cè)電廠的典型地物目標(biāo)，且火力發(fā)電廠在工作時(shí)冷卻裝置也會(huì)同時(shí)啟動(dòng)，在冷卻塔上方冒出大量白霧，這些白霧的有無(wú)將作為電廠工作狀態(tài)的判定標(biāo)志，而VGG16模型網(wǎng)絡(luò)更深，通道數(shù)量更多，能很好提取冷卻塔及周圍特征，取得理想的檢測(cè)效果。

圖3 VGG16部分結(jié)構(gòu)示意圖Fig.3 Partial structure diagram of VGG16

2 結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)采用NWPU-RESISC45 dataset[21]數(shù)據(jù)集中的的冷卻塔圖像作為原始訓(xùn)練集,選取540張質(zhì)量較好的冷卻塔圖像，像素大小統(tǒng)一為256×256，然后通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)對(duì)訓(xùn)練集進(jìn)行擴(kuò)充(具體數(shù)據(jù)增強(qiáng)技術(shù)見(jiàn)2.3.1)。測(cè)試集部分來(lái)自于Google Earth的遙感影像，共計(jì)190張彩色圖像，空間分辨率優(yōu)于1 m。本文算法需要通過(guò)對(duì)TXT文本的讀取來(lái)獲得訓(xùn)練圖像的存儲(chǔ)路徑以及圖像中目標(biāo)的標(biāo)記像素坐標(biāo)和目標(biāo)類別。在制作數(shù)據(jù)集的過(guò)程中，依據(jù)VOC2012的數(shù)據(jù)集格式，對(duì)影像進(jìn)行統(tǒng)一格式的命名，再利用labelImg圖片標(biāo)注工具對(duì)影像進(jìn)行標(biāo)注，生成包含有目標(biāo)類別位置信息的XML文件，通過(guò)Python程序生成對(duì)應(yīng)的TXT文件，將這些文件組合成VOC2012格式的數(shù)據(jù)集，標(biāo)注示例如圖4所示。

圖4 標(biāo)注示例Fig.4 Annotation example

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本實(shí)驗(yàn)基于Ubuntu16.0.4操作系統(tǒng)，使用tensorflow-gpu 1.7.0作為深度學(xué)習(xí)框架，GPU型號(hào)為NVIDIA TESLA C2050，代碼運(yùn)行環(huán)境為Python3.7.1。訓(xùn)練階段，采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練得到的模型進(jìn)行權(quán)重初始化，超參數(shù)設(shè)置：學(xué)習(xí)率為0.001；動(dòng)量(momentum)為0.9；權(quán)重衰減率(weight_decay)為0.000 1。

2.3 精度驗(yàn)證與評(píng)價(jià)

2.3.1 不同特征對(duì)檢測(cè)精度的影響

由于電廠中冷卻塔周圍常分布有煙囪，其排放出的大量濃煙會(huì)對(duì)冷卻塔進(jìn)行遮擋，干擾冷卻塔的檢測(cè)與工作狀態(tài)判定。增強(qiáng)數(shù)據(jù)集，擴(kuò)大樣本容量可以較好地解決該問(wèn)題。為了驗(yàn)證不同數(shù)據(jù)特征對(duì)電廠冷卻塔工作狀態(tài)檢測(cè)精度的影響，分別選用改變亮度、旋轉(zhuǎn)、CutMix和Mosaic的數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行實(shí)驗(yàn)，其中改變圖像亮度值與圖像旋轉(zhuǎn)作為傳統(tǒng)數(shù)據(jù)增強(qiáng)方法的代表，數(shù)據(jù)集擴(kuò)增效果如圖5所示。

(a)改變亮度(b)分別旋轉(zhuǎn)90°,180°和270° (c)CutMix (d)Mosaic

采用不同數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行電廠冷卻塔工作狀態(tài)檢測(cè)，結(jié)果如表1所示。表中，AP值為精確率(precision)和召回率(recall)曲線下的面積，mAP為AP均值。

表1 不同數(shù)據(jù)增強(qiáng)技術(shù)實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of different data augmentation technologies

由表1實(shí)驗(yàn)數(shù)據(jù)可知，僅采用Mosaic數(shù)據(jù)增強(qiáng)技術(shù)比單獨(dú)采用其他方法檢測(cè)精度要高，且在前3種數(shù)據(jù)增強(qiáng)方法都使用時(shí)，增加Mosaic技術(shù)要比沒(méi)有Mosaic技術(shù)精度更高，這說(shuō)明Mosaic數(shù)據(jù)增強(qiáng)技術(shù)混合了4種不同的技術(shù)，確實(shí)能夠提高模型從不同環(huán)境獲得的圖像的能力，從而使模型具有更高的檢測(cè)精度，因此，在接下來(lái)電廠冷卻塔工作狀態(tài)檢測(cè)實(shí)驗(yàn)中，使用該技術(shù)進(jìn)行數(shù)據(jù)集擴(kuò)增。

2.3.2 最佳迭代次數(shù)優(yōu)選

為驗(yàn)證迭代次數(shù)對(duì)檢測(cè)結(jié)果的影響，設(shè)置更加合理的迭代次數(shù)，本研究采用Tensorboard(即tensorflow內(nèi)置的一個(gè)可視化工具，可清晰展示深度神經(jīng)網(wǎng)絡(luò)組織、結(jié)構(gòu)及其訓(xùn)練過(guò)程)對(duì)模型訓(xùn)練進(jìn)行監(jiān)測(cè)，如圖6所示，橫坐標(biāo)表示Faster R-CNN訓(xùn)練的迭代次數(shù)，縱坐標(biāo)表示損失值(loss)，該模型的初始損失值為2.348 9，經(jīng)過(guò)4 000次訓(xùn)練后損失值開(kāi)始收斂，經(jīng)過(guò)20 000次訓(xùn)練后損失值穩(wěn)定在0.15。由此可見(jiàn)，在一定實(shí)驗(yàn)條件下，設(shè)置過(guò)少的迭代次數(shù)會(huì)使損失值較大，降低檢測(cè)精度，而過(guò)多的迭代次數(shù)對(duì)損失值降低效果不顯著，且耗費(fèi)大量訓(xùn)練時(shí)間。綜上，對(duì)于電廠冷卻塔工作狀態(tài)的檢測(cè)，本研究最終確定的最優(yōu)模型訓(xùn)練迭代次數(shù)為20 000次。

圖6 訓(xùn)練損失值變化Fig.6 Training loss value change

2.3.3 不同特征提取網(wǎng)絡(luò)精度對(duì)比

不同的特征提取網(wǎng)絡(luò)對(duì)模型的檢測(cè)效果也會(huì)不同，ResNet101網(wǎng)絡(luò)通過(guò)添加自身映射層,保證網(wǎng)絡(luò)在層數(shù)很深時(shí)仍可以得到有效訓(xùn)練，從而防止了準(zhǔn)確率下降的問(wèn)題，VGG16使用較小的卷積核，在有相同感知野的條件下，增加了網(wǎng)絡(luò)深度，減少了權(quán)重參數(shù)的數(shù)量，在一定程度上提升了網(wǎng)絡(luò)的訓(xùn)練效果，同時(shí)，網(wǎng)絡(luò)之深，參數(shù)之大，可以預(yù)期它具有很高的擬合能力。由圖7可見(jiàn)，VGG16網(wǎng)絡(luò)相較于ResNet101網(wǎng)絡(luò)，兩種狀態(tài)(powerstation_w為工作狀態(tài)，powerstation_nw為非工作狀態(tài))下的AP值都有所增加，檢測(cè)的mAP(經(jīng)計(jì)算,ResNet101 mAP為90.16%；VGG16 mAP為94.88%)提高了4.72%，圖8展示了部分檢測(cè)結(jié)果圖。場(chǎng)景一，非工作狀態(tài)下的冷卻塔檢測(cè)召回率相等，但工作狀態(tài)下，VGG16網(wǎng)絡(luò)對(duì)于冷卻塔檢測(cè)的召回率要高于ResNet101網(wǎng)絡(luò)；場(chǎng)景二，兩種狀態(tài)下，VGG16網(wǎng)絡(luò)對(duì)于冷卻塔檢測(cè)的召回率都高于ResNet101網(wǎng)絡(luò)，因此，VGG16網(wǎng)絡(luò)對(duì)冷卻塔及其排氣特征提取效果更好。

(a)ResNet101 (b)VGG16

(a)場(chǎng)景一,ResNet101 (b)場(chǎng)景一,VGG16

2.3.4 不同算法性能對(duì)比分析

圖9為3種不同算法檢測(cè)結(jié)果圖，SSD算法工作狀態(tài)下的冷卻塔漏檢1個(gè)，誤檢1個(gè)；YOLOv3算法非工作狀態(tài)下的冷卻塔誤檢1個(gè)；Faster R-CNN算法全部檢測(cè)正確。因此，采用Faster R-CNN算法對(duì)發(fā)電廠冷卻塔進(jìn)行工作狀態(tài)判定。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，本實(shí)驗(yàn)采用的3種不同算法分別在相同硬件條件和數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，測(cè)試結(jié)果如表2所示。根據(jù)前面實(shí)驗(yàn)結(jié)論，F(xiàn)aster R-CNN采用VGG16作為特征提取網(wǎng)絡(luò)。SSD與YOLO都屬于單階段(One-stage)檢測(cè)算法，其主要思路是采用不同比例與長(zhǎng)寬比在圖像上均勻密集抽樣，然后再通過(guò)CNN直接進(jìn)行分類與回歸，整個(gè)過(guò)程只需要一步，而R-CNN系列算法則是通過(guò)CNN網(wǎng)絡(luò)產(chǎn)生一系列候選框，然后對(duì)候選框進(jìn)行回歸，所以準(zhǔn)確度較高。從表中實(shí)驗(yàn)結(jié)果也可以看出，F(xiàn)aster R-CNN的精確度比SSD和YOLOv3分別提高14.24%和1.09%。

(a)SSD (b)YOLOv3 (c)FasterR-CNN

表2 3種不同算法對(duì)比分析Tab.2 Comparative analysis of three different algorithms (%)

2.3.5 多區(qū)域驗(yàn)證

本文選取國(guó)內(nèi)8家大型火力發(fā)電廠進(jìn)行區(qū)域驗(yàn)證，共包含52個(gè)冷卻塔，其中處于工作狀態(tài)下的冷卻塔31個(gè)，非工作狀態(tài)下的冷卻塔21個(gè)。特征提取網(wǎng)絡(luò)采用VGG16，其檢測(cè)結(jié)果如圖10所示，藍(lán)色和黃色的方框表示檢測(cè)到的冷卻塔目標(biāo)。在8家發(fā)電廠中，冷卻塔目標(biāo)被準(zhǔn)確檢測(cè)，并有效判別其所處的工作狀態(tài)。綜上所述，本研究提出的檢測(cè)方法對(duì)于火力發(fā)電廠冷卻塔檢測(cè)及其工作狀態(tài)判定有效可行。

(a)河北省邢臺(tái)電廠 (b)河南省沁北電廠 (c)山東省德州電廠 (d)山西省鄒城電廠

3 結(jié)論

隨著“智能電網(wǎng)戰(zhàn)略”的提出，以火力發(fā)電廠為主要發(fā)電設(shè)備的檢測(cè)研究尤為重要，而目前相關(guān)研究較少，且缺乏對(duì)電廠工作狀態(tài)的自動(dòng)判定方法。因此，本文提出通過(guò)檢測(cè)冷卻塔來(lái)間接識(shí)別發(fā)電廠，根據(jù)冷卻塔在工作狀態(tài)下的排氣特征，提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的火電廠冷卻塔工作狀態(tài)判定方法。實(shí)驗(yàn)結(jié)果表明：該模型在目標(biāo)工作狀態(tài)檢測(cè)中，mAP為94.88%，選取8家發(fā)電廠驗(yàn)證均取得理想效果。因此，本研究證明Faster R-CNN方法可以有效地應(yīng)用于城市重要地物目標(biāo)的工作狀態(tài)檢測(cè)，并拓寬了深度學(xué)習(xí)的應(yīng)用和研究方向。該方法也可遷移至城市內(nèi)具有排氣現(xiàn)象的其他大型工業(yè)地物目標(biāo)檢測(cè)中，同時(shí)獲取工業(yè)活動(dòng)的工作狀態(tài)，研究成果可有效服務(wù)于城建部門對(duì)周邊環(huán)境的監(jiān)管，具有較大的應(yīng)用潛力。今后將繼續(xù)深入開(kāi)展相關(guān)研究，結(jié)合遙感大數(shù)據(jù)與深度學(xué)習(xí)網(wǎng)絡(luò)的新技術(shù)，進(jìn)一步提升目標(biāo)檢測(cè)精度，為相關(guān)部門決策提供技術(shù)支撐。