小型光伏熱斑的全卷積網(wǎng)絡(luò)模型檢測

王 奇， 任一峰， 王 璐

(中北大學(xué) 電氣與控制工程學(xué)院， 山西 太原 030051)

0 引 言

隨著人口數(shù)量增加、 工業(yè)規(guī)模擴(kuò)大， 人們對于能源的需求也在不斷增長. 光伏發(fā)電類似于風(fēng)力和水力發(fā)電， 它作為一種可持續(xù)能源， 具有清潔、 易獲取等特點， 被認(rèn)為是所有可再生能源中相對可靠的選擇. 但是， 隨著太陽能光伏板的大量使用， 有關(guān)光伏板清理和維護(hù)的需求也在逐年增長. 首先， 光伏組件的壽命不相同， 部分出廠未經(jīng)嚴(yán)格檢測的光伏板可能會有裂紋、 黑點、 短路的情況[1]； 其次， 在被灰塵、 樹葉或鳥糞等遮擋時， 光伏板被遮擋的區(qū)域中太陽電池組件會被強(qiáng)制反偏來當(dāng)做負(fù)載， 以發(fā)熱的形式消耗其它正常接受光照的太陽電池組件所產(chǎn)生的能量， 這就是熱斑效應(yīng)[2]. 熱斑效應(yīng)危害較大， 受遮擋部分電池組件容易過熱從而影響電池組件的壽命， 嚴(yán)重時甚至導(dǎo)致電池組件直接報廢. 因此， 光伏組件熱斑檢測就顯得十分有必要.

1 檢測方法與算法

關(guān)于光伏板熱斑的檢測， 已經(jīng)有很多專家提出了多種解決方法， 其中旁路二極管法是一種防止產(chǎn)生熱斑效應(yīng)的常用方法， 它在每個光伏電池片上并聯(lián)旁路二極管[3]， 來防止光伏組件被反向擊穿， 這種方法能夠做到預(yù)防， 但二極管對溫度有一定要求， 容易失效； 紅外熱成像法[4]是一種常用的檢測方法， 通過探測溫差來檢測光伏組件是否故障， 但其要求電池組件要處于工作狀態(tài)， 在某時刻樹木或建筑物遮擋時會有一定誤測的可能； 電壓電流法[5]是一種常用的故障檢測法， 但無法隨時進(jìn)行檢測， 若在光伏板安裝時提前加裝則會大幅提升成本.

近些年來， 隨著計算機(jī)技術(shù)的發(fā)展， 人工智能被廣泛應(yīng)用在生活的各個方面. 同時， 計算機(jī)因其強(qiáng)大的運(yùn)算能力， 在圖像處理以及目標(biāo)檢測方面逐漸累積起優(yōu)勢， 逐漸產(chǎn)生了一些基于深度學(xué)習(xí)的檢測方法[6]， 這些方法在精確率和檢測速度上得到了進(jìn)一步的提升,但不同算法在速度和準(zhǔn)確率的權(quán)重各有不同.

針對這種情況， 本文設(shè)計了一種基于ResNet網(wǎng)絡(luò)的光伏熱斑檢測算法， 該算法對小目標(biāo)有著不錯的檢測效果， 該算法在計算量、 準(zhǔn)確率和存儲空間方面做到了較好的平衡， 在運(yùn)算量相差不大的情況下， 較大地提高了對象召回率和回歸準(zhǔn)確率， 從而顯著提升了光伏熱斑檢測速度.

2 檢測算法及網(wǎng)絡(luò)模型

2.1 全卷積網(wǎng)絡(luò)

R-CNN (Region-based Convolutional Neural Networks)目標(biāo)檢測包括3個基本步驟， 即特征提取， RoI (Region of Interest)生成， 目標(biāo)分類和位置回歸. 2013年， R-CNN算法首次將深度學(xué)習(xí)應(yīng)用到目標(biāo)檢測上， 實現(xiàn)了對目標(biāo)的端到端檢測， 隨后產(chǎn)生了一系列如Fast R-CNN， Faster R-CNN的二級目標(biāo)檢測算法及如YOLO和SSD的單級目標(biāo)檢測算法. 前者有著更高的準(zhǔn)確率， 檢測速度相對較慢， 而后者檢測速度更快， 但對于小目標(biāo)檢測能力較差.

對于兩級檢測算法Faster R-CNN來說， 目前的檢測模型都可以分成兩個部分， 即全卷積子網(wǎng)(Fully Convolutional Subnetwork)和RoI子網(wǎng)(RoI-wise Subnetwork). 前一部分是該網(wǎng)絡(luò)的普通卷積層， 被用來提取圖像特征， 常見的網(wǎng)絡(luò)有VGG， GoogleNet， ResNet等[7]； 后一部分主要由一些全連接層組成， 它存放著卷積層的特征信息， 在這部分的最后存在著并行的邏輯回歸函數(shù)和損失函數(shù)， 對每一個RoI進(jìn)行特征分類以及邏輯回歸.

檢測過程中， 首先， 全卷積子網(wǎng)將輸入圖像進(jìn)行卷積計算， 然后， 由一個RoI池化層(RoI Pooling Layer)將第一部分最后一張圖進(jìn)行特征提取， 交由RoI子網(wǎng)計算處理[8].

在Faster R-CNN模型中， 全卷積子網(wǎng)上所有的計算是共享的， 但在其RoI子網(wǎng)上的計算并不被所有RoI共享， 導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)對物體的位置信息不敏感. 因此， 在R-FCN(Region-based Fully Convolutional Networks)論文中， 作者引入了位置敏感得分圖(Position-Sensitive Score Map)的概念， 相比于Faster R-CNN， 它刪除了全連接層， 在RoI層上也建立起了共享卷積， 所有用于提取圖像特征的耗時卷積層被放在了一個共享的子網(wǎng)上， 只利用最后一個卷積層計算位置敏感的RoI分?jǐn)?shù)， 并且將位置信息融合到池化層之中.

在實際檢測中， 光伏熱斑的大小在不同情況下通常不同， 在光伏組件上的位置和形狀等也不盡相同[9]， 因此單級的目標(biāo)檢測方法如YOLO， SSD通常有著較差的mAP(mean Average Precision). 同時， 由于其特點， 平移可變性在實時檢測中沒有很高的要求， 因此， 對小目標(biāo)檢測更友好的全卷積目標(biāo)檢測算法因其具有更快的速度而更適合熱斑檢測.

2.2 位置敏感得分圖

R-FCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示， 假設(shè)一個RoI中存在一個不同于背景的物體， 那么將該RoI劃分為k×k個區(qū)域表示物體的各個部位， 通過判斷相應(yīng)部位來判斷該RoI部位為背景還是物體.

圖 1 R-FCN基本結(jié)構(gòu)[10]

R-FCN的最后相比于其它網(wǎng)絡(luò)加上了一層不同的卷積層， 它與前一層擁有相同的Height和Width， 但擁有更多的Channels， 數(shù)量為k2(C+1)， 其中C表示物體類別數(shù)量， 加1表示一個背景分類，k2表示每一個類別的Score Maps數(shù)量， 每個Score Map用來表示物體部位在該處含有的響應(yīng)值.

2.3 RoI池化

在卷積網(wǎng)絡(luò)的最后一層對應(yīng)的每一個RoI， 模型都將其劃分成k×k個區(qū)域(Bins)， 每個bin的長寬分別是h/k和w/k， 從而可以對應(yīng)到Score Map區(qū)域上， 進(jìn)而按照如下公式進(jìn)行平均池化操作.

(1)

式中：i，j分別指該Bin所處的行數(shù)和列數(shù)；x0，y0指這一RoI左上坐標(biāo)；rC指對于C個物體種類第(i,j)個Bin中的池化響應(yīng)值；n指該Bin中的像素數(shù)量.

位置敏感得分圖接下來為每個RoI計算一個(C+1)維向量， 并用以下公式求出平均數(shù)， 再計算出回歸函數(shù)Softmax的響應(yīng)值

rC(Θ)=∑i,jrC(i,j|Θ)，

(2)

(3)

其中各字母表示含義同式(1).

2.4 ResNet殘差網(wǎng)絡(luò)

為了解決神經(jīng)網(wǎng)絡(luò)過深導(dǎo)致的梯度模糊及準(zhǔn)確率退化問題， 根據(jù)殘差和跳躍連接的想法， ResNet網(wǎng)絡(luò)被設(shè)計出來， 它的結(jié)構(gòu)如圖 2 所示， 其中， 50層以內(nèi)的網(wǎng)絡(luò)采用每兩層直連， 50層以上網(wǎng)絡(luò)采用每3層直連， 常見有34-layer， 50-layer， 101-layer， 152-layer等.

圖 2 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

ResNet網(wǎng)絡(luò)的主要思想在于在網(wǎng)絡(luò)中添加了跳躍連接的通道， 讓前幾層的網(wǎng)絡(luò)層可以通過這個通道保留一定比例的輸出[11]. 求解映射以殘差映射函數(shù)F(x)=H(x)-x的形式展現(xiàn)，H(x)和x分別為觀測值和估計值， 檢測系統(tǒng)采用ResNet101網(wǎng)絡(luò)， 為每3層直連結(jié)構(gòu)， 并且設(shè)置ReLU激活函數(shù)為本實驗提供更快的模型收斂速度. ResNet網(wǎng)絡(luò)保證了神經(jīng)網(wǎng)絡(luò)的深層不會出現(xiàn)梯度爆炸和消失現(xiàn)象， 表 1 為該網(wǎng)絡(luò)的常用層數(shù).

表 1 常用的ResNet網(wǎng)絡(luò)結(jié)構(gòu)

3 檢測系統(tǒng)設(shè)計

圖 3 為光伏熱斑檢測系統(tǒng)的結(jié)構(gòu)圖， 它主要包括兩個階段的檢測， 一階段對光伏板的圖像進(jìn)行預(yù)處理， 二階段開始檢測， 同時識別出圖像中包含的光伏板， 最后去掉光伏板外的識別信息即為實驗結(jié)果.

圖 3 檢測系統(tǒng)結(jié)構(gòu)

3.1 圖像預(yù)處理

在光伏板熱斑檢測的預(yù)處理環(huán)節(jié)， 要先將圖片進(jìn)行預(yù)處理， 預(yù)處理主要包含灰度化、 去噪、 柵線過濾[12]3個部分.

3.1.1 圖像灰度化

將圖像轉(zhuǎn)換為8 b灰度圖片， 便于之后的梯度計算. 根據(jù)人眼對不同顏色的敏感程度， 程序?qū)υ瓐D像的R，G，B分量以不同的權(quán)重進(jìn)行平均， 這里采用Opencv的顏色空間轉(zhuǎn)換函數(shù)， 該函數(shù)采用心理學(xué)灰度公式進(jìn)行色彩處理

Gray=0.114B+0.587G+0.299R，

(4)

式中：R，G，B分別指紅綠藍(lán)3色的色度.

灰度化效果如圖 4 所示.

圖 4 灰度化

3.1.2 圖像去噪

去噪操作是將退化的圖像進(jìn)行噪聲消除， 盡可能轉(zhuǎn)化為人眼所見圖像， 是為了消除實時圖像獲取過程中， 環(huán)境、 光線及相機(jī)抖動等產(chǎn)生的噪點模糊現(xiàn)象對實驗結(jié)果進(jìn)行干擾. 圖像中的噪聲通常包含高斯噪聲、 椒鹽噪聲及其它噪聲， 相應(yīng)的消除方法有高斯濾波、 中值濾波和均值濾波等， 其中高斯濾波是對整個圖片進(jìn)行加權(quán)平均， 尤其適用于高斯噪聲的消除； 中值濾波給定通常為3×3的Kernel矩陣， 將所有像素取中值以代替中心像素， 尤其適用于椒鹽噪聲的消除； 均值濾波與中值濾波不同， 它將取像素中值轉(zhuǎn)為取平均值.

這里采用中值濾波的方式， 也是其中唯一一種非線性濾波器， 它在檢測光伏熱斑這樣的小目標(biāo)時有著很好的效果， 經(jīng)中值濾波處理后的光伏板圖像如圖 5 所示.

圖 5 濾波

3.1.3 柵線消除

光伏斑上通常存在著規(guī)則的柵線， 它承擔(dān)著導(dǎo)流匯流的作用， 表現(xiàn)為白色條狀， 會影響到實驗的檢測結(jié)果， 因此， 需要對柵線進(jìn)行處理[13]. 這里采用的是對視頻幀中足夠窄的亮色帶進(jìn)行檢測， 并將其色彩與背景進(jìn)行加權(quán)平均的方法. 在檢測過程中， 留下的未過濾部分即為熱斑、 遮擋物及主柵線結(jié)點. 由于鏡頭的動態(tài)模糊功能， 光伏板上微小破損導(dǎo)致其表面區(qū)域被一定程度壓制的現(xiàn)象不會嚴(yán)重影響實驗結(jié)果， 如圖 6 所示.

圖 6 柵線過濾

3.2 光伏熱斑檢測算法

在圖像預(yù)處理之后， 檢測程序就可以開始對光伏板和熱斑進(jìn)行檢測. 首先， 要進(jìn)行邊緣梯度的檢測， 再分離出光伏板， 將其從背景中分離出來， 并且在檢測結(jié)果中去掉屬于柵線節(jié)點的部分， 將光伏熱斑的檢測結(jié)果標(biāo)記出來.

在邊緣檢測中， 最重要的一步是邊緣檢測算子的選擇. 比較常用的算子包括Sobel算子、 Canny算子、 Marr-Hildreth算子等等. 其中Canny算子對邊緣處理比較平滑， 圖像中較弱的信息沒有被消除， 更容易檢測到小型封閉區(qū)域[14][15]， 比較適合本文的小熱斑檢測.

Canny算子檢測包含4個主要步驟， 首先用高斯濾波器進(jìn)行噪聲去除， 采用的平滑函數(shù)為

(5)

式中： (x,y)為高斯核中各點與中心點的差值；σ為選取的標(biāo)準(zhǔn)差， 其值越大， 權(quán)值分布越平緩， 圖像越模糊； 反之權(quán)值分布則更為突起， 圖像變化更小.

采用Sobel算子進(jìn)行卷積計算， 計算方向梯度的幅值和方向， 并根據(jù)π/4的整數(shù)倍近似； 之后， 利用上一步中的梯度方向進(jìn)行非極大值抑制， 通過對比尋求局部梯度最大值作為邊緣點； 最后， 通過設(shè)置閾值將檢出部分保留或者去除的算法分離出物體邊緣.

在邊緣檢測中， 程序?qū)D像中所有色彩邊緣同時進(jìn)行檢測， 二者同時被檢出， 接著根據(jù)圖像檢測邊緣進(jìn)行直線或矩形提取， 將光伏板從圖像中分離出來， 在程序認(rèn)定為光伏板區(qū)域的內(nèi)部選擇置信度較高的區(qū)域標(biāo)記為光伏熱斑或遮擋物信息.

4 實驗結(jié)果及分析

以上述的目標(biāo)檢測方法作為基礎(chǔ)， 本文設(shè)計了具有熱斑檢測能力的算法程序， 對實際圖像進(jìn)行熱斑檢出， 結(jié)果如圖 7 所示.

圖 7 光伏熱斑檢測

可見， 算法對圖像進(jìn)行灰度化、 去噪、 柵線去除處理后； 有效地消除了環(huán)境對實驗結(jié)果的影響， 并且可以很好地檢出光伏板上的小目標(biāo)， 將熱斑區(qū)域提取出來.

為了評估其性能， 該算法在具有很大物體尺度范圍的MS COCO數(shù)據(jù)集上進(jìn)行了測試， 實驗基于ResNet101網(wǎng)絡(luò)， 采用了8萬的訓(xùn)練集、 4萬的訓(xùn)練用測試集以及2萬的評估用測試集， 卷積學(xué)習(xí)速率根據(jù)迭代次數(shù)分別采用0.001與0.000 1進(jìn)行計算， Batchsize大小為8， 同時與相同預(yù)設(shè)條件、 其骨干網(wǎng)絡(luò)為VGGNet的Faster R-CNN網(wǎng)絡(luò)作對比. 對于其80個物體目錄項， 該算法與改進(jìn)前的R-CNN算法進(jìn)行準(zhǔn)確率和用時的對比如圖 8 所示.

(a) 全類平均準(zhǔn)確率

其中， AP的評價指標(biāo)為IoU(Intersection-over-Union)=[0.5∶0.95]； AP@0.5則為IoU=0.5.

由上述研究可知， 殘差網(wǎng)絡(luò)可以提高一些目標(biāo)檢測的準(zhǔn)確率， 但會大幅提高Faster R-CNN的檢測時間. 而R-FCN相比于以VGG作為骨干網(wǎng)絡(luò)的Faster R-CNN， 全卷積網(wǎng)絡(luò)不僅有效地減少了檢測時間， 在準(zhǔn)確率方面還能與前者相差不大.

5 結(jié) 論

本文提出了一種針對于小目標(biāo)的光伏熱斑檢測算法， 運(yùn)用了全卷積網(wǎng)絡(luò)模型， 以及灰度化、 濾波、 邊緣檢測等圖像預(yù)處理技術(shù)， 對檢測過程進(jìn)行改進(jìn)， 從而對光伏板之內(nèi)的熱斑和污漬信息進(jìn)行準(zhǔn)確的提取.

總體上， 在熱斑大小大于光伏板柵線結(jié)點的情況下， 該算法較好地檢出了光伏板表面的熱斑， 表明本文提出的光伏熱斑檢測算法可以快速準(zhǔn)確地識別到光伏板上存在的熱斑和遮擋物情況， 可為后續(xù)的清潔工作提供高置信度的位置信息.

相較于傳統(tǒng)算法， 它可以更快速地處理目標(biāo)信息， 同時有著很好的移植性. 該算法可以基本滿足本項目中無人機(jī)在空中實時清洗光伏板時對運(yùn)行速度的要求， 有著廣泛的實用價值.