基于深度學(xué)習(xí)的光伏紅外圖像熱斑檢測方法

摘 要：由于航拍光伏紅外圖像中的熱斑故障多為小目標(biāo)且與干擾背景極為相似，導(dǎo)致熱斑故障檢測精度低，基于此提出基于深度學(xué)習(xí)的二階段式熱斑檢測方法。第一階段，進(jìn)行干擾背景去除。針對光伏組件分割速度慢、邊緣提取效果較差和正負(fù)樣本不均衡的問題，通過替換主干網(wǎng)絡(luò)和采用混合損失函數(shù)，提出一種改進(jìn)的DeepLabv3+分割模型，實(shí)現(xiàn)光伏組件區(qū)域的快速、精準(zhǔn)提??；第二階段，進(jìn)行熱斑故障檢測。針對小目標(biāo)熱斑漏檢、誤檢問題，通過采用增強(qiáng)版SPP模塊、引入淺層檢測尺度和改變邊框回歸損失函數(shù)，提出一種改進(jìn)的YOLOv5熱斑檢測模型，實(shí)現(xiàn)熱斑的準(zhǔn)確識別。利用自制數(shù)據(jù)集開展對比試驗(yàn)，結(jié)果表明相比于原DeepLabv3+分割模型，所提分割模型的平均像素準(zhǔn)確率和平均交并比分別提高1.7和1.51個百分點(diǎn)；相比于原YOLOv5模型，所提熱斑檢測模型的平均精度均值mAP50與mAP50∶95分別提高2.6和10.7個百分點(diǎn)。

關(guān)鍵詞：光伏組件；紅外圖像；熱斑；深度學(xué)習(xí)；DeepLabv3+；YOLOv5

中圖分類號：TK514" " " " " " " " "文獻(xiàn)標(biāo)志碼：A

0 引 言

為了應(yīng)對氣候變化，各國都在大力發(fā)展可再生能源，其中太陽能作為可再生能源的重要組成部分尤其被重視。根據(jù)《中國可再生能源發(fā)展報告2022》［1］數(shù)據(jù)，截至2022年底，光伏累計(jì)裝機(jī)容量同比增長28.6%，全國太陽能發(fā)電量同比增長30.8%，占全部電源總年發(fā)電量的4.9%。光伏組件大多處于自然環(huán)境中，表面難免會出現(xiàn)塵土、落葉、飛禽糞便等異物遮擋，如果不及時清理，遮蔽的電池單元則會充當(dāng)負(fù)載，吸收電流并將其轉(zhuǎn)化為熱量，形成熱斑。當(dāng)溫度達(dá)到一定程度后，可能導(dǎo)致火災(zāi)爆炸等一系列災(zāi)害。因此，高效的光伏熱斑檢測策略、及時檢測和定位光伏組件中的熱斑故障對于光伏電站的日常維護(hù)是非常重要的。目前常用的熱斑檢測方法可分為基于光伏陣列電氣特性的檢測方法和基于光伏組件紅外圖像的故障檢測方法［2］?；诠夥嚵须姎馓匦缘臒岚邫z測方法需要搭建相應(yīng)的外圍電路，并在外圍電路中安裝傳感器進(jìn)行數(shù)據(jù)監(jiān)測，利用故障狀態(tài)下光伏輸出特性變化檢測熱斑故障。該方法能夠?qū)崟r監(jiān)測光伏陣列的電氣特性，及時進(jìn)行處理，但外圍電路和傳感器的成本較高，并且需要對大量的監(jiān)測數(shù)據(jù)進(jìn)行處理和分析導(dǎo)致效率較低。

基于光伏組件紅外圖像的故障檢測方法針對光伏組件在不同工作狀態(tài)下溫度不同，利用紅外熱像儀來檢測光伏組件表面的溫度分布，以識別潛在的故障或異常情況。該方法無需接觸光伏組件、成本低，并且效率顯著高于基于電氣特性的檢測方法。

隨著深度學(xué)習(xí)相關(guān)技術(shù)和無人機(jī)硬件的發(fā)展，使得通過無人機(jī)攜帶紅外成像儀自動巡檢采集紅外圖像再通過圖像處理解決熱斑問題成為可能。文獻(xiàn)［3］結(jié)合遷移學(xué)習(xí)對Faster RCNN模型進(jìn)行改進(jìn)，通過圖像預(yù)處理突出顯示熱斑區(qū)域，檢測精度進(jìn)一步提高；文獻(xiàn)［4］采用深度遷移學(xué)習(xí)模型來解決熱斑樣本數(shù)量稀少的問題；文獻(xiàn)［5］將可見光和紅外圖像進(jìn)行合成，使用復(fù)合圖像對YOLO網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該方法可成功檢測和定位微弱的故障特征，但故障分類效果較差；文獻(xiàn)［6］將利用可見光圖像進(jìn)行分割和利用紅外圖像進(jìn)行故障診斷相結(jié)合；文獻(xiàn)［7］采用風(fēng)格遷移擴(kuò)充紅外熱斑圖像數(shù)據(jù)集，并將多尺度特征學(xué)習(xí)模塊SpotFPN應(yīng)用到Faster RCNN上，使檢測精度進(jìn)一步提高；文獻(xiàn)［8］將彩色圖像重新轉(zhuǎn)換為灰度圖像，擴(kuò)充數(shù)據(jù)集，同時提出一種新型注意力網(wǎng)絡(luò)，改進(jìn)后的SSD模型檢測精度進(jìn)一步提高。

盡管現(xiàn)有的深度學(xué)習(xí)方法檢測熱斑故障方面已取得較好效果，但仍存在以下幾個需要解決的問題：1）航拍光伏紅外圖像中干擾背景與熱斑故障的紅外特性極為相似；2）光伏熱斑故障多為小目標(biāo)，檢測精度低；3）暫無開源的光伏熱斑故障數(shù)據(jù)集。針對以上問題，本文通過無人機(jī)搭載紅外成像儀采集某光伏電站的紅外圖像自制熱斑故障數(shù)據(jù)集，并提出基于深度學(xué)習(xí)的二階段式熱斑檢測方法。在第一階段進(jìn)行干擾背景去除。針對光伏組件分割速度慢、邊緣提取效果較差和正負(fù)樣本不均衡的問題，通過替換主干網(wǎng)絡(luò)和采用混合損失函數(shù)，提出一種改進(jìn)的DeepLabv3+分割模型，實(shí)現(xiàn)光伏組件區(qū)域的快速、精準(zhǔn)提??；在第二階段進(jìn)行熱斑故障檢測。針對小目標(biāo)熱斑漏檢、誤檢問題，通過采用增強(qiáng)版SPP模塊、引入淺層檢測尺度和改變邊框回歸損失函數(shù)，提出一種改進(jìn)的YOLOv5熱斑檢測模型，實(shí)現(xiàn)熱斑的準(zhǔn)確識別。結(jié)果表明，基于深度學(xué)習(xí)的二階段式熱斑檢測方法可去除干擾背景對熱斑檢測的影響，提高光伏熱斑檢測的準(zhǔn)確度。

1 光伏紅外圖像熱斑檢測整體框架

本文所提出的二階段式光伏紅外圖像熱斑檢測方法的整體框架如圖1所示。首先，通過無人機(jī)搭載紅外成像儀采集光伏組件紅外圖像制作數(shù)據(jù)集，并對原始圖像隨機(jī)進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)、平移、改變亮度和加高斯噪聲等操作，擴(kuò)充數(shù)據(jù)集。其次，建立組件分割模型。使用LabelMe軟件標(biāo)記光伏組件區(qū)域像素制作語義分割數(shù)據(jù)集，其中光伏組件區(qū)域?yàn)檎龢颖荆溆鄥^(qū)域?yàn)樨?fù)樣本。利用分割數(shù)據(jù)集對改進(jìn)后的DeepLabv3+模型進(jìn)行訓(xùn)練，建立光伏組件區(qū)域分割模型。訓(xùn)練完成后，輸入原始圖片，輸出光伏組件區(qū)域分割結(jié)果，對光伏組件外區(qū)域進(jìn)行掩膜處理，得到不包含自然背景的掩膜圖片。最后，建立熱斑故障檢測模型。從第一階段得到的不包含背景區(qū)域的掩膜圖片中篩選出具有熱斑故障的紅外圖像，使用LabelImg軟件標(biāo)記熱斑故障類別制作目標(biāo)檢測數(shù)據(jù)集。利用目標(biāo)檢測數(shù)據(jù)集對改進(jìn)后的YOLOv5模型進(jìn)行訓(xùn)練，建立熱斑故障檢測模型。訓(xùn)練完成后，輸入不包含自然背景的掩膜圖片，得到輸出熱斑區(qū)域定位結(jié)果。

通過基于深度學(xué)習(xí)的兩階段式熱斑檢測方法能有效消除光伏組件紅外圖像中復(fù)雜背景對熱斑檢測的影響，并且通過對YOLOv5目標(biāo)檢測模型進(jìn)行改進(jìn)，可提升小目標(biāo)熱斑檢測的性能，實(shí)現(xiàn)熱斑的準(zhǔn)確識別。

2 光伏組件區(qū)域分割模型

DeepLabv3+是經(jīng)典的語義分割模型之一，通過引入全卷積網(wǎng)絡(luò)、ASPP模塊和解碼器模塊等關(guān)鍵改進(jìn)，可實(shí)現(xiàn)高性能的語義分割結(jié)果，但在光伏組件區(qū)域分割任務(wù)中仍需改進(jìn)。針對光伏組件分割速度慢、邊緣提取效果較差和正負(fù)樣本不均衡的問題，本文在DeepLabv3+的基礎(chǔ)上進(jìn)行改進(jìn)優(yōu)化，提出一種改進(jìn)的DeepLabv3+光伏組件區(qū)域分割模型。

2.1 DeepLabv3+模型

DeepLabv3+［9］模型在DeepLabv3架構(gòu)的基礎(chǔ)上引入了編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)。該模型首先將圖片輸入Encoder編碼器，進(jìn)行特征提取，再經(jīng)過主干網(wǎng)絡(luò)Xception模型生成兩個有效特征層，分別為淺層特征層和深層特征層。將生成的深層特征層輸入ASPP結(jié)構(gòu)中，經(jīng)過1[×]1卷積，以及使用采用多尺度膨脹卷積進(jìn)行特征提取，使得網(wǎng)絡(luò)有不同的特征感受情況，之后將特征層進(jìn)行堆疊，再經(jīng)過1[×]1卷積進(jìn)行通道數(shù)調(diào)整。將生成的淺層特征層輸入到Decoder解碼器中，經(jīng)過1[×]1卷積后與經(jīng)過4倍上采樣的具有高語義信息的特征層進(jìn)行特征融合，之后經(jīng)過3[×]3的卷積和4倍上采樣，得到預(yù)測結(jié)果。DeepLabv3+模型圖如圖2所示

在DeepLabv3+中用逐像素交叉熵［10］作為損失函數(shù)：

[LCE=-ylnp+（1-y）ln（1-p）] （1）

式中：[y]——標(biāo)簽；[p]——樣本預(yù)測為正樣本的概率。

2.2 DeepLabv3+模型改進(jìn)

原DeepLabv3+模型提取光伏組件速度較慢并且得到的光伏組件邊緣不平滑。由于提取光伏組件區(qū)域的速度和準(zhǔn)確率影響第二階段的熱斑故障檢測，考慮到兩階段式熱斑檢測方法對第一階段分割結(jié)果的高度依賴，本實(shí)驗(yàn)將DeepLabv3+的主干網(wǎng)絡(luò)Xception替換為MobileNetv2網(wǎng)絡(luò)，減小模型參數(shù)量，加快分割速度；將編碼器對輸入圖像的下采樣倍數(shù)由16修改為8，減少信息丟失，使網(wǎng)絡(luò)更好地保留輸入圖像的高分辨率信息，提高分割效果。

光伏組件在紅外圖像中所占的像素比例較少，會出現(xiàn)正負(fù)樣本不均衡的問題。而原有的交叉熵?fù)p失函數(shù)往往無法有效平衡較少樣本類別。Dice Loss［11］常被用于正負(fù)樣本不均衡的情況，它可有效處理目標(biāo)區(qū)域和背景之間的像素數(shù)量差異，損失函數(shù)公式如（2）所示。為了解決正負(fù)樣本不均衡的問題，提高分割精度，本文分割模型使用由交叉熵?fù)p失和Dice Loss兩部分構(gòu)成的混合損失函數(shù)，混合損失模型公式如式（3）所示。

[LDice=1-2y?p+1y+p+1] （2）

[L=LCE+LDice2r] （3）

式中：[y?p]——兩者共有的元素數(shù)量；[r]——損失函數(shù)的權(quán)重因子，取[r=0.5]。

3 光伏組件熱斑檢測模型

YOLOv5模型是當(dāng)前主流的單階段目標(biāo)檢測模型，具有檢測速度快、精度高等優(yōu)點(diǎn)，在開源數(shù)據(jù)集上表現(xiàn)較好，但在熱斑檢測中仍需改進(jìn)。針對航拍紅外圖像中小目標(biāo)熱斑漏檢、誤檢的問題，本文在YOLOv5模型基礎(chǔ)上改進(jìn)優(yōu)化，提出一種改進(jìn)的YOLOv5熱斑檢測模型。

3.1 YOLOv5模型

YOLOv5官方代碼中共有4個版本，分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。YOLOv5s模型是YOLOv5系列中深度最小，特征圖寬度最小的模型，其他3種都是在此基礎(chǔ)上進(jìn)一步加深、加寬。因此，YOLOv5s模型的參數(shù)量和計(jì)算量最小、推理速度最快?？紤]到熱斑檢測的實(shí)時性需求，本文選用YOLOv5s作為改進(jìn)模型。YOLOv5s模型分為4個部分。

輸入端：采用Mosaic數(shù)據(jù)增強(qiáng)方法，通過以隨機(jī)縮放、隨機(jī)裁剪和隨機(jī)排布的方式對4張圖片進(jìn)行拼接，從而增加了數(shù)據(jù)集的多樣性和豐富性；

主干網(wǎng)絡(luò)（Backbone）：采用CSPDarkNet53網(wǎng)絡(luò)，進(jìn)行特征提取；

頸部（Neck）：采用特征金字塔（feature pyramid networks，F(xiàn)PN）［12］和路徑聚合網(wǎng)絡(luò)（path aggregation network，PAN）［13］組成，其中FPN自頂而下，將高層特征通過上采樣向下對特征圖進(jìn)行傳遞融合，PAN則自底向上傳達(dá)強(qiáng)定位特征，從不同的主干層對不同的特征層進(jìn)行特征聚合；

頭部（Head）：采用邊界框回歸損失CIoU［14］和非極大值抑制模型來提高模型的識別準(zhǔn)確度。

3.2 YOLOv5模型改進(jìn)

為解決航拍光伏紅外圖像小目標(biāo)熱斑誤檢、漏檢問題，本文在YOLO5s模型的基礎(chǔ)上采用增強(qiáng)版SPP模塊，擴(kuò)大感受野，增強(qiáng)特征提取與特征表達(dá)；引入淺層檢測尺度，采用K-均值聚類算法重新計(jì)算錨點(diǎn)框的尺寸，以增加多尺度感知能力，提升對小目標(biāo)熱斑的檢測性能；改進(jìn)邊框回歸損失函數(shù)，更準(zhǔn)確地衡量預(yù)測邊框與真實(shí)邊框之間的相似度。改進(jìn)后具體的模型結(jié)構(gòu)如圖3所示。

3.2.1 采用增強(qiáng)版SPP模塊：SPPCSPC

光伏紅外圖像分辨率較低，無法提供細(xì)微的細(xì)節(jié)和精確的空間信息，并且熱斑區(qū)域與光伏組件顏色對比度低，存在噪音干擾的問題。因此，本文在Backbone部分采用YOLOv7的SPPCSPC模塊替代原YOLOv5s的SPP［15］結(jié)構(gòu)，優(yōu)化后的模型通過多尺度池化操作擴(kuò)大了感受野，更好地補(bǔ)充缺失區(qū)域的特征，增強(qiáng)了模型在處理特征區(qū)域完整性不同的圖像時的特征融合能力。SPPCSPC模塊如圖4所示，該模塊綜合了跨階段局部網(wǎng)絡(luò)（cross stage partial network，CSP）結(jié)構(gòu)［16］和空間金字塔池化結(jié)構(gòu)（spatial pyramid pooling，SPP）結(jié)構(gòu)。其中CSP結(jié)構(gòu)首先將輸入特征分為常規(guī)卷積和SPP結(jié)構(gòu)兩部分。SPP結(jié)構(gòu)通過4個不同池化核的最大池化操作增大感受野，使模型適應(yīng)不同的分辨率圖像，從而更有效地區(qū)分大小目標(biāo)。最后將這兩部分合并，減少了一半的計(jì)算量，使得速度加快、精度提升。

3.2.2 引入淺層檢測層

YOLOv5s模型采用三尺度特征層進(jìn)行檢測，尺度大小分別為20×20、40×40和80×80。由于YOLOv5模型的下采樣倍數(shù)比較大，訓(xùn)練過程中較深層次的特征圖經(jīng)過多次卷積池化后會損失許多小目標(biāo)的特征信息，從而導(dǎo)致檢測精度降低。為了解決上述問題，本文引入小目標(biāo)檢測層，將淺層特征圖與深層特征圖拼接后進(jìn)行檢測，拓展為四尺度檢測，改進(jìn)后的結(jié)構(gòu)如圖3所示。在第17層后，繼續(xù)增加卷積層和上采樣處理，擴(kuò)大特征圖的尺寸，同時在第20層時，將大小為160×160的特征圖與主干網(wǎng)絡(luò)中第2層特征圖進(jìn)行concate融合，以此獲取更豐富和多尺度的特征圖進(jìn)行小目標(biāo)檢測。引入的淺層信息包含許多形狀、位置和大小等信息，減少了卷積過程中較小目標(biāo)區(qū)域特征的信息丟失，能夠更好地檢測小目標(biāo)。

同時，YOLOv5模型在配置文件中默認(rèn)保存了針對COCO數(shù)據(jù)集的錨框尺寸。由于自定義數(shù)據(jù)集中熱斑故障的尺寸大小與COCO數(shù)據(jù)集存在差異，因此需重新學(xué)習(xí)錨框尺寸。YOLOv5中增加了以往YOLO系列沒有的自適應(yīng)錨定框，可自動使用K-均值聚類算法對訓(xùn)練數(shù)據(jù)中的目標(biāo)框進(jìn)行聚類，得到一組適應(yīng)性較好的錨定框。根據(jù)自定義數(shù)據(jù)集進(jìn)行K-均值聚類得到的各分支錨框分配表如表1所示，這樣能減少由于物體過小而錨框過大導(dǎo)致的物體被忽略掉的情況。

3.2.3 改進(jìn)損失函數(shù)

YOLOv5的損失主要由3個部分組成，即：

[L=Lobj+Lcls+Lbox] （4）

式中：[Lobj]——置信度損失，采用交叉熵?fù)p失；[Lcls]——分類損失，采用交叉熵?fù)p失；[Lbox]——邊框回歸損失，采用CIoU Loss。

CIoU Loss考慮了邊界框回歸的重疊面積、中心點(diǎn)距離和縱橫比，但縱橫比描述的是相對值，存在一定的模糊，未考慮難易樣本的平衡問題，故本文選擇SIoU代替CIoU代替作為預(yù)測框的回歸損失。SIoU包含4個部分：角度損失（angle cost）、距離損失（distance cost）、形狀損失（shape cost）、IoU損失（IoU cost）。

[Lbox=1-LIoU+Δ+Ω2] （5）

式中：[LIoU]——IoU損失函數(shù)；[Δ]——距離損失；[Ω]——形狀損失。

相比其他IoU損失函數(shù)，SIoU損失函數(shù)在邊框回歸中考慮距離、形狀和IoU外，引入所需回歸的向量角度即匹配的方向，重新定義了距離損失，有效降低了回歸的自由度，從而加速網(wǎng)絡(luò)的收斂［17］。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)平臺

本文實(shí)驗(yàn)基于PyTorch1.8.1框架，運(yùn)行環(huán)境CPU為I9 12900H，GPU為NVIDIA RTX3080，CUDA版本為11.1。

4.2 數(shù)據(jù)集

光伏紅外圖像熱斑故障暫無開源數(shù)據(jù)集，因此本文采集某光伏電站的紅外圖像制作數(shù)據(jù)集，光伏電站裝機(jī)總?cè)萘繛?.58 MWp，有10880個光伏組件。本文使用無人機(jī)搭載紅外成像儀對正在運(yùn)行的光伏電站進(jìn)行巡檢，采集訓(xùn)練所需的光伏組件紅外圖像樣本，并且人為監(jiān)督對采集得到的紅外圖像進(jìn)行篩選，篩選出含有光伏組件的圖像，刪除成像效果不佳圖像。最終本實(shí)驗(yàn)共收集到1721張紅外圖像，其中包含正常圖像266張，熱斑故障圖像1455張，圖像分辨率均為640[×]512。為了提高模型的泛化能力，減輕過擬合問題，對原始圖像隨機(jī)進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)、平移、改變亮度和加高斯噪聲等操作，將光伏紅外圖像數(shù)據(jù)集擴(kuò)充到4000張，數(shù)據(jù)增強(qiáng)部分效果如圖5所示。

1）分割數(shù)據(jù)集。在組件分割階段，數(shù)據(jù)被劃分為兩類，其中光伏組件區(qū)域?yàn)檎龢颖?，其他部分均為?fù)背景。使用LabelMe軟件對4000張紅外圖像標(biāo)記光伏組件像素制作語義分割數(shù)據(jù)集，生成對應(yīng)的標(biāo)簽圖像（如圖6所示），其中長條部分代表光伏組件區(qū)域，其余部分代表無關(guān)的背景區(qū)域。然后按照8∶2的比例劃分訓(xùn)練集和測試集。

2）目標(biāo)檢測數(shù)據(jù)集。在組件熱斑檢測階段，將光伏組件上的熱斑故障按照不同形態(tài)特征分為：圓形熱點(diǎn)，矩形熱點(diǎn)和不規(guī)則熱點(diǎn)3類，如圖7所示。從第一階段得到的不包含背景區(qū)域的掩膜圖片中篩選出具有熱斑故障的3360張圖片，使用LabelImg軟件標(biāo)記熱斑故障位置制作目標(biāo)檢測數(shù)據(jù)集，然后按照8∶2的比例劃分?jǐn)?shù)訓(xùn)練集和測試集。

4.3 光伏組件區(qū)域分割結(jié)果與分析

4.3.1 模型訓(xùn)練

在組件分割模型的訓(xùn)練中，訓(xùn)練集和測試集的數(shù)量分別為3200和800。訓(xùn)練時采用COCO數(shù)據(jù)集預(yù)訓(xùn)練權(quán)重初始化模型的權(quán)重。訓(xùn)練分為凍結(jié)階段和解凍階段兩個階段。在凍結(jié)階段，主干網(wǎng)絡(luò)被凍結(jié)，初始學(xué)習(xí)率為[5×10-4]，batch size設(shè)置為16，訓(xùn)練50次；在解凍階段，batch size設(shè)置為8，訓(xùn)練50次。

4.3.2 評測指標(biāo)

為了評價組件分割模型的性能，本文實(shí)驗(yàn)采用平均像素準(zhǔn)確率（[PMPA]）、平均交并比（[PmIOU]）和每秒傳輸幀數(shù)（frames per second，F(xiàn)PS）作為評價指標(biāo)，其數(shù)學(xué)定義如下：

[PMPA=1ni=0nRiii=0nRij] （6）

[PmIOU=1ni=0nRiij=0nRij+j=0nRji-Rii] （7）

式中：[Rii]——真實(shí)值為[i]類，預(yù)測為[i]類的像素數(shù)；[Rij]——真實(shí)值為[i]類，但被預(yù)測為[j]類的像素值；[n]——像素類別數(shù)目。

4.3.3 實(shí)驗(yàn)結(jié)果與分析

為直觀比較改進(jìn)前后DeepLabv3+模型的提取效果，使用測試集中的圖片作為輸入對兩個模型進(jìn)行評估和比較，結(jié)果如圖8所示。改進(jìn)前后的模型在訓(xùn)練過程中，均使用相同的數(shù)據(jù)集和參數(shù)設(shè)置。從圖8可看出，改進(jìn)前后的DeepLabv3+模型均能基本識別出光伏組件區(qū)域，重合度較高。但原DeepLabv3+模型分割得到的背景與光伏組件的邊界輪廓較粗糙，而本文模型得到的光伏組件邊緣更為平滑，且原DeepLabv3+模型提取效果較差，存在欠分割現(xiàn)象，部分光伏組件區(qū)域被識別為背景。本文模型相比于原DeepLabv3+模型，能夠更加準(zhǔn)確地將光伏組件區(qū)域與背景區(qū)分開，從而提升光伏組件分割的準(zhǔn)確性和可靠性。

為了進(jìn)一步驗(yàn)證本文所提方法的有效性，將本文改進(jìn)模型與其他經(jīng)典模型在光伏組件區(qū)域分割數(shù)據(jù)集上的結(jié)果進(jìn)行對比，如表2所示。由表2可知，本文模型的[PMPA]、[PmIOU]和FPS這3個指標(biāo)均高于PSP-Net模型和DeepLabv3+模型。其中，本文模型在光伏組件區(qū)域分割數(shù)據(jù)集上的平均像素準(zhǔn)確率[PMPA]為97.95%，比PSP-Net模型提高了3.76個百分點(diǎn)，比DeepLabv3+模型提高了1.7個百分點(diǎn)；本文模型在光伏組件區(qū)域分割數(shù)據(jù)集上的平均交并比[PmIOU]為95.97%，比PSP-Net模型提高了2.04個百分點(diǎn)，比DeepLabv3+模型提高了1.51個百分點(diǎn)；本文模型在光伏組件區(qū)域分割數(shù)據(jù)集上的FPS為62.3 幀/s，比PSP-Net模型提高了10.4 幀/s，比DeepLabv3+模型提高了47.2 幀/s。因此本文模型相比PSP-Net和DeepLabv3+模型，性能均有提升。

本文模型在光伏組件區(qū)域分割數(shù)據(jù)集上的[PMPA]和[PmIOU]指標(biāo)略低于U-Net模型，其中平均像素準(zhǔn)確率[PMPA]降低了0.21個百分點(diǎn)，平均交并比[PmIOU]降低了0.24個百分點(diǎn)。但本文模型的參數(shù)量為5.81×106，相比于U-Net模型降低了19.09×106；本文模型的FPS為62.3，相比于U-Net模型提高了42.2 幀/s。本文模型相比于U-Net模型分割精度相差不大，但其檢測速度加快，滿足了熱斑檢測實(shí)時性需求。綜合來看，本文模型較好地實(shí)現(xiàn)了在分割精度和輕量化之間的平衡。

4.4 光伏組件熱斑檢測結(jié)果與分析

4.4.1 模型訓(xùn)練

在熱斑檢測模型訓(xùn)練中，訓(xùn)練集和測試集的數(shù)量分別為2688和672。訓(xùn)練時采用YOLOv5官方提供的預(yù)訓(xùn)練權(quán)重訓(xùn)練自己的網(wǎng)絡(luò)，加快網(wǎng)絡(luò)的收斂。模型訓(xùn)練時設(shè)置的總訓(xùn)練數(shù)量為180個epochs，學(xué)習(xí)率為0.01，采用SGD優(yōu)化器對網(wǎng)絡(luò)權(quán)重進(jìn)行優(yōu)化，動量設(shè)置為0.937，權(quán)重衰減系數(shù)為0.0005。

4.4.2 評測指標(biāo)

為了評價熱斑檢測模型的性能，本文實(shí)驗(yàn)使用準(zhǔn)確率（precision，P）、召回率（recall，R）、平均精度（average precision，[AP]）和平均精度均值（mean average precision，mAP）作為評價指標(biāo)。其中mAP50為IoU閾值取0.5時，所有類別AP的平均值；[mAP]50∶95為IoU閾值從0.50到0.95，步長為0.05，不同IoU閾值下的平均mAP。

其數(shù)學(xué)定義如下：

[R=TPTP+FN×100%] （8）

[P=TPTP+FP×100%] （9）

[AP=01P（R）] （10）

[mAP=1cj=1cAPj] （11）

式中：[TP]——檢測正確的熱斑故障數(shù)目；[FN]——漏檢的熱斑故障數(shù)目；[FP]——誤報的熱斑故障數(shù)目；[c]——類別數(shù)量。

4.4.3 實(shí)驗(yàn)結(jié)果及分析

圖9依次為改進(jìn)前后的YOLOv5模型在訓(xùn)練過程中的邊框回歸損失、置信度損失和分類損失對比圖。改進(jìn)前后的YOLOv5模型，訓(xùn)練時均使用相同的數(shù)據(jù)集和參數(shù)設(shè)置。由邊框回歸損失可知，本文模型比原YOLOv5模型更快達(dá)到收斂且損失值更低，表明改進(jìn)后的邊框回歸損失函數(shù)加快了網(wǎng)絡(luò)的訓(xùn)練和收斂速度。本文模型與原YOLOv5模型的置信度損失和分類損失相近不大且始終小于原YOLOv5模型。由此可知，改進(jìn)后的模型可降低最終的損失值，提高目標(biāo)檢測的準(zhǔn)確性和性能。

1）消融實(shí)驗(yàn)。為分析每個改進(jìn)點(diǎn)的有效性設(shè)計(jì)消融實(shí)驗(yàn)，每組實(shí)驗(yàn)使用相同的環(huán)境以及訓(xùn)練技巧，結(jié)果如表3所示。其中采用增強(qiáng)版SPP模塊、引入淺層檢測層、改進(jìn)損失函數(shù)分別對應(yīng)改進(jìn)點(diǎn)1～3。由表3可知，本文設(shè)計(jì)的改進(jìn)點(diǎn)均可有效提升熱斑故障檢測的精度。首先，引入淺層檢測層的平均精度均值mAP50∶95指標(biāo)提升最為明顯，提升了8.6個百分點(diǎn)，說明增加淺層檢測層，重新學(xué)習(xí)錨框尺寸，能更好地檢測小目標(biāo)，減少由于物體過小而錨框過大導(dǎo)致的物體被忽略掉的情況。其次，改進(jìn)損失函數(shù)的平均精度均值mAP50∶95指標(biāo)提升了1.7個百分點(diǎn)，說明改進(jìn)損失可加速網(wǎng)絡(luò)收斂、減少訓(xùn)練時間。再次，采用增強(qiáng)版SPP模塊的平均精度均值mAP50∶95指標(biāo)提升了0.6%，說明SPPPCSPC模塊通過多尺度特征表示能夠提高目標(biāo)檢測模型的準(zhǔn)確性。最后，將這3種改進(jìn)方法同時應(yīng)用于YOLOv5模型，準(zhǔn)確率、召回率、平均精度均值mAP50和mAP50∶95指標(biāo)均有提升，表明這些改進(jìn)方法的綜合效果對模型的整體性能有積極的影響。

2）對比分析。為了驗(yàn)證本文所提方法的有效性，將改進(jìn)模型與主流目標(biāo)檢測模型進(jìn)行對比，結(jié)果如表4所示。由表4可知，在自制紅外圖像測試集中，本文模型的平均精度均值mAP50相比于Faster RCNN、SSD、YOLOv4和YOLOv5模型分別提升了2.4、9.9、7.1、2.6個百分點(diǎn)。從檢測精度來看，本文模型具有更有高的的檢測性能。同時，從模型參數(shù)量和推理時間來看模型參數(shù)量從小到大排序?yàn)閅OLOv5、本文模型、SSD、YOLOv4、Faster RCNN，推理時間的排序?yàn)閅OLOv5、YOLOv4、本文模型、SSD、Faster RCNN。可以看出，相比于SSD和Faster RCNN模型，本文模型在參數(shù)量和推理時間方面均大大降低，并且具有更高的檢測精度。本文模型與YOLOv4相比，推理時間只多3.9 ms，但平均精度均值mAP50提升了7.1個百分點(diǎn)，平均精度均值mAP50∶95提升15%。本

文模型與YOLOv5相比推理時間只多5.4 ms，但平均精度均值mAP50提升了2.6個百分點(diǎn)，平均精度均值mAP50∶95提升了10.7個百分點(diǎn)。綜合來看，本文模型僅增加少量推理時間，但檢測性能大幅提升，整體優(yōu)勢明顯。

3）可視化分析。為了進(jìn)一步驗(yàn)證二階段式航拍紅外圖像熱斑檢測方法的檢測性能，本文從測試集中選取圖片進(jìn)行測試，測試結(jié)果如圖10所示，其中圖10a為不去除背景，使用原YOLOv5模型檢測效果圖，圖10b為使用二階段式熱斑檢測方法的檢測效果圖。可明顯看出，干擾背景的紅外特性與熱斑故障極為相似，原始YOLOv5模型會將干擾背景誤認(rèn)為熱斑故障，但二階段式熱斑檢測方法會首先從紅外圖像中快速、精準(zhǔn)地提取光伏組件區(qū)域，去除背景干擾對熱斑檢測的影響，并且使用改進(jìn)的YOLOv5模型可檢測出原YOLOv5未檢測出的故障，熱斑故障檢測的整體置信度均高于原YOLOv5模型，證明二階段式檢測方法對熱斑檢測的效果較好。

5 結(jié) 論

本文針對航拍光伏紅外圖像中熱斑故障多為小目標(biāo)且與干擾背景極為相似，而導(dǎo)致的熱斑故障檢測精度低的問題，提出一種基于深度學(xué)習(xí)的二階段式熱斑檢測方法，對熱斑故障檢測具有很好的效果。得出如下主要結(jié)論：

1）對DeepLabv3+模型進(jìn)行優(yōu)化，提升了光伏組件區(qū)域提取的準(zhǔn)確度和速率。通過將DeepLabv3+模型的替換主干網(wǎng)絡(luò)為輕量級網(wǎng)絡(luò)MobileNetv2網(wǎng)絡(luò)以降低網(wǎng)絡(luò)復(fù)雜度并采用交叉熵?fù)p失和Dice Loss兩部分構(gòu)成的混合損失函數(shù)解決正負(fù)樣本不均衡問題，光伏組件的分割準(zhǔn)確率、交并比和檢測速度較原DeepLabv3+模型分別提升了1.7、1.51個百分點(diǎn)和47.2 幀/s。

2）對YOLOv5模型進(jìn)行優(yōu)化，提升了熱斑故障檢測的精度和速率。首先采用增強(qiáng)版SPP模塊，以擴(kuò)大感受野，平均精度均值mAP50∶95提升了0.6個百分點(diǎn)；其次，引入淺層檢測尺度，以增加多尺度感知能力，平均精度均值mAP50∶95提升了8.6%個百分點(diǎn)；最后改變邊框回歸損失函數(shù)，以提升檢測框的定位準(zhǔn)確性，平均精度均值mAP50提升了1.7個百分點(diǎn)。經(jīng)過改進(jìn)后的YOLOv5模型較原始模型mAP50∶95提升了10.7個百分點(diǎn)。

3）基于深度學(xué)習(xí)的兩階段熱斑檢測方法可消除背景干擾對熱斑檢測的影響，并且改進(jìn)后的YOLOv5模型，可檢測出原YOLOv5模型未檢測出的故障，檢測的整體置信度均高于原YOLOv5模型。

［參考文獻(xiàn)］

［1］ 水電水利規(guī)劃設(shè)計(jì)總院. 中國可再生能源發(fā)展報告-2022［M］. 北京： 中國水利水電出版社， 2023.

Hydropower and Water Resources Planning and Design Institute. China renewable energy development report（2022）［M］. Beijing： China Water amp; Power Press， 2023.

［2］ 楊亞楠. 太陽能光伏陣列識別及熱斑檢測技術(shù)的研究與實(shí)現(xiàn)［D］. 南京： 南京郵電大學(xué)， 2018.

YANG Y N. Design and implementation of solar photovoltaic array identification and hot spot detection technology［D］. Nanjing： Nanjing University of Posts and Telecommunications， 2018.

［3］ 郭夢浩， 徐紅偉. 基于Faster RCNN的紅外熱圖像熱斑缺陷檢測研究［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2019， 28（11）： 265-270.

GUO M H， XU H W. Hot spot defect detection based on infrared thermal image and Faster RCNN［J］. Computer systems amp; applications， 2019， 28（11）： 265-270.

［4］ 孫海蓉， 李號. 基于深度遷移學(xué)習(xí)的小樣本光伏熱斑識別方法［J］. 太陽能學(xué)報， 2022， 43（1）： 406-411.

SUN H R， LI H. Photovoltaic hot spot identification method for small sample based on deep transfer learning［J］. Acta energiae solaris sinica， 2022， 43（1）： 406-411.

［5］ GERD IMENES A， SAAD NOORI N， ANDREAS NESV?G UTHAUG O， et al. A deep learning approach for automated fault detection on solar modules using image composites［C］//2021 IEEE 48th Photovoltaic Specialists Conference （PVSC）， Fort Lauderdale， FL， USA， 2021： 1925-1930.

［6］ HONG F， SONG J， MENG H， et al. A novel framework on intelligent detection for module defects of PV plant combining the visible and infrared images［J］. Solar energy， 2022， 236： 406-416.

［7］ 王道累， 李超， 李明山， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的光伏組件熱斑檢測［J］. 太陽能學(xué)報， 2022， 43（1）： 412-417.

WANG D L， LI C， LI M S， et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks［J］. Acta energiae solaris sinica， 2022， 43（1）： 412-417.

［8］ 王道累， 李明山， 姚勇， 等. 改進(jìn)SSD的光伏組件熱斑缺陷檢測方法［J］. 太陽能學(xué)報， 2023， 44（4）： 420-425.

WANG D L， LI M S， YAO Y， et al. Method of hotspot detection of photovoltaic panels modules on improved SSD［J］. Acta energiae solaris sinica， 2023， 44（4）： 420-425.

［9］ CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image" segmentation［M］. Cham：" Springer" International Publishing， 2018： 833-851.

［10］ MA Y D， LIU Q， QIAN Z B. Automated image segmentation using improved PCNN model based on cross-entropy［C］//Proceedings of 2004 International Symposium on Intelligent Multimedia， Video and Speech Processing. Hong Kong， China， 2004： 743-746.

［11］ SUDRE C H， LI W， VERCAUTEREN T， et al. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations［C］// International Workshop on Deep Learning in Medical Image Analysis，Quebec， Canada，2017.

［12］ LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature Pyramid Networks for Object Detection［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 21-26 July 2017.

［13］ LIU S， QI L， QIN H， et al. Path aggregation network for instance" " segmentation［C］//IEEE/CVF" "Conference" "on Computer Vision and Pattern Recognition. Salt Lake， USA， 2018.

［14］ ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression［J］. Proceedings of the AAAI conference on artificial intelligence， 2020， 34（7）： 12993-13000.

［15］ HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（9）： 1904-1916.

［16］ WANG C Y， MARK LIAO H Y， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］//2020" "IEEE/CVF" "Conference" "on" "Computer Vision and Pattern Recognition Workshops（CVPRW）. Seattle， WA， USA， 2020： 1571-1580.

［17］ 李小軍， 鄧月明， 陳正浩， 等. 改進(jìn)YOLOv5的機(jī)場跑道異物目標(biāo)檢測算法［J］. 計(jì)算機(jī)工程與應(yīng)用， 2023， 59（2）： 202-211.

LI X J， DENG Y M， CHEN Z H， et al. Improved YOLOv5’s" foreign" object" debris" detection" algorithm" for airport runways［J］. Computer engineering and applications， 2023， 59（2）： 202-211.

HEAT SPOT DETECTION METHOD OF PHOTOVOLTAIC INFRARED IMAGE BASED ON DEEP LEARNING

Niu Xiaoyu1，Liu Changliang1，2，Liu Weiliang1，2，Liu Shuai1，2，Wang Xin3，Kang Jiayao3

（1. Department of Automation， North China Electric Power University， Baoding 071003， China；

2. Baoding Key Laboratory for Condition Detection and Optimal Regulation of Comprehensive Energy System， Baoding 071003， China；

3. China Energy New Energy Technology Research Institute ， Beijing 102209， China）

Abstract：Heat spot faults in aerial photovoltaic infrared images are mostly small targets， which are very similar to the interference background， resulting in low detection accuracy of heat spot faults. A second-order segment heat spot detection method based on deep learning is proposed. In the first stage， interference background removal is performed. Aiming at the problems of slow segmentation speed， poor edge extraction effect and unbalanced positive and negative samples of photovoltaic modules， an improved DeepLabv3+ segmentation model was proposed by replacing the backbone network and adopting hybrid loss function to achieve fast and accurate extraction of photovoltaic module regions. In the second stage， the hot spot fault detection is carried out. To solve the problem of missing and 1 detection of small target hot spots， an improved YOLOv5 hot spot detection model was proposed by adopting the enhanced SPP module， introducing shallow detection scale and changing the border regression loss function， so as to achieve accurate identification of hot spots. The results show that compared with the original DeepLabv3+ segmentation model， the average pixel accuracy and average crossover ratio of the proposed segmentation model are increased by 1.7 and 1.51 percentage points， respectively. Compared with the original YOLOv5 model， the average accuracy of mAP50 and mAP50∶95 of the proposed heat spot detection model is increased by 2.6 and 10.7 percentage paints， respectively.

Keywords：PV modules； infrared imagery； hot spot； deep learning； DeepLabv3+； YOLOv5