基于改進(jìn)DeepLabv3+的含噪聲熱紅外圖像光伏熱斑檢測方法

收稿日期：2022-07-15

基金項目：上海市自然科學(xué)基金面上項目（20ZR1421300）；上海市浦江（D類）人才計劃（21PJD025）；上海市科委創(chuàng)新行動科技支撐碳達(dá)峰碳

中和（21DZ1207300）；國家科技部外國專家局項目（DL2022013007L）

通信作者：陳 輝（1982—），女，博士、副教授、碩士生導(dǎo)師，主要從事機(jī)器視覺與模式識別、機(jī)器人導(dǎo)航與地圖構(gòu)建SLAM、電力設(shè)

備狀態(tài)檢測、電廠信息化三維重建等方面的研究。chenhui@shiep.edu.cn

DOI：10.19912/j.0254-0096.tynxb.2022-1048 文章編號：0254-0096（2023）11-0023-08

摘 要：光伏組件表面鋼化玻璃會導(dǎo)致采集的熱紅外圖像中帶有反光噪聲， 其與熱斑的特征相似，熱斑檢測中常出現(xiàn)誤檢。該文提出一種多尺度融合注意力機(jī)制的輕量化DeepLabv3+語義分割模型LD-MA（lightweight DeepLabv3+ with multi-scale integrated attention mechanism）用于熱斑檢測。LD-MA基于DeepLabv3+網(wǎng)絡(luò)架構(gòu)，首先引用MobileNetV2作為主干特征提取網(wǎng)絡(luò)，減小網(wǎng)絡(luò)參數(shù)量以提高訓(xùn)練效率。然后設(shè)計多尺度特征融合模塊并引入CBAM注意力機(jī)制，保留多階段目標(biāo)特征且強(qiáng)化對熱斑目標(biāo)特征信息和位置信息的學(xué)習(xí)。在自建光伏熱斑數(shù)據(jù)集進(jìn)行熱斑檢測實驗，結(jié)果表明LD-MA模型參數(shù)量大幅減少，同時有效避免誤檢和漏檢，在測試集中平均交并比（mIoU）和類別平均像素準(zhǔn)確率（mPA）分別達(dá)到90.82%和94.39%。

關(guān)鍵詞：光伏組件；故障檢測；語義分割；熱斑；反光噪聲

中圖分類號：TN219""""""""""""" """"""" """""文獻(xiàn)標(biāo)志碼：A

0 引 言

光伏電站中光伏組件作為能量轉(zhuǎn)換的核心部件，長期暴露室外，極易被灰塵、鳥糞等污漬覆蓋遮擋，這部分被遮蔽的光伏組件會作為負(fù)載消耗能量，造成局部溫度升高形成熱斑，這會降低光伏系統(tǒng)發(fā)電效率和光伏組件使用壽命甚至引起火災(zāi)，因此在光伏電站運維中對熱斑的快速準(zhǔn)確檢測尤為重要。

目前針對光伏組件熱斑檢測手段主要分為基于電路特性分析和基于熱斑圖像分析兩種。其中基于電路特性的檢測手段中，Kim等［1］提出采用交流參數(shù)表征檢測阻值變化進(jìn)而判斷是否出現(xiàn)熱斑的方法；陳功等［2］提出一種基于光伏組件表面發(fā)熱量與輸出電流關(guān)系進(jìn)行光伏組件故障檢測，再通過構(gòu)建特征值數(shù)據(jù)庫定位熱斑的方法。該類方法能夠有效檢測故障，但可視性較差，難以對熱斑狀態(tài)及故障原因分析提供幫助。而利用基于圖形特征的機(jī)器視覺技術(shù)進(jìn)行熱斑檢測相對低本高效，且能夠直觀地表現(xiàn)熱斑的形態(tài)位置及受損程度，進(jìn)而提供有效的維修參考，近年來取得很大進(jìn)展，但反光噪聲及小尺度熱斑的誤檢和漏檢問題又對此類方法提出了新挑戰(zhàn)。

傳統(tǒng)圖像處理方法包括閾值分割、邊緣信息提取和基于形態(tài)特性的分割，蔣琳等［3］提出基于灰度直方圖結(jié)合B樣條最小二乘擬合的處理方法以抑制紅外圖像噪聲，提高檢測熱斑的準(zhǔn)確率；陳文勤等［4］在光伏陣列區(qū)域完成局部灰度特征的高精度分割，效果可觀。但在熱紅外圖像含有強(qiáng)烈反光噪聲時，以上方法仍難以解決反光噪聲誤識別問題。

基于深度學(xué)習(xí)的圖像處理方法由數(shù)據(jù)驅(qū)動，能夠提取熱斑多維度特征，實現(xiàn)精準(zhǔn)快速的熱斑檢測。針對熱斑檢測任務(wù)，如SSD［5］、YOLO［6］系列的目標(biāo)檢測算法，SegNet［7］、PSPNet［8］、DeepLab［9］系列、U-Net［10］等語義分割網(wǎng)絡(luò)均能有效完成任務(wù)。在實際運用中， Ali等［11］提出基于混合特征的支持向量機(jī)（support vector machine， SVM）的機(jī)器學(xué)習(xí)算法進(jìn)行光伏組件熱斑檢測和分類，實現(xiàn)對光伏組件的有效監(jiān)測和診斷；任一峰等［12］利用改進(jìn)的單激發(fā)多盒探測器（single shot multibox detector， SSD）算法檢測熱斑，檢測速度得到顯著提高；蘇斌益等［13］提出一種殘差通道式注意門網(wǎng)絡(luò)（residual channelwise attention gate network， RCAG-Net），利用多尺度特征融合等方式構(gòu)建熱斑檢測網(wǎng)絡(luò)，并具有可觀的熱斑檢測能力；王道累等［14］將Faster R-CNN用于紅外熱斑圖像檢測，檢測的平均精度明顯提高。熱斑面積是分析熱斑影響重要指標(biāo)［15］，因此能夠完成像素級分類的語義分割算法便于熱斑面積計算，更適合熱斑檢測的任務(wù)。

綜上所述，本文提出一種改進(jìn)DeepLabv3+語義分割網(wǎng)絡(luò)用于熱斑檢測，通過設(shè)計多尺度融合模塊，并引入注意力機(jī)制，結(jié)合數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)等技術(shù)實現(xiàn)多尺度融合注意力機(jī)制的輕量化DeepLabv3+語義分割模型LD-MA（Lightweight DeepLabv3+ with multi-scale integrated attention mechanism）的搭建。實驗表明，與傳統(tǒng)語義分割模型相比，LD-MA模型對含有反光噪聲的熱斑以及小尺度的分割能力明顯提升，能夠有效完成各類熱斑檢測。

1 當(dāng)前熱斑檢測存在問題

目前運用傳統(tǒng)圖像處理和語義分割方法在熱斑檢測任務(wù)中仍存在難以解決的問題。其中利用閾值分割的傳統(tǒng)圖像處理技術(shù)進(jìn)行目標(biāo)檢測時，要求目標(biāo)與背景的灰度特性差異明顯，在含有反光噪聲時閾值選取過高或過低則會造成熱斑錯檢或漏檢。實驗選用手動閾值尋找和自適應(yīng)閾值尋找的大津法進(jìn)行熱斑分割。如圖1所示，在熱紅外圖像中，反光噪聲與熱斑的灰度特性相似，極易造成造成熱斑誤檢（圖1b、圖1c）。

同時，基于機(jī)器學(xué)習(xí)的語義分割技術(shù)在小目標(biāo)檢測和強(qiáng)噪聲干擾下仍會出現(xiàn)漏檢和誤檢，DeepLabv3+語義分割網(wǎng)絡(luò)的創(chuàng)新性體現(xiàn)在其添加的包含空洞卷積的解碼-編碼結(jié)構(gòu)，該結(jié)構(gòu)通過空洞卷積可任意控制特征圖的分辨率，在精度滿足要求的情況下提高模型擬合速度。但其僅在主干特征提取網(wǎng)絡(luò)中提取一個分辨率為輸入圖像1/4大小的淺層特征進(jìn)入網(wǎng)絡(luò)解碼層，丟失了較多數(shù)據(jù)特征。其次，在DeepLabv3+的空洞空間金字塔池化層中6、12、18的空洞率組合較大，該組合會導(dǎo)致空洞卷積層的像素采樣變稀疏，這兩個主要原因會造成目標(biāo)特征上提取不足，會丟失較多邊界信息，直接用于熱斑檢測任務(wù)中會導(dǎo)致漏檢和誤檢。實驗基于傳統(tǒng)DeepLabv3+進(jìn)行，測試其熱斑檢測能力。圖2展示了檢測結(jié)果，相較傳統(tǒng)圖像處理技術(shù)其檢測效果更好，但存在反光噪聲誤識別和小尺度熱斑漏檢、分割邊界不完整的問題。

2 LD-MA網(wǎng)絡(luò)模型

圖3描述了本文融合注意力機(jī)制的輕量化DeepLabv3+網(wǎng)絡(luò)架構(gòu)LD-MA總體結(jié)構(gòu)，改進(jìn)后的模型涵蓋MobileNetV2（圖中M）主干特征提取網(wǎng)絡(luò)，多尺度特征融合模塊（圖中M-S），

CBAM注意力機(jī)制（convolutional block attention module） （圖中C），改進(jìn)的空洞空間金字塔池化結(jié)構(gòu)（atrous spatial pyramid pooling， ASPP）。本節(jié)將對上述組成LD-MA的單元模塊進(jìn)行詳細(xì)介紹。

2.1 主干特征提取網(wǎng)絡(luò)

傳統(tǒng)DeepLabv3+語義分割模型中的主干特征提取網(wǎng)絡(luò)為Xception，其卷積層中通道數(shù)過多，導(dǎo)致網(wǎng)絡(luò)運行產(chǎn)生大量參數(shù)造成計算緩慢，這與實際應(yīng)用中硬件部署網(wǎng)絡(luò)計算量低的要求不符。受文獻(xiàn)［16］啟發(fā)，本文LD-MA引入MobileNetV2作為主干提取網(wǎng)絡(luò)，以求更高的網(wǎng)絡(luò)計算效率。MobileNetV2是一種輕量化網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)特征在于設(shè)計了倒殘差結(jié)構(gòu)（inverted residuals）和線性瓶頸結(jié)構(gòu)（linear bottlenecks），實現(xiàn)計算量的大幅減小并能提供特征信息的保護(hù)［17］。

在減小計算量方面，倒殘差網(wǎng)絡(luò)結(jié)構(gòu)先對通道數(shù)較少的特征使用1×1尺寸的卷積完成維度提升，通道擴(kuò)張后進(jìn)行特征采集，為了保證輸入輸出的維度一致，再利用1×1卷積降低維度。對于通道數(shù)較大的中間層，MobileNetV2采用深度可分離卷積（depthwise separable convolution）代替3×3標(biāo)準(zhǔn)卷積。深度可分離卷積的工作過程是先利用卷積核對每個通道分別進(jìn)行卷積，卷積核數(shù)量等于上層通道數(shù)量，完成深度卷積后再進(jìn)行逐點卷積，最后將深度卷積的輸出完成組合并恢復(fù)其通道數(shù)量。

在減小特征損失方面，MobileNetV2利用倒殘差結(jié)構(gòu)使得特征層通道先擴(kuò)張后壓縮。傳統(tǒng)的非線性激活函數(shù)會在激活信息時將某一通道的部分值置零從而導(dǎo)致特征丟失，當(dāng)通道數(shù)量較少時丟失的信息會更多。為解決這一問題，MobileNetV2在網(wǎng)絡(luò)中先將通道數(shù)量擴(kuò)張，通過增加更多通道數(shù)量以補(bǔ)償某些通道丟失的特征，在經(jīng)過卷積過程的特征采集后，再由1×1卷積層進(jìn)行通道壓縮。為進(jìn)一步減小非線性激活函數(shù)導(dǎo)致的信息丟失，網(wǎng)絡(luò)將卷積和升維過程的激活函數(shù)改為ReLU6，較好地解決了由于梯度消失造成的特征丟失問題，ReLU6算法如式（1）所示。

[f（x）=minmax（0，x），6]""" （1）

同時，網(wǎng)絡(luò)設(shè)置的線性瓶頸層讓降維后的卷積層進(jìn)行線性函數(shù)輸出，避免非線性激活函數(shù)造成的特征丟失。線性瓶頸層與倒殘差結(jié)構(gòu)共同組建MobileNetV2的基本組成結(jié)單元Block，總體結(jié)構(gòu)包含17個Block。

2.2 CBAM注意力機(jī)制

傳統(tǒng)DeepLabv3+直接用于熱斑檢測任務(wù)中，遠(yuǎn)離熱斑主體特征不明顯的目標(biāo)易被漏檢，與熱斑特征相似的反光噪聲易被誤檢，為改善這一問題，LD-MA引入CBAM注意力機(jī)制。注意力機(jī)制的工作機(jī)理是通過增加目標(biāo)特征的權(quán)重并抑制其他特征的權(quán)重，實現(xiàn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程自適應(yīng)的聚焦重要特征。添加注意力機(jī)制能有效加強(qiáng)網(wǎng)絡(luò)關(guān)鍵特征的學(xué)習(xí)能力，提高網(wǎng)絡(luò)訓(xùn)練模型的泛化能力。注意力機(jī)制按照通道和空間進(jìn)行劃分，CBAM［18］在考慮通道特征的基礎(chǔ)上結(jié)合空間維度的信息，既能強(qiáng)化目標(biāo)特征，又能考慮目標(biāo)位置信息。根據(jù)CBAM注意力機(jī)制結(jié)構(gòu)（圖4），其會對輸入的特征層先后進(jìn)行通道注意力機(jī)制和空間注意力機(jī)制的處理。

其中，通道注意力機(jī)制關(guān)注目標(biāo)關(guān)鍵特征，其會將特征分別進(jìn)行平均池化和最大池化操作，將處理后的特征信息利用共享全連接層將兩者相加，最后通過Sigmoid函數(shù)獲取通道注意力機(jī)制映射特征，即得到輸入特征層每一個通道權(quán)重。

同時，空間注意力機(jī)制將通道注意力機(jī)制輸出作為空間注意力機(jī)制的輸入，首先對輸入在每個特征點計算最大值和平均值，這一步驟與通道注意力機(jī)制計算過程類似，其后需要將兩者堆疊合并再降維到單通道，通過激活函數(shù)獲取經(jīng)空間注意力機(jī)制處理后的目標(biāo)特征值，即為輸入特征層每個特征點的權(quán)值，將其與網(wǎng)絡(luò)輸入原始特征層相乘即獲得最終通過CBAM注意力機(jī)制處理后的特征。CBAM整體計算過程可由式（2）表示。

[FCBAM=?（MLPFcavg+MLPFcmax）×F×?（f[Fcavg，F(xiàn)cmax]）]"" （2）

式中：[F]——網(wǎng)絡(luò)原輸入特征層；[?]——Sigmoid函數(shù)；[Fcmax]和[Fcavg]——全局最大池化和全局平均池化處理結(jié)果；[f]——通道數(shù)為1的卷積。

2.3 多尺度特征融合模塊

在語義分割任務(wù)中，為了保證預(yù)測結(jié)果的精度，需要目標(biāo)大量的邊緣特征信息，該類特征大多存在于目標(biāo)的低層中，而原始DeepLabv3+僅從主干特征提取網(wǎng)絡(luò)Xception中提取一個分辨率為輸入圖像1/4大小的淺層特征進(jìn)入網(wǎng)絡(luò)解碼層，會導(dǎo)致網(wǎng)絡(luò)在小尺度目標(biāo)特征上提取不足，會丟失較多邊界信息進(jìn)而影響分割精度，直接用于熱斑分割中會導(dǎo)致小尺度熱斑與特征不明顯的熱斑漏檢。因此，本文在基于MobileNetV2的主干特征提取網(wǎng)絡(luò)中設(shè)計了多尺度特征融合模塊，增引兩個不同躍層的低層特征再與原低層特征合并為新的淺層語義信息進(jìn)入解碼階段，以達(dá)到保留小尺度信息和減少冗余特征信息的目的。如圖5所示，引出模塊0、1和2的低層特征輸出。首先，將上述3個低層特征輸出進(jìn)行1×1卷積統(tǒng)一通道數(shù)，將后2路低層信息分別進(jìn)行2倍和4倍的上采樣統(tǒng)一尺寸，再將三者堆疊合并輸出，作為網(wǎng)絡(luò)的淺層語義信息。添加不同尺度的低層信息特征構(gòu)建的淺層語義信息能有效避免卷積神經(jīng)網(wǎng)絡(luò)的逐層信息丟失問題，保留更多重要特征，提高網(wǎng)絡(luò)整體的語義分割精確度。

2.4 空洞率調(diào)整

DeepLabv3+中的空洞空間金字塔池化結(jié)構(gòu)ASPP能夠調(diào)整結(jié)構(gòu)中的空洞卷積的尺寸，以滿足不同任務(wù)的實際需求。空洞卷積結(jié)構(gòu)的作用是擴(kuò)大卷積核的感受野，但當(dāng)空洞率過大會使空洞卷積層的像素采樣變稀疏，可能會導(dǎo)致關(guān)鍵特征信息丟失。原網(wǎng)絡(luò)結(jié)構(gòu)中采用的6、12、18組合的空洞率，在熱斑檢測的任務(wù)中此空洞卷積的組合較大會導(dǎo)致分割小目標(biāo)的能力欠缺，最終造成小尺度熱斑的漏檢。結(jié)合實際數(shù)據(jù)中熱斑尺度，同時為了減小網(wǎng)格效應(yīng)，空洞率組合不應(yīng)有大于2的公因數(shù)，因此LD-MA將空洞率組合更改為2、3、7，避免丟失小尺度信息，提升模型提取小尺度熱斑的效果。

2.5 LD-MA工作流程

通過上述模塊的添加與改進(jìn)，形成基于傳統(tǒng)DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)的LD-MA模型，模型的具體工作流程如下：

1） 原始熱紅外圖像數(shù)據(jù)[P]送入MobileNetV2；

2） 其中MobileNetV2前3個Block輸出經(jīng)過尺度特征融合形成淺層特征[P1]，MobileNetV2的網(wǎng)絡(luò)輸出為深層特征[P2]；

3）[P2]作為注意力機(jī)制CBAM的輸入，深層特征經(jīng)過CBAM注意力機(jī)制進(jìn)一步強(qiáng)化并進(jìn)入改進(jìn)空洞率的ASPP模塊，利用空洞卷積層提取特征，堆疊輸出后進(jìn)行通道數(shù)壓縮為處理后特征[P3]；

4）將特征[P1]、[P3]進(jìn)行堆疊，完成深層與淺層特征融合，再通過3[×]3卷積和4倍上采樣，最終恢復(fù)輸入圖像的分辨率大小并輸出預(yù)測結(jié)果[P′]，其過程如式（3）所示，其中，[f ′]為3[×]3卷積操作。

[P′=f ′Concat（P1，P3）]"""" （3）

3 實驗分析

3.1 熱斑數(shù)據(jù)集構(gòu)建

實驗利用便攜式紅外熱像儀在華東某光伏電站進(jìn)行熱斑圖像數(shù)據(jù)采集，前期獲取含有光伏熱斑的原始光伏組件熱紅外圖像220張，按照熱斑像素面積是否小于圖像面積3%以及熱斑所在圖像是否含有反光噪聲分類為常規(guī)熱斑、小尺度熱斑和含有反光噪聲的熱斑3類，最后通過數(shù)據(jù)集制作軟件Labelme將熱斑區(qū)域進(jìn)行標(biāo)注。數(shù)據(jù)集的數(shù)據(jù)量和數(shù)據(jù)質(zhì)量直接影響模型的泛化能力，實驗中獲取的原始數(shù)據(jù)數(shù)量不足，本研究采用隨機(jī)裁剪、旋轉(zhuǎn)、拼接等方式對原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，最終構(gòu)建包含1400張分辨率為560×350的光伏組件熱紅外圖像熱斑數(shù)據(jù)集，其中常規(guī)熱斑圖像807張，小尺度熱斑184張，含反光噪聲圖像409張，3類熱斑圖像的原始圖像和真實標(biāo)簽如圖6所示。

3.2 實驗相關(guān)參數(shù)

實驗通過Tensorflow后端的Keras框架實現(xiàn)，所有算法均采用Python3編程語言。將構(gòu)建的光伏熱斑數(shù)據(jù)集按照8∶2劃分為訓(xùn)練集和測試集，訓(xùn)練將初始學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練過程結(jié)合硬件條件設(shè)置每個訓(xùn)練批次含2個圖像，根據(jù)構(gòu)建的光伏熱斑數(shù)據(jù)集的數(shù)據(jù)量設(shè)置迭代次數(shù)為150，訓(xùn)練添加早停功能，當(dāng)Loss函數(shù)連續(xù)5個世代未降低時則停止訓(xùn)練，防止訓(xùn)練過擬合。

評價指標(biāo)方面采用網(wǎng)絡(luò)參數(shù)量和語義分割領(lǐng)域最常用的準(zhǔn)確度評價指標(biāo)平均交并比（mean intersection over union，mIoU），類別平均像素準(zhǔn)確率（mean pixel accuracy，mPA）對3種模型實驗結(jié)果進(jìn)行分析評估，兩種準(zhǔn)確度評價指標(biāo)數(shù)學(xué)為：假設(shè)圖像分割中共有[k+1]個類別，其中包含1個空類即背景，[pij]表示屬于[i]類但被預(yù)測成[j]類的像素數(shù)量，[pii]表示屬于[i]類同時被預(yù)測為[i]類的像素數(shù)量，同理有[pji]指屬于[j]類但是被預(yù)測為[i]類的像素數(shù)量。其中平均交并比Pj計算如式（4）所示，類平均像素準(zhǔn)確率Pz計算如式（5）所示。

[Pj=1k+1i=0kpiij=0kpij+j=1kpji-pii]""" （4）

[Pz=1k+1i=1npiij=0kpij]""""" （5）

損失函數(shù)方面，實驗設(shè)計將交叉熵與相似度測量函數(shù)Dice系數(shù)［19］綜合考慮，其中交叉熵[J]可表征兩個概率分布之間的差異，其計算如式（6）所示。

[J=-1mj=1mi=1nYjilg（Xji）]" （6）

式中：[Yji]——真實標(biāo)簽；[Xji]——分割結(jié)果；[n]——類別數(shù)；[m]——當(dāng)前批次樣本數(shù)量。

Dice系數(shù)是一種相似度度量函數(shù)，常用作語義分割的評價指標(biāo)，取值范圍為［0，1］，其值為1時表示兩者完全重合，計算式如式（7），其中[X]、[Y]分別表示網(wǎng)絡(luò)模型分割結(jié)果和真實標(biāo)簽，將Dice系數(shù)作為Loss函數(shù)時其值[Dloss]與Dice的數(shù)值[VDice]關(guān)系如式（8）：

[VDice=2X?YX+Y]""""" （7）

[Dloss=1-VDice]""" （8）

結(jié)合Dice系數(shù)與交叉熵的網(wǎng)絡(luò)損失函數(shù)如式（9）所示。

[Loss=Dloss+VDice]""""" （9）

3.3 驗證實驗

根據(jù)上述訓(xùn)練參數(shù)設(shè)置進(jìn)行訓(xùn)練，由于早停環(huán)節(jié)的設(shè)置，模型在連續(xù)5代的Loss未減小則結(jié)束訓(xùn)練防止過擬合，因此在第93代訓(xùn)練結(jié)束后停止，共耗費1.3 h，損失值穩(wěn)定在約0.05，訓(xùn)練的Loss變化過程如圖7所示。

測試集涵蓋常規(guī)熱斑、小尺度熱斑和帶有反光噪聲的熱斑3類熱斑圖像共280張，利用訓(xùn)練好的模型進(jìn)行熱斑檢測實驗，該模型的3類熱斑檢測性能結(jié)果如表1所示，可視化結(jié)果如圖8所示?？梢暬Y(jié)果與原始圖像進(jìn)行融合，可根據(jù)檢測結(jié)果與真實熱斑的重合程度直觀的判斷熱斑檢測的效果，實驗結(jié)果用不同樣式的框展示反光噪聲抑制和小尺度熱斑檢測效果。由實驗結(jié)果可見，LD-MA在小尺度熱斑檢測和帶有反光噪聲的熱斑檢測中表現(xiàn)良好，對小尺度熱斑檢測邊界清晰完整無缺陷，在反光噪聲干擾中能有效抑制噪聲，完成熱斑的正確檢測。但同時在含反光噪聲性能表現(xiàn)上，其mIoU為87.92%有待提升，后續(xù)需進(jìn)一步采集熱斑圖像以擴(kuò)充數(shù)據(jù)集，提高模型識別熱斑的準(zhǔn)確率。

3.4 對比實驗

為了比較LD-MA同其他語義分割模型的熱斑檢測能力，實驗選用PSPNet、SegNet和DeepLabv3+這3種語義分割模型在本文自建數(shù)據(jù)集上進(jìn)行對比試驗，以平均交并比mIoU和類平均像素準(zhǔn)確率mPA作為評價指標(biāo)。實驗比較4種語義分割模型在測試集的整體表現(xiàn)和對不同類別熱斑的檢測能力，將不同模型的熱斑檢測結(jié)果可視化展示如圖9，通過不同類型框分別展示漏檢、誤檢和不完整檢測的結(jié)果，同時表2列出不同模型的測試集性能對比，圖10展示了不同方法對3類熱斑的檢測性能對比。由可視化結(jié)果可見，4種語義分割網(wǎng)絡(luò)對大部分熱斑的檢測效果均達(dá)到檢測要求，但當(dāng)在反光噪聲干擾下PSPNet、SegNet和DeepLabv3+這3種傳統(tǒng)語義分割模型出現(xiàn)了反光噪聲誤檢、小尺度目標(biāo)漏檢現(xiàn)象，相比之下LD-MA的檢測結(jié)果更好，體現(xiàn)在熱斑邊界分割更加清晰細(xì)膩，并能有效克服小尺度熱斑漏檢和反光噪聲誤檢的問題。由性能對比結(jié)果可知，LD-MA表現(xiàn)的精度最高，測試集整體mIoU達(dá)到90.82%，mPA達(dá)到94.39%。在對3類熱斑檢測中，LD-MA仍表現(xiàn)最優(yōu)。對比結(jié)果表明LD-MA語義模型通過多尺度特征融合模塊添加了淺層語義信息的來源，在深層語義信息進(jìn)入空洞卷積層前添加CBAM注意力機(jī)制并改進(jìn)空洞空間金字塔池化結(jié)構(gòu)的空洞率，最終在熱斑檢測任務(wù)中檢測效果良好，小目標(biāo)分割完整并且能夠抑制反光噪聲。

在網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方面，實驗LD-MA與上述3種傳統(tǒng)語義分割模型的模型參數(shù)量。實驗結(jié)果如表3，實驗結(jié)果表明LD-MA采用輕量級主干網(wǎng)絡(luò)MobileNetV2相較3種傳統(tǒng)語義分割模型采用的Xception和ResNet主干網(wǎng)絡(luò)，模型參數(shù)量相較減少90%以上，極大提升了計算效率，避免消耗過多計算資源。

3.5 消融實驗

根據(jù)實際實驗硬件情況，實驗以引用MobileNetV2為主干網(wǎng)絡(luò)的DeepLabV3+模型為參考（表4首行），對CBAM注意力機(jī)制、尺度特征融合、空洞率改進(jìn)的ASPP結(jié)構(gòu)的有效性展開消融實驗。實驗采用控制變量法，所有實驗使用相同訓(xùn)練集和測試集，結(jié)果展示了不同模塊替換在相同測試集檢測中的表現(xiàn)（表4），通過對比可知，CBAM和多尺度特征融合模塊能夠明顯提升模型表現(xiàn)，僅改進(jìn)空洞率的ASPP對模型影響較小。據(jù)表4末行與首行數(shù)據(jù)可知，在引入CBAM注意力機(jī)制、多尺度特征融合模塊和改進(jìn)空洞率的ASPP后，網(wǎng)絡(luò)mIoU和mPA分別提高3.20個百分點和3.94個百分點。

4 結(jié) 論

為解決熱斑檢測任務(wù)中易出現(xiàn)的反光噪聲誤檢和小尺度熱斑漏檢問題，提出一種融合注意力機(jī)制的輕量級DeepLabv3+語義分割模型（LD-MA）用于熱斑檢測，并通過自建熱斑數(shù)據(jù)集檢驗方法的有效性。其中LD-MA采用MobileNetV2為主干特征提取網(wǎng)絡(luò)，縮減模型參數(shù)量，提升模型訓(xùn)練效率；針對熱紅外圖像中反光噪聲造成誤檢和小尺度熱斑漏檢問題，模型在主干網(wǎng)絡(luò)中設(shè)計添加了多尺度特征融合模塊并在主干網(wǎng)絡(luò)后引入CBAM注意力機(jī)制，保留更多目標(biāo)邊緣特征且強(qiáng)化對熱斑目標(biāo)特征和位置信息的學(xué)習(xí)，促進(jìn)模型對熱斑的特征理解。此外，模型選取合適的空洞卷積層的空洞率，但此改進(jìn)對熱斑檢測任務(wù)的影響較小。

綜合使用以上改進(jìn)，本研究提出的LD-MA模型在小尺度熱斑檢測和抗反光噪聲干擾上表現(xiàn)良好，mIoU和mPA分別達(dá)到90.82%、94.39%，能夠有效完成實際熱斑的檢測任務(wù)。

［參考文獻(xiàn)］

［1］"""" KIM K A， SEO G S， CHO B H， et al. Photovoltaic hot-spot detection for solar panel substrings using AC parameter characterization［J］. IEEE transactions on power electronics， 2016， 31（2）： 1121-1130.

［2］"""" 陳功， 蔡磊， 張琳， 等. 光伏熱斑模擬建模及熱成像分析［J］. 電子測量與儀器學(xué)報， 2021， 35（8）： 191-197.

CHEN G， CAI L， ZHANG L， et al. Photovoltaic hotspot simulation modeling and thermal imaging analysis［J］. Journal of electronic measurement and instrumentation， 2021， 35（8）： 191-197.

［3］"""" 蔣琳， 蘇建徽， 施永， 等. 基于紅外熱圖像處理的光伏陣列熱斑檢測方法［J］. 太陽能學(xué)報， 2020， 41（8）： 180-184.

JIANG L， SU J H， SHI Y， et al. Hot spots detection of operating PV arrays through IR thermal image［J］. Acta energiae solaris sinica， 2020， 41（8）： 180-184.

［4］"""" 陳文勤， 郝慧杰， 肖建， 等. 一種高精度的光伏陣列紅外圖像分割算法［J］. 計算機(jī)技術(shù)與發(fā)展， 2020， 30（11）： 153-157.

CHEN W Q， HAO H J， XIAO J， et al. A high-precision photovoltaic array infrared image segmentation algorithm［J］. Computer technology and development， 2020， 30（11）： 153-157.

［5］"""" LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot"" MultiBox"" detector［C］//European"" Conference"" on Computer Vision. Cham： Springer， 2016： 21-37.

［6］"""" REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA， 2016： 779-788.

［7］"""" BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（12）： 2481-2495.

［8］"""" ZHAO H S， SHI J P， QI X J， et al. Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 2017： 6230-6239.

［9］"""" CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE transactions on pattern analysis and machine intelligence， 2018， 40（4）： 834-848.

［10］""" RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.

［11］""" ALI M U， KHAN H F， MASUD M， et al. A machine learning framework to identify the hotspot in photovoltaic module using infrared thermography［J］. Solar energy， 2020， 208： 643-651.

［12］""" REN Y F， YU Y J， LI J， et al. Design of photovoltaic hot spot detection system based on deep learning［J］. Journal of physics： conference series， 2020， 1693（1）： 012075.

［13］""" SU B Y， CHEN H Y， LIU K， et al. RCAG-net： residual channelwise attention gate network for hot spot defect detection of photovoltaic farms［J］. IEEE transactions on instrumentation and measurement， 2021， 70： 1-14.

［14］""" 王道累， 李超， 李明山， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的光伏組件熱斑檢測［J］. 太陽能學(xué)報， 2022， 43（1）： 412-417.

WANG D L， LI C， LI M S， et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks［J］. Acta energiae solaris sinica， 2022， 43（1）： 412-417.

［15］""" 魏繆宇， 衛(wèi)東， 郭倩， 等. 局部異物遮擋狀態(tài)下光伏單元輸出特性與故障診斷方法［J］. 太陽能學(xué)報， 2021， 42（5）： 260-266.

WEI M Y， WEI D， GUO Q， et al. Output characteristics and fault diagnosis method of PV unit under partial shading［J］. Acta energiae solaris sinica， 2021， 42（5）： 260-266.

［16］""" 陳宗陽， 趙輝， 呂永勝， 等. 基于改進(jìn)MobileNetV2網(wǎng)絡(luò)的涂層表面缺陷識別方法［J］. 哈爾濱工程大學(xué)學(xué)報， 2022， 43（4）： 572-579.

CHEN Z Y， ZHAO H， LYU Y S， et al. A recognition method of coating surface defects based on the improved MobileNetV2 network［J］. Journal of Harbin Engineering University， 2022， 43（4）： 572-579.

［17］""" SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA， 2018： 4510-4520.

［18］""" WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］//European Conference on Computer Vision. Cham： Springer， 2018： 3-19.

［19］""" GUINDON B， ZHANG Y. Application of the dice coefficient to accuracy assessment of object-based image classification［J］." Canadian" journal" of" remote" sensing， 2017， 43（1）： 48-61.

PHOTOVOLTAIC THERMAL SPOT DETECTION METHOD WITH NOISY THERMAL INFRARED IMAGE BASED ON IMPROVED DEEPLABV3+

Chen Hui1，Zhang Ao1，Sun Shuai1，Liang Weibin2，Huang Heping3

（1. School of Automation Engineering， Shanghai University of Electric Power， Shanghai 200090， China；

2. Shanghai Enflame Technology Co.， Ltd.， Shanghai 201203， China；" 3. Zhengtai Instrument （Hangzhou） Co.， Ltd.， Hangzhou 310052， China）

Abstract：The tempered glass on the surface of photovoltaic modules will cause reflection noise in the collected thermal infrared images， which is similar to the characteristics of hot spots， which will often leads 1 detections in hot spot detection task. This paper proposes a lightweight DeepLabv3+ semantic segmentation model called LD-MA （Lightweight DeepLabv3+ with Multi-scale integrated Attention Mechanism） for hot spot detection. LD-MA is based on the DeepLabv3+ network architecture， First， MobileNetV2 is used as the backbone feature extraction network to reduce the amount of network parameters to improve training efficiency. Then， a multi-scale feature fusion module is designed and a CBAM attention mechanism is introduced to retain the multi-stage target features and strengthen the learning of hot spot target feature information and location information. The hot spot detection experiment was carried out on the self-built photovoltaic hot spot data set， and the results showed that the parameters of the LD-MA model were greatly reduced， and at the same time， 1 detection and missed detection were effectively avoided. In the test set， mIoU and mPA reached 90.82% and 94.39%.

Keywords：PV modules； fault detection； semantic segmentation； hot spot； reflection noise