基于改進(jìn)YoloX的輸電通道工程車輛檢測(cè)識(shí)別

張智堅(jiān)，曹雪虹，焦良葆，孟 琳,2，鄒輝軍

(1.南京工程學(xué)院 人工智能產(chǎn)業(yè)技術(shù)研究院，南京 211167;2.江蘇省智能感知技術(shù)與裝備工程研究中心，南京 211167)

0 引言

隨著我國(guó)經(jīng)濟(jì)的飛速發(fā)展，城鎮(zhèn)經(jīng)濟(jì)基礎(chǔ)建設(shè)的不斷加快，大型工程器械得到了廣泛的使用，導(dǎo)致高壓輸電線路原有的安全通道環(huán)境被擠壓。輸電線路設(shè)備發(fā)生外力破環(huán)的事件逐漸上升，已經(jīng)成為目前我國(guó)電網(wǎng)輸配電線路安全運(yùn)行的主要隱患，而單純依靠電力巡檢人員進(jìn)行定期檢查，不僅效率低下，而且更受到自然方面的影響[1]。因此，采用有效的目標(biāo)檢測(cè)方法對(duì)輸電通道下的工程車輛進(jìn)行精準(zhǔn)的檢測(cè)具有重大的意義。

在利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)之前，傳統(tǒng)的目標(biāo)檢測(cè)主要是采用滑動(dòng)窗口的方式。首先尋找圖像中感興趣的區(qū)域，即選取可能包含檢測(cè)對(duì)象的區(qū)域。然后對(duì)可能包含檢測(cè)對(duì)象的區(qū)域進(jìn)行特征提取，例如尺度不變特征變換(SIFT，scale-invariant feature transform)等特征提取算法[2]。最后利用支持向量機(jī)(SVM，support vector machine)等算法對(duì)提取好的特征進(jìn)行檢測(cè)分類[3]。但是，圖片中物體尺度不一，所占圖片面積有大有小，當(dāng)利用一個(gè)固定的窗口進(jìn)行滑動(dòng)時(shí)，物體所占圖片面積越小，候選框區(qū)域中背景區(qū)域的占比就越大；物體所占圖片面積越大，候選框區(qū)域只能包含物體的局部。因此在對(duì)候選區(qū)域中的物體進(jìn)行特征提取時(shí)，一方面分類的時(shí)候可能產(chǎn)生誤分類，另一方面可能對(duì)于同一個(gè)對(duì)象產(chǎn)生多個(gè)正確識(shí)別的結(jié)果。若設(shè)計(jì)各種尺寸的窗口，這樣就會(huì)產(chǎn)生大量的計(jì)算，無(wú)法滿足日趨復(fù)雜的輸電通道場(chǎng)景的需求。

近年來(lái)，由于卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域中得到了廣泛的應(yīng)用，給以深度學(xué)習(xí)為基礎(chǔ)的目標(biāo)檢測(cè)算法提供了快速發(fā)展的機(jī)遇。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類，第一類是基于候選區(qū)域的雙階段目標(biāo)檢測(cè)算法，第二類是基于回歸問(wèn)題的單階段目標(biāo)檢測(cè)算法[4]。雙階段的目標(biāo)檢測(cè)算法主要有Fast R-CNN、Faster R-CNN、R-FCN等，首先由特定的算法生成一系列待識(shí)別對(duì)象的候選框，再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)別對(duì)象進(jìn)行分類。Girshick[5]等提出Fast R-CNN，利用卷積網(wǎng)絡(luò)進(jìn)行特征的提取分類以及邊界框的回歸，通過(guò)感興趣池化層進(jìn)行不同尺寸感興趣區(qū)域的統(tǒng)一。Ren[6]等提出Faster R-CNN，使用區(qū)域預(yù)測(cè)網(wǎng)絡(luò)(RPN)替代傳統(tǒng)特征提取方法，提高了網(wǎng)絡(luò)的訓(xùn)練速度。Dai[7]等提出R-FCN方法，應(yīng)用全卷積網(wǎng)絡(luò)提升檢測(cè)速度，通過(guò)位敏池化層，解決因圖片自身變化所引起的屬性改變問(wèn)題。這類算法雖然準(zhǔn)確度較高，但是計(jì)算量較大，導(dǎo)致檢測(cè)速度較慢。單階段的目標(biāo)檢測(cè)算法主要有Yolo，SSD，Retina-Net等，不需要產(chǎn)生候選框，直接對(duì)預(yù)測(cè)的目標(biāo)物體進(jìn)行回歸。謝俊章[8]等利用自適應(yīng)激活函數(shù)改進(jìn)Yolov4的殘差結(jié)構(gòu)，提升了小型密集分布的車輛檢測(cè)精度，但是模型結(jié)構(gòu)復(fù)雜。于碩[9]等利用Yolov5網(wǎng)絡(luò)，通過(guò)數(shù)據(jù)增強(qiáng)以及網(wǎng)絡(luò)改進(jìn)對(duì)小目標(biāo)進(jìn)行識(shí)別，提高了定位精度。Raj[10]等以SSD目標(biāo)檢測(cè)算法為基礎(chǔ)，應(yīng)用Canny算子和log濾波器進(jìn)行圖像增強(qiáng)，提高了夜間車輛的檢測(cè)精度。宋歡歡[11]等利用Retina-Net算法，結(jié)合遷移學(xué)習(xí)，并結(jié)合模型壓縮，對(duì)光照變化明顯，車輛遮擋嚴(yán)重導(dǎo)致的檢測(cè)精度下降問(wèn)題有較大改善，但能識(shí)別車輛種類少。

綜上，當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大多數(shù)對(duì)樣本的質(zhì)量要求較高，一旦受到時(shí)間和氣候的影響，如傍晚或者陰天光線不足的情況，會(huì)極大影響檢測(cè)效果。此外，在保證檢測(cè)速度的同時(shí)，往往精度會(huì)有大幅下降。

為了有效解決上述問(wèn)題，本文通過(guò)對(duì)光線較暗的圖片進(jìn)行篩選，對(duì)MSR算法進(jìn)行優(yōu)化，提高圖片亮度。以YoloX算法為基礎(chǔ)對(duì)工程車輛進(jìn)行目標(biāo)檢測(cè)，通過(guò)修改網(wǎng)絡(luò)的損失函數(shù)來(lái)平衡正負(fù)樣本以及難易樣本，通過(guò)添加CBAM注意力機(jī)制，結(jié)合內(nèi)部通道信息和位置信息，提高YoloX算法的提取能力，并通過(guò)修改Neck中CspLayer層，在保證檢測(cè)速度的前提下，提高模型的檢測(cè)性能。

1 YoloX網(wǎng)絡(luò)介紹

1.1 YoloX網(wǎng)絡(luò)結(jié)構(gòu)

YoloX的具體結(jié)構(gòu)如圖1所示。

圖1 YoloX網(wǎng)絡(luò)結(jié)構(gòu)

YoloX的網(wǎng)絡(luò)結(jié)構(gòu)主要由4個(gè)部分構(gòu)成，分別為輸入端、骨干網(wǎng)絡(luò)Backbone、強(qiáng)特征提取網(wǎng)絡(luò)Neck以及預(yù)測(cè)網(wǎng)絡(luò)Prediction這4個(gè)部分構(gòu)成。輸入端采用Mosaic數(shù)據(jù)增強(qiáng)方法的同時(shí)，融合了Mixup數(shù)據(jù)增強(qiáng)方法，通過(guò)隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布、不同圖片加權(quán)融合等方式對(duì)圖片進(jìn)行拼接，豐富了數(shù)據(jù)的多樣性，可提升小目標(biāo)的檢測(cè)效果。主干網(wǎng)絡(luò)Backbone中使用了Focus、CSPLayer等結(jié)構(gòu)，F(xiàn)ocus結(jié)構(gòu)通過(guò)對(duì)圖片進(jìn)行切片操作，將圖片中每隔一個(gè)像素點(diǎn)取一個(gè)值，從而將寬高信息都集中到了通道空間，防止信息的丟失。CSPLayer結(jié)構(gòu)主要由組件CBS(卷積層+歸一化層+激活函數(shù))和殘差組件(由兩個(gè)CBS結(jié)構(gòu)構(gòu)成)構(gòu)成，通過(guò)對(duì)網(wǎng)絡(luò)的深度進(jìn)一步加深，來(lái)不斷提高網(wǎng)絡(luò)的特征提取和特征融合能力。在網(wǎng)絡(luò)的Neck部分，通過(guò)利用特征金字塔FPN+PAN結(jié)構(gòu)，將強(qiáng)語(yǔ)義特征和強(qiáng)定位特征進(jìn)行融合，其中FPN結(jié)構(gòu)以自頂向下的方式將深層的語(yǔ)義特征傳到淺層，來(lái)增強(qiáng)多個(gè)尺度上的語(yǔ)義表達(dá)，而PAN結(jié)構(gòu)則將淺層的定位信息傳遞到深層，來(lái)增強(qiáng)在多個(gè)尺度上的定位能力。此外，使用CSPLayer結(jié)構(gòu)來(lái)進(jìn)一步加強(qiáng)網(wǎng)絡(luò)特征融合。在最后的Prediction部分，通過(guò)無(wú)錨點(diǎn)方式(Anchor-free)減少預(yù)測(cè)結(jié)果數(shù)量，完成初步的篩選，再利用SimOTA算法對(duì)預(yù)測(cè)結(jié)果進(jìn)行精細(xì)化篩選，得到最終的預(yù)測(cè)結(jié)果。

1.2 改進(jìn)策略

本文主要利用YoloX算法研究工程車輛的檢測(cè)，通過(guò)在網(wǎng)絡(luò)中添加注意力機(jī)制，修改CSPLayer以及損失函數(shù)，對(duì)YoloX算法的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，使YoloX算法能更適用于工程車輛的檢測(cè)領(lǐng)域。

1.2.1 添加注意力機(jī)制CBAM

Woo S[12]等提出了一種輕量的注意力模塊Convolutional Block Attention Module，簡(jiǎn)稱CBAM，具體結(jié)構(gòu)如圖2所示。該模塊主要由兩個(gè)獨(dú)立的子模塊構(gòu)成，分別是通道注意力模塊(Channel Attention Module)和空間注意力模塊(Spartial Attention Module)，能夠沿著空間和通道兩個(gè)方向依次推斷出注意力權(quán)重，然后將權(quán)重與原始特征圖相乘，從而對(duì)特征進(jìn)行自適應(yīng)調(diào)整，能夠更關(guān)注對(duì)目標(biāo)物體的識(shí)別。

圖2 CBAM結(jié)構(gòu)圖

CBAM模塊的實(shí)現(xiàn)主要分為兩步，第一步是經(jīng)過(guò)CA模塊，該模塊主要關(guān)注輸入圖片中有意義的信息，壓縮空間維度，通道維度不變，具體結(jié)構(gòu)如圖3所示。首先將輸入的特征圖F分別進(jìn)行一個(gè)空間的全局最大池化(Global Max Pooling)和全局平均池化(Global Average Pooling)，得到兩個(gè)1×1×C的特征圖。接下來(lái)將得到的兩個(gè)特征圖輸入到一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)(MLP)，第一層中神經(jīng)元個(gè)數(shù)為C/r(r為減少率)，使用的是Relu激活函數(shù)，第二層神經(jīng)元個(gè)數(shù)為C，輸出兩個(gè)激活后的特征。最后，將兩個(gè)特征相加并利用Sigmoid激活函數(shù)，獲得一個(gè)權(quán)重系數(shù)Mc，將輸入特征F與權(quán)重系數(shù)Mc相乘得到最后縮放后的新特征圖F’。

圖3 CA模塊結(jié)構(gòu)圖

第二步是經(jīng)過(guò)SA模塊，該模塊主要是關(guān)注對(duì)象的位置信息，壓縮通道維度，空間維度不變，具體結(jié)構(gòu)如圖4所示。首先利用一個(gè)基于通道的全局最大池化(Global Max Pooling)和全局平均池化(Global Average Pooling)對(duì)CA模塊中輸出的特征圖F’進(jìn)行處理，得到兩個(gè)H×W×1的特征圖。接下來(lái)對(duì)這兩個(gè)特征圖基于通道進(jìn)行一個(gè)拼接，利用一個(gè)7×7卷積操作并使用Sigmoid激活函數(shù)，獲得一個(gè)權(quán)重系數(shù)Ms。最后將輸入的特征F’與權(quán)重系數(shù)Mc“相乘，得到最終縮放后的新特征。

圖4 SA模塊結(jié)構(gòu)圖

通過(guò)以上兩個(gè)步驟，CBAM模塊沿著兩個(gè)獨(dú)立的維度完成了通道信息和空間信息的融合，完成自適應(yīng)的特征優(yōu)化。相比于注意力機(jī)制SE模塊[13]只考慮內(nèi)部通道信息而忽略了位置信息的重要性，CBAM模塊結(jié)合了空間(spatial)和通道(channel)的注意力機(jī)制模塊，可以取得更好的效果。將此模塊添加在YoloX網(wǎng)絡(luò)中Backbone部分中20*20*1024的CSPLayer層輸出位置，可提高YoloX算法對(duì)工程車輛的檢測(cè)效果。

1.2.2 Neck部分CSPLayer改進(jìn)

在YoloX網(wǎng)絡(luò)中，骨干網(wǎng)絡(luò)Backbone主要是對(duì)輸入的圖片進(jìn)行特征提取，而Neck部分介于Backbone和Prediction之間，主要是為了更好的提取backbone中的特征，對(duì)接下來(lái)Prediction部分的定位和分類的結(jié)果有很大的影響[14]。強(qiáng)特征提取網(wǎng)絡(luò)Neck部分中的CSPLayer結(jié)構(gòu)如圖5所示，通過(guò)利用殘差結(jié)構(gòu)，對(duì)原來(lái)殘差塊的堆疊進(jìn)行一個(gè)拆分，一共分成左右兩個(gè)部分，其中主干部分繼續(xù)對(duì)原來(lái)的殘差塊進(jìn)行堆疊，另一部分則經(jīng)過(guò)少量處理直接連接到最后。圖5中(a)先將兩個(gè)部分進(jìn)行連接，然后再進(jìn)行輸入到Partial Transion層中，采用這種做法會(huì)使得大量的梯度信息被重用，有利于網(wǎng)絡(luò)學(xué)習(xí)，(b)中先將部分特征輸入Partial Transion層中，然后再進(jìn)行連接，這樣做損失了部分的梯度重用，但是計(jì)算復(fù)雜度比(b)圖低。

圖5 原始CSPLayer

改進(jìn)的CSPLayer通過(guò)將圖5中(a)和(b)的結(jié)構(gòu)進(jìn)行結(jié)合，具體結(jié)構(gòu)如圖6所示，可以進(jìn)一步提升學(xué)習(xí)能力，但是也提高了一些計(jì)算復(fù)雜度，所以需要進(jìn)一步將CSPLayer中的傳統(tǒng)卷積替換成深度可分離卷積，減小計(jì)算復(fù)雜度。

圖6 改進(jìn)版CSPLayer

對(duì)于傳統(tǒng)卷積而言，輸入一個(gè)大小為DF*DF*M的特征圖，輸出一個(gè)小為DF*DF*N特征圖，其中卷積核的大小為DK*DK*M，則傳統(tǒng)卷積的計(jì)算量C如公式(1)所示，其中DF*DF為特征圖的長(zhǎng)和寬，DK*DK為卷積核的長(zhǎng)和寬，M和N為通道數(shù)。

C=DK×DK×M×N×DF×DF

(1)

而深度可分離卷積可以將卷積分為兩個(gè)過(guò)程，首先使用大小為DK*DK*1卷積核進(jìn)行卷積，這樣每一個(gè)卷積核就會(huì)產(chǎn)生M個(gè)DF*DF結(jié)果，第二步使用 1*1*M的卷積核，這樣就只得到一個(gè)結(jié)果，一共有N個(gè)卷積核，最終就得到了DF*DF*N的結(jié)果，深度可分離卷積的計(jì)算量S如公式(2)所示：

S=DK×DK×M×DF×DF+M×N×DF×DF

(2)

通過(guò)將深度可分離卷積的計(jì)算量和傳統(tǒng)卷積的計(jì)算量進(jìn)行對(duì)比，比值K如公式(3)所示，計(jì)算量比傳統(tǒng)的卷積核小很多，卷積核個(gè)數(shù)N越大，計(jì)算量減少的就更加明顯。

K=

(3)

1.2.3 改善obj分支的損失函數(shù)

在YoloX網(wǎng)絡(luò)中，Prediction部分的YoloHead分為3個(gè)分支，分別為Cls分支、Reg分支以及Obj分支。Cls分支主要用于判斷每一個(gè)特征點(diǎn)所包含的物體種類，Reg分支主要用于判斷每一個(gè)特征點(diǎn)的回歸參數(shù)，回歸參數(shù)調(diào)整后可以獲得預(yù)測(cè)框，Obj分支主要用于判斷每一個(gè)特征點(diǎn)是否包含物體，具體結(jié)構(gòu)如圖7所示。

圖7 YoloHead結(jié)構(gòu)圖

原始網(wǎng)絡(luò)中obj分支采用BCELoss損失函數(shù)[15]，具體如公式(4)所示。其中M為樣本的類別數(shù)量，yic代表符號(hào)函數(shù)(即如果樣本i的真實(shí)類別等于類別c則取值為1，否則取值為0)，pic為觀測(cè)樣本i屬于類別c的預(yù)測(cè)概率。BCELoss損失函數(shù)雖然能解決梯度消失問(wèn)題，平衡正負(fù)樣本，但是對(duì)于難易樣本不均衡的情況處理效果不佳，而困難樣本對(duì)網(wǎng)絡(luò)的訓(xùn)練結(jié)果有一定的影響。

(4)

Focal Loss損失函數(shù)是基于二分類交叉熵?fù)p失的改進(jìn)[16]，既能平衡正負(fù)樣本、也能平衡難易樣本，具體如公式(5)所示，其中ɑ用來(lái)調(diào)節(jié)正負(fù)樣本不平衡，γ用來(lái)調(diào)節(jié)難易樣本不平衡，y=1表示正樣本，y=0表示負(fù)樣本。通過(guò)降低簡(jiǎn)單樣本對(duì)于loss的影響、更多關(guān)注難樣本，避免大量簡(jiǎn)單負(fù)樣本的loss在訓(xùn)練過(guò)程中占據(jù)loss的主導(dǎo)地位。此外通過(guò)利用調(diào)質(zhì)因子(1-p)γ，對(duì)于正樣本來(lái)說(shuō)，預(yù)測(cè)值p趨向于1，說(shuō)明是簡(jiǎn)單樣本，(1-p)γ就會(huì)趨近于0，損失函數(shù)值就會(huì)變小，而預(yù)測(cè)值p趨向于0，說(shuō)明是困難樣本，(1-p)γ就會(huì)趨近于1，損失函數(shù)值就會(huì)變大。所以這樣對(duì)于簡(jiǎn)單樣本而言，權(quán)重就會(huì)降低，可以減少簡(jiǎn)單樣本的影響，對(duì)于困難樣本，權(quán)重就會(huì)增大，從而增加對(duì)困難樣本的關(guān)注度，讓網(wǎng)絡(luò)更傾向于使用困難樣本進(jìn)行參數(shù)的更新。

L=-α(1-p)γlog(p)y=1

L=-(1-α)pγlog(1-p)y=0

(5)

2 Retinex算法

2.1 常見(jiàn)Retinex算法

Retinex是一種建立在科學(xué)實(shí)驗(yàn)和科學(xué)分析基礎(chǔ)上的圖像增強(qiáng)方法[17]，主要包括單尺度的SSR算法(Single Scale Retinex)以及多尺度的MSR算法(Multi-Scale Retinex)等，可以對(duì)不同類型的圖片在動(dòng)態(tài)范圍類壓縮、顏色等方面進(jìn)行自適應(yīng)的增強(qiáng)。

單尺度的SSR算法主要通過(guò)從原始圖片中去除低頻照射部分，保留原始圖片中的高頻分量來(lái)進(jìn)行圖像增強(qiáng)[18]。光照?qǐng)D像可以分為其入射圖像和反射圖像，具體如公式(6)所示，入射圖像主要決定了其像素能達(dá)到的動(dòng)態(tài)范圍，需要去除，而反射圖像是其本身的反射特性，基本不會(huì)發(fā)生變化，從而需要保留，具體如公式(7)所示：

(6)

r(x,y)=logS(x,y)-log[F(x,y)?S(x,y)]

(7)

S(x,y)表示原始圖像，r(x,y)表示輸出圖像，R(x,y)表示反射圖像，L(x,y)表示入射圖像，F(xiàn)(x,y)表示中心環(huán)繞函數(shù)，具體如公式(8)所示。其中C是高斯環(huán)繞尺度，C越小，動(dòng)態(tài)壓縮能力越強(qiáng)，圖像陰暗部分的細(xì)節(jié)可以得到更好的增強(qiáng)，C越大，顏色保真度越高，λ是一個(gè)尺度，需要滿足的條件如公式(9)所示。中心環(huán)繞函數(shù)F(x,y)通過(guò)使用低通函數(shù)，對(duì)入射圖像對(duì)應(yīng)原始圖像的低頻部分進(jìn)行估計(jì)，并從原始圖像中除去低頻照射部分，最終就會(huì)留下原始圖像所對(duì)應(yīng)的高頻分量[19]。

F(x,y)=λe-(x2+y2)/c2

(8)

(9)

多尺度的MSR算法是在SSR算法的基礎(chǔ)上發(fā)展來(lái)的，可以同時(shí)保持圖像高保真度與對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行壓縮的同時(shí)，實(shí)現(xiàn)色彩增強(qiáng)、顏色恒常性、局部動(dòng)態(tài)范圍壓縮、全局動(dòng)態(tài)范圍壓縮[20]。MSR計(jì)算過(guò)程如公式(10)所示，其中K是高斯中心環(huán)繞函數(shù)的個(gè)數(shù)。為了能夠保持像SSR算法一樣同時(shí)擁有高、中、低3個(gè)尺度的優(yōu)點(diǎn)，設(shè)置K的值為3。因此MSR算法能較好的解決色彩和動(dòng)態(tài)壓縮范圍的平衡問(wèn)題，但是還會(huì)出現(xiàn)邊緣銳化不足等問(wèn)題。

(10)

2.2 改進(jìn)MSR算法

傳統(tǒng)的MSR算法在提升圖片亮度的同時(shí)，會(huì)導(dǎo)致圖片中對(duì)象的輪廓模糊[21]，而在YoloX網(wǎng)絡(luò)中，圖像中對(duì)象的輪廓對(duì)識(shí)別的效果影響很大，為了更有效的增強(qiáng)整個(gè)圖片，提出一種基于邊緣增強(qiáng)的多尺度Retinex算法AttentionMSR-MSS。

由于圖片中對(duì)象的輪廓模糊，所以需要對(duì)輪廓進(jìn)行邊緣強(qiáng)化，引入拉普拉斯算子，將拉普拉斯模板與原始圖像進(jìn)行卷積操作，拉普拉斯模版如公式(11)所示，通過(guò)將中心像素的灰度值與鄰域內(nèi)其他像素的平均灰度值進(jìn)行對(duì)比，如果中心像素的灰度值低于平均灰度值時(shí)，就降低中心像素的灰度值，如果中心像素的灰度值高于平均灰度值時(shí)，就提高中心像素的灰度值，然后將原始圖像減去卷積結(jié)果得到圖像邊緣圖像,其過(guò)程如公式(12)所示，最后將原始圖片與邊緣圖像進(jìn)行疊加，獲得邊緣增強(qiáng)后的圖片，這樣就可以保留圖像背景的同時(shí)，增強(qiáng)對(duì)象的輪廓細(xì)節(jié)信息。

(11)

f(x,y)=S(x,y)-S(x,y)*K

(12)

由于MSR算法是利用去除低頻部分，保留高頻部分來(lái)進(jìn)行圖像增強(qiáng)，為了更可靠地增強(qiáng)整個(gè)圖像，打破它在增強(qiáng)局部細(xì)節(jié)方面的局限性，將AttentionMSR算法與MSS算法[22]進(jìn)行結(jié)合，通過(guò)在經(jīng)過(guò)邊緣增強(qiáng)的圖像f中加入高頻成分，來(lái)擴(kuò)展動(dòng)態(tài)范圍以提高局部可見(jiàn)性。首先將高斯核應(yīng)用于經(jīng)過(guò)邊緣增強(qiáng)的圖像f，獲得處理后圖像B1、B2和B3，具體如公式(13)所示，其中G1、G2和G3是高斯核。然后和原圖做減法，獲得不同程度的細(xì)節(jié)信息D1、D2和D3，具體如公式(14)所示。再通過(guò)一定的組合方式把這些細(xì)節(jié)信息融合，具體如公式(15)所示，其中w1、w2和w3分別為0.5、0.5和0.25。最后，將整體細(xì)節(jié)D添加到經(jīng)過(guò)邊緣增強(qiáng)的圖像f中。

B1=G1*fB2=G2*fB3=G3*f

(13)

D1=f-B1D2=B1-B2D3=B2-B3

(14)

D=(1-W1*sgn(D1))*D1+W2*D2+W3*D3

(15)

通過(guò)先對(duì)圖片進(jìn)行邊緣強(qiáng)化，然后在此基礎(chǔ)上加入高頻成分，增強(qiáng)后的圖像亮度明顯提高，圖像細(xì)節(jié)信息也得到了提升,圖像邊緣更加清晰，具體對(duì)比圖如圖8所示，其中(a)為原圖，(b)為使用AttentionMSR-MSS算法的效果圖。

圖8 效果對(duì)比圖

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)及參數(shù)配置

本次實(shí)驗(yàn)的實(shí)驗(yàn)平臺(tái)配置如表1所示。

表1 參數(shù)配置

3.2 數(shù)據(jù)集準(zhǔn)備

工程車輛的數(shù)據(jù)原始圖是由某市公司提供的，總計(jì)12 303張圖片，其中吊車的圖片共有5 184張，挖掘機(jī)的圖片共有4 893張，鏟車的圖片共有710張，混凝土澆灌車的圖片共有604張，混凝土攪拌車的圖片共有597張，壓路機(jī)共有369張，其數(shù)據(jù)集類別數(shù)量如表2所示。

表2 數(shù)據(jù)集類別及數(shù)量

由于時(shí)間和氣候的影響，會(huì)存在傍晚或者陰天光線不足的情況，所以需要對(duì)所有圖片進(jìn)行預(yù)處理，提高圖片的亮度。首先，對(duì)輸入圖片進(jìn)行灰度化處理，通過(guò)設(shè)置灰度閾值規(guī)定0～39為偏暗像素點(diǎn)，統(tǒng)計(jì)偏暗的像素個(gè)數(shù)，統(tǒng)計(jì)過(guò)程如圖9所示，其中(a)圖為灰度化后的圖片，(b)圖為像素點(diǎn)統(tǒng)計(jì)圖。然后計(jì)算偏暗像素點(diǎn)占圖片總像素點(diǎn)的百分比P，根據(jù)實(shí)際情況設(shè)定P超過(guò)20%即表示圖片偏暗。最后將P高于20%的圖片篩選出來(lái)，并通過(guò)改進(jìn)版MSR算法進(jìn)行亮度調(diào)節(jié)。

圖9 像素點(diǎn)統(tǒng)計(jì)圖

對(duì)于進(jìn)行預(yù)處理后的圖片，采用LabelImg軟件進(jìn)行標(biāo)注。操作界面如圖10所示，按照對(duì)應(yīng)標(biāo)簽進(jìn)行標(biāo)注，此標(biāo)注為crane，標(biāo)注完的信息以xml的格式保存在相同路徑下。

圖10 LabelImg操作界面

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 不同模塊效果分析

為了更加直觀的對(duì)比不同模塊對(duì)檢測(cè)效果的影響，本文通過(guò)消融實(shí)驗(yàn)，依次減少改進(jìn)版CspLayer層、Focal loss損失函數(shù)以及CBAM模塊對(duì)改進(jìn)版YoloX算法進(jìn)行效果驗(yàn)證，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同模塊效果分析

由表可以看出，當(dāng)所有模塊全都加入時(shí)，對(duì)工程車輛檢測(cè)效果最好，mAP值比傳統(tǒng)YoloX算法提升了4.64%。與此同時(shí)，實(shí)驗(yàn)結(jié)果表明，將CBAM注意力機(jī)制與改進(jìn)版CspLayer層結(jié)合對(duì)算法檢測(cè)性能的提升起到了最為關(guān)鍵的作用。通過(guò)替換原始o(jì)bj分支的損失函數(shù)，也能帶來(lái)0.53%的mAP值的提升。

3.3.2 不同模型效果分析

本文通過(guò)將YoloX算法與其他目標(biāo)檢測(cè)算法進(jìn)行對(duì)比，具體結(jié)果如表4所示。為了保證實(shí)驗(yàn)對(duì)比的有效性，模型的訓(xùn)練和測(cè)試都安排在同一臺(tái)GPU服務(wù)器上進(jìn)行操作，并且每次訓(xùn)練的過(guò)程保持一致。訓(xùn)練過(guò)程中設(shè)置的參數(shù)如下，輸入的圖片尺寸Img-Size統(tǒng)一縮放到640×640，一次輸入網(wǎng)絡(luò)中的圖片張數(shù)Batch-Size設(shè)置為64，對(duì)于整個(gè)訓(xùn)練集的數(shù)據(jù)，迭代次數(shù)Epochs設(shè)置為200輪。測(cè)試時(shí)，設(shè)置輸入的圖片尺寸為640，置信度IOU設(shè)置為0.6。通過(guò)結(jié)果對(duì)比可知，YoloX算法的檢測(cè)效果最好，因此選擇YoloX算法作為目標(biāo)檢測(cè)的基礎(chǔ)算法，并對(duì)其進(jìn)行改。

表4 不同深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)比

首先，將改進(jìn)版的YoloX算法部署在GPU服務(wù)器中，并對(duì)COCO數(shù)據(jù)集進(jìn)行訓(xùn)練，利用訓(xùn)練好的權(quán)重對(duì)COCO數(shù)據(jù)集進(jìn)行檢測(cè)，檢測(cè)效果如圖11所示，其中圖(a)為原始YoloX算法的測(cè)試結(jié)果，圖(b)為改進(jìn)后YoloX算法的測(cè)試結(jié)果，可見(jiàn)原模型中未被識(shí)別的對(duì)象，改進(jìn)后的模型可以識(shí)別出來(lái)。

圖11 COCO數(shù)據(jù)集檢測(cè)效果圖

然后利用改進(jìn)版的YoloX算法檢驗(yàn)自建數(shù)據(jù)集的識(shí)別效果，通過(guò)訓(xùn)練自建工程車輛的數(shù)據(jù)集，獲得最終工程車輛檢測(cè)模型權(quán)重。改進(jìn)后的YoloX檢測(cè)網(wǎng)絡(luò)相較于原YoloX檢測(cè)網(wǎng)絡(luò)模型mAP提高4.64%，具體如圖12所示，其中圖(a)為原始YoloX算法的測(cè)試結(jié)果，圖(b)為改進(jìn)后YoloX算法的測(cè)試結(jié)果。

圖12 YoloX算法測(cè)試結(jié)果對(duì)比圖

改進(jìn)后的YoloX算法在實(shí)際應(yīng)用中的效果如圖13所示，圖(a)為來(lái)自攝像頭拍攝的輸電通道圖片，圖(b)為原始YoloX算法檢測(cè)效果圖，圖(c)為改進(jìn)后YoloX算法檢測(cè)效果圖。選取的部分圖片中一共有10個(gè)工程車輛，原始YoloX算法共識(shí)別出4個(gè)工程車輛，改進(jìn)后YoloX算法共識(shí)別出7個(gè)工程車輛。由對(duì)比圖可知，改進(jìn)后的YoloX算法訓(xùn)練出的模型在不同的場(chǎng)景中對(duì)工程車輛的檢測(cè)效果較為理想。

圖13 工程車輛檢測(cè)效果圖

4 結(jié)束語(yǔ)

本文提出了一種改進(jìn)版YoloX算法，該方法通過(guò)改進(jìn)YoloX算法的CspLayer結(jié)構(gòu)，添加CBAM注意力機(jī)制模塊，將obj分支的BCELoss損失函數(shù)替換為Focal Loss損失函數(shù)，對(duì)工程車輛進(jìn)行檢測(cè)。與此同時(shí)，通過(guò)利用改進(jìn)MSR算法進(jìn)行圖片的亮度提升，提高了數(shù)據(jù)集的質(zhì)量，更有利于提高了YoloX網(wǎng)絡(luò)的識(shí)別。由于在實(shí)際大規(guī)模的應(yīng)用場(chǎng)景中，使用YoloX算法會(huì)存在一些誤檢，影響檢測(cè)效果，后續(xù)工作可以進(jìn)一步研究場(chǎng)景識(shí)別，來(lái)進(jìn)一步提升工程車輛的檢測(cè)效果。