基于YOLOv5s的輕量化紅外圖像行人目標(biāo)檢測研究

胡 焱,趙宇航,胡皓冰,鞏 銀,孫寰宇

(1.中國民用航空飛行學(xué)院航空電子電氣學(xué)院,四川 廣漢 618307;2.西藏航空有限公司,四川 成都 610202;3.山東航空股份有限公司,山東 濟(jì)南 250107)

1 引 言

傳統(tǒng)的安防系統(tǒng)采用大量的監(jiān)控攝像頭,結(jié)合目前發(fā)展迅速的目標(biāo)檢測算法,實現(xiàn)安防智能化。然而,大多數(shù)系統(tǒng)使用可見光成像,容易受到溫濕度、光照度等環(huán)境因素的影響,導(dǎo)致在某些場景下算法性能不佳,如夜間能見度不足等情況,無法滿足安防需求。對此,可以采用紅外熱成像進(jìn)行行人目標(biāo)檢測,與可見光成像系統(tǒng)形成互補(bǔ),從而達(dá)到較好的性能。紅外熱成像技術(shù)有不受光照等環(huán)境因素影響的特點,相比于可見光有著更加突出的檢測優(yōu)勢[1]。但由于紅外成像系統(tǒng)的限制,導(dǎo)致其存在目標(biāo)的紋理信息較弱、對比度不佳、分辨率低等檢測弱點[2]。如何提高紅外行人目標(biāo)檢測性能仍是目前研究的熱點之一。

目標(biāo)檢測是計算機(jī)視覺領(lǐng)域中的一個重要研究方向,其應(yīng)用范圍廣泛,包括安防監(jiān)控、智能交通等領(lǐng)域。近些年來,深度學(xué)習(xí)相關(guān)研究發(fā)展迅速,已被廣泛應(yīng)用于如計算機(jī)視覺、自然語言處理、語音識別等領(lǐng)域。將深度學(xué)習(xí)與目標(biāo)檢測相結(jié)合是一個熱門的研究方向。目前對于可見光成像目標(biāo)檢測研究方面,已經(jīng)取得了較大的進(jìn)展,由于深度學(xué)習(xí)的方式需要大量的數(shù)據(jù)喂養(yǎng),借助現(xiàn)有的大型可見光圖像數(shù)據(jù)集如MSCOCO、VOC等,以及容易獲取的可見光圖像,基于深度學(xué)習(xí)的可見光目標(biāo)檢測已經(jīng)具有了較好的性能,但是對于紅外熱成像此類圖像,由于現(xiàn)存紅外圖像公開數(shù)據(jù)集較少,所需數(shù)據(jù)較難獲得,因此相關(guān)的應(yīng)用研究較少。此外,在許多領(lǐng)域,目標(biāo)檢測算法的應(yīng)用需要將其部署到嵌入式設(shè)備,而此類設(shè)備的存儲與性能限制了部署模型的尺寸,因此如何有效利用深度學(xué)習(xí)方式提高紅外目標(biāo)檢測性能,以及實現(xiàn)算法輕量化,取得精度與速度的平衡,是現(xiàn)在需要解決的難題。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,與目標(biāo)檢測相關(guān)的算法也在被不斷的提出。目前主流的檢測算法分為Two stage和One stage兩種類型[3]。Two stage類型算法需要先進(jìn)行Region Proposal,也就是目標(biāo)候選框的生成,再對其進(jìn)行分類與回歸。典型算法如SPPNet[4]、FastR-CNN[5]、FasterR-CNN[6]等;One stage類型算法直接在網(wǎng)絡(luò)中提取特征,預(yù)測目標(biāo)的類別與位置。相關(guān)算法如SSD[7]、RetinaNet[8]以及YOLO[9]系列。眾多算法中,YOLO系列憑借其較快的檢測速度,成為當(dāng)前的熱門實用級算法。在紅外圖像行人檢測研究方面,蔡偉等人[10]基于YOLO檢測框架,通過減少下采樣次數(shù),結(jié)合跨階段局部模塊、Focus結(jié)構(gòu)和空間金字塔池化結(jié)構(gòu)設(shè)計了特征提取網(wǎng)絡(luò),對紅外弱小目標(biāo)的特征提取性能較好;王曉紅等人[11]提出了一種主要用于檢測小尺寸行人的YOLOv5-p4模型,通過BiFPN特征融合以及增加小目標(biāo)檢測層,避免了小目標(biāo)的特征信息丟失;張立國等人[12]在YOLOv3算法基礎(chǔ)上,通過改進(jìn)輕量化特征提取網(wǎng)絡(luò),特征融合方式以及解耦檢測頭,實現(xiàn)了模型的輕量化;張印輝等人[13]通過在YOLOv4-tiny結(jié)構(gòu)上增加精細(xì)尺度檢測層,用殘差結(jié)構(gòu)加深網(wǎng)絡(luò)以獲取紅外行人位置特征,對于模型參數(shù)的增加使用通道剪枝以及知識蒸餾方法進(jìn)行輕量化,實現(xiàn)了檢測精度與速度的平衡。

本文的主要目的是在保持一定的精度要求下,改進(jìn)原有網(wǎng)絡(luò)結(jié)構(gòu)使其輕量化。對此,本文提出了一種基于YOLOv5算法的輕量化方法,通過更換輕量級的特征提取網(wǎng)絡(luò)以及引入深度可分離卷積,降低模型參數(shù)量及浮點運(yùn)算量;使用具有更大感受野的輕量級上采樣算子進(jìn)行特征重組,提升模型性能;將YOLOv5原有損失函數(shù)中的CIOU替換為效果較好的EIOU,提高回歸精度。實驗結(jié)果表明,本文算法在保持較高檢測精度的同時,顯著降低了模型參數(shù)量,具有較好的輕量化性能。

2 YOLOv5網(wǎng)絡(luò)模型改進(jìn)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)分析

由于需要對網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn),模型復(fù)雜度不可過大,因此本文所進(jìn)行的改進(jìn)均是在YOLOv5s 6.0基礎(chǔ)上進(jìn)行。在YOLOv5s 6.0中,其整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5s 6.0網(wǎng)絡(luò)結(jié)構(gòu)

其中,網(wǎng)絡(luò)結(jié)構(gòu)被分為了Input輸入端、Backbone特征提取層、Neck以及Detect檢測輸出層四部分。Input部分對圖像進(jìn)行數(shù)據(jù)增強(qiáng)等預(yù)處理以及自適應(yīng)錨框計算;Backbone部分主要依靠各種卷積操作對輸入圖像進(jìn)行不同層次的特征提取;Neck部分使用了FPN(Feature Pyramid Networks)和PAN(Path Aggregation Network)結(jié)構(gòu)來加強(qiáng)語義特征和定位特征,從而豐富特征信息;Detect部分設(shè)計了large、medium、small三種檢測分支,用于不同尺度下的檢測目標(biāo),對其預(yù)測類型及位置信息,并給出置信度。YOLOv5模型的檢測性能已達(dá)到較高水平,但該算法對部署硬件有一定要求,需要較高的硬件成本來實現(xiàn)高精度的檢測性能,應(yīng)用到行人檢測等實際情況下仍有一定缺陷。對此本文通過改進(jìn)特征提取網(wǎng)絡(luò)以及使用深度可分離卷積計算來降低模型復(fù)雜度,對于改進(jìn)帶來的精度損失,通過更換上采樣模塊以及改進(jìn)損失函數(shù)來提升檢測性能。

2.2 輕量化特征提取網(wǎng)絡(luò)

YOLOv5s初始模型的特征提取層主要分為了Conv模塊、CSPDarkNet-53和SPPF模塊。由于其網(wǎng)絡(luò)模型參數(shù)多,對計算性能要求較高,難以用于嵌入式等實際應(yīng)用平臺及設(shè)備。對此,本文選擇使用MobileNetv3特征提取網(wǎng)絡(luò)代替原有骨干層,從而在保證一定精度的前提下減少運(yùn)算量,縮減模型大小。MobileNetv3網(wǎng)絡(luò)[14]是一種輕量級的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),其設(shè)計目的是使得網(wǎng)絡(luò)更適合移動端部署,在CPU設(shè)備上實現(xiàn)高精度和高效率的平衡。其Block結(jié)構(gòu)如圖2所示,包含了v1中的深度可分離卷積和v2中具有線性瓶頸的倒殘差結(jié)構(gòu),前者用于降低模型的計算量,后者用于增加模型的表示能力。相較于之前版本,v3版使用了h-swish激活函數(shù)代替之前的swish函數(shù),使得計算速度加快,量化效果更好,其表達(dá)式如下式:

(1)

圖2 MobileNetv3 Block結(jié)構(gòu)

同時加入了輕量級的SE(Squeeze and Excitation)通道注意力機(jī)制來學(xué)習(xí)通道之間的相關(guān)性,為比較重要的通道添加更大的權(quán)重,提高了模型的性能。

通過更換MobileNetv3特征提取網(wǎng)絡(luò),可以在保持一定精度的情況下,顯著減少運(yùn)算量,縮減模型大小,從而使得YOLOv5s更加適合在資源受限的場景中使用。

2.3 深度可分離卷積

深度可分離卷積(Depthwise Separable Convolution)相較于標(biāo)準(zhǔn)卷積操作,其參數(shù)量以及運(yùn)算成本顯著降低,且精度降低較少。其主要分為兩步操作:深度卷積(Depthwise Convolution)和逐點卷積(Pointwise Convolution)。具體流程示意如圖3所示。對于輸入圖像,首先在每個通道上分別進(jìn)行卷積操作,一個通道只被一個卷積核卷積,特征圖通道數(shù)不變,因此需要后續(xù)的1×1逐點卷積運(yùn)算來將上一步的特征圖在深度方向上進(jìn)行加權(quán)混合,生成新的特征圖。

圖3 深度可分離卷積示意圖

設(shè)輸入特征圖尺寸為C1×H×W,輸出時通道數(shù)變?yōu)镃2,則卷積核尺寸為C1×K×K,共有C2個卷積核,其中H、W分別為特征圖高度及寬度,K為卷積核尺寸。標(biāo)準(zhǔn)卷積運(yùn)算與深度可分離卷積運(yùn)算的參數(shù)量及運(yùn)算量對比如表1所示。

表1 兩種卷積參數(shù)及運(yùn)算量對比

根據(jù)表中公式,可計算出兩者參數(shù)量之比:

(2)

兩者計算量之比:

(3)

顯然,式(2)、(3)的值相等且小于1,說明使用DWConv運(yùn)算代替標(biāo)準(zhǔn)Conv運(yùn)算可以減少參數(shù)量及計算量,實現(xiàn)模型輕量化,將算法移植到實用場景具有可行性。本文將Neck部分的conv層替換為DWconv層,從而減小了模型尺寸。

2.4 上采樣模塊

YOLOv5s中的Neck部分中使用了上采樣操作來對上層的特征圖進(jìn)行尺寸擴(kuò)充,并與淺層信息逐元素相加,從而構(gòu)建出不同尺寸的特征金字塔結(jié)構(gòu)。原有模型中的上采樣操作使用最近鄰插值法,該方法所生成的新特征圖中的每個像素的值是由原特征圖上最近鄰的像素值所決定的。這樣的操作運(yùn)算快,但是未考慮到周圍像素的影響。會導(dǎo)致特征圖出現(xiàn)鋸齒狀偽影,采樣效果較差;對此本文使用CARAFE(Content-Aware ReAssembly of FEatures)方法[15]替代最近鄰插值,通過引入一定的計算量換取較高精度,從而提高上采樣操作的效果和性能。

CARAFE是一種基于內(nèi)容感知的特征重組方法,其主要思想是在上采樣過程中,對每個上采樣點周圍的局部區(qū)域進(jìn)行自適應(yīng)特征重組,從而使得重組后的特征更能夠適應(yīng)目標(biāo)區(qū)域的細(xì)節(jié)和紋理信息。首先對于輸入的低分辨率特征圖,在每個像素點位置上應(yīng)用卷積操作,得到一組權(quán)重;然后使用最近鄰插值法將該特征圖上采樣到目標(biāo)分辨率,得到一個更大的特征圖;接著將該特征圖與前一層的高分辨率特征圖進(jìn)行級聯(lián),產(chǎn)生一個上下文感知的特征圖;最后結(jié)合前面的權(quán)重和級聯(lián)特征圖,生成一個內(nèi)容感知的上采樣結(jié)果。整個過程的目的是提高特征圖的語義信息,并且減少上采樣過程中的信息損失,提高圖像重建性能。將其應(yīng)用到Y(jié)OLOv5s網(wǎng)絡(luò)中,可以提高網(wǎng)絡(luò)的檢測性能和效果。

2.5 損失函數(shù)

在YOLOv5模型中,其損失函數(shù)由三部分組成:邊界框損失(bbox_loss)、分類損失(cls_loss)以及置信度損失(obj_loss),其計算公式為:

Loss=Gb×bbox_loss+Gc×cls_loss+Go×obj_loss

(4)

式中,Gb、Gc、Go為損失權(quán)重。YOLOv5s 6.0版本中,計算分類損失與置信度損失的函數(shù)為BCE Loss,計算邊界框損失的函數(shù)為CIOULoss,CIOU對于目標(biāo)框的中心點偏移的懲罰較為合理,但其存在寬和高不能同時增減的問題。對此本文使用了EIOULoss[16],公式如下:

(5)

式中,Cw、Ch為覆蓋兩個目標(biāo)框的最小外接框的寬和高,ρ為b和bgt之間的歐式距離,w、h為預(yù)測框?qū)捀?wgt、hgt為真實框?qū)捀摺IOULoss包含了重疊、中心距離、寬高三種情況的損失,對目標(biāo)框及錨框的寬高分別計算,解決了CIOULoss中寬和高不能同時增大或者減小的問題,使兩框之間的寬高差更小,回歸精度更高。

3 數(shù)據(jù)集及評價指標(biāo)

3.1 數(shù)據(jù)集設(shè)置

本文實驗所采用的數(shù)據(jù)集為LLVIP紅外行人檢測公開數(shù)據(jù)集[17],這是一種弱光條件下的可見光-紅外多幀配對數(shù)據(jù)集。該數(shù)據(jù)集共包含30976張圖像,其中的15488張紅外圖像分辨率為1080×720,在26個不同場景下采集,采集波段為8～14 μm,多數(shù)采集場景為弱光條件,且圖像為連續(xù)采集,圖像中包含大量行人且均已打上標(biāo)記,適合紅外場景下的行人檢測研究。但該數(shù)據(jù)集中行人尺寸多為中等大小,對于遠(yuǎn)距離小目標(biāo)的行人檢測研究尚有缺陷。對此本文選擇對原數(shù)據(jù)集進(jìn)行稀疏化抽樣并加入自行拍攝的遠(yuǎn)距離小目標(biāo)行人圖像,形成自建優(yōu)化數(shù)據(jù)集。具體實現(xiàn)方式是對原數(shù)據(jù)集中的紅外圖像隨機(jī)抽取3500張圖片,并且加入356張自行拍攝的含有遠(yuǎn)距離小目標(biāo)行人的紅外圖像,形成融合自建數(shù)據(jù)集。圖像采集設(shè)備為TiX650紅外熱成像儀,為確保一致性,使用與LLVIP數(shù)據(jù)集同樣波段進(jìn)行拍攝。對于拍攝過程中行人較為模糊的圖像,為增強(qiáng)目標(biāo)特征,使用專業(yè)軟件進(jìn)行高斯濾波器銳化。最終形成含3856張弱光環(huán)境下行人特征的紅外融合數(shù)據(jù)集,其具體數(shù)據(jù)集指標(biāo)見表2,其中按9∶1的比例隨機(jī)分配訓(xùn)練集和驗證集,推理測試采用另行拍攝紅外行人視頻。

表2 融合數(shù)據(jù)集

3.2 模型評價指標(biāo)

對于深度學(xué)習(xí)目標(biāo)檢測來說,常用的模型評價指標(biāo)為精確率(Precision)、召回率(Recall)、均值平均精度(mean average precision,mAP)等[3]。此外,模型大小(Model size)以及參數(shù)量(Parameters)也是反映模型輕量化性能的重要指標(biāo)。由于本文僅針對紅外圖像中的行人這一類目標(biāo)進(jìn)行分析,因此最終選擇Precision、Recall、AP@0.5、Model size、Parameters五類作為實驗評價指標(biāo)。相關(guān)計算公式如下:

(6)

(7)

(8)

上述公式中,TP為真正例(True Positive),即檢測行人目標(biāo)正確的次數(shù);FP表示假正例(False Positive),即將其他類型目標(biāo)錯檢為行人目標(biāo)的次數(shù);FN表示假負(fù)例(False Negative),即未檢測到應(yīng)是行人目標(biāo)的次數(shù)。P(R)是Precision-Recall曲線,即以Precision為坐標(biāo)縱軸,Recall為坐標(biāo)橫軸的曲線,其與坐標(biāo)軸所圍面積即為AP值。

4 實驗設(shè)計及結(jié)果分析

4.1 實驗環(huán)境

本文所有訓(xùn)練及測試實驗均在PyTorch深度學(xué)習(xí)框架下進(jìn)行,Pytorch版本為1.12.1,實驗設(shè)備操作系統(tǒng)為Windows 11,CPU為AMD Ryzen 7 5800H with Radeon Graphics,RAM為16G,GPU為NVIDIA GeForce RTX 3060 Laptop,顯存6G。為節(jié)省訓(xùn)練時間,訓(xùn)練實驗均使用GPU加速;為驗證模型在移動端的推理性能,模型推理實驗均使用CPU進(jìn)行。為確保實驗一致性,在模型訓(xùn)練階段均采用同樣的超參數(shù)配置。表3為相關(guān)訓(xùn)練初始化參數(shù)。

表3 訓(xùn)練初始化參數(shù)

4.2 輕量化改進(jìn)及性能分析

根據(jù)本文改進(jìn)思想,首先通過更換YOLOv5s的特征提取網(wǎng)絡(luò)以及引入DWconv運(yùn)算來使模型初步輕量化,并對其輕量化后參數(shù)及性能進(jìn)行分析,之后加入CARAFE模塊,以較少的參數(shù)量提升換取檢測精度的提高,最后更換EIOULoss提升回歸性能,并對最終模型進(jìn)行參數(shù)及性能分析。為測試各模塊改進(jìn)效果,對增加各模塊前后進(jìn)行訓(xùn)練測試,得到改進(jìn)前后算法在自建融合數(shù)據(jù)集上的訓(xùn)練效果。表4及表5為訓(xùn)練后評測結(jié)果。

表4 改進(jìn)前后PR值對比

表5 改進(jìn)前后性能參數(shù)對比

對表4中數(shù)據(jù)分析可知,輕量化算法相較于原YOLOv5s算法,其對驗證集中行人檢測時的FP以及FN數(shù)量增加,導(dǎo)致其P、R值有所降低,精度稍許下降;對表5中數(shù)據(jù)分析可知,原YOLOv5s算法對于紅外圖像下行人的檢測精度較高,AP可達(dá)96.9 %,但其模型大小、浮點運(yùn)算次數(shù)以及參數(shù)量也較高,不利于部署;在更換MobileNetv3特征提取網(wǎng)絡(luò)后,其檢測精度略有下降,模型大小減小11.3MB,浮點運(yùn)算次數(shù)減少13.6 GFLOPs,參數(shù)量減少5.65×106,顯著減小了模型的尺寸;將Neck部分的四個標(biāo)準(zhǔn)Conv替換為DWconv后,模型尺寸進(jìn)一步減小,且精度有所提升;添加CARAFE上采樣模塊以及更換EIOULoss后,通過增加模型復(fù)雜度,提升了部分模型檢測精度,在保證模型尺寸較小的情況下恢復(fù)了模型的檢測性能。

將原YOLOv5s算法與輕量化改進(jìn)后算法用于LLVIP紅外行人數(shù)據(jù)集訓(xùn)練,測試其性能差距,所得結(jié)果見表6。

表6 LLVIP數(shù)據(jù)集測試結(jié)果

由于訓(xùn)練樣本的增加,相較于自建數(shù)據(jù)集訓(xùn)練結(jié)果,模型的P、R值以及AP均有所提升。測試結(jié)果表明改進(jìn)后算法在LLVIP數(shù)據(jù)集上仍能維持較高檢測精度,在顯著降低模型尺寸的情況下仍具有較好的檢測水平。相較于原算法,本文改進(jìn)方法在精度略有降低的情況下達(dá)到了輕量級水平。

4.3 檢測效果分析

為測試改進(jìn)模型的檢測效果,對后續(xù)另行拍攝的紅外行人視頻進(jìn)行檢測。分別使用原算法與改進(jìn)算法在自建融合數(shù)據(jù)集上訓(xùn)練完成后的檢測性能最好的模型權(quán)重,對同一段紅外行人視頻進(jìn)行推理測試。推理所用視頻采用TiX650紅外熱成像儀拍攝,共包含88幀圖像。其中包含了多尺度的行人目標(biāo),可驗證模型對不同大小的行人目標(biāo)的檢測能力。推理實驗結(jié)果見表7。

表7 推理測試結(jié)果

結(jié)果表明改進(jìn)后算法推理時間較原算法降低50.8 ms,推理速度提升43.3 %,且對視頻中小尺度行人檢測效果更佳,增加了模型對多尺度目標(biāo)的檢測能力。為對比檢測效果,選擇同一時間戳下的視頻幀進(jìn)行對比,其可視化結(jié)果如圖4所示。可以看到,改進(jìn)后算法可檢測到更多小目標(biāo)行人,模型檢測能力有所提升。

圖4 檢測效果對比圖

5 結(jié) 論

對于紅外圖像下行人目標(biāo)檢測模型尺寸過大,導(dǎo)致不易于部署至移動端的問題,本文提出了一種輕量化YOLOv5s模型的方法。通過應(yīng)用輕量化特征提取網(wǎng)絡(luò),極大地減小了模型尺寸,同時改進(jìn)上采樣模塊以及更換邊界框損失函數(shù),降低輕量化所導(dǎo)致的檢測精度損失。實驗結(jié)果表明本文改進(jìn)方法能在保證較高檢測性能的同時,極大降低模型參數(shù)量,更有利于實際安防環(huán)境的硬件要求。后續(xù)研究將著力于實現(xiàn)模型工程應(yīng)用,將模型移植至移動端平臺等設(shè)備,探尋實時檢測能力方面的改進(jìn)。