基于YOLOv4 目標(biāo)檢測算法的輕量化網(wǎng)絡(luò)設(shè)計(jì)

胡 亮，何小海，卿粼波，吳小強(qiáng)

（四川大學(xué) 電子信息學(xué)院，成都 610065）

0 引言

在計(jì)算機(jī)視覺領(lǐng)域中，目標(biāo)檢測一直以來都是其中最重要的部分之一，其對應(yīng)的算法也在不斷推陳出新，目標(biāo)檢測技術(shù)已被廣泛地應(yīng)用于醫(yī)療、公共、軍事等領(lǐng)域。當(dāng)前，目標(biāo)檢測領(lǐng)域已經(jīng)從傳統(tǒng)的目標(biāo)檢測算法轉(zhuǎn)向基于深度學(xué)習(xí)的目標(biāo)檢測算法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法根據(jù)其有無候選框生成，分為一階段目標(biāo)檢測算法和二階段目標(biāo)檢測算法。一階段目標(biāo)算法主要包括SDD、YOLO等，其不需要候選框，將定位和分類合成一步完成，這樣做雖然增加了學(xué)習(xí)的難度，但是提升了算法的速度，同時也減少了占用空間。二階段目標(biāo)檢測算法主要包括Rcnn、Fast-Rcnn、Faster-Rcnn等，由于比一階段目標(biāo)檢測算法多了前景與背景的分類和檢測，所以步驟相對復(fù)雜，占用的空間相對較多。

YOLO 系列算法作為一階段目標(biāo)檢測算法的主要代表之一，被廣泛應(yīng)用于各類目標(biāo)識別場景。YOLOv4算法作為YOLO 系列的代表作，雖然在精度和速度上被推向了一個新的高度，但隨著網(wǎng)絡(luò)復(fù)雜度和層數(shù)的不斷增加，其參數(shù)量不斷增加、模型大小不斷增大，加大了對計(jì)算機(jī)硬件的需求，無法在諸如嵌入式平臺等低功耗平臺上實(shí)現(xiàn)應(yīng)用，因此需對模型進(jìn)行輕量化處理。針對YOLOv4 參數(shù)量較多模型較大的問題，人們提出了不同的解決方法。例如，在特征提取層CSPDarkNet53 中按照一定比例減少3個輸出層中的殘差結(jié)構(gòu)；利用Cross-Stage Lightweight（CSL）模塊替換特征提取層CSPDarkNet53 中的普通卷積模塊，從而得到新的YOLO-CSL模型；利用 GhostNet模塊代替YOLOv4 算法中傳統(tǒng)的下采樣操作，從而解決YOLOv4 中下采樣操作成本較高的問題。

本文在YOLOv4 網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了輕量化處理。利用MobileNet 輕量化網(wǎng)絡(luò)的思想，將其融入到Y(jié)OLOv4的特征提取層CSPDarkNet53和特征金字塔PANet 以及SPP模塊中，在適當(dāng)?shù)貭奚糨^少的精準(zhǔn)度的情況下，大幅度地降低了網(wǎng)絡(luò)的參數(shù)量及其模型占用空間。

1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1.1 YOLOv4 網(wǎng)絡(luò)

YOLOv4 可看作YOLOv3的加強(qiáng)版，其總體框架仍基于YOLOv3。對于主干特征提取網(wǎng)絡(luò)backbone，YOLOv4 選擇更優(yōu)的CSPDarknet53 網(wǎng)絡(luò)，替換了原來的Darknet53 網(wǎng)絡(luò)；對于目標(biāo)檢測器的neck，即YOLOv3 中的特征金字塔，將其從原來的FPN 修改為PANet，并新增了SPP 結(jié)構(gòu)，用于提升感受野，以較小計(jì)算量的增加換取較大準(zhǔn)確率的提升；對獲取到的特征進(jìn)行預(yù)測head 部分，仍沿用YOLOv3 中的YOLO模塊。最終網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLOv4 結(jié)構(gòu)圖Fig.1 Structure of YOLOv4

除在以上模塊中的大改動之外，為了讓其更適合在單個GPU 上進(jìn)行訓(xùn)練，YOLOv4 對此做出了專門的創(chuàng)新。例如，引用新的數(shù)據(jù)增強(qiáng)方法：Mosaic和Self-Adversarial Training；使用遺傳算法來選擇最優(yōu)的超參數(shù)；改進(jìn)一些現(xiàn)有的算法，使其更適合高效的訓(xùn)練與檢測。如：改進(jìn)SAM、PAN 以及Cross mini-Batch Normalization（CmBN）。

1.2 MobileNet 網(wǎng)絡(luò)

MobileNet 是基于深度可分離卷積構(gòu)造的網(wǎng)絡(luò)，其核心思想是將標(biāo)準(zhǔn)卷積拆分為兩個部分完成，即深度卷積和逐點(diǎn)卷積。對于標(biāo)準(zhǔn)卷積，其所有卷積核作用到所有的輸入通道上進(jìn)行卷積操作，實(shí)現(xiàn)一步完成。而對于MobileNet 而言，其將先進(jìn)行深度卷積操作，針對輸入的每個通道采用不同的卷積核，即一個卷積核對應(yīng)一個輸入通道，再采用逐點(diǎn)卷積，利用1×1的卷積操作來結(jié)合所有深度卷積得到輸出。

輸入尺寸為D ×D ×M，標(biāo)準(zhǔn)卷積核的尺寸為D ×D ×M ×N。若采用標(biāo)準(zhǔn)卷積核進(jìn)行計(jì)算，步長為1 且padding，則計(jì)算量為D ×D ×M×N× D×D。若采用深度可分離卷積進(jìn)行計(jì)算，總計(jì)算量為D ×D ×M ×D ×D+M ×N ×D ×D。將深度可分離卷積的總計(jì)算量和標(biāo)準(zhǔn)卷積的總計(jì)算量相比可得：

通常情況下取值較大，假設(shè)采用3×3的卷積核，通過式（1）可計(jì)算得到采用深度可分離卷積相比標(biāo)準(zhǔn)卷積可降低大約9 倍的計(jì)算量。

MobileNetv2總體思想仍基于深度可分離卷積，核心由Bottleneck Residual block模塊組成，其結(jié)構(gòu)如圖2 所示。

圖2 Bottleneck Residual block Fig.2 Bottleneck Residual block

Bottleneck Residual block模塊引入了殘差結(jié)構(gòu)，增強(qiáng)了梯度的傳播；去掉了最后輸出時的ReLU，保留了特征多樣性，增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力；先對輸入進(jìn)行升維，有助于提取到整體的足夠多的信息。MobileNetv2的整體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置見表1。

表1 MobileNetv2 參數(shù)設(shè)置Tab.1 MobileNetv2 parameter settings

1.3 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文在YOLOv4 網(wǎng)絡(luò)基礎(chǔ)上，對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。由表1 中數(shù)據(jù)可以看出，當(dāng)輸入圖像尺寸為416×416×3 時，第3、5、7 層bottleneck的輸出分別為52×52×32、26×26×96、13×13×320。所以，以MobileNetv2的第4、6、8 層bottleneck 為界，將其劃分為3個模塊，并將這3個模塊代替YOLOv4 主干特征提取網(wǎng)絡(luò)中的3個有效特征層，從而實(shí)現(xiàn)MobileNetv2和YOLOv4的結(jié)合，替換后的模型為Mobile-YOLOv4。

將修改后的Mobile-YOLOv4 網(wǎng)絡(luò)與原YOLOv4網(wǎng)絡(luò)作比較，其參數(shù)量從64，040，001 下降到了39，062，013，參數(shù)量僅下降了39%，參數(shù)量和網(wǎng)絡(luò)大小下降程度并不理想。通過觀察圖1 可以發(fā)現(xiàn)，除主干特征提取層，YOLOv4 特征金字塔PANet 中存在著大量的標(biāo)準(zhǔn)卷積以及上采樣和下采樣的操作，這些卷積操作中包含的參數(shù)量極大，其存在的可壓縮空間也較大?？衫蒙疃瓤煞蛛x卷積的思想，將其中3×3 卷積塊中的標(biāo)準(zhǔn)卷積替換成深度可分離卷積，從而實(shí)現(xiàn)參數(shù)量的下降。在SPP模塊的輸入和輸出端有兩個3×3的卷積塊，可利用上述相同的方法，替換其中的標(biāo)準(zhǔn)卷積，進(jìn)一步壓縮模型的參數(shù)量和大小。最終輕量化后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。其中Moble_block1、Moble_block2、Moble_block3 分別對應(yīng)表1MobileNetv2 結(jié)構(gòu)中的1～4 層、5～6 層、7～8層，DW 為深度可分離卷積模塊。

圖3 輕量化后結(jié)構(gòu)圖Fig.3 Structure of lightweight YOLOv4

2 訓(xùn)練及測試結(jié)果

2.1 網(wǎng)絡(luò)訓(xùn)練

本文在服務(wù)器上采用GPU模式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中訓(xùn)練平臺配置為：Intel（R）Core（TM）i7-8700 3.2 GHz 處理器；顯卡為顯存12 GB的NVIDIA 2080Ti SLI；Ubuntu 18.04 64 位操作系統(tǒng)；深度學(xué)習(xí)框架為Pytorch。

數(shù)據(jù)集使用VOC07+12 數(shù)據(jù)集，該數(shù)據(jù)集包含20個類，共有16 551 張圖片，每張圖片在傳入網(wǎng)絡(luò)時，resize 大小為608×608。按照9 ∶1的比例將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集。如圖4 所示，當(dāng)訓(xùn)練約15個epoch 后，網(wǎng)絡(luò)收斂趨于平穩(wěn)。

圖4 Model lossFig.4 Model loss

2.2 測試結(jié)果

本文使用VOC2007test 數(shù)據(jù)集進(jìn)行測試，將修改后的模型與原YOLOv4模型以及YOLO-CSL 進(jìn)行對比。結(jié)果見表2。

表2 測試結(jié)果Tab.2 Test results

其中，Mobile-YOLOv4 為僅替換主干特征提取網(wǎng)絡(luò)backbone 對應(yīng)的模型，Proposed 為本文所修改優(yōu)化后的模型。由表2 可看出，在僅替換backbone的情況下，參數(shù)量和模型大小下降并不明顯，無法達(dá)到理想效果，在對PANet和SPP模塊進(jìn)行優(yōu)化過后，參數(shù)量相較于原YOLOv4 網(wǎng)絡(luò)降低了83.6%，下降程度明顯，同時也提升了5.8，＠05 僅下降了85，其準(zhǔn)確率足夠應(yīng)用于某些特定場景。同時，參數(shù)量模型大小的降低以及的提升，可降低對計(jì)算機(jī)硬件的要求。

3 結(jié)束語

本文首先將MobileNetv2和YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)對比后進(jìn)行融合，得到全新的Mobile-YOLOv4 網(wǎng)絡(luò)，但是其實(shí)際壓縮效果并不理想，參數(shù)量下降不明顯。通過觀察YOLOv4的特征提取金字塔模塊和SPP模塊，得知其中參數(shù)量較大，所以利用MobileNet 中深度可分離卷積的思想，將其中的標(biāo)準(zhǔn)卷積模塊替換成深度可分離卷積模塊，從而更進(jìn)一步使模型得到壓縮。最終本文利用上述方法改進(jìn)后的網(wǎng)絡(luò)，在犧牲可接受的準(zhǔn)確度前提下，使得網(wǎng)絡(luò)參數(shù)量和大小降低了83.6%，提升了FPS，降低了模型訓(xùn)練的時間及預(yù)測時間，且降低了對于計(jì)算機(jī)硬件的要求。