基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯種薯芽眼檢測(cè)算法

黃 杰，王相友 ，吳海濤，劉書(shū)瑋，楊笑難，劉為龍

（山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院,淄博 255000）

0 引言

馬鈴薯是全球第四大糧食農(nóng)作物，栽培范圍遍布全世界[1-3]。全球疫情期間，歐美國(guó)家馬鈴薯的產(chǎn)量走低，馬鈴薯市場(chǎng)需求缺口擴(kuò)大。2018—2019 年中國(guó)馬鈴薯種植面積分別為7.18×106、7.14×106、7.21×106hm2[4]。然而，馬鈴薯種薯播種前的切塊工作，仍以人工切塊為主，存在機(jī)械化程度低、人工成本高、勞動(dòng)強(qiáng)度大等問(wèn)題。為了解決這一系列問(wèn)題，國(guó)內(nèi)外許多研究機(jī)構(gòu)、科研院所已經(jīng)開(kāi)始研究自動(dòng)化切塊設(shè)備[5-9]，但大多數(shù)研究成果沒(méi)有考慮芽眼的位置，直接對(duì)其進(jìn)行加工，造成了極大的浪費(fèi)。因此研究一種能夠在切塊裝置上快速、準(zhǔn)確、實(shí)時(shí)完成芽眼識(shí)別任務(wù)的算法極為重要。

國(guó)內(nèi)外研究人員針對(duì)芽眼識(shí)別的研究，主要使用傳統(tǒng)圖像處理方式。李玉華等[10]提出一種基于色彩飽和度三維幾何特征的馬鈴薯種薯芽眼識(shí)別方法，芽眼識(shí)別準(zhǔn)確率為91.4%。孟令軍[7]通過(guò)提取HSV 色彩空間中馬鈴薯種薯的色彩飽和度圖像，獲取到馬鈴薯芽眼位置，試驗(yàn)結(jié)果表明，色彩飽和度提取馬鈴薯芽眼可行。JI 等[11]使用K-means 聚類(lèi)方法對(duì)馬鈴薯進(jìn)行分割，提取發(fā)芽馬鈴薯信息，最終采用建立的模型準(zhǔn)確率達(dá)到了84.62%。YANG 等[12]在灰度圖上使用Canny 邊緣檢測(cè)器，獲得分割掩碼，完成馬鈴薯芽眼的檢測(cè)。結(jié)果表明，該方法的檢測(cè)精度為89.28%。以上研究方法都能較好地識(shí)別馬鈴薯芽眼，但其應(yīng)用場(chǎng)景單一、魯棒性差，不能在復(fù)雜環(huán)境中完成檢測(cè)任務(wù)。

隨著智能時(shí)代的到來(lái)，以機(jī)器學(xué)習(xí)為代表的深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于農(nóng)業(yè)的目標(biāo)識(shí)別任務(wù)中。李就好等[13]提出一種改進(jìn)Faster R-CN 的田間苦瓜葉部病害檢測(cè)算法，結(jié)果表明，檢測(cè)苦瓜葉部病害的平均精度值為78.5%，檢測(cè)時(shí)間為0.322 s。陳柯屹等[14]使用改進(jìn)型Faster RCNN 識(shí)別田間棉花頂芽，試驗(yàn)結(jié)果表明，該方法平均檢測(cè)精度值為98.1%，識(shí)別速度為10.3 幀/s。梁喜鳳等[15]使用改進(jìn)Mask R-CNN 模型去識(shí)別番茄側(cè)枝修剪點(diǎn)，試驗(yàn)結(jié)果表明，修剪點(diǎn)平均識(shí)別準(zhǔn)確率為82.9%，檢測(cè)時(shí)間為0.319 s。LEE 等[16]使用Mask R-CNN 方法，檢測(cè)馬鈴薯，試驗(yàn)結(jié)果表明平均檢測(cè)精度為90.08%。XI 等[17]基于混沌優(yōu)化的K-means 算法實(shí)現(xiàn)了馬鈴薯種薯芽眼的快速分割，試驗(yàn)結(jié)果表明，所提算法檢測(cè)單幅圖像時(shí)間為1.109 s。

以上使用R-CNN[18]為代表的二階段算法，其檢測(cè)精度高，但檢測(cè)速度相對(duì)較慢。而以SSD[19]、YOLO[20-23]為代表的一階段目標(biāo)檢測(cè)算法，相比二階檢測(cè)算法在速度上存在優(yōu)勢(shì)。張兆國(guó)等[24]提出了一種采用改進(jìn)YOLOv4模型檢測(cè)復(fù)雜環(huán)境下馬鈴薯的目標(biāo)檢測(cè)算法，其平均識(shí)別率為91.4%，識(shí)別速度為23.01 幀/s。王相友等[25]提出了一種基于改進(jìn)YOLOv4 模型的馬鈴薯中土塊石塊檢測(cè)方法，利用通道剪枝算法對(duì)模型進(jìn)行剪枝處理，其模型存儲(chǔ)空間為20.75 MB，檢測(cè)速度為78.49 幀/s。孫俊等[26]提出一種快速精準(zhǔn)識(shí)別棚內(nèi)草莓的改進(jìn)YOLOv4-Tiny模型，使用GhostNetV1 作為主干網(wǎng)絡(luò)，并修改注意力機(jī)制，提升識(shí)別小目標(biāo)的性能，其模型權(quán)重大小為4.68 MB，平均識(shí)別精度為92.62%。WANG 等[27]提出一種基于YOLO框架的新型輕量型小物體檢測(cè)框架，試驗(yàn)結(jié)果表明，枯木檢測(cè)精度為89.11%，模型權(quán)重大小為7.6 MB。ZENG等[28]提出一種基于改進(jìn)YOLO 的輕量型番茄實(shí)時(shí)檢測(cè)方法，試驗(yàn)結(jié)構(gòu)表明，平均檢測(cè)幀率為26.5 幀/s，檢測(cè)精度達(dá)到93%。

上述以一階段檢測(cè)算法為代表的YOLO 目標(biāo)檢測(cè)模型，在檢測(cè)速度和檢測(cè)精度上具有較好的效果，同時(shí)在此框架下修改的網(wǎng)絡(luò)結(jié)構(gòu)又能降低模型權(quán)重大小，利于部署在不同的移動(dòng)設(shè)備上。鑒于此，本研究在YOLOv4的基礎(chǔ)上，提出一種基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯種薯芽眼檢測(cè)模型，該目標(biāo)檢測(cè)模型替換改進(jìn)前的CSPDarkNet-53 主干為GhostNetV2 輕量級(jí)網(wǎng)絡(luò)，大幅度減輕模型計(jì)算量；其次修改頸部的標(biāo)準(zhǔn)卷積為深度可分離卷積，進(jìn)一步降低計(jì)算量，同時(shí)豐富目標(biāo)的語(yǔ)義信息提升小目標(biāo)物體的檢測(cè)能力；最后更改邊界框回歸損失函數(shù)為SIoU 回歸損失函數(shù)，提升芽眼檢測(cè)模型的收斂速度和整體檢測(cè)性能，為快速、準(zhǔn)確完成小目標(biāo)物體芽眼識(shí)別任務(wù)提供基礎(chǔ)。

1 材料與方法

1.1 數(shù)據(jù)采集

本次試驗(yàn)數(shù)據(jù)采集于自制試驗(yàn)臺(tái)，同時(shí)自制的試驗(yàn)臺(tái)也用于芽眼檢測(cè)。該試驗(yàn)臺(tái)主要由三部分組成，分別是便攜式筆記本電腦、頂部和底部攝像頭以及透明輸送帶，如圖1 所示。其中便攜式筆記本電腦主要用于前向推理，頂部和底部攝像頭主要負(fù)責(zé)收集馬鈴薯和芽眼的頂部及底部數(shù)據(jù)，透明輸送帶主要幫助底部攝像頭獲取馬鈴薯的底部芽眼信息和傳輸馬鈴薯到達(dá)下一個(gè)工序位。

圖1 數(shù)據(jù)采集試驗(yàn)臺(tái)Fig.1 Data acquisition test bench

該試驗(yàn)臺(tái)中的攝像頭型號(hào)為WH-L2140.K214L，分辨率為1920×1 080 像素，速率為60 幀/s。在自然光照條件下拍攝馬鈴薯。拍攝時(shí)，底部攝像頭和頂部攝像頭同時(shí)工作，在同一時(shí)刻獲取馬鈴薯底部和頂部的芽眼信息。選取200 個(gè)帶有芽眼的馬鈴薯，品種為中暑2 號(hào)。為了更加有效地利用每個(gè)馬鈴薯，將每個(gè)馬鈴薯按照橫正、豎正、橫反、豎反的順序放在試驗(yàn)臺(tái)上進(jìn)行數(shù)據(jù)采集，如圖2 所示。共計(jì)采樣800 次，收集1 600 張從頂部和底部拍攝的馬鈴薯圖像。

圖2 馬鈴薯擺放順序Fig.2 The order of the potatoes

1.2 數(shù)據(jù)處理

首先將采集到的1 600 張?jiān)紙D片使用LabelImg 工具進(jìn)行標(biāo)注，標(biāo)注內(nèi)容為馬鈴薯和芽眼兩個(gè)類(lèi)別，其中馬鈴薯設(shè)置為potato，芽眼設(shè)置為bud。由于檢測(cè)環(huán)境相對(duì)固定，不需要增加額外的噪音提升模型的泛化能力，由此將已經(jīng)標(biāo)注好的每張圖片使用python 腳本程序?qū)D像進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)處理，包括2 次隨機(jī)翻轉(zhuǎn)、2 次隨機(jī)旋轉(zhuǎn)，共生成6 400 張帶有標(biāo)簽的馬鈴薯種薯圖像。最后將數(shù)據(jù)增強(qiáng)后的圖像按照8:1:1 的比例隨機(jī)分為訓(xùn)練集（5 120 幅）、驗(yàn)證集（640 幅）以及測(cè)試集（640 幅），用于之后的模型訓(xùn)練和測(cè)試任務(wù)。

1.3 芽眼檢測(cè)算法

1.3.1 改進(jìn)YOLOv4 主干網(wǎng)絡(luò)

YOLOv4[20]主干網(wǎng)絡(luò)主要參考CSPNet[29]網(wǎng)絡(luò)結(jié)構(gòu)，和YOLOv3 中的DarkNet[21]網(wǎng)絡(luò)結(jié)構(gòu)，形成現(xiàn)在的CSPDarkNet-53 主干特征提取網(wǎng)絡(luò)，其中53 代表有53 次標(biāo)準(zhǔn)卷積操作。相比于其他YOLO 系類(lèi)[22-23]，YOLOv4 主干網(wǎng)絡(luò)結(jié)構(gòu)較清晰，簡(jiǎn)單明了，易于修改，為不同場(chǎng)景的目標(biāo)檢測(cè)任務(wù)提供研究基礎(chǔ)。YOLOv6、YOLOv7 主干網(wǎng)絡(luò)前向推理時(shí)，參數(shù)多，計(jì)算量大，不合適用于邊緣設(shè)備實(shí)時(shí)檢測(cè)需求和儲(chǔ)存要求。GhostNet 模型是北京華為諾亞方舟實(shí)驗(yàn)室提出的一種輕量型卷積神經(jīng)網(wǎng)絡(luò)[30]，其核心思想是使用Ghost 模塊代替標(biāo)準(zhǔn)卷積達(dá)到降低模型計(jì)算量的目的，具體工作過(guò)程如圖3 所示。

圖3 Ghost 模塊和長(zhǎng)注意力機(jī)制模塊Fig.3 Ghost module and decoupled fully connected module

首先，對(duì)輸入特征X，使用1×1標(biāo)準(zhǔn)卷積生成少量的本征特征Y′：

式中 ⊙表示卷積操作；X∈RH·W·C表示輸入特征，H、W、C分別為輸入特征的長(zhǎng)、寬和通道數(shù)；F′∈RC·K·K·C′，其中K·K表示標(biāo)準(zhǔn)卷積核的大小，這里K取1，Y′∈RH·W·C′表示輸出的少量本征特征，C′＜C。

其次，使用線性卷積（深度卷積）對(duì)本征特征進(jìn)行特征信息提取，生成s個(gè)Ghost 特征Y′′：

最后，將本征特征與Ghost 特征拼接，產(chǎn)生一個(gè)與使用標(biāo)準(zhǔn)卷積通道數(shù)相同的特征圖Y：

式中Y∈RH·W·C表示輸出特征圖（一個(gè)Ghost 模塊操作），C=SC′。

經(jīng)過(guò)上面3 個(gè)步驟，Ghost 模塊的計(jì)算量與標(biāo)準(zhǔn)卷積之比為

由結(jié)果可知，Ghost 模塊的浮點(diǎn)數(shù)計(jì)算量大約是標(biāo)準(zhǔn)卷積的1/s。

在GhostNetv2中作者提出一種長(zhǎng)距離注意力機(jī)制（DF C）模塊[31]，用于進(jìn)一步捕獲空間語(yǔ)義信息，其前向推理過(guò)程如圖3 所示。首先使用1×1標(biāo)準(zhǔn)卷積生成特征圖，接著分別使用大小為Kh×1，和1×Kw的卷積核提取空間語(yǔ)義信息。相比普通注意力機(jī)制的復(fù)雜度O(H2W2)，該方法的復(fù)雜度為O(KhHW+KwHW)，最后將Ghost 模型生成的特征與使用DFC 機(jī)制生成的特征逐元素相乘得到語(yǔ)義更加豐富的特征，且不改變輸出特征維度。

另外，GhostNetV2 中的Ghostbottleneck 是由Ghost模塊和DFC 模塊共同組成的一個(gè)逆殘差瓶頸結(jié)構(gòu)，如圖4 所示。圖4a 為Stride=1 時(shí)GhostNetV2bottleneck（G2-bneck）結(jié)構(gòu)。該結(jié)構(gòu)首先使用一個(gè)Ghost 模塊和DFC模塊對(duì)輸入特征進(jìn)行特征提取，并擴(kuò)充特征信息，然后使用逐元素相乘的方式豐富語(yǔ)義信息，接著將其傳入下一個(gè)Ghost 模塊進(jìn)行通道壓縮，最后將原始輸入特征與壓縮特征進(jìn)行拼接，完成一個(gè)G2-bneck 操作。

圖4 GhostNetV2bottleneck（G2-bneck）模塊和decoupled fully connected（DFC）模塊Fig.4 GhostNetV2bottleneck(G2-bneck) module and decoupled fully connected(DFC) module

當(dāng)Stride=2 時(shí)，在逐元素相乘和第二個(gè)Ghost 模塊之間插入一個(gè)深度卷積模塊（DW），對(duì)特征的寬高進(jìn)行壓縮，完成下采樣操作，同時(shí)在右分支使用一個(gè)深度卷積和一個(gè)1×1 的標(biāo)準(zhǔn)卷積，確保主干分支在相同尺度下完成拼接操作。

經(jīng)過(guò)試驗(yàn)發(fā)現(xiàn)[31]，在獲取空間語(yǔ)義信息時(shí)，直接使用DFC 模塊將會(huì)額外增加計(jì)算成本，因此先使用下采樣，得到較小特征圖，再進(jìn)行一系列便宜卷積操作，最后使用Sigmoid 函數(shù)將注意力值限制在(0,1)范圍內(nèi)，實(shí)現(xiàn)加速推理，如圖4c 所示。

1.3.2 頸部深度可分離模塊

YOLOv4 的頸部網(wǎng)絡(luò)（PANet）使用標(biāo)準(zhǔn)卷積方式獲取主干中的特征信息。此種操作會(huì)進(jìn)一步增加計(jì)算成本，因此，本研究使用MobileNetV1[32]中的深度可分離卷積模塊（如圖5 所示）代替原先的標(biāo)準(zhǔn)卷積達(dá)到減小模型整體運(yùn)算量和進(jìn)一步提升小目標(biāo)檢測(cè)能力的目的?？煞蛛x卷積計(jì)算量為：

圖5 深度可分離卷積計(jì)算過(guò)程Fig.5 Depthwise separable convolution calculation procedure

式中DH、DW為特征圖長(zhǎng)寬尺寸，M、N分別為特征圖輸入、輸出通道數(shù)，DK為卷積核大小，一般取3。由此可知，深度可分離卷積的計(jì)算成本比標(biāo)準(zhǔn)卷積少8～9 倍。

1.3.3 改進(jìn)后芽眼檢測(cè)模型

改進(jìn)的芽眼檢測(cè)模型主要由部分GhostNetV2 網(wǎng)絡(luò)結(jié)構(gòu)和深度可分離卷積模塊組成。如圖6 所示，帶有黑色虛線外框的模塊和主干網(wǎng)絡(luò)為修改位置。模型前向推理時(shí)，首先將尺寸為416 × 416 × 3 的圖像在通道數(shù)上進(jìn)行擴(kuò)張，接著使用16 個(gè)G2-bneck 模塊（如表1 所示）進(jìn)行特征提取，其次提取主干G2-bneck 模塊中的4、10、15 層特征信息與YOLOv4 的頸部網(wǎng)絡(luò)相連，經(jīng)過(guò)使用深度可分離卷積模塊修改的特征金字塔結(jié)構(gòu)（頸部網(wǎng)絡(luò)），進(jìn)一步加強(qiáng)改進(jìn)YOLOv4 網(wǎng)絡(luò)的特征提取能力，且減少計(jì)算量。最后從頸部分出3 個(gè)特征層，使用3 種不同尺度的檢測(cè)頭完成目標(biāo)檢測(cè)任務(wù)。

表1 改進(jìn)后芽眼檢測(cè)模型的主干網(wǎng)絡(luò)Table 1 The backbone network of the improved bud eye detection model

圖6 改進(jìn)后芽眼檢測(cè)模型Fig.6 Improved bud eye detection model

1.3.4 邊界框回歸損失函數(shù)

邊界框回歸損失函數(shù)是目標(biāo)檢測(cè)損失函數(shù)的重要組成部分，良好的定義將為目標(biāo)檢測(cè)模型帶來(lái)顯著的提升。YOLOv4 目標(biāo)檢測(cè)模型使用CIoU 作為回歸損失函數(shù)(LCIoU)，其定義為[33]

式中Su的值如圖7 所示。

圖7 真實(shí)框和預(yù)測(cè)框的交集及并集面積Fig.7 The intersection and concatenation areas of ground truth box and prediction box

除CIoU 邊界框回歸損失函數(shù)外，還有一系列基于加法的損失函數(shù)，如GIoU[34]、DIoU[33]、EIoU[35]，都遵循以下范式：

式中 Ri為懲罰項(xiàng)。

以上回歸損失函數(shù)都依賴(lài)于邊界框回歸指標(biāo)的聚合，如預(yù)測(cè)框和真實(shí)框的距離、重疊區(qū)域和縱橫比。而預(yù)測(cè)框在訓(xùn)練過(guò)程中難免存在方向不確定（“四處游蕩”）的情況，導(dǎo)致收斂速度慢和效率低下。由此使用一種考慮了角度、距離、形狀的回歸損失函數(shù)（SCYLLA-IoU，SIoU[36]）替換CIoU 損失函數(shù)，提升模型的收斂速度和整體檢測(cè)能力。

其中，角度代價(jià)描Λ 述中心點(diǎn)連線（如圖7 所示）與x-y軸之間的最小角度，定義如下：

當(dāng)中心點(diǎn)連線與x軸或y軸對(duì)齊時(shí)，Λ=0；當(dāng)中心點(diǎn)連線與x軸為45°時(shí)，Λ=1。

其中，距離代價(jià)Δ 描述中心點(diǎn)之間的距離，其代價(jià)與角度正相關(guān)，定義為

其中，形狀代價(jià)Ω描述邊界框之間的大小差異，定義為

最后，綜合角度代價(jià)、距離代價(jià)、形狀代價(jià)，定義回歸損失函數(shù)為

1.3.5 試驗(yàn)平臺(tái)及評(píng)價(jià)指標(biāo)

本研究使用的算力資源來(lái)自中科視拓科技有限公司的線上服務(wù)器（AutoDL）。處理器（CPU）型號(hào)為AMD EPYC 7 642 48-Core Processor，運(yùn)行內(nèi)存容量為80 GB，固態(tài)硬盤(pán)（SDD）容量為50 GB，內(nèi)核個(gè)數(shù)為24 個(gè)，顯卡（GPU）型號(hào)為Nvidia GeForce RTX 3 090，顯存為24 GB，系統(tǒng)環(huán)境為Ubuntu 20.04，搭建Python3.8 的編程語(yǔ)言和Pytorch1.10.0 的深度學(xué)習(xí)框架及CUDA11.3 的并行計(jì)算框架。

模型訓(xùn)練參數(shù)設(shè)置：?jiǎn)螜C(jī)單卡，使用VOC07+12 數(shù)據(jù)作為預(yù)訓(xùn)練數(shù)據(jù)集。輸入尺寸為416 × 416，每批次樣本數(shù)量為16，多線性進(jìn)程為8，優(yōu)化器為Adam（adaptive moment estimation），訓(xùn)練次數(shù)（epoch）為200 輪，學(xué)習(xí)率下降方式使用余弦退火cos（cosine annealing），為防止過(guò)擬合設(shè)置權(quán)重衰減為0，初始學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為0.000 5，動(dòng)量因子為0.937，使用Mosaic、Mixup 數(shù)據(jù)增強(qiáng)方式。

為了準(zhǔn)確評(píng)估模型的性能，本研究采用以下指標(biāo)進(jìn)行性能評(píng)估：所有類(lèi)別的平均準(zhǔn)確率（mean average precision,mAP），平均精度（average precision,AP），準(zhǔn)確率（precision,P），召回率（recall,R），F(xiàn)1得分，權(quán)重大小，檢測(cè)時(shí)間及參數(shù)量。其中，F(xiàn)1表示準(zhǔn)確率（P）和召回率（R）的調(diào)和平均數(shù)，最大值為1，最小值為0，得分越大，模型整體性能越好。參數(shù)量以卷積塊大小與輸出特征尺度之間的乘積為標(biāo)準(zhǔn)，權(quán)重大小為總Loss 值最小時(shí)保存的參數(shù)，檢測(cè)時(shí)間為便攜式筆記本電腦CPU 上的前向推理時(shí)間，其電腦型號(hào)為聯(lián)想拯救者Y7000P，CPU型號(hào)為12th Gen Intel（R）Core（TM）i5-12500H，GPU型號(hào)為NVIDIA GeForce RTX 3 050 Ti Laptop。

2 結(jié)果與分析

2.1 改進(jìn)模型試驗(yàn)結(jié)果

2.1.1 不同主干網(wǎng)絡(luò)試驗(yàn)結(jié)果

本試驗(yàn)以改進(jìn)YOLOv4 目標(biāo)檢測(cè)模型為基礎(chǔ)，更換不同的主干網(wǎng)絡(luò)，如MobileNetV1、MobileNetV2、MobileNetV3、GhostNetV1。在不改變除主干以外參數(shù)的情況下，訓(xùn)練目標(biāo)檢測(cè)模型。將得到的參數(shù)進(jìn)行分析比較，驗(yàn)證改進(jìn)目標(biāo)檢測(cè)模型的可行性。由表2 可知，使用GhostNetV2 模型作為YOLOv4 的主干特征提取網(wǎng)絡(luò)時(shí)，其參數(shù)量為12.04 M，檢測(cè)精度（mAP）為89.13%，檢測(cè)單張圖片的時(shí)間為0.148 s，芽眼和馬鈴薯的F1得分分別為0.80、0.99。相比改進(jìn)前使用CSPDarkNet-53 的主干網(wǎng)絡(luò)，改進(jìn)后主干網(wǎng)絡(luò)參數(shù)量約為原來(lái)的1/3，檢測(cè)精度提升1.85 個(gè)百分點(diǎn)，檢測(cè)時(shí)間減少0.279 s，芽眼得分略高于改進(jìn)前主干。另外與其他輕量型主干網(wǎng)絡(luò)Mobile-NetV1、MobileNetV2、MobileNetV3、GhostNetV1 相比，GhostNetV2 檢測(cè)精度分別提升0.75、2.67、4.17、1.89個(gè)百分點(diǎn)，芽眼的F1值分別提升0.06、0.07、0.12、0.08。模型參數(shù)量相比MobileNetV1 減少1.65 M，相比MobileNetV2、MobileNetV3、GhostNetV1 不存在優(yōu)勢(shì)，但也能滿(mǎn)足模型部署需求。檢測(cè)時(shí)間與其它輕量型主干網(wǎng)絡(luò)基本一致。

表2 不同主干網(wǎng)絡(luò)對(duì)比Table 2 Comparison of different backbone networks

整體而言，以GhostNetV2 網(wǎng)絡(luò)作為YOLOv4 主干特征提取網(wǎng)絡(luò)時(shí)，其模型在檢測(cè)時(shí)間、模型參數(shù)量上明顯優(yōu)于改進(jìn)前YOLOv4 主干網(wǎng)絡(luò)，在檢測(cè)精度上也能高于其他輕量型主干網(wǎng)絡(luò)。故選用GhostNetV2 網(wǎng)絡(luò)作為主干，提高檢測(cè)精度的同時(shí)也能滿(mǎn)足實(shí)時(shí)檢測(cè)和模型部署需求。

2.1.2 不同回歸損失函數(shù)試驗(yàn)結(jié)果

改進(jìn)前YOLOv4 目標(biāo)檢測(cè)模型使用CIoU 作為邊界框回歸損失函數(shù)，其在訓(xùn)練過(guò)程中有較強(qiáng)的擬合能力，但在訓(xùn)練過(guò)程中不可避免地存在預(yù)測(cè)框方向漂浮不定的情況，導(dǎo)致收斂速度慢，影響模型整體檢測(cè)性能。由此本試驗(yàn)在改進(jìn)后YOLOv4 目標(biāo)檢測(cè)模型基礎(chǔ)上，更換多種邊界框回歸損失函數(shù)，從mAP、AP、P、R、F1得分的角度，分析比較不同損失函數(shù)對(duì)模型整體性能的影響。由表3 可知，SIoU 回歸損失函數(shù)的檢測(cè)精度相比沒(méi)有使用方向代價(jià)的回歸損失函數(shù)，在檢測(cè)芽眼時(shí)有更高的準(zhǔn)確率。根據(jù)試驗(yàn)結(jié)果可知，SIoU 的檢測(cè)精度相比GIoU、CIoU、DIoU、EIoU 分別提升2.97、4.33、2.38、3.18 個(gè)百分點(diǎn)。由于SIoU 考慮了預(yù)測(cè)框的方向，在訓(xùn)練的過(guò)程中可以引導(dǎo)錨框移到目標(biāo)框最近的軸上，減小損失的總自由度，提升模型的整體性能。圖8 展示了不同回歸損失函數(shù)訓(xùn)練時(shí)的收斂情況，相比GIoU、CIoU、DIoU、EIoU，SIoU 回歸損失函數(shù)收斂速度更快，多次訓(xùn)練后，損失值也更低。

表3 不同損失函數(shù)對(duì)比Table 3 Comparison of different loss functions

圖8 不同損失函數(shù)收斂情況Fig.8 Different loss function convergence

2.1.3 YOLOv4 改進(jìn)前后試驗(yàn)結(jié)果

改進(jìn)前YOLOv4 主干特征提取網(wǎng)絡(luò)使用CSPDarkNet-53，頸部金字塔結(jié)構(gòu)使用標(biāo)準(zhǔn)卷積，回歸損失函數(shù)使用CIoU。改進(jìn)后YOLOv4 主干使用GhostNetV2，用于減少模型參數(shù)量，同時(shí)具備較高的檢測(cè)精度，如表2 所示；頸部金字塔結(jié)構(gòu)中的標(biāo)準(zhǔn)卷積替換成深度可分離卷積，進(jìn)一步降低模型參數(shù)，同時(shí)也可以豐富圖像語(yǔ)義信息，利于提取小目標(biāo)信息；回歸損失函數(shù)使用SIoU，提升模型整體檢測(cè)性能和加快收斂速度。圖9 展示了改進(jìn)前和改進(jìn)后YOLOv4 芽眼識(shí)別結(jié)果，從圖中可以發(fā)現(xiàn)，在檢測(cè)小目標(biāo)芽眼時(shí)，改進(jìn)前YOLOv4 出現(xiàn)較多漏檢情況，而改進(jìn)后YOLOv4 能夠檢測(cè)大部分芽眼位置。另外從表4中可以發(fā)現(xiàn)，改進(jìn)后YOLOv4 的參數(shù)量約是改進(jìn)前的1/5，檢測(cè)芽眼時(shí)的精度相較改進(jìn)前提升了0.56 個(gè)百分點(diǎn)，在筆記本電腦上的前向推理時(shí)間也從原來(lái)的0.474 s 降低至0.148 s，減少了0.326 s。

表4 改進(jìn)前后模型試驗(yàn)結(jié)果Table 4 Test results of the model before and after improvement

圖9 改進(jìn)前后模型檢測(cè)結(jié)果Fig.9 Model detection results before and after improvement

綜上所述，改進(jìn)后的目標(biāo)檢測(cè)模型在檢測(cè)芽眼小目標(biāo)物體時(shí)有較高的檢測(cè)精度，同時(shí)也具有較少的推理參數(shù)，為模型部署提供研究基礎(chǔ)。

2.2 消融試驗(yàn)

在模型主體網(wǎng)絡(luò)結(jié)構(gòu)中，由表2 的試驗(yàn)結(jié)果可以發(fā)現(xiàn)，使用GhostNetV2 網(wǎng)絡(luò)結(jié)構(gòu)作為改進(jìn)后YOLOv4 的主干特征提取網(wǎng)絡(luò)有較好的檢測(cè)性能。本試驗(yàn)在不改變GhostNetV2 主干網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的基礎(chǔ)上，比較改進(jìn)前YOLOv4 頸部網(wǎng)絡(luò)結(jié)構(gòu)和改進(jìn)后頸部網(wǎng)絡(luò)使用深度可分離卷積模塊之間的區(qū)別。從表5 的結(jié)果可以看出，使用深度可分離卷積模塊后，模型的參數(shù)量大幅降低，約為原先的1/4 倍，更加利于移動(dòng)設(shè)備或者邊緣設(shè)備的部署。在預(yù)測(cè)層中，由表3 的試驗(yàn)結(jié)果可以看出，當(dāng)使用具有角度代價(jià)的SIoU 作為回歸損失函數(shù)時(shí)，其整體檢測(cè)性能達(dá)到最優(yōu)，同時(shí)收斂速度也相較GIoU、CIoU、DIoU、EIoU 快。本次試驗(yàn)結(jié)合主干特征提取網(wǎng)絡(luò)（GhostNetV2）、頸部深度可分離卷積模塊（DW）以及回歸損失函數(shù)（SIoU）觀測(cè)模型的權(quán)重值、平均精度值以及檢測(cè)時(shí)間。從表5 中可以看出，當(dāng)使用SIoU 回歸損失函數(shù)后，其平均檢測(cè)精度有明顯提升，相較于使用CIoU 回歸損失函數(shù)，提高了4.33 個(gè)百分點(diǎn)。

表5 頸部和預(yù)測(cè)層及主干注意力機(jī)制消融試驗(yàn)Table 5 Neck and prediction layer and backbone attention mechanism ablation test

另外，本試驗(yàn)在改進(jìn)后YOLOv4 的基礎(chǔ)上，還對(duì)主干特征提取網(wǎng)絡(luò)GhostNetV2 中的注意力機(jī)制分布情況進(jìn)行了測(cè)試，如表5 所示。當(dāng)完全不使用注意力機(jī)制（A1）時(shí)，改進(jìn)后YOLOv4 的平均精度值只有85.96%；當(dāng)完全使用注意力機(jī)制（A2）時(shí)，其平均精度值提升至86.87%，同時(shí)模型的權(quán)重大小上升10.23 MB；當(dāng)部分使用注意力機(jī)制（A3，其分布情況如表1 所示）時(shí)，其平均精度值為89.13%，相比不使用注意力機(jī)制，檢測(cè)精度提升4.83個(gè)百分點(diǎn)。

綜上所述，使用主干特征提取網(wǎng)絡(luò)（GhostNetV2）加上深度可分離卷積模塊（DW）加上回歸損失函數(shù)（SIoU）加上在GhostNetV2 中部分使用注意力機(jī)制組成的芽眼檢測(cè)模型，整體性能達(dá)到最優(yōu)，其平均檢測(cè)精度值為89.13%，檢測(cè)時(shí)間為0.148 s，模型權(quán)重大小為46.40 MB。

2.3 不同目標(biāo)檢測(cè)算法識(shí)別試驗(yàn)

本試驗(yàn)使用自制試驗(yàn)臺(tái)（如圖1 所示）收集50 張馬鈴薯種薯圖像作為測(cè)試集。在訓(xùn)練參數(shù)、訓(xùn)練數(shù)據(jù)集相同的情況下，將測(cè)試集數(shù)據(jù)使用SSD、Faster-RCNN、EifficientDet、CenterNet、YOLOv7、YOLOv4 及改進(jìn)后YOLOv4 目標(biāo)檢測(cè)模型進(jìn)行前向推理。觀察各個(gè)檢測(cè)模型的參數(shù)量、便攜式筆記本電腦CPU 檢測(cè)時(shí)間、芽眼F1得分和馬鈴薯F1得分以及mAP 值。由表6 可知，本研究改進(jìn)YOLOv4 目標(biāo)檢測(cè)模型平均精度值（mAP）為89.13%，與SSD、Faster-RCNN、EifficientDet、CenterNet、YOLOv7 相比，分別提升23.26、27.45、10.51、18.09、2.13 個(gè)百分點(diǎn)，與改進(jìn)前YOLOv4 相比，檢測(cè)精度基本一致；在模型參數(shù)量上面，改進(jìn)后檢測(cè)模型相比上述6種目標(biāo)檢測(cè)模型，占有明顯優(yōu)勢(shì)，僅為12.04 M；在檢測(cè)時(shí)間上面，改進(jìn)后模型在筆記本電腦CPU 上檢測(cè)單張圖像的時(shí)間為0.148 s，相比前6 種檢測(cè)模型，分別減少0.007、6.754、1.891、1.745、0.422、0.326 s。

表6 不同目標(biāo)檢測(cè)算法芽眼識(shí)別結(jié)果對(duì)比Table 6 Comparison of bud eye recognition results of different target detection algorithms

另外，為了更加清楚地觀察檢測(cè)效果，分別從上述6 種目標(biāo)檢測(cè)算法中，隨機(jī)選出5 張預(yù)測(cè)結(jié)果。如圖10所示，使用SSD、YOLOv4、YOLOv7、CenterNet、EifficientDet 算法檢測(cè)芽眼時(shí)，存在漏檢情況，圖中用箭頭標(biāo)出。值得注意的是CenterNet 不能識(shí)別馬鈴薯。使用Faster-RCNN 及改進(jìn)YOLOv4 目標(biāo)檢測(cè)算法時(shí)，可以識(shí)別出大部分芽眼，但Faster-RCNN 使用筆記本電腦CPU檢測(cè)單張圖片的時(shí)間不能滿(mǎn)足實(shí)時(shí)檢測(cè)需求。綜上所述，基于YOLOv4 改進(jìn)的輕量型芽眼檢測(cè)模型在檢測(cè)時(shí)間、精度及參模型參數(shù)量和權(quán)重大小方面都具有較好的表現(xiàn)能力，能夠滿(mǎn)足小目標(biāo)芽眼檢測(cè)需求和更加利于模型部署。

圖10 不同目標(biāo)檢測(cè)算法識(shí)別馬鈴薯和芽眼的結(jié)果Fig.10 The results of different object detection algorithms to identify potato and eye

3 結(jié)論

為了在試驗(yàn)臺(tái)上快速、準(zhǔn)確地完成芽眼識(shí)別任務(wù)，本文提出一種基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的芽眼檢測(cè)算法，主要結(jié)論如下：

1）使用輕量型主干網(wǎng)絡(luò)GhostNetV2 代替YOLOv4的主干網(wǎng)絡(luò)CSPDarkNet-53，明顯減少網(wǎng)絡(luò)參數(shù)量，約為改進(jìn)前的1/3，檢測(cè)時(shí)間減少0.279 s，相比CSPDarkNet-53、MobileNetV1、MobileNetV2、MobileNetV3、GhostNetV1

主干網(wǎng)絡(luò)，平均檢測(cè)精度分別高出1.85、0.75、2.67、4.17、1.89 個(gè)百分點(diǎn)。

2）使用SIoU 回歸損失函數(shù)代替CIoU 回歸損失函數(shù)，提高模型的整體檢測(cè)精度，相比GIoU、CIoU、DIoU、EIoU 回歸損失函數(shù)，檢測(cè)精度分別高出2.97、4.33、2.38、3.18 個(gè)百分點(diǎn)。

3）本文所提輕量型目標(biāo)檢測(cè)算法，可以有效識(shí)別芽眼和馬鈴薯的位置，平均檢測(cè)精度為89.13%，檢測(cè)時(shí)間為0.148 s，相比SSD、Faster-RCNN、EifficientDet、Center-Net、YOLOv7 目標(biāo)檢測(cè)模型，平均精度值分別高出23.26、27.45、10.51、18.09、2.13 個(gè)百分點(diǎn)，檢測(cè)時(shí)間分別減少0.007、6.754、1.891、1.745、0.422 s，模型參數(shù)量上占有明顯優(yōu)勢(shì)，僅為12.04 M。由檢測(cè)結(jié)果可知，改進(jìn)后輕量型芽眼檢測(cè)模型能夠滿(mǎn)足小目標(biāo)芽眼檢測(cè)需求和利于模型部署，為該類(lèi)研究提供技術(shù)支撐。