基于PP-YOLO改進(jìn)算法的臍橙果實(shí)實(shí)時(shí)檢測(cè)

章倩麗，李秋生，胡俊勇，謝湘慧

(1.贛南師范大學(xué) 智能控制工程技術(shù)研究中心，江西 贛州 341000；2.贛南師范大學(xué) 物理與電子信息學(xué)院，江西 贛州 341000)

0 引言

伴隨著科技的進(jìn)步，農(nóng)業(yè)生產(chǎn)正逐步實(shí)現(xiàn)機(jī)械化[1]，并在信息技術(shù)的助力下，進(jìn)一步朝著自動(dòng)化、數(shù)字化和智能化的方向發(fā)展。我國(guó)是臍橙種植大國(guó)，尤其是贛南地區(qū)，地處亞熱帶南緣，丘陵山地面積廣闊，氣候適宜臍橙生長(zhǎng)。自20世紀(jì)70年代初開(kāi)始，贛南臍橙的種植規(guī)模不斷擴(kuò)大，至今其種植面積居世界首位[2]，年產(chǎn)量位列世界第三，是我國(guó)最大的臍橙主產(chǎn)區(qū)[3]。臍橙大規(guī)模種植生產(chǎn)對(duì)果實(shí)采摘的作業(yè)效率提出了更高要求。目前，臍橙主要依靠人力進(jìn)行采收，采摘周期集中在相對(duì)較短的時(shí)間內(nèi)，且勞動(dòng)強(qiáng)度大。針對(duì)采摘?jiǎng)趧?dòng)力短缺和勞動(dòng)方式相對(duì)落后的現(xiàn)狀，產(chǎn)業(yè)發(fā)展亟須運(yùn)用現(xiàn)代化技術(shù)代替?zhèn)鹘y(tǒng)的人工勞作，解放更多勞動(dòng)力，減少生產(chǎn)成本。準(zhǔn)確快速地檢測(cè)臍橙果實(shí)是實(shí)現(xiàn)高效采收的首要條件，然而，目前國(guó)內(nèi)外的相關(guān)研究主要針對(duì)蘋果、西紅柿及草莓等果蔬進(jìn)行目標(biāo)檢測(cè)[4-5]，對(duì)成熟臍橙果實(shí)進(jìn)行識(shí)別定位的研究較少，大多為表面缺陷檢測(cè)[6]、病蟲(chóng)害檢測(cè)[7]、品質(zhì)檢測(cè)[8]及分級(jí)[9]等。

Yu等[10]針對(duì)草莓檢測(cè)進(jìn)行了研究，利用mobilenet-v1提取特征，結(jié)合旋轉(zhuǎn)錨點(diǎn)和logistic回歸實(shí)現(xiàn)了草莓識(shí)別，但對(duì)于遮擋面積超過(guò)50%的草莓較難識(shí)別。Wang等[11]基于深度學(xué)習(xí)研究了芒果實(shí)時(shí)檢測(cè)算法，先通過(guò)匈牙利算法對(duì)相鄰幀的芒果進(jìn)行關(guān)聯(lián)，再采用卡爾曼濾波預(yù)測(cè)后續(xù)幀中芒果的位置，對(duì)每一幀中的芒果果實(shí)進(jìn)行檢測(cè)，改進(jìn)了芒果在幀序列中多次被模糊檢測(cè)或未被檢測(cè)的情況，但檢測(cè)速度較慢。Ji等[12]通過(guò)顏色空間轉(zhuǎn)換提取圖像的顏色因子，再采用迭代閾值分割出蘋果和樹(shù)枝，該方法實(shí)時(shí)性較好，但提取的圖像灰度差異不大而無(wú)法細(xì)分。胡友呈[13]在研究柑橘檢測(cè)時(shí)，利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取柑橘圖像特征，并利用最小二乘法以橢圓形狀對(duì)果實(shí)外形進(jìn)行擬合，最終得到對(duì)柑橘果實(shí)的識(shí)別準(zhǔn)確率為86%。熊俊濤[14]對(duì)夜間環(huán)境下的柑橘進(jìn)行識(shí)別，基于YOLO v3算法對(duì)檢測(cè)網(wǎng)絡(luò)做出改進(jìn)，在測(cè)試集上的識(shí)別mAP(mean Average Precision)為90.75%，識(shí)別速度為53 fps。

臍橙的目標(biāo)檢測(cè)是以圖片數(shù)據(jù)中的臍橙果實(shí)為目標(biāo)對(duì)象進(jìn)行查找分類和定位的，主要面臨以下難題：果實(shí)生長(zhǎng)在稠密和稀疏兩種不同場(chǎng)景中，臍橙數(shù)量越多就越稠密，檢測(cè)難度則越大；臍橙果實(shí)大小不一，當(dāng)果實(shí)很小且稠密時(shí)則檢測(cè)難度增大；存在外在環(huán)境干擾因素，受樹(shù)枝、樹(shù)葉、樹(shù)干等遮擋，以及果實(shí)重疊、光照等因素的影響，檢測(cè)難度加大。針對(duì)上述不足，本文基于改進(jìn)的PP-YOLO算法[15]對(duì)復(fù)雜自然環(huán)境下的臍橙圖像進(jìn)行檢測(cè)，通過(guò)K-means算法使anchor尺寸適宜臍橙果實(shí)，實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)算法提升了檢測(cè)速度和精度。

1 臍橙圖像數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)采集

如要建立一個(gè)魯棒性強(qiáng)的臍橙檢測(cè)機(jī)器學(xué)習(xí)模型，需要高質(zhì)量、大規(guī)模的臍橙圖像數(shù)據(jù)集提供支撐，然而，目前暫無(wú)公共可用的臍橙圖像數(shù)據(jù)集[16]。本文所用圖片數(shù)據(jù)為作者于2020年11月中旬在天氣分別為晴天及陰天時(shí)，在江西省贛州市臍橙果園中采集的。在晴天有光照時(shí)分別從順光和逆光兩個(gè)角度，并在陰天時(shí)從不同位置和方向，對(duì)不同臍橙樹(shù)進(jìn)行圖片拍攝，拍攝設(shè)備為普通手機(jī)，像素為1 200萬(wàn)以上。本次共采集臍橙圖像1 100張，篩選和刪除部分模糊不清及不適用的圖片后保留了925張，將圖像保存為jpg格式。其中：晴天逆光圖像290張，晴天順光圖像310張，陰天圖像325張；包含完整無(wú)遮擋、樹(shù)枝樹(shù)葉樹(shù)干遮擋及臍橙果實(shí)相互遮擋的臍橙圖像，有3/4左右的圖像包含6個(gè)以上的臍橙果實(shí)且處于被遮擋情況下。所有圖片的分辨率一致，均為400×400，部分圖片示例如圖1所示。

圖1 采集圖片示例

1.2 數(shù)據(jù)集制作

本文利用圖像標(biāo)注工具LabelImg，通過(guò)矩形框?qū)Σ杉降膱D像數(shù)據(jù)中的臍橙目標(biāo)進(jìn)行標(biāo)識(shí)，標(biāo)注后的數(shù)據(jù)采用Pascal VOC格式保存。在模型開(kāi)始進(jìn)行訓(xùn)練前需準(zhǔn)備數(shù)據(jù)集，本文以8∶2的比例把數(shù)據(jù)隨機(jī)分為兩部分，即訓(xùn)練集和驗(yàn)證集，并生成對(duì)應(yīng)的文件列表，構(gòu)成模型訓(xùn)練的數(shù)據(jù)集，且訓(xùn)練集和驗(yàn)證集呈互斥關(guān)系。數(shù)據(jù)集的具體分布情況如表1所示。

表1 數(shù)據(jù)集分布情況

1.3 數(shù)據(jù)增強(qiáng)

將模型損失控制在一個(gè)最佳點(diǎn)，是訓(xùn)練機(jī)器學(xué)習(xí)模型的優(yōu)化目標(biāo)。通過(guò)調(diào)整參數(shù)使輸入的圖片能夠映射到輸出，這需要足夠比例的數(shù)據(jù)集樣本支持。如果采用一些數(shù)據(jù)增強(qiáng)的方法，可以增加數(shù)據(jù)集中相關(guān)數(shù)據(jù)的數(shù)據(jù)量，增強(qiáng)模型學(xué)習(xí)能力，防止過(guò)擬合。

PaddlePaddle支持?jǐn)?shù)據(jù)的在線增強(qiáng)，且支持GPU優(yōu)化數(shù)據(jù)計(jì)算。在訓(xùn)練過(guò)程中，通過(guò)對(duì)圖像進(jìn)行各種變換以增加圖像樣本的多樣性。此外，由于每輪迭代喂進(jìn)網(wǎng)絡(luò)的圖像都是增強(qiáng)后的圖像，所以可通過(guò)增加迭代輪數(shù)來(lái)保證訓(xùn)練的圖像數(shù)量。也就是說(shuō)，因?yàn)椴捎枚喾N變換方法，而每種方法均包含隨機(jī)因子，每次迭代都會(huì)遍歷所有的訓(xùn)練集圖片，且隨機(jī)變換使得每輪喂給網(wǎng)絡(luò)的圖像都是不一樣的，所以間接增加了訓(xùn)練的數(shù)據(jù)量。本實(shí)驗(yàn)所使用的數(shù)據(jù)增強(qiáng)方法包含以下幾種，并如圖2所示。其中，圖2(a)為原臍橙圖像，圖2(b)為帶真實(shí)標(biāo)注框的原臍橙圖像，其余圖片分別對(duì)應(yīng)各類圖像處理方法。

1)混合圖像(Mixup Image)：按比例疊加兩張圖像，拼接原圖像標(biāo)注框和mixup后的圖像標(biāo)注框，見(jiàn)圖2(c)。

2)隨機(jī)畸變(Random Distort)：以一定的概率對(duì)圖像的像素內(nèi)容進(jìn)行隨機(jī)變換操作，即用隨機(jī)因子調(diào)整明亮度、對(duì)比度、飽和度和色調(diào)等，見(jiàn)圖2(d)。

3)隨機(jī)擴(kuò)張(Random Expand)：以大于1的隨機(jī)擴(kuò)張比例擴(kuò)張圖像，初始化像素值為輸入填充值，并將原圖像隨機(jī)粘貼于該圖像上，再根據(jù)原圖像的粘貼位置換算出擴(kuò)張后真實(shí)標(biāo)注框的位置坐標(biāo)，見(jiàn)圖2(e)。

4)隨機(jī)裁剪(Random Crop)：以隨機(jī)的角度、縮放比例和長(zhǎng)寬比例生成若干候選框，再依據(jù)這些候選框和標(biāo)注框的面積交并比(IoU)，挑選出符合要求的裁剪結(jié)果，見(jiàn)圖2(f)。

5)調(diào)整大小(Resize)：隨機(jī)選取一種插值方式，將圖像調(diào)整為[608, 608]，同時(shí)調(diào)整bounding box的大小，見(jiàn)圖2(g)。

6)隨機(jī)水平翻轉(zhuǎn)(Random Horizontal Flip)：以隨機(jī)概率對(duì)圖像進(jìn)行水平翻轉(zhuǎn)，見(jiàn)圖2(h)。

圖2 數(shù)據(jù)增強(qiáng)方法

7)標(biāo)準(zhǔn)化(Normalize)：對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化處理，并歸一化圖像到區(qū)間[0,1]。

2 模型結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)分析

PP-YOLO網(wǎng)絡(luò)是基于原始目標(biāo)檢測(cè)模型YOLO v3進(jìn)行的進(jìn)一步優(yōu)化及改進(jìn)，網(wǎng)絡(luò)主要組成部分包括主干網(wǎng)絡(luò)、特征融合和檢測(cè)頭，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)

本實(shí)驗(yàn)采用ResNet50的第4個(gè)變種vd作為檢測(cè)的主干網(wǎng)絡(luò)，提取臍橙的圖像特征，輸出特征圖(feature map)，替換了原始YOLO v3的DarkNet53，保證信息傳遞不丟失，并且在骨干網(wǎng)絡(luò)中添加了可變形卷積(DCN)，用于捕捉特征圖中有物體的區(qū)域。DCN基于平行網(wǎng)絡(luò)學(xué)習(xí)偏移，使卷積核在輸入特征圖上的采樣點(diǎn)發(fā)生偏移，集中于感興趣的目標(biāo)區(qū)域。由于標(biāo)準(zhǔn)卷積中的規(guī)則格點(diǎn)采樣使網(wǎng)絡(luò)難以適應(yīng)幾何形變，因此加入可變形卷積采樣，通過(guò)對(duì)卷積核中各采樣點(diǎn)增加偏移變量，可以實(shí)現(xiàn)在當(dāng)前規(guī)則格點(diǎn)附近隨意采樣。

本實(shí)驗(yàn)使用特征金字塔網(wǎng)絡(luò)(FPN)進(jìn)行特征融合，從底向上通過(guò)一些卷積進(jìn)行特征提取，得到不同尺寸的特征圖，同時(shí)從上到下將得到的特征圖 進(jìn)行卷積和上采樣，橫向連接強(qiáng)位置信息的低層特征及強(qiáng)語(yǔ)義信息的高層特征，將多個(gè)尺度的特征進(jìn)行融合，最終由檢測(cè)頭實(shí)現(xiàn)類別預(yù)測(cè)以及位置定位。

檢測(cè)頭沿用YOLO v3檢測(cè)頭，使用1×1和3×3卷積進(jìn)行分類及定位，獲得并輸出最終的預(yù)測(cè)結(jié)果。

2.2 聚類anchor

對(duì)基于anchor的目標(biāo)檢測(cè)網(wǎng)絡(luò)，是否能夠合理設(shè)置anchor至關(guān)重要，會(huì)顯著影響模型的最終檢測(cè)性能。在訓(xùn)練過(guò)程中，anchor的大小和長(zhǎng)寬比要與待檢測(cè)物體的尺度保持基本一致，若anchor與物體的IoU大于設(shè)定的某一閾值，即為正樣本；反之，若正樣本的數(shù)目過(guò)少，可能會(huì)導(dǎo)致漏檢概率增大。

原YOLO v3的anchor有3個(gè)尺度：{128, 256, 512}，3個(gè)比例：{1∶1, 1∶2, 2∶1}，一共9組anchor。在臍橙圖像數(shù)據(jù)集上訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)時(shí)，應(yīng)根據(jù)數(shù)據(jù)的實(shí)際分布情況合理設(shè)置尺度。利用K-means聚類讀取所有xml文件中的圖片尺寸及目標(biāo)框的坐標(biāo)，將聚類的簇?cái)?shù)設(shè)置為9，當(dāng)K-means算法收斂時(shí)迭代結(jié)束，將結(jié)果可視化，如圖4所示。其中，黑色小點(diǎn)是隨機(jī)選取的4 000個(gè)物體框的大小，三角形狀為聚類結(jié)果，由于太密集不易查看，網(wǎng)絡(luò)可以推薦9組anchor的大小，如表2所示。

圖4 聚類結(jié)果

表2 高寬比推薦表

由表2可知，網(wǎng)絡(luò)推薦的anchor高寬比大多是1.0左右。此外，數(shù)據(jù)框的分布統(tǒng)計(jì)圖如圖5所示。從圖5也可以看出，臍橙果實(shí)的高寬比多數(shù)都在1∶1左右。所以，對(duì)于樹(shù)上成熟臍橙果實(shí)的檢測(cè)，可以將anchor設(shè)置為0.8∶1、1∶1、1.2∶1，而沒(méi)必要設(shè)置2∶1、1∶2這種明顯不合理的比例。對(duì)于anchor的大小，可以查看表2的高度和寬度統(tǒng)計(jì)，參考聚類結(jié)果，設(shè)置合理的大小。由于輸入的圖片均為正方形，所以不需要考慮歸一化操作影響高寬比變化的問(wèn)題。

圖5 真實(shí)框數(shù)據(jù)分布統(tǒng)計(jì)圖

3 模型訓(xùn)練

3.1 訓(xùn)練平臺(tái)

本實(shí)驗(yàn)的模型訓(xùn)練基于百度大腦AI studio平臺(tái)，采用開(kāi)源的深度學(xué)習(xí)框架PaddlePaddle、物體檢測(cè)框架PaddleDetection及深度學(xué)習(xí)開(kāi)發(fā)可視化工具VisualDL。本實(shí)驗(yàn)運(yùn)行所需的軟硬件信息和環(huán)境配置為：CPU 4核，RAM 32 GB，Tesla V100 GPU，顯存16 GB，磁盤100 GB，Python 3.7，PaddlePaddle 1.8.4，運(yùn)行cuda 9.0 API和cuDNN 7.6。

3.2 參數(shù)設(shè)置

初始化采用預(yù)訓(xùn)練好的分類模型權(quán)重，由于使用單卡GPU，且訓(xùn)練圖像的數(shù)量不多，將batch_size設(shè)為2，學(xué)習(xí)率取值為0.000 125，max_epoch設(shè)置為150，變化節(jié)點(diǎn)設(shè)置在總輪次數(shù)的2/3和8/9處。因YOLO系列算法不把背景算為一類，只需分類臍橙果實(shí)，故把參數(shù)num_classes設(shè)置為1。在制作數(shù)據(jù)集時(shí)使用VOC數(shù)據(jù)格式，AP評(píng)估時(shí)采用VOC的11 point方法。

當(dāng)訓(xùn)練模型時(shí)，使用在公共數(shù)據(jù)集上預(yù)訓(xùn)練的模型權(quán)重可降低不必要的消耗，但由于臍橙數(shù)據(jù)集與公共數(shù)據(jù)集存在較大差異，所以，為避免初始梯度過(guò)大，在剛開(kāi)始訓(xùn)練時(shí)，學(xué)習(xí)率從0.0開(kāi)始，慢慢增長(zhǎng)到設(shè)定的學(xué)習(xí)率。之后，當(dāng)?shù)?xùn)練達(dá)到max_epoch的2/3處時(shí)，學(xué)習(xí)率衰減為之前的0.1倍(lr_decay_gamma取0.1)，為0.000 012 5；達(dá)到max_epoch的8/9處時(shí)，學(xué)習(xí)率進(jìn)一步衰減為0.000 001 25。

3.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)[17]可將已學(xué)到的網(wǎng)絡(luò)參數(shù)遷移到新網(wǎng)絡(luò)中，新網(wǎng)絡(luò)不僅能夠識(shí)別底層的通用特征，還能快速學(xué)習(xí)新數(shù)據(jù)集的高維特征。在訓(xùn)練模型時(shí)，模型的損失值隨時(shí)間推移而慢慢收斂最終趨于穩(wěn)定，權(quán)值初始化需耗費(fèi)大量時(shí)間，而通過(guò)遷移學(xué)習(xí)可加快訓(xùn)練進(jìn)程，并且在數(shù)據(jù)集較小時(shí)也能得到較好的效果。本實(shí)驗(yàn)采用遷移學(xué)習(xí)的思想，在模型中加載了在公共數(shù)據(jù)集上學(xué)習(xí)好的網(wǎng)絡(luò)參數(shù)進(jìn)行權(quán)重初始化，在較短的訓(xùn)練時(shí)間內(nèi)取得較好的結(jié)果，減少了訓(xùn)練所需的時(shí)間和資源。

4 結(jié)果分析及可視化

4.1 模型評(píng)估指標(biāo)

本實(shí)驗(yàn)訓(xùn)練模型對(duì)晴天逆光、晴天順光及陰天3種天氣類型下的臍橙圖片進(jìn)行檢測(cè)，采用AP(Average Precision)及檢測(cè)速度來(lái)評(píng)估各模型的性能。具體計(jì)算公式[18]為

(1)

(2)

(3)

式中：n為待檢測(cè)的類別數(shù)；Pn為檢測(cè)準(zhǔn)確率；Rn為召回率；TP為臍橙被正確地識(shí)別為臍橙的數(shù)量；FP為樹(shù)葉、樹(shù)枝、天空等背景被錯(cuò)誤地識(shí)別為臍橙的數(shù)量；FN為臍橙被錯(cuò)誤地識(shí)別為樹(shù)葉、樹(shù)枝、天空等背景的數(shù)量。

4.2 訓(xùn)練結(jié)果分析

在晴天逆光、晴天順光及陰天環(huán)境下使用改進(jìn)的PP-YOLO模型訓(xùn)練臍橙檢測(cè)網(wǎng)絡(luò)，檢測(cè)準(zhǔn)確率隨訓(xùn)練輪次變化的具體情況如圖6所示。受益于預(yù)訓(xùn)練權(quán)重，檢測(cè)準(zhǔn)確率隨訓(xùn)練輪次的增加而逐漸上升，最后趨于飽和穩(wěn)定值，在較少的訓(xùn)練輪次內(nèi)即達(dá)到了較好的效果，大大縮短了模型訓(xùn)練所需的時(shí)間。晴天逆光環(huán)境下的檢測(cè)準(zhǔn)確率為90.81%，晴天順光環(huán)境下達(dá)到92.46%，陰天環(huán)境下達(dá)到94.31%。晴天逆光環(huán)境下的臍橙圖像光線較暗且分布不均勻，因部分臍橙處于逆光集中區(qū)域而加大了檢測(cè)難度，故檢測(cè)準(zhǔn)確率低于晴天順光下的環(huán)境。本實(shí)驗(yàn)采集的陰天臍橙圖像數(shù)據(jù)，光線相對(duì)較均勻，既無(wú)太陽(yáng)光照射又非昏暗的陰雨天氣，較晴天逆光和晴天順光更易于識(shí)別。

圖6 檢測(cè)準(zhǔn)確率的變化情況

在晴天逆光、晴天順光及陰天環(huán)境下使用改進(jìn)的PP-YOLO模型進(jìn)行訓(xùn)練的損失情況如圖7所示。由于采用在底層卷積層中共享的權(quán)重，訓(xùn)練損失值在較少訓(xùn)練步長(zhǎng)內(nèi)迅速下降，并收斂于一個(gè)較小值。實(shí)驗(yàn)結(jié)果表明：改進(jìn)的模型具有較優(yōu)的性能。

圖7 損失情況

4.3 對(duì)比驗(yàn)證

為了驗(yàn)證模型的魯棒性及泛化能力，本文針對(duì)晴天逆光、晴天順光和陰天環(huán)境分別采用改進(jìn)的PP-YOLO、原始PP-YOLO、YOLO v4、YOLO v3、Faster RCNN這5種模型設(shè)計(jì)對(duì)比驗(yàn)證實(shí)驗(yàn)，檢測(cè)結(jié)果對(duì)比曲線分別如圖8、圖9、圖10所示。結(jié)果表明，改進(jìn)的PP-YOLO在晴天逆光、晴天順光及陰天環(huán)境下的檢測(cè)準(zhǔn)確率均高于其他4種網(wǎng)絡(luò)模型，且原始PP-YOLO的檢測(cè)準(zhǔn)確率位列第二，F(xiàn)aster RCNN的檢測(cè)準(zhǔn)確率在3種情況下均高于YOLO v3，但低于YOLO v4。

圖8 晴天逆光檢測(cè)結(jié)果

圖9 晴天順光檢測(cè)結(jié)果

圖10 陰天檢測(cè)結(jié)果

為了探究在不同光照環(huán)境下模型的檢測(cè)性能，本文設(shè)計(jì)了幾組對(duì)照實(shí)驗(yàn)。5種網(wǎng)絡(luò)模型在晴天逆光、晴天順光及陰天3種環(huán)境下的檢測(cè)準(zhǔn)確率和檢測(cè)速度對(duì)比結(jié)果如表3所示。陰天環(huán)境下的檢測(cè)難度比晴天順光環(huán)境下低，晴天順光環(huán)境下的檢測(cè)難度比晴天逆光環(huán)境下略低，逆光環(huán)境下的檢測(cè)準(zhǔn)確率受大小不一的光斑影響。改進(jìn)的PP-YOLO模型的檢測(cè)準(zhǔn)確率和檢測(cè)速度均高于原始PP-YOLO、YOLO v4、YOLO v3和Faster RCNN模型。原始PP-YOLO的檢測(cè)準(zhǔn)確率和檢測(cè)速度均優(yōu)于另外3種模型，YOLO v4的檢測(cè)性能優(yōu)于Faster RCNN。Faster RCNN的檢測(cè)準(zhǔn)確率高于YOLO v3，但是檢測(cè)速度低于YOLO v3。

表3 對(duì)比驗(yàn)證結(jié)果

4.4 檢測(cè)結(jié)果可視化

選擇沒(méi)有標(biāo)注訓(xùn)練的臍橙圖片，經(jīng)模型檢測(cè)后如圖11所示。其中，(a)、(b)、(c)分別為晴天逆光、晴天順光和陰天的原圖示例，(d)、(e)、(f)為改進(jìn)的PP-YOLO的檢測(cè)結(jié)果，(g)、(h)、(i)為YOLO v4的檢測(cè)結(jié)果，(j)、(k)、(l)為Faster RCNN的檢測(cè)結(jié)果，(m)、(n)、(o)為YOLO v3的檢測(cè)結(jié)果。

圖11 檢測(cè)結(jié)果

結(jié)果表明：改進(jìn)的PP-YOLO模型具有較好的泛化性，在不同光線環(huán)境下對(duì)臍橙擁有較好的檢測(cè)能力。該模型在陰天環(huán)境中的識(shí)別性能優(yōu)于晴天逆光和晴天順光環(huán)境，且對(duì)粘連及被遮擋的臍橙也基本能夠準(zhǔn)確識(shí)別。根據(jù)圖(d)、(e)、(f)，輸出結(jié)果中的臍橙檢測(cè)數(shù)量和置信度較高，表明改進(jìn)的PP-YOLO模型較其他模型具有更好的檢測(cè)性能。

5 結(jié)束語(yǔ)

針對(duì)真實(shí)臍橙果園場(chǎng)景下自然及天氣環(huán)境復(fù)雜、檢測(cè)速度較慢和檢測(cè)準(zhǔn)確率較低等問(wèn)題，本文對(duì)基于YOLO v3模型的PP-YOLO目標(biāo)檢測(cè)模型進(jìn)行改進(jìn)，以適用于臍橙果實(shí)的檢測(cè)。主干網(wǎng)絡(luò)采用ResNet50-vd網(wǎng)絡(luò)提取特征，替換原始YOLO v3的DarkNet53網(wǎng)絡(luò)，同時(shí)在最后兩層換成可變形卷積(DCN)，減少模型的計(jì)算參數(shù)和復(fù)雜度，保證信息傳遞不丟失，并通過(guò)K-means聚類算法得到適宜本實(shí)驗(yàn)數(shù)據(jù)集臍橙大小的anchor，進(jìn)而提升臍橙檢測(cè)的效率。實(shí)驗(yàn)中，在晴天逆光、晴天順光和陰天3種環(huán)境下，對(duì)于不同的大小和數(shù)量、遮擋姿態(tài)、背景等多種情況，改進(jìn)模型均表現(xiàn)出較好的魯棒性和泛化能力。該檢測(cè)模型在晴天逆光下的mAP值為90.81%，檢測(cè)速度為72.30 fps；在晴天順光下的mAP值為92.46%，檢測(cè)速度為73.71 fps；在陰天環(huán)境下的mAP值為94.31%，檢測(cè)速度為74.90 fps。與其他模型相比，該模型的識(shí)別速度和檢測(cè)精確度均有一定的提升，為臍橙識(shí)別與采摘提供了良好的技術(shù)支持，具有廣闊的應(yīng)用前景和實(shí)用價(jià)值。