基于CenterNet的密集場景下多蘋果目標(biāo)快速識(shí)別方法

楊福增 雷小燕 劉志杰 樊 攀 閆 彬

(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院， 陜西楊凌 712100； 2.農(nóng)業(yè)農(nóng)村部蘋果全程機(jī)械化科研基地， 陜西楊凌 712100； 3.農(nóng)業(yè)農(nóng)村部北方農(nóng)業(yè)裝備科學(xué)觀測實(shí)驗(yàn)站， 陜西楊凌 712100)

0 引言

我國是世界上最大的蘋果生產(chǎn)國和消費(fèi)國，但蘋果的采摘仍以傳統(tǒng)的人工作業(yè)為主，人工采收不僅勞動(dòng)強(qiáng)度大，且隨著農(nóng)村勞動(dòng)力的減少，出現(xiàn)了用工荒的現(xiàn)象，亟需研發(fā)蘋果采摘機(jī)器人以降低對(duì)人工的過度依賴[1-2]。蘋果目標(biāo)的準(zhǔn)確快速識(shí)別是機(jī)器人實(shí)現(xiàn)自主采摘的重要前提[3-5]。在果園環(huán)境中， 密集場景(即遠(yuǎn)距離場景)指遠(yuǎn)距離拍攝的單幅圖像，該圖像包含大量的果實(shí)，且圖像中普遍存在果實(shí)重疊、遮擋的現(xiàn)象[6-7]。實(shí)現(xiàn)密集場景下多蘋果目標(biāo)的準(zhǔn)確快速識(shí)別，對(duì)提高采摘機(jī)器人的識(shí)別效率、進(jìn)而實(shí)現(xiàn)蘋果的智能化采摘至關(guān)重要。

傳統(tǒng)的果實(shí)識(shí)別方法主要基于果實(shí)的顏色、紋理和形狀特征等[8-11]，這類方法對(duì)單個(gè)果實(shí)或相鄰果實(shí)識(shí)別效果較好，但對(duì)果園中互相重疊或受枝條、樹葉遮擋的果實(shí)識(shí)別準(zhǔn)確率明顯降低[12]。近年來卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，CNN)在目標(biāo)檢測方面性能卓越，已經(jīng)被廣泛應(yīng)用于果實(shí)識(shí)別[13-15]。果實(shí)識(shí)別從原理上可劃分為兩類：一類需要將果實(shí)的識(shí)別問題分為兩步，先通過網(wǎng)絡(luò)產(chǎn)生可能包含果實(shí)的候選區(qū)域，再對(duì)候選區(qū)域進(jìn)行分類，這類網(wǎng)絡(luò)的識(shí)別時(shí)間普遍較長[16-17]。另一類方法直接通過CNN給出果實(shí)的置信度和位置坐標(biāo)，其特點(diǎn)是能提高果實(shí)的識(shí)別速度，但同樣使用錨框(Anchor box)導(dǎo)致遮擋類果實(shí)的識(shí)別精度降低[18-19]。上述兩類算法均是基于錨框的識(shí)別算法，針對(duì)不同的數(shù)據(jù)集，需要進(jìn)行不同大小、多個(gè)數(shù)量的錨框設(shè)定，由于錨框尺寸固定，導(dǎo)致網(wǎng)絡(luò)對(duì)不同尺寸目標(biāo)識(shí)別的通用性降低，對(duì)重疊、遮擋的小目標(biāo)果實(shí)可能無法匹配到錨框，從而導(dǎo)致漏檢。在預(yù)測階段需要通過非極大值抑制(Non-maximum suppression，NMS)刪除重復(fù)的候選框，使得目標(biāo)識(shí)別時(shí)間更長。

近兩年，基于無錨框(Anchor free)的目標(biāo)識(shí)別思路開始興起，無錨框是基于預(yù)測目標(biāo)關(guān)鍵點(diǎn)的識(shí)別算法，如CenterNet[20]、CornerNet-Lite[21]、ExtremeNet[22]等在人體姿態(tài)檢測上得到成功應(yīng)用。CenterNet通過預(yù)測每個(gè)目標(biāo)的中心點(diǎn)，并預(yù)測其寬、高尺寸實(shí)現(xiàn)目標(biāo)識(shí)別。CornerNet-Lite網(wǎng)絡(luò)通過預(yù)測目標(biāo)的左上角點(diǎn)和右下角點(diǎn)，兩個(gè)關(guān)鍵點(diǎn)進(jìn)行組合確定目標(biāo)。ExtremeNet網(wǎng)絡(luò)通過預(yù)測一幅圖像每個(gè)目標(biāo)的上、下、左、右4個(gè)極點(diǎn)和中心點(diǎn)，通過幾何關(guān)系對(duì)預(yù)測的關(guān)鍵點(diǎn)進(jìn)行分組實(shí)現(xiàn)目標(biāo)識(shí)別。與CornerNet等關(guān)鍵點(diǎn)預(yù)測模型相比，CenterNet只預(yù)測目標(biāo)的中心點(diǎn)，沒有預(yù)測點(diǎn)的分組問題，不需要NMS抑制冗余框，是無錨框領(lǐng)域識(shí)別精度和速度較優(yōu)的算法。

在密集場景下，圖像中的蘋果尺寸較小，且蘋果間互相重疊遮擋、蘋果被枝條和樹葉遮擋等現(xiàn)象嚴(yán)重，這些因素給蘋果目標(biāo)的準(zhǔn)確識(shí)別帶來困難。為實(shí)現(xiàn)密集場景中多蘋果目標(biāo)的準(zhǔn)確識(shí)別，本文通過改進(jìn)基于無錨框的CenterNet模型，設(shè)計(jì)Tiny Hourglass-24輕量級(jí)骨干網(wǎng)絡(luò)，同時(shí)優(yōu)化殘差模塊進(jìn)而提高蘋果的識(shí)別速度，實(shí)現(xiàn)密集場景下多蘋果目標(biāo)的準(zhǔn)確快速識(shí)別。

1 試驗(yàn)數(shù)據(jù)

1.1 圖像采集

圖像采集地點(diǎn)為陜西省乾縣農(nóng)業(yè)科技試驗(yàn)示范基地的標(biāo)準(zhǔn)化現(xiàn)代果園，采集設(shè)備為索尼FDR-AX45型相機(jī)。相機(jī)與樹冠距離為0.5～2 m，選擇多個(gè)角度和距離進(jìn)行拍攝，采集時(shí)間為白天，包括樹葉遮擋、枝條遮擋、果實(shí)間重疊遮擋、順光和逆光等環(huán)境下的圖像，最終采集蘋果圖像1 852幅。部分采集圖像如圖1所示，可以看到在密集場景中(圖1b～1d)，果園蘋果呈多簇密集生長的情況，存在大量重疊、遮擋的現(xiàn)象，導(dǎo)致密集場景下的蘋果目標(biāo)識(shí)別存在較大難度。

圖1 果園環(huán)境下的蘋果圖像Fig.1 Images of apples in an orchard environment

1.2 數(shù)據(jù)集制作

利用LabelImg標(biāo)注軟件繪制蘋果矩形框，標(biāo)注后生成相對(duì)應(yīng)的xml文件，其中標(biāo)注信息包含每個(gè)蘋果目標(biāo)真實(shí)的左上角點(diǎn)和右下角點(diǎn)像素坐標(biāo)，數(shù)據(jù)集保存為PASCAL VOC格式。為了驗(yàn)證在密集場景下算法的識(shí)別性能，將標(biāo)注后隨機(jī)選擇的852幅測試集分為2類，其中測試集A為近距離場景下的蘋果，共397幅圖像，包含3 542個(gè)蘋果，平均一幅圖像包含8.92個(gè)蘋果目標(biāo)。測試集B為攝像機(jī)遠(yuǎn)距離拍攝的密集場景下的圖像，共455幅圖像，包含11 578個(gè)蘋果，平均每幅圖像有25.45個(gè)蘋果目標(biāo)，其果實(shí)在圖像中的尺寸較小，遮擋現(xiàn)象較為普遍，兩類測試集上均包含不同光照情況下的圖像。

由于深度學(xué)習(xí)需要大量數(shù)據(jù)集提升網(wǎng)絡(luò)的識(shí)別性能，對(duì)剩余的1 000幅圖像進(jìn)行亮度、銳度、色度的增強(qiáng)和減弱，加入0.01的高斯噪聲、進(jìn)行圖像翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式來豐富數(shù)據(jù)集，最終共生成圖像28 020幅用于網(wǎng)絡(luò)訓(xùn)練。

2 目標(biāo)快速識(shí)別方法

2.1 CenterNet網(wǎng)絡(luò)

CenterNet網(wǎng)絡(luò)比基于錨框的識(shí)別算法更簡單，更快且更準(zhǔn)確[20]。CenterNet采用 “點(diǎn)即是目標(biāo)”的思路，通過尋找待識(shí)別物體的中心點(diǎn)以及寬、高來確定目標(biāo)。CenterNet網(wǎng)絡(luò)首先對(duì)輸入圖像預(yù)處理，4倍下采樣降低圖像分辨率；然后通過骨干網(wǎng)絡(luò)Hourglass-104進(jìn)行特征提取，產(chǎn)生一組關(guān)鍵點(diǎn)、目標(biāo)寬高尺寸以及中心點(diǎn)誤差；最后用最大池化(Max pooling)篩選保留的關(guān)鍵點(diǎn)，在關(guān)鍵點(diǎn)附近產(chǎn)生預(yù)測框。CenterNet網(wǎng)絡(luò)識(shí)別流程如圖2所示。網(wǎng)絡(luò)總的輸出通道數(shù)為C+4，C為識(shí)別目標(biāo)的類別數(shù)，4為通道數(shù)，表示目標(biāo)的寬、高尺寸以及目標(biāo)中心點(diǎn)的橫向和縱向坐標(biāo)誤差。

圖2 CenterNet網(wǎng)絡(luò)識(shí)別流程Fig.2 Progress of CenterNet recognition

2.2 蘋果中心點(diǎn)預(yù)測

CenterNet預(yù)測蘋果目標(biāo)中心點(diǎn)的過程分為3步：首先根據(jù)標(biāo)注保存的xml文件內(nèi)的像素坐標(biāo)信息，求取每個(gè)蘋果真實(shí)的中心點(diǎn)坐標(biāo)，將真實(shí)中心點(diǎn)位置的得分置為1；其次，考慮到蘋果真實(shí)中心點(diǎn)附近的區(qū)域也近似代表蘋果目標(biāo)，通過高斯核函數(shù)Yxyc在真實(shí)中心點(diǎn)附近生成一個(gè)二維的正態(tài)分布，使真實(shí)的蘋果中心點(diǎn)附近的區(qū)域值為0～1之間的數(shù)；最后，通過網(wǎng)絡(luò)訓(xùn)練預(yù)測出一組蘋果可能的中心點(diǎn)，預(yù)測的中心點(diǎn)得分xyc在0～1之間，預(yù)測的中心點(diǎn)和真實(shí)中心點(diǎn)之間的最小誤差為Lk，誤差函數(shù)采用改進(jìn)的Focal loss[23]，即

Lk=

(1)

(2)

式中N——單幅圖像中目標(biāo)的數(shù)量

x、y——4倍下采樣后目標(biāo)真實(shí)的中心點(diǎn)坐標(biāo)

c——識(shí)別目標(biāo)的類別，c取1

α、β——每個(gè)點(diǎn)貢獻(xiàn)的超參數(shù)，α取2，β取4

σp——自適應(yīng)蘋果目標(biāo)的標(biāo)準(zhǔn)差

在進(jìn)入骨干網(wǎng)絡(luò)訓(xùn)練之前，首先對(duì)圖像進(jìn)行4倍下采樣預(yù)處理，真實(shí)的中心點(diǎn)坐標(biāo)在縮小4倍后會(huì)產(chǎn)生量化誤差，因此需要對(duì)每一個(gè)中心點(diǎn)預(yù)測中心點(diǎn)偏移量P，偏移損失Loff計(jì)算公式為

(3)

其中

P=(δip，δip)

(4)

(5)

式中x1、y1——蘋果目標(biāo)左上角點(diǎn)像素坐標(biāo)

x2、y2——蘋果目標(biāo)右下角點(diǎn)像素坐標(biāo)

p——目標(biāo)真實(shí)的中心點(diǎn)

在預(yù)測階段，對(duì)輸出的特征圖用3×3 最大池化提取特征圖上的中心點(diǎn)，選出特征圖上大于或等于周圍8個(gè)相鄰值的點(diǎn)，作為初步預(yù)測的中心點(diǎn)，對(duì)預(yù)測的點(diǎn)按照置信度由高到低進(jìn)行排序，選取前50個(gè)點(diǎn)作為預(yù)測的中心點(diǎn)，保留置信度大于0.3的點(diǎn)作為最終預(yù)測的中心點(diǎn)。

2.3 蘋果寬、高尺寸預(yù)測

網(wǎng)絡(luò)除了要預(yù)測蘋果的中心點(diǎn)，也要預(yù)測每個(gè)中心點(diǎn)對(duì)應(yīng)的寬和高。CenterNet計(jì)算出圖像中蘋果的真實(shí)寬度和高度s，通過網(wǎng)絡(luò)訓(xùn)練預(yù)測出蘋果目標(biāo)的寬、高尺寸。尺寸誤差Lsize的計(jì)算公式為

(6)

其中

s=(x2-x1，y2-y1)

(7)

訓(xùn)練的損失函數(shù)由3部分構(gòu)成，分別是預(yù)測的關(guān)鍵點(diǎn)損失Lk、預(yù)測框的尺寸損失Lsize以及中心點(diǎn)的偏移損失Loff，總體目標(biāo)損失函數(shù)Ldet的公式為

Ldet=Lk+αoffLoff+βsizeLsize

(8)

式中αoff——偏移損失權(quán)重，取為1

βsize——尺寸損失權(quán)重，取為0.1

2.4 CenterNet網(wǎng)絡(luò)的改進(jìn)設(shè)計(jì)

骨干網(wǎng)絡(luò)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分，其主要對(duì)目標(biāo)的特征進(jìn)行提取。CenterNet原型使用了Hourglass-104骨干網(wǎng)絡(luò)進(jìn)行特征提取，Hourglass最先提出用于復(fù)雜的人體姿態(tài)估計(jì)[23]，該網(wǎng)絡(luò)由一個(gè)或多個(gè)沙漏模塊組成，每個(gè)沙漏模塊通過下采樣和上采樣的方式對(duì)輸入圖像進(jìn)行特征提取，上、下采樣過程均采用多個(gè)殘差(Residual)模塊，網(wǎng)絡(luò)深度為104層，其結(jié)構(gòu)復(fù)雜龐大，且受巨大參數(shù)量制約，需要多塊高性能顯卡帶動(dòng)訓(xùn)練，網(wǎng)絡(luò)運(yùn)行速度很慢。

鑒于本研究的識(shí)別為單一的蘋果類別，淺層網(wǎng)絡(luò)也可以實(shí)現(xiàn)蘋果目標(biāo)的特征提取[19]，因此本文改進(jìn)設(shè)計(jì)了輕量化的CenterNet骨干網(wǎng)絡(luò)，以提高蘋果的識(shí)別速度。考慮到密集場景下蘋果多為小目標(biāo)，特征圖分辨率過小可能丟失小目標(biāo)蘋果的信息，因此在骨干網(wǎng)絡(luò)中，本文對(duì)圖像僅進(jìn)行3倍下采樣降低特征圖分辨率，再通過3倍上采樣恢復(fù)特征圖的分辨率。為了降低網(wǎng)絡(luò)參數(shù)量，提升蘋果目標(biāo)識(shí)別的速度，對(duì)Hourglass-104的單個(gè)Residual模塊進(jìn)行了優(yōu)化，將原有Residual模塊第1層的3×3卷積的通道數(shù)壓縮2倍，將第2層的3×3卷積替換為1×1的分組卷積[24]，改進(jìn)后的G-Residual模塊改進(jìn)設(shè)計(jì)如圖3所示。圖3中n為Residual模塊的通道數(shù)量。

圖3 Residual模塊改進(jìn)結(jié)果Fig.3 Residual module improvement result

重新設(shè)計(jì)的沙漏模塊命名為Tiny Hourglass，由多個(gè)G-Residual組成，單個(gè)Tiny Hourglass模塊由下采樣層、上采樣層、跳躍連接層構(gòu)成，每層均使用1個(gè)G-Residual模塊。下采樣層對(duì)特征圖進(jìn)行3倍下采樣提取不同尺度下的特征，3倍下采樣后特征圖的分辨率降為16像素×16像素，再通過上采樣層3倍上采樣進(jìn)行特征提取，恢復(fù)圖像的分辨率。輸出特征圖的分辨率為128像素×128像素，大分辨率的特征圖有利于目標(biāo)的準(zhǔn)確識(shí)別。在每個(gè)下采樣層和上采樣層之間，添加跳躍連接層彌補(bǔ)下采樣丟失的目標(biāo)信息。改進(jìn)的骨干網(wǎng)絡(luò)由2個(gè)相同的Tiny Hourglass模塊堆疊而成，整個(gè)骨干網(wǎng)絡(luò)為全卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)深度為24層，2個(gè)Tiny Hourglass模塊采用中間監(jiān)督[23](Intermediate supervision)方式，將第1個(gè)Tiny Hourglass模塊輸出的特征圖和輸入特征圖作為第2個(gè)Tiny Hourglass模塊的輸入，基于Tiny Hourglass-24骨干網(wǎng)絡(luò)的CenterNet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，圖4中A、B、C為跳躍連接層。

3 網(wǎng)絡(luò)訓(xùn)練

3.1 試驗(yàn)運(yùn)行平臺(tái)

本試驗(yàn)所運(yùn)行的硬件平臺(tái)為T7920塔式工作站，處理器為Intel(R) Xeon(R) 5118 CPU，2.30、2.29 GHz (雙處理器)，32 GB運(yùn)行內(nèi)存，顯卡為Nvidia RTX2080TI-11G。在Windows 10操作系統(tǒng)上運(yùn)行，借助Pytorch1.2框架、CUDA 10.0、CUDNN 7.3軟件工具搭建運(yùn)行環(huán)境。

圖4 基于Tiny Hourglass-24的CenterNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 CenterNet network structure based on Tiny Hourglass-24

3.2 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練的批處理量為68，初始學(xué)習(xí)率為0.000 25，網(wǎng)絡(luò)訓(xùn)練共迭代100輪，學(xué)習(xí)率在60輪和90輪時(shí)分別下降10倍。訓(xùn)練前對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，使用整個(gè)網(wǎng)絡(luò)最后一層的特征圖來進(jìn)行預(yù)測。網(wǎng)絡(luò)訓(xùn)練的損失值如圖5所示。由圖5可知，網(wǎng)絡(luò)在前20輪訓(xùn)練時(shí)，損失值快速下降，80輪之后，損失值基本趨于穩(wěn)定。

圖5 網(wǎng)絡(luò)訓(xùn)練損失曲線Fig.5 Network training loss curve

3.3 評(píng)價(jià)指標(biāo)

為驗(yàn)證本文所提網(wǎng)絡(luò)的識(shí)別性能，利用F1值和平均精度來對(duì)網(wǎng)絡(luò)的識(shí)別性能進(jìn)行評(píng)價(jià)。

4 結(jié)果與分析

4.1 不同深度Tiny Hourglass網(wǎng)絡(luò)識(shí)別結(jié)果對(duì)比

網(wǎng)絡(luò)深度對(duì)識(shí)別性能有很大影響，淺層網(wǎng)絡(luò)會(huì)導(dǎo)致其特征提取能力不強(qiáng)，加深網(wǎng)絡(luò)層數(shù)會(huì)提取更加復(fù)雜的深層特征，但會(huì)導(dǎo)致識(shí)別速度降低。為了在不降低識(shí)別精度的同時(shí)提升網(wǎng)絡(luò)的識(shí)別速度，在確定骨干網(wǎng)絡(luò)深度之前，本試驗(yàn)設(shè)計(jì)了3種不同深度的Tiny Hourglass網(wǎng)絡(luò)進(jìn)行性能對(duì)比，設(shè)置深度分別為32、24、12層，網(wǎng)絡(luò)在測試集A、B下的識(shí)別結(jié)果如表2所示。

由表2可知，隨著網(wǎng)絡(luò)深度的降低，網(wǎng)絡(luò)識(shí)別的F1值下降，且網(wǎng)絡(luò)在測試集B上的平均精度和F1值降低較為嚴(yán)重。當(dāng)骨干網(wǎng)絡(luò)深度為24層時(shí)，在測試集A上識(shí)別的平均精度和F1值分別為98.90%和96.39%；在測試集B上識(shí)別的平均精度和F1值

表2 不同深度骨干網(wǎng)絡(luò)識(shí)別結(jié)果Tab.2 Backbone network identification results of different depths

為93.63%和92.91%，單幅圖像的平均識(shí)別時(shí)間為0.069 s，在兩類測試集上的識(shí)別精度和速度均較好。網(wǎng)絡(luò)深度在32層時(shí)，在測試集B識(shí)別的平均精度和F1值與24層時(shí)基本相當(dāng)，但Tiny Hourglass-24網(wǎng)絡(luò)識(shí)別一幅圖像的時(shí)間比Tiny Hourglass-32減少0.032 s。當(dāng)網(wǎng)絡(luò)降為12層時(shí)，在測試集B上，識(shí)別的平均精度和F1值相較于24層分別下降了19.45個(gè)百分點(diǎn)和9.13個(gè)百分點(diǎn)，可見，12層的淺層網(wǎng)絡(luò)對(duì)密集場景果實(shí)識(shí)別效果較差。由于在測試集B上，單幅圖像蘋果數(shù)目增多，果實(shí)在圖像中的尺寸變小，蘋果間互相重疊遮擋、蘋果被枝條遮擋嚴(yán)重，12層骨干網(wǎng)絡(luò)提取特征能力有限，對(duì)復(fù)雜場景下多目標(biāo)的識(shí)別效果較差。 綜上，Tiny Hourglass-24在識(shí)別速度和識(shí)別精度上均可以取得較好的結(jié)果，最終選擇深度為24層的Tiny Hourglass網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

4.2 不同骨干網(wǎng)絡(luò)識(shí)別結(jié)果對(duì)比

為了驗(yàn)證Tiny Hourglass-24網(wǎng)絡(luò)對(duì)蘋果目標(biāo)的識(shí)別性能，本文將Tiny Hourglass-24網(wǎng)絡(luò)與另外兩類骨干網(wǎng)絡(luò)DLA-34、ResNet-18進(jìn)行比較，在兩類測試集下的識(shí)別結(jié)果見表3。

表3 不同骨干網(wǎng)絡(luò)的識(shí)別結(jié)果Tab.3 Detection results of different backbone networks

由表3可知，Tiny Hourglass-24在識(shí)別精度和識(shí)別速度上性能最優(yōu)。DLA-34骨干網(wǎng)絡(luò)在測試集B上平均精度為91.16%，比Tiny Hourglass-24低2.47個(gè)百分點(diǎn)，此外，DLA-34網(wǎng)絡(luò)模型較大、運(yùn)行時(shí)間更長，在識(shí)別速度上，Tiny Hourglass-24在測試集B上對(duì)單幅圖像的識(shí)別時(shí)間比DLA-34減少0.034 s。ResNet-18骨干網(wǎng)絡(luò)相較于Tiny Hourglass-24和DLA-34更加輕量化，在識(shí)別速度上優(yōu)于前兩種骨干網(wǎng)絡(luò)，但由于網(wǎng)絡(luò)較淺，特征提取能力有限，在密集場景的測試集B上識(shí)別性能明顯降低，其F1值和平均精度相較于Tiny Hourglass-24分別下降了4.63個(gè)百分點(diǎn)和12.33個(gè)百分點(diǎn)。Tiny Hourglass-24骨干網(wǎng)絡(luò)通過3倍下采樣和上采樣的方式使特征圖的分辨率較高，有利于小目標(biāo)的特征提?。唤Y(jié)合跳躍連接層彌補(bǔ)下采樣丟失的信息，增加了網(wǎng)絡(luò)特征提取能力，更適用于密集場景下多目標(biāo)的識(shí)別。

圖6為基于Tiny Hourglass-24的CenterNet識(shí)別結(jié)果，其中紫色框?yàn)榫W(wǎng)絡(luò)識(shí)別到的蘋果，紅色框?yàn)槁┳R(shí)別蘋果。由圖6可以看出，網(wǎng)絡(luò)在測試集A上對(duì)陰天和晴天逆光、順光條件下的識(shí)別效果較好，對(duì)遮擋面積嚴(yán)重的蘋果也可以準(zhǔn)確識(shí)別。在測試集B中，網(wǎng)絡(luò)在陰天環(huán)境下識(shí)別效果較好，且對(duì)重疊和遮擋的蘋果識(shí)別效果較好。在逆光情況下，蘋果表面顏色較暗，網(wǎng)絡(luò)在蘋果被枝干重度遮擋的情況下存在少量漏識(shí)別；在順光情況下，蘋果表面亮度增強(qiáng)，部分表面顏色特征變?yōu)榘咨?，?dǎo)致對(duì)遮擋蘋果存在個(gè)別漏檢。

圖6 基于Tiny Hourglass-24的CenterNet識(shí)別結(jié)果Fig.6 Detection results of CenterNet based on Tiny Hourglass-24

4.3 不同算法識(shí)別結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證基于無錨框的CenterNet算法對(duì)蘋果目標(biāo)的識(shí)別性能，本文將改進(jìn)的CenterNet與YOLO v3、CornerNet-Lite算法在兩類測試集上進(jìn)行了對(duì)比，以平均精度作為評(píng)價(jià)指標(biāo)。YOLO v3網(wǎng)絡(luò)屬于經(jīng)典的基于錨框的識(shí)別思想，CornerNet-Lite網(wǎng)絡(luò)是另外一種基于無錨框的識(shí)別方法，它通過預(yù)測物體的左上角點(diǎn)和右下角點(diǎn)，將預(yù)測的關(guān)鍵點(diǎn)進(jìn)行匹配實(shí)現(xiàn)目標(biāo)識(shí)別，網(wǎng)絡(luò)識(shí)別結(jié)果如表4所示。

表4 不同網(wǎng)絡(luò)識(shí)別結(jié)果Tab.4 Different network detection results

由表4可知，本文提出的基于Tiny Hourglass-24的CenterNet網(wǎng)絡(luò)在測試集A和測試集B上的平均精度均最高。在測試集A上，改進(jìn)CenterNet網(wǎng)絡(luò)的平均精度比YOLO v3和CornerNet-Lite分別高7.20、8.50個(gè)百分點(diǎn)。在測試集B上，改進(jìn)CenterNet網(wǎng)絡(luò)的平均精度高于YOLO v3網(wǎng)絡(luò)4.13個(gè)百分點(diǎn)，高于CornerNet-Lite 29.03個(gè)百分點(diǎn)。圖7為基于Tiny Hourglass-24的CenterNet網(wǎng)絡(luò)在近距離場景和密集場景下中心點(diǎn)識(shí)別結(jié)果，可以看出，在樹枝遮擋、果實(shí)互相重疊遮擋的情況下，網(wǎng)絡(luò)均可以準(zhǔn)確識(shí)別到蘋果的中心點(diǎn)。

圖7 改進(jìn)CenterNet網(wǎng)絡(luò)預(yù)測的中心點(diǎn)結(jié)果Fig.7 Results of improved CenterNet network prediction center

3種網(wǎng)絡(luò)的識(shí)別結(jié)果如圖8所示，其中左圖為在測試集A上的識(shí)別結(jié)果，右圖為在測試集B上的識(shí)別結(jié)果。由圖8a可知，改進(jìn)CenterNet在近距離場景的識(shí)別效果較好，在果實(shí)被樹干遮擋和果實(shí)之間互相重疊遮擋的情況，均能取得良好的識(shí)別結(jié)果。在密集場景的測試集上，網(wǎng)絡(luò)在樹葉遮擋、果實(shí)之間重度遮擋的情況下，均可以準(zhǔn)確識(shí)別到蘋果。由圖8b可知，當(dāng)果實(shí)被樹干遮擋以及果實(shí)被樹葉遮擋時(shí)，YOLO v3存在漏識(shí)別的現(xiàn)象，這是由于YOLO v3是基于錨框的多尺度預(yù)測模型，由于錨框參數(shù)需要設(shè)置，無法靈活適應(yīng)蘋果目標(biāo)的尺寸，在密集場景下遮擋嚴(yán)重，容易丟失蘋果的特征，使得YOLO v3對(duì)小尺度遮擋類的蘋果存在漏檢。

圖8 3種模型在兩類測試集中的識(shí)別結(jié)果Fig.8 Detection results of three models under two test sets

由表4和圖8c可知，基于CornerNet-Lite網(wǎng)絡(luò)的識(shí)別結(jié)果在近距離場景測試集上的性能遠(yuǎn)優(yōu)于其在密集場景測試集。在近距離場景和密集場景中，網(wǎng)絡(luò)識(shí)別均存在較大的誤檢框，這是由于CornerNet-Lite網(wǎng)絡(luò)對(duì)每個(gè)目標(biāo)預(yù)測出兩個(gè)關(guān)鍵點(diǎn)，在預(yù)測出蘋果的左上角和右下角兩個(gè)關(guān)鍵點(diǎn)后，在關(guān)鍵點(diǎn)匹配階段，存在部分不同蘋果目標(biāo)的關(guān)鍵點(diǎn)被錯(cuò)誤組合為一個(gè)蘋果，導(dǎo)致了網(wǎng)絡(luò)的錯(cuò)檢。在密集場景中，由于圖像中蘋果目標(biāo)較小，果實(shí)與果實(shí)之間距離更加緊密，存在較大的誤檢框，降低了在密集場景下的識(shí)別精度。因此，基于多個(gè)關(guān)鍵點(diǎn)分組的思路并不適用于密集場景下的小目標(biāo)識(shí)別，而基于Tiny Hourglass-24骨干網(wǎng)絡(luò)的CenterNet網(wǎng)絡(luò)，只預(yù)測一個(gè)目標(biāo)中心的關(guān)鍵點(diǎn)，沒有預(yù)測點(diǎn)的分組問題，也不需要NMS刪除重復(fù)框，更適合密集環(huán)境下的小目標(biāo)蘋果識(shí)別。

4.4 性能驗(yàn)證

為了驗(yàn)證本文方法的識(shí)別性能，分別與Faster R-CNN[25]、R-FCN[26]、改進(jìn)YOLO v3[19]的研究結(jié)果進(jìn)行了比較，結(jié)果見表5。

由表5可以看出，F(xiàn)aster R-CNN、 R-FCN、改進(jìn)YOLO v3算法在單幅圖像蘋果數(shù)約為13個(gè)的情況下，F(xiàn)1值分別為89.8%、90.2%、75.15%，而本文方法在單幅圖像平均25.45個(gè)蘋果的測試集上識(shí)別的F1值為92.91%，比Faster R-CNN、 R-FCN、改進(jìn)YOLO v3分別高3.11、2.71、17.76個(gè)百分點(diǎn)。

表5 不同方法比較結(jié)果Tab.5 Comparison of results of different methods

這3類算法由于錨框的限制，導(dǎo)致對(duì)遮擋類目標(biāo)識(shí)別精度不高，錨框的設(shè)計(jì)不僅增加了網(wǎng)絡(luò)參數(shù)量，且容易丟失小目標(biāo)蘋果的信息，不利于密集場景下多蘋果目標(biāo)的識(shí)別。本文提出的密集場景下多蘋果目標(biāo)的快速識(shí)別方法，采用無錨框的設(shè)計(jì)使其能更好地適用遮擋類的多目標(biāo)蘋果識(shí)別，不需要使用NMS操作，節(jié)省了大量時(shí)間。本文方法在密集場景測試集上識(shí)別的平均精度為93.63%，F(xiàn)1值為92.91%，可以實(shí)現(xiàn)密集場景下多蘋果目標(biāo)的準(zhǔn)確識(shí)別。

5 結(jié)論

(1)提出了一種密集場景下多蘋果目標(biāo)的快速識(shí)別方法。借鑒“點(diǎn)即是目標(biāo)”的思路，直接預(yù)測蘋果的中心點(diǎn)和寬、高尺寸來識(shí)別蘋果。設(shè)計(jì)了基于Tiny Hourglass-24骨干網(wǎng)絡(luò)的CenterNet模型，并進(jìn)一步優(yōu)化Hourglass網(wǎng)絡(luò)的殘差結(jié)構(gòu)來提高識(shí)別速度。該模型在近距離場景測試集下識(shí)別的平均精度為98.90%，F(xiàn)1值為96.39%；在密集場景測試集下識(shí)別的平均精度和F1值分別為93.63%和92.91%，單幅圖像平均識(shí)別時(shí)間為0.069 s。

(2)通過將改進(jìn)CenterNet與YOLO v3、CornerNet-Lite網(wǎng)絡(luò)在兩類測試集上進(jìn)行對(duì)比驗(yàn)證，試驗(yàn)結(jié)果表明，改進(jìn)CenterNet網(wǎng)絡(luò)在測試集B上的平均精度比YOLO v3提高4.13個(gè)百分點(diǎn)，比CornerNet-Lite高29.03個(gè)百分點(diǎn)?；赥iny Hourglass-24的CenterNet通過預(yù)測目標(biāo)中心點(diǎn)的方法，比基于錨框的識(shí)別方法、基于多個(gè)關(guān)鍵點(diǎn)進(jìn)行匹配的識(shí)別方法更具優(yōu)勢，整個(gè)識(shí)別過程不使用錨框和NMS后處理，減少了網(wǎng)絡(luò)參數(shù)，更適用于密集場景下多蘋果目標(biāo)的識(shí)別。