基于樹莓派及深度學(xué)習(xí)的柑橘識(shí)別系統(tǒng)設(shè)計(jì)*

陳品嵐，張小花，朱立學(xué)，李浩林

(1. 仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州市，510225； 2. 仲愷農(nóng)業(yè)工程學(xué)院自動(dòng)化學(xué)院，廣州市，510225)

0 引言

近年來，隨著社會(huì)經(jīng)濟(jì)的發(fā)展，水果的產(chǎn)量正在逐年增長，在2020年我國的果園面積為12 280 khm2，同年水果產(chǎn)量已經(jīng)達(dá)到了289 620 kt。柑橘作為主產(chǎn)水果之一，其種植面積和產(chǎn)量每年都有小幅度增加，在2019年其占我國園林水果種植面積和產(chǎn)量的21.32%和24.08%[1]。柑橘測產(chǎn)是為產(chǎn)后服務(wù)、市場供求分析和項(xiàng)目實(shí)施等提供科學(xué)依據(jù)的一項(xiàng)具有重要意義的工作。因此設(shè)計(jì)一種輕便式的柑橘識(shí)別系統(tǒng)可為柑橘測產(chǎn)提供一定的設(shè)備支持，同時(shí)也可以為水果采摘機(jī)器人的識(shí)別系統(tǒng)提供一定的技術(shù)支撐。

水果外觀的特征因生物學(xué)的特性而有很大的不同，另外，自然環(huán)境的復(fù)雜性和時(shí)間變化也會(huì)增加水果外觀的變化。國內(nèi)外眾多學(xué)者對(duì)自然環(huán)境中的果實(shí)識(shí)別分割方法進(jìn)行了多方面研究。Kurtulmus等[2]使用顏色和Gabor紋理的特征分析方法識(shí)別了未熟的柑橘，其識(shí)別正確率達(dá)到75.3%，但對(duì)枝葉覆蓋的水果的識(shí)別效果較差。目前深度學(xué)習(xí)算法在復(fù)雜環(huán)境下對(duì)目標(biāo)表現(xiàn)出良好的識(shí)別能力。Zhang等[3]提出一種改進(jìn)型R-CNN(Regions-based Convolutional Neural Network)的蘋果樹枝條識(shí)別方法，使用深度和索引(Depth & Index，D & I)的融合檢測，提高了蘋果樹枝條識(shí)別準(zhǔn)確率。岳有軍等[4]改進(jìn)了Mask RCNN網(wǎng)絡(luò)，對(duì)復(fù)雜環(huán)境下的蘋果進(jìn)行識(shí)別，增加加權(quán)損失函數(shù)來提高識(shí)別精度，其識(shí)別精度為92.26%。武星等[5]使用了輕量化網(wǎng)絡(luò)Light YOLOv3(You Only Look Once v3)對(duì)復(fù)雜背景下的蘋果進(jìn)行檢測，改進(jìn)了卷積塊和損失函數(shù)，并使用學(xué)習(xí)優(yōu)化技術(shù)，最后其平均精度可達(dá)94.69%。趙德安等[6]也使用YOLOv3對(duì)蘋果進(jìn)行目標(biāo)檢測，平均精度為87.71%。彭紅星等[7]提出改進(jìn)型SSD(Single-shot Multibox Detector)深度學(xué)習(xí)水果檢測模型，增加了網(wǎng)絡(luò)層數(shù)和使用了遷移學(xué)習(xí)，對(duì)在不同環(huán)境內(nèi)的多種水果的平均檢測精度達(dá)88.4%。畢松等[8]提出基于Darknet19網(wǎng)絡(luò)模型的柑橘果實(shí)識(shí)別方法，對(duì)自然環(huán)境中存在多重干擾的柑橘識(shí)別準(zhǔn)確率達(dá)到86.9%。對(duì)于上述文獻(xiàn)所使用的硬件設(shè)備相對(duì)于樹莓派(Raspberry Pi)來說，其體積較大，在一些果園中穿梭存在一定的困難。

國內(nèi)各種識(shí)別系統(tǒng)被應(yīng)用在樹莓派上。牛犇等[9]使用樹莓派為基礎(chǔ)構(gòu)成的實(shí)時(shí)人臉表情識(shí)別系統(tǒng)，檢測采用Haar-like特征算法，分類器模型為深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型。江美玲等[10]使用樹莓派為基礎(chǔ)構(gòu)成的實(shí)時(shí)服裝識(shí)別系統(tǒng)，使用SSD檢測框架。本文為設(shè)計(jì)輕便式的柑橘識(shí)別系統(tǒng)，采用了樹莓派為系統(tǒng)硬件基礎(chǔ)，基于深度學(xué)習(xí)SSD網(wǎng)絡(luò)框架，對(duì)比不同訓(xùn)練次數(shù)的識(shí)別結(jié)果，并根據(jù)環(huán)境光照強(qiáng)度對(duì)圖像使用直方圖均衡化處理。同時(shí)，接收GPS(Global Positioning System)數(shù)據(jù)，確定區(qū)域柑橘密度，進(jìn)行數(shù)據(jù)可視化。

1 系統(tǒng)總體方案

1.1 系統(tǒng)總體框架

本文系統(tǒng)由樹莓派4B硬件平臺(tái)、攝像頭模塊、光照強(qiáng)度傳感器模塊和GPS定位模塊等硬件部分，同時(shí)包括樹莓派操作系統(tǒng)、虛擬環(huán)境、TensorFlow2.2.0、labelimg、OpenCV4等軟件部分共同構(gòu)成。樹莓派4B使用1.5 GHz四核ARM Cortex-A72處理器，4 G內(nèi)存，并引入U(xiǎn)SB3.0接口，支持雙頻無線Wi-Fi，5 V/3 A的USB-C接口供電，具有良好的性能和豐富的接口。Python語言的可讀性高而且面向?qū)ο蟮奶匦詫?duì)于本系統(tǒng)的開發(fā)來說非常適合，故使用Python3編程語言進(jìn)行柑橘識(shí)別系統(tǒng)的開發(fā)和設(shè)計(jì)，同時(shí)也是為了能更好地在樹莓派上對(duì)系統(tǒng)進(jìn)行測試和驗(yàn)證。系統(tǒng)總體框圖如圖1所示。

1.2 系統(tǒng)流程

系統(tǒng)整體的工作流程為啟動(dòng)樹莓派并處于待機(jī)狀態(tài)，從命令行窗口進(jìn)入已經(jīng)安裝好TensorFlow的虛擬環(huán)境，運(yùn)行柑橘識(shí)別函數(shù)，將樹莓派攝像頭采集到的柑橘圖像傳輸至柑橘識(shí)別模塊，在對(duì)柑橘進(jìn)行檢測之前，要測量環(huán)境光照情況和進(jìn)行系統(tǒng)定位，再對(duì)圖像進(jìn)行預(yù)處理，通過圖像預(yù)處理可以提高模型識(shí)別的準(zhǔn)確率，盡量降低由于光照問題對(duì)圖像識(shí)別質(zhì)量的影響。然后在柑橘識(shí)別模塊上使用已訓(xùn)練好的SSD神經(jīng)網(wǎng)絡(luò)模型進(jìn)行柑橘識(shí)別，將識(shí)別的結(jié)果進(jìn)行標(biāo)識(shí)和計(jì)數(shù)，同時(shí)也將結(jié)果顯示在顯示屏上，以便查看，如圖2所示。

圖2 系統(tǒng)工作流程圖Fig. 2 System work flow chart

2 系統(tǒng)硬件模塊設(shè)計(jì)

2.1 攝像頭模塊

在果園內(nèi)對(duì)柑橘進(jìn)行識(shí)別計(jì)數(shù)，為提高統(tǒng)計(jì)效率，所使用的攝像頭視場角應(yīng)盡可能大，且適合樹莓派使用，因此，本系統(tǒng)選用的攝像頭模組為樹莓派專用的HBV-1509B-130型號(hào)模組，其對(duì)角視場角為130°，傳感器像素為1 080 pixel，焦距可調(diào)，參數(shù)滿足系統(tǒng)要求，且成本較低。HBV-1509B-130模組使用的接口為CSI(Camera Serial Interface)接口，樹莓派有其對(duì)應(yīng)的CSI接口，使用排針將兩接口相連，配置樹莓派內(nèi)部參數(shù)，即可完成攝像頭模塊的調(diào)用。

2.2 GPS定位模塊

本系統(tǒng)的運(yùn)行環(huán)境一般情況為果園等一些戶外地帶，而且對(duì)于GPS模塊的啟動(dòng)時(shí)間要求并不高。因此，本系統(tǒng)的GPS模塊可以使用的芯片為GY-GPS6MV2。它使用陶瓷片的尺寸相對(duì)于其他的模塊來說較大，對(duì)GPS信號(hào)接收較好。同時(shí)它有3種不同啟動(dòng)方式，分別為冷啟動(dòng)、溫啟動(dòng)和熱啟動(dòng)。

樹莓派與GY-GPS6MV2芯片之間的數(shù)據(jù)傳輸方式為串口傳輸，而樹莓派4B內(nèi)存在兩個(gè)串口，分別是硬件串口、mini串口，本系統(tǒng)使用硬件串口與GPS模塊進(jìn)行通信。使用硬件串口之前，需要在樹莓派內(nèi)將硬件串口和mini串口的內(nèi)部映射關(guān)系進(jìn)行調(diào)換。GY-GPS6MV2芯片有4個(gè)引腳，將GY-GPS6MV2芯片的VCC接到樹莓派5 V的引腳，GND接GND，RX接TX，TX接RX，即分別接到樹莓派4B的4、6、8、10引腳，即可通過串口讀取GPS信息。

2.3 光照強(qiáng)度傳感器模塊

環(huán)境光照的強(qiáng)弱，會(huì)對(duì)識(shí)別的結(jié)果產(chǎn)生影響，為提高識(shí)別率和識(shí)別速度，故模塊對(duì)環(huán)境的光照檢測要快速。本系統(tǒng)的光照檢測模塊選擇為GY2561模塊芯片，其核心采用TSL2561芯片。它可以快速地將環(huán)境的光照強(qiáng)度檢測出來，并輸出數(shù)字信號(hào)。其芯片參數(shù)如表1所示。

表1 TSL2561芯片參數(shù)Tab. 1 TSL2561 chip parameters

此芯片能使用I2C或SMBus對(duì)數(shù)字信號(hào)進(jìn)行傳輸，本系統(tǒng)使用的通信方式為I2C通信。通過命令寄存器控制要訪問的寄存器地址，控制寄存器芯片的啟動(dòng)或停止，讀取數(shù)據(jù)寄存器，經(jīng)過位運(yùn)算和加法運(yùn)算之后，便可生成對(duì)應(yīng)ADC通道內(nèi)的采樣值，采樣值經(jīng)過轉(zhuǎn)換計(jì)算即可得到檢測到的光照強(qiáng)度。GY2561模塊芯片有5個(gè)引腳，將它的VCC接到樹莓派3.3 V的引腳，GND接GND，SDA接SDA0，SCL接SCL0，即分別接到樹莓派4B的1、9、3、5引腳。由于在檢測過程中并不需要使用到中斷信號(hào)，所以INT不需要連接到樹莓派的引腳上。

3 柑橘識(shí)別模型構(gòu)建

本文使用的目標(biāo)識(shí)別算法為SSD，以樹莓派作為硬件平臺(tái)，應(yīng)用的軟件平臺(tái)為TensorFlow2.2.0+Python3.7+OpenCV4。SSD算法是基于多框預(yù)測，網(wǎng)絡(luò)結(jié)構(gòu)主要包含了基礎(chǔ)網(wǎng)絡(luò)(Base Network)、輔助卷積層(Auxiliary Convolutions)和預(yù)測卷積層(Predicton Convolutions)。它結(jié)合了YOLO和Faster R-CNN的優(yōu)點(diǎn)，達(dá)到了速度快并且準(zhǔn)確度高。其網(wǎng)絡(luò)結(jié)構(gòu)采用VGG16卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，但在VGG16的基礎(chǔ)上新增了卷積層來獲得更多的特征圖以用于檢測。SSD的網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3 SSD網(wǎng)絡(luò)架構(gòu)Fig. 3 SSD network architecture

SSD網(wǎng)絡(luò)算法輸入圖片為300像素×300像素，網(wǎng)絡(luò)淺層主要用來提取圖像中小目標(biāo)特征，而深層網(wǎng)絡(luò)主要提取圖像中大目標(biāo)特征。在自然環(huán)境下所采集的柑橘圖像，柑橘目標(biāo)在圖像中多表現(xiàn)為小目標(biāo)特征，故柑橘識(shí)別網(wǎng)絡(luò)需在淺層網(wǎng)絡(luò)對(duì)圖像提取更多的目標(biāo)特征。VGG16網(wǎng)絡(luò)輸入圖片為224像素×224像素，共有13個(gè)卷積層和3個(gè)全連接層，其卷積層均是使用邊長為3，步長為1的卷積框。而SSD對(duì)VGG16做了改進(jìn)，把全連接層FC6和FC7轉(zhuǎn)換成3×3卷積層和1×1卷積層，去除全連接層。此外，池化層的步長為2、邊長也為2的卷積框換為步長為1、邊長為3的卷積框，并增加網(wǎng)絡(luò)卷積層數(shù)，加深網(wǎng)絡(luò)結(jié)構(gòu)，其目的是為了增加特征圖的數(shù)量，提高檢測精度。同時(shí)，此改進(jìn)也有利于網(wǎng)絡(luò)對(duì)淺層目標(biāo)的特征提取，進(jìn)而提高網(wǎng)絡(luò)對(duì)柑橘的檢測精度。

3.1 SSD算法先驗(yàn)框設(shè)置

在多尺度特征提取中，需要建立真實(shí)框與先驗(yàn)框的匹配關(guān)系，通過交互比例確定類別，計(jì)算位置偏差和置信度。因此，先驗(yàn)框的選擇對(duì)于提高訓(xùn)練速度、降低目標(biāo)偏差至關(guān)重要。先驗(yàn)框尺度

(1)

式中：m——特征層數(shù)；

smin——最低特征層尺度；

smax——最高特征層尺度。

SSD先驗(yàn)框是由每層的特征圖經(jīng)過卷積之后產(chǎn)生的，根據(jù)設(shè)定的特征層尺度smin和smax，得到各個(gè)特征圖的先驗(yàn)框尺度sk。

3.2 數(shù)據(jù)集創(chuàng)建

本文所需要使用的數(shù)據(jù)集為柑橘數(shù)據(jù)集，在搜索COCO數(shù)據(jù)集官網(wǎng)后，發(fā)現(xiàn)COCO2017版柑橘數(shù)據(jù)集共有1 699張圖片，其中標(biāo)注框6 399個(gè)，平均每張圖片3.77個(gè)，該數(shù)據(jù)集的圖像多為高清、單角度、背景簡單、水果少、標(biāo)注識(shí)別難度小，而且它與柑橘在自然場景中的實(shí)際情況有很大的不同。因此，本系統(tǒng)的數(shù)據(jù)集采用的柑橘圖片分為兩部分，一部分為fruit360數(shù)據(jù)集中背景簡單、數(shù)目少、標(biāo)注識(shí)別難度小的柑橘圖片，另一部分為自然果園中背景復(fù)雜、數(shù)目多的柑橘圖片，使用人工對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。

使用labelimg對(duì)圖片中的訓(xùn)練目標(biāo)進(jìn)行標(biāo)注，形成數(shù)據(jù)集，標(biāo)注過程中只有一個(gè)類：orange。本文數(shù)據(jù)集共手動(dòng)標(biāo)注了約600張圖片，整體的標(biāo)注結(jié)果優(yōu)于開源數(shù)據(jù)集，因此適合作為該模型的訓(xùn)練數(shù)據(jù)集來標(biāo)注和生成XML格式文件。標(biāo)注原則：標(biāo)注所有可見的柑橘類水果，標(biāo)注可見水果的明顯部分，不標(biāo)注只露出一小部分或者難以實(shí)現(xiàn)檢測識(shí)別的水果剩余部分，盡量將標(biāo)注框與果實(shí)邊緣貼合，減少背景等不必要的干擾。將帶注釋的XML文件打包好，用于后面的訓(xùn)練模型[11-12]。

3.3 損失函數(shù)算法

損失函數(shù)是位置誤差Lloc與置信度誤差Lconf兩者的加權(quán)和。即

(2)

式中：x——匹配orange類對(duì)應(yīng)的先驗(yàn)框與真實(shí)框的權(quán)重參數(shù)；

c——先驗(yàn)框?qū)Ρ尘?、orange類別預(yù)測概率；

l——orange類先驗(yàn)框位置；

g——orange類真實(shí)框位置；

N——匹配到真實(shí)目標(biāo)(Ground Truth)的先驗(yàn)框數(shù)正樣本量，如果N=0，則將損失設(shè)為0；

α——用于調(diào)整confidence loss和location loss之間的比例參數(shù)，默認(rèn)α=1。

α可以衡量模型預(yù)測的好壞，用來表現(xiàn)預(yù)測與實(shí)際數(shù)據(jù)的差距程度。

3.4 訓(xùn)練過程

在訓(xùn)練的時(shí)候，首先要確定訓(xùn)練圖片中的真實(shí)目標(biāo)對(duì)應(yīng)哪些先驗(yàn)框。在每張訓(xùn)練圖片中每個(gè)真實(shí)目標(biāo)都會(huì)存在一個(gè)準(zhǔn)確程度最大的先驗(yàn)框進(jìn)行匹配。與真實(shí)目標(biāo)匹配的先驗(yàn)框?yàn)檎龢颖荆c背景匹配的先驗(yàn)框?yàn)樨?fù)樣本。若存在一些先驗(yàn)框沒有真實(shí)目標(biāo)與之匹配，但其準(zhǔn)確程度大于識(shí)別置信度(本系統(tǒng)設(shè)定的識(shí)別置信度為0.5)，那么這些先驗(yàn)框也與對(duì)應(yīng)的真實(shí)目標(biāo)進(jìn)行匹配，故代表著一個(gè)真實(shí)目標(biāo)可能會(huì)和多個(gè)先驗(yàn)框進(jìn)行匹配。但是一個(gè)先驗(yàn)框不可以和多個(gè)真實(shí)目標(biāo)進(jìn)行匹配，如果多個(gè)真實(shí)目標(biāo)和一個(gè)先驗(yàn)框準(zhǔn)確程度大于識(shí)別置信度，那么先驗(yàn)框只和準(zhǔn)確程度值最大的那個(gè)真實(shí)目標(biāo)進(jìn)行匹配。

在訓(xùn)練過程中，真實(shí)目標(biāo)能對(duì)應(yīng)多個(gè)先驗(yàn)框，而由于真實(shí)目標(biāo)比先驗(yàn)框少很多，即背景會(huì)比orange類多很多。為確保orange類和背景樣本保持在一定的比例，SSD會(huì)對(duì)背景進(jìn)行抽樣，抽樣時(shí)按照置信度誤差，進(jìn)行從大到小排列，選擇誤差相對(duì)比較大的n個(gè)背景來訓(xùn)練，確保orange類和背景樣本比例在1∶3左右，同時(shí)也減少了運(yùn)算量。

3.5 預(yù)測過程

在預(yù)測過程中，首先要確定預(yù)測框中的是否為orange類，根據(jù)預(yù)測框?qū)?yīng)的置信度值去判斷。預(yù)測框?qū)?yīng)的置信度值小于設(shè)定值則判斷為背景類，同時(shí)去除掉此類的預(yù)測框。對(duì)應(yīng)每一個(gè)預(yù)測目標(biāo)都會(huì)存在多個(gè)置信度值大于設(shè)定值預(yù)測框與之對(duì)應(yīng)，因此需要對(duì)這些預(yù)測框根據(jù)置信度值從大到小進(jìn)行排序，同時(shí)也要注意預(yù)測框的位置，防止預(yù)測框的位置不在圖片之中，然后選取n個(gè)置信度值最大的預(yù)測框。最后，把這些預(yù)測框用非極大值抑制算法(Non-Maximum Suppression，簡稱NMS算法)進(jìn)行篩選，得到預(yù)測結(jié)果。

4 基于樹莓派的柑橘識(shí)別試驗(yàn)

本文SSD網(wǎng)絡(luò)訓(xùn)練在Ubuntu18.04操作系統(tǒng)下進(jìn)行，系統(tǒng)硬件配置為Intel E5 2640V3處理器和英特爾RTX2080顯卡，顯存為8 G。網(wǎng)絡(luò)訓(xùn)練使用TensorFlow2.2.0深度學(xué)習(xí)框架并配置CUDA10.1及CUDNN7.6.5進(jìn)行加速。將訓(xùn)練好的SSD網(wǎng)絡(luò)模型搭載在樹莓派上運(yùn)行，樹莓派所安裝的系統(tǒng)為Linux系統(tǒng)，使用的TF卡內(nèi)存為16 GB。系統(tǒng)的操作方式為遠(yuǎn)程登錄操作，使用VNC服務(wù)可以通過VNC viewer軟件在計(jì)算機(jī)上對(duì)樹莓派進(jìn)行遠(yuǎn)程登錄操作進(jìn)入可視化操作界面，有利于識(shí)別系統(tǒng)的使用和操作。

4.1 不同訓(xùn)練次數(shù)的識(shí)別對(duì)比

在訓(xùn)練過程中，將數(shù)據(jù)集分成9∶1的訓(xùn)練集與測試集，訓(xùn)練次數(shù)為100次。隨著訓(xùn)練次數(shù)增多模型的訓(xùn)練集損失值和測試集損失值最終會(huì)保持穩(wěn)定，變化較小。為測試該算法在不同訓(xùn)練次數(shù)模型下的識(shí)別性能，選用了訓(xùn)練次數(shù)為5、40、70、100次進(jìn)行性能測試，其模型的訓(xùn)練集損失值、測試集損失值和準(zhǔn)確率如表2所示。從表2中可以看出，對(duì)數(shù)據(jù)集進(jìn)行優(yōu)化和訓(xùn)練次數(shù)增多，準(zhǔn)確率也會(huì)有所改善，當(dāng)網(wǎng)絡(luò)訓(xùn)練100次后，其柑橘識(shí)別準(zhǔn)確率最高，約為92.4%。但由于樹莓派硬件條件的限制，識(shí)別速度約為0.22 fps。

表2 模型訓(xùn)練次數(shù)與損失值關(guān)系Tab. 2 Relationship between model training times and loss value

在本網(wǎng)絡(luò)訓(xùn)練中，每次模型訓(xùn)練都可以得到一個(gè)權(quán)重文件，為觀察不同訓(xùn)練次數(shù)對(duì)果園柑橘的識(shí)別情況，使用訓(xùn)練次數(shù)為5、40、70、100次的權(quán)重文件對(duì)柑橘進(jìn)行目標(biāo)識(shí)別預(yù)測，得到的識(shí)別結(jié)果如圖4所示。不同的訓(xùn)練次數(shù)對(duì)柑橘的識(shí)別結(jié)果存在較大差異，訓(xùn)練次數(shù)越高，識(shí)別準(zhǔn)確率越高，即模型越好。訓(xùn)練次數(shù)為100次時(shí)權(quán)重文件的模型可以將大部分的柑橘目標(biāo)識(shí)別出來，只有小部分應(yīng)遮擋嚴(yán)重未能準(zhǔn)確識(shí)別。

(a) 訓(xùn)練5次

(b) 訓(xùn)練40次

(c) 訓(xùn)練70次

(d) 訓(xùn)練100次 圖4 訓(xùn)練次數(shù)結(jié)果對(duì)比Fig. 4 Comparison of training times and results

4.2 直方圖均衡化前后的識(shí)別對(duì)比

在圖像采集過程中，常常因?yàn)楣饩€因素的影響，會(huì)造成采集的一些圖像較亮或較暗，較亮?xí)沟米R(shí)別的目標(biāo)區(qū)域高光，較暗會(huì)使得識(shí)別的目標(biāo)區(qū)域模糊。對(duì)于光線的過亮或過暗都會(huì)對(duì)識(shí)別的準(zhǔn)確率產(chǎn)生一定的影響，導(dǎo)致一些真實(shí)柑橘目標(biāo)無法被正確檢測識(shí)別。當(dāng)環(huán)境光照過弱或過強(qiáng)時(shí)，需要升高或降低識(shí)別圖像的對(duì)比度，即使用直方圖均衡化。使用直方圖均衡化，圖片整體亮度會(huì)發(fā)生變化，較暗區(qū)域?qū)Ρ榷壬?，較亮區(qū)域?qū)Ρ榷冉档透鶆虻胤植荚谥狈綀D上。在一般情況下，晴天室外的光照度約為30 000～130 000 Lux，陰天室外的光照度約為50～500 Lux，日出日落的光照度約為300 Lux。本系統(tǒng)所用的攝像頭中，在果園內(nèi)當(dāng)光照度小于100 Lux時(shí)，拍攝的畫面亮度過低，當(dāng)光照度大于15 000 Lux時(shí)，拍攝的畫面亮度過強(qiáng)。故當(dāng)光照度小于100 Lux或大于15 000 Lux時(shí)，系統(tǒng)識(shí)別圖像需要使用直方圖均衡化。

對(duì)圖像進(jìn)行全局直方圖均衡化會(huì)導(dǎo)致柑橘特征上的一些細(xì)節(jié)變模糊，為更好保留目標(biāo)特征，故使用局部的自適應(yīng)直方圖均衡化。此方法在不影響圖像目標(biāo)特征的前提下，還能很好地減少光照對(duì)識(shí)別結(jié)果的影響。通過對(duì)光照不足的圖像和經(jīng)過直方圖均衡化的圖像進(jìn)行識(shí)別，可以看到直方圖均衡化后的圖像識(shí)別效果更佳，對(duì)比前后的柑橘識(shí)別數(shù)目，直方圖均衡化后的識(shí)別結(jié)果能更好地反映區(qū)域內(nèi)的柑橘密度，如圖5所示。

(a) 原始圖像

(b) 圖像直方圖均衡化 圖5 圖像直方圖均衡化后識(shí)別對(duì)比Fig. 5 Recognition and comparison after image histogram equalization

4.3 果園柑橘密度數(shù)據(jù)可視化

為測試本系統(tǒng)對(duì)柑橘的測產(chǎn)情況，在區(qū)域內(nèi)均勻選取500個(gè)識(shí)別數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)的距離大于5 m，在識(shí)別過程中記錄的數(shù)據(jù)主要有3個(gè)，分別是經(jīng)度、緯度和柑橘數(shù)量。將識(shí)別結(jié)果的歷史數(shù)據(jù)保存到.csv文件中，對(duì)GPS信息和識(shí)別的柑橘數(shù)量使用folium庫在地圖上做數(shù)據(jù)可視化，可以在地圖上看到柑橘的區(qū)域密度，每一個(gè)數(shù)據(jù)點(diǎn)的識(shí)別距離約為5 m，如圖6所示。圖6中地圖上柑橘區(qū)域密度與實(shí)際的柑橘區(qū)域密度較吻合，能較好地反映整體區(qū)域內(nèi)的柑橘密度。

圖6 柑橘密度數(shù)據(jù)可視化Fig. 6 Visualization of citrus density data

5 結(jié)論

1) 柑橘測產(chǎn)可為柑橘產(chǎn)后的果園智能化管理提供基礎(chǔ)。針對(duì)目前一些識(shí)別設(shè)備體積大、成本高等問題，本文將樹莓派與深度學(xué)習(xí)方法相結(jié)合，提出了一種基于樹莓派及SSD的柑橘識(shí)別系統(tǒng)，搭建了一款輕便式的柑橘識(shí)別設(shè)備，實(shí)現(xiàn)對(duì)柑橘的準(zhǔn)確識(shí)別。

2) 本文利用SSD實(shí)現(xiàn)對(duì)自然環(huán)境下柑橘果實(shí)的檢測和識(shí)別，試驗(yàn)結(jié)果表明在訓(xùn)練次數(shù)為5、40、70、100次的情況下，其準(zhǔn)確率分別為57.4%、71.5%、85.2%、92.4%。經(jīng)過測試發(fā)現(xiàn)模型對(duì)果園中柑橘密集和稀疏等情況下的圖像均有較好的檢測識(shí)別準(zhǔn)確率，但對(duì)于極少部分體積較小和枝葉遮擋較為嚴(yán)重的柑橘果實(shí)的檢測識(shí)別準(zhǔn)確率還有待提高。由于樹莓派硬件條件的限制，本系統(tǒng)的識(shí)別速度差，約為0.22 fps，所以算法還有待改進(jìn)。在光照影響的情況下，使用直方圖均衡化其識(shí)別效果更佳。同時(shí)對(duì)識(shí)別所得數(shù)據(jù)進(jìn)行可視化，能較好地反映果園內(nèi)的生長狀況，有助于果園的管理和生產(chǎn)。

3) 將基于樹莓派的柑橘識(shí)別系統(tǒng)應(yīng)用在采摘機(jī)器人的果實(shí)實(shí)時(shí)識(shí)別上，可以為采摘機(jī)器人的研制提供技術(shù)支撐，在未來具有良好前景和重要意義，并且隨著軟硬件和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的不斷發(fā)展，果園中的果實(shí)目標(biāo)檢測設(shè)備將會(huì)更加簡便化，其識(shí)別算法的準(zhǔn)確率會(huì)更高、速度會(huì)更快，采摘機(jī)器人技術(shù)也會(huì)繼續(xù)發(fā)展升級(jí)，智能、精準(zhǔn)、高效、經(jīng)濟(jì)、實(shí)用的采摘機(jī)器人將逐漸引用到果園中。