一種基于樹莓派部署的改進YOLOv5 植物生長狀態(tài)檢測算法

崔強 周艷 肖灑 賴盛鑫

（聯(lián)通（上海）產(chǎn)業(yè)互聯(lián)網(wǎng)有限公司 上海市 200050）

植物是大自然基本資源，是食物、藥物的主要來源。植物在地球上擔任著至關重要的角色，它們是地球生態(tài)系統(tǒng)的基礎，提供氧氣和食物，維持著地球上所有生命的生存。植物也可以被用于制藥、香料、染料、建筑材料和燃料等領域。雖然植物的生命周期和繁殖方式與動物有很大不同，但是它們同樣具有適應環(huán)境、生長和進化的能力，是生命在地球上最為多樣和美麗的表現(xiàn)之一。作為世界上有名的農(nóng)業(yè)大國，提高農(nóng)作物生產(chǎn)是一項非常具有挑戰(zhàn)性的工作，因此，對植物的研究和識別對人類生活與研究有著重要性和一定的指導意義。

隨著社會的發(fā)展，時代的腳步不斷前行，植物的生長和發(fā)育的重要性比重越來越大。然而，確認植物的生長狀況是一項耗費時間和具有挑戰(zhàn)性的任務，需要大量的人工投入和專業(yè)技能。傳統(tǒng)的確定植物生長狀態(tài)的方法依賴于培育者的目視檢查[1]，這種方法依靠大量富有經(jīng)驗的勞務工作者，判斷標準相對來說比較主觀，速度慢，成本高，效率低，主觀性強，準確率低，時效性差等缺點，非常容易出現(xiàn)誤差。

近年來，計算機視覺技術在自動化植物生長分析和提高植物生長監(jiān)測的效率和準確性方面展現(xiàn)了巨大的潛力[2]。人工智能的興起與實時視頻流攝像機監(jiān)控的結合，加上計算硬件的迭代更新，使得通過視覺對植物狀態(tài)檢測具有高可行性[3]?；谝曈X的檢測模型中，YOLO 系列與SSD 已經(jīng)非常成熟[4-8]，在很多場景都有標準的落地方案。因此，應用深度學習于植物檢測，能夠顯著地降低工作負擔并縮短識別所需時間[9]。

計算機硬件與軟件技術的發(fā)展，使農(nóng)業(yè)與計算機工程技術的聯(lián)系更加緊密。借助計算機視覺、機器學習、深度學習算法等創(chuàng)新工具，在植物檢測方面有廣闊的前途。然而，經(jīng)典的機器學習大多依賴于手工制作的低級視覺特行證，這些特征是根據(jù)工程經(jīng)驗設計的。當捕獲場景相對復雜時，這通常會導致性能不盡如人意。基于CNN 的模型通過端到端的方式來自動學習低級判別特征和模型參數(shù)，使得非專家也更容易處理基于計算機視覺的農(nóng)作物檢測任務[10]。然而，由于CNN 網(wǎng)絡自身的特點，參數(shù)量大和計算開銷大，從而限制了大多數(shù)CNN 模型只能在具有GPU 加速的高性能服務器上實現(xiàn)。這樣的特性限制了CNN 在植物檢測領域的應用[11]。

已經(jīng)提出了各種計算機視覺算法用于植物生長監(jiān)測和病害診斷。YOLOv5 是一種流行的目標檢測算法[12]，已廣泛用于各種應用，包括植物生長監(jiān)測。然而，YOLOv5 的高計算復雜性限制了其在樹莓派等低功耗設備中的應用。為了使YOLOv5 模型更加實用并適合部署在端側設備進行實時檢測，在學術界、工業(yè)界已經(jīng)提出了許多輕量化的方案，但隨之而來的是精度的降低。因此，為了提高輕量級模型的精度，可以在網(wǎng)絡結構中加入注意力機制，并以此作為輸入，在特征層的每一層分配不同的權重，提取更廣闊的全局特征，從而提高檢測效果。此外，注意機制的特點也決定了其對模型的推理速度影響很小，且不需要分配額外的大空間[13]。

為了迎接這個挑戰(zhàn)，在本文中，我們提出了一種改進版YOLOv5 網(wǎng)絡，而這種網(wǎng)絡的網(wǎng)絡結構更簡單、計算參數(shù)更少，是一種輕量級的網(wǎng)絡，并可以在樹莓派上實時檢測植物的生長狀態(tài)。我們引入了多種新穎技術，如Ghost 模塊、注意力模塊，來優(yōu)化模型的性能。我們還構建了一個全面的植物生長圖像數(shù)據(jù)集，并將植物的生長狀態(tài)分為五類，以便于模型的訓練和評估。實驗結果表明，我們提出的方法有潛力改變植物生長監(jiān)測，并提供一種更為高效和準確的評估植物生長狀態(tài)的方法。我們的模型輕量且實時的特點也使其能夠在低功耗設備中應用，大大擴展了其潛在的應用場景。

1 相關工作

1.1 數(shù)據(jù)集準備與預處理

本文使用的數(shù)據(jù)集圖片是通過實時攝像機在植物培養(yǎng)的大棚中拍攝視頻錄像，然后按照固定時序間隔截幀獲得的。因此，在架設攝像機時，要求光線充足，可以完整的覆蓋植物的特征。使用攝像機采取實時視頻流的原因有三點。

（1）數(shù)據(jù)集的樣本數(shù)量必須充足，且包含了植物生長的整個周期，獲取到的視頻源需要通過嚴格的篩選來確定數(shù)據(jù)是否符合要求。而且在數(shù)據(jù)打標的時候，數(shù)據(jù)集的圖片質(zhì)量非常重要。

（2）本文研究的算法最終面向的是落地應用，因此攝像頭監(jiān)控植物生長態(tài)勢與獲取數(shù)據(jù)源，與實際應用場景一致。

（3）邊緣端設備樹莓派4B 版本，支持通過USB接口直連攝像機，符合預期和整體業(yè)務設計。

為了讓訓練樣本更符合實際情況，本文拍攝的圖片基于多種情況下不同角度對植物進行拍攝，并對訓練集的樣本進行了數(shù)據(jù)增強處理，盡可能的消除了無用照片的面積，減少干擾物對模型的影響。使用開源標注工具對圖片進行標注。共計圖片總數(shù)為5323 張。

1.2 注意力機制

注意力是一種認知過程，它選擇性的作用于相關信息而忽略深度神經(jīng)網(wǎng)絡中的其他信息。最早起源于自然語言處理，如今已廣泛的用于各種領域。Squeeze-and-Excitation（SE）在ImageNet2017數(shù)據(jù)集上獲得了冠軍[14]，而卷積注意力模塊（CBAM）結合了通道注意力和空間注意力，更容易的與其他模塊架構相結合[15]。多個實驗表明，加載了CBAM 模塊之后，分類和檢測的性能有了顯著的提高[16]。

2 模型介紹

2.1 YOLOv5網(wǎng)絡概述

在2D 目標檢測與分類中，YOLO(You Only Look Once)是一種具有出色準確性和監(jiān)測速度的目標檢測算法。YOLOv5 利用深度和寬度的倍數(shù)來縮放網(wǎng)絡的深度和每層中卷積核的通道數(shù)量。YOLOv5 是一種常用的目標檢測模型，其整體框架包括輸入端、Backbone、Neck、Prediction 四部分。在輸入端，采用Mosaic 數(shù)據(jù)增強和padding 技術，網(wǎng)絡輸入圖片大小默認為640×640像 素。Backbone 部 分 包 含F(xiàn)ocus 層 和CSP 結 構[17]。Neck 層主要將物體特征進行融合，輸出端則對應的是損失函數(shù)與非極大值抑制。這些設計和結構的綜合應用使得YOLOv5 在目標檢測任務中表現(xiàn)較好。通過這樣的設計，YOLOv5 可以有效地提高模型的魯棒性和準確性，在各種場景下都能夠良好地檢測目標物體。因此，YOLOv5 被廣泛應用于各種領域，如自動駕駛、智能安防等。

2.2 Ghost模塊

使用嵌入式設備實現(xiàn)實時植物狀態(tài)檢測是一個嚴峻的挑戰(zhàn)，本文在模型優(yōu)化中，使用Ghost模塊來替換卷積，從而減少模型參數(shù)。如圖1 所示，首先通過卷積運算從n 個通道的輸入圖生成m 個通道的固有特征圖，其次，通過cheap operation 生成s-1 個通道的ghost 特征圖，最后將Y和Yghost拼接起來，此時輸出特征圖的尺寸變?yōu)閚(n=m·s)。正如文獻[18]所提出的觀點一樣，Ghost 模塊夠生成更多特征圖，但它所需要的計算量卻非常的少。Ghost 模塊的前向傳播過程可以分為三個部分。在第一部分中，他通過普通的卷積過濾器生成了一些內(nèi)在特征圖。然后，通過對每個內(nèi)在特征進行一系列的廉價操作來生成幽靈特征圖。最后，將第一部分中獲得的固有特征圖和第二部分中的幽靈特征圖拼接起來，作為輸出。

圖1： Ghost 模塊運行的三個部分

普通卷積層的操作可以表述為：

在公式（4）中，+代表的是拼接操作，具體ghost模塊展示如圖1 所示。

用Ghost 模塊代替普通的卷積模塊可以簡化卷積操作，提升模型速度[18]。值得注意的是，Ghost 模塊的計算參數(shù)比普通的卷積層更少。因此在本文中，Ghost Bottleneck 模塊和G3Ghost_X 模塊是基于Ghost 模塊構建的。如圖2 所示。在骨干網(wǎng)中，本文使用步長為2 的Ghost 模塊，下采樣并使用C3Ghost_X 模塊提取圖像特征，而不是普通的卷積和C3_X 模塊。使用MNIST 數(shù)據(jù)集進行檢測，GHOST 模塊提高了訓練的收斂速度和檢測速度，而檢測精度幾乎沒有任何損失。

圖2： 添加Ghost 的模塊示意圖

2.3 卷積注意力模塊(CBAM)

CBAM 是一種前饋CNN 注意力模塊，它在2018年提出，被證明是一種簡單而又非常有效的方法[19]。該模塊包含兩個子模塊：通道注意力模塊和空間注意力模塊，這兩個模塊順序執(zhí)行。當輸入特征圖時，CBAM將在通道和空間維度上生成注意力圖，這些注意力圖將與輸入特征圖相乘，生成細化的特征圖。更重要的是，CBAM 是一個輕量級的模型，可以實現(xiàn)端到端的訓練，并且可以被訓練成為一個可以嵌入到任何一個卷積神經(jīng)網(wǎng)絡當中，CBAM 的基礎架構圖如圖3 所示。

圖3： CBAM 卷積注意力模塊結構

為了將注意力機制引入到網(wǎng)絡中，本文進行了大量的深入研究。MobileNetV2[20]中通過引入倒置殘差和線性Neck 層提高了模型的性能。與經(jīng)典的殘差網(wǎng)絡相比，MobileNetV2 中的倒置殘差利用1×1 的卷積層擴展輸入特征的通道，設定擴展率為6，然后中間擴展層使用3×3 深度卷積來獲取非線性。最后，使用1×1 的線性卷積層來降維。而在MobileNetV3 中，在通道注意力提取后的擴展層附加了Squeeze-and-Excitation（SE）模塊[21,22]。

受到MobileNetV2 和MobileNetV3 的啟發(fā)，本文保留了倒置殘差線性瓶頸模型的一般結構具體結構，然后引入了CBAM，增加了提取空間信息的能力，同時，MobileNet 中 使 用 的 第 一 個1×1 卷 集 中 的ReLU 或 者hswish[23]圖如圖4 所示。

圖4： 三種不同的Neck 塊比較

如 圖4 所 示，A 表 示MobileNetV2 塊。B 表 示MobileNetV3 塊，在不同的網(wǎng)絡深度使用不同的激活函數(shù)。C 表示引入了CBAM 的塊，使用GELU 和Linear。

3 實驗

3.1 實驗相關配置

試驗在高性能的服務器上進行訓練，使用了Nvidia RTX 4070 顯卡。12GB 顯存。操作系統(tǒng)為Ubuntu21.04（64位）。Python 版本為3.9，Pytorch 版本為1.13.1。部署的樹莓派版本為4B.

為了優(yōu)化網(wǎng)絡參數(shù)，本文使用隨機梯度下降(SGD)進行訓練。初始學習率(lr0)設置為0.01。

3.2 Mosaic增強優(yōu)化

一種常見的方法來增強神經(jīng)網(wǎng)絡模型的魯棒性和泛化能力是使用Mosaic 數(shù)據(jù)增強。該方法將多個不同的圖像隨機拼接在一起，形成一個新的合成圖像，然后通過對合成圖像進行裁剪和縮放等操作，從而產(chǎn)生多個不同的訓練樣本[23,24]。具體來說，Mosaic 數(shù)據(jù)增強的步驟如下：

（1）從訓練集中隨機選取4 張不同的圖像，并將它們隨機拼接在一起形成一張新的合成圖像。

（2）隨機生成一個裁剪區(qū)域，并對裁剪區(qū)域進行裁剪，得到一張新的圖像。

（3）對新的圖像進行縮放操作，得到不同大小的訓練樣本。

（4）將縮放后的訓練樣本輸入神經(jīng)網(wǎng)絡進行訓練。

Mosaic 數(shù)據(jù)增強不僅僅只是一種常用的圖像數(shù)據(jù)增強方法，它還具有許多其他優(yōu)點。在深度學習中，訓練集的多樣性和數(shù)量對于提升模型的魯棒性和泛化能力至關重要，而Mosaic 數(shù)據(jù)增強正是可以通過將多張不同的圖像隨機拼接在一起來實現(xiàn)這個目的。此外，Mosaic數(shù)據(jù)增強還可以幫助模型學習到更多的特征，從而提高模型的分類準確率和檢測精度。通過對合成圖像進行裁剪和縮放等操作，Mosaic 數(shù)據(jù)增強可以生成多個不同的訓練樣本，從而讓模型在訓練過程中接觸到更多的變化，從而使其更好地適應各種實際場景。因此，Mosaic 數(shù)據(jù)增強在深度學習中被廣泛應用，并且已經(jīng)成為了提高模型性能的有效工具之一。然而，Mosaic 數(shù)據(jù)增強也存在一些缺點。首先，由于Mosaic 數(shù)據(jù)增強是通過隨機拼接多張不同的圖像來生成新的訓練樣本，因此會導致生成的合成圖像存在一定的噪聲和不連續(xù)性，可能會影響模型的訓練效果。其次，Mosaic 數(shù)據(jù)增強需要較高的計算資源和時間，因為需要隨機選取圖像、拼接圖像、裁剪圖像和縮放圖像等操作。最后，Mosaic 數(shù)據(jù)增強可能會導致過擬合問題，因為生成的訓練樣本與原始訓練樣本存在一定的重疊和相似性，可能會讓模型過于依賴訓練數(shù)據(jù)，而無法泛化到新的測試數(shù)據(jù)。

基于本文的模型需求和數(shù)據(jù)特點，修改原有的Mosaic 輸入為3×3 共9 張圖片，經(jīng)過測試，模型的準確率得到了提升。如圖5 所示。

圖5： Mosaic 原理示意圖

3.3 模型消融實驗

表1 中對比了YOLOv5s, YOLOv5s-ghost, YOLOv5s-ghost-CBAM 的優(yōu)劣性，證明了本文優(yōu)化后的模型具備優(yōu)勢。

表1： 模型消融實驗

3.4 樹莓派4B部署

將本文的算法部署在端側樹莓派服務器上，可以成功運行，單張圖片推理時間11.7FPS，滿足實際場景需求。

4 結論

為了實現(xiàn)在樹莓派上部署植物生長狀態(tài)模型，本文提出了一種改良后的輕量級YOLOv5 模型。首先，我們根據(jù)實時視頻流挑選符合實際情況的場景，通過視頻流截幀，挑選訓練素材。構建了一個符合業(yè)務場景的數(shù)據(jù)集，共計5323 張圖片。其實，為了輕量化模型，引入了Ghost 模塊。為了提取全局語義信息，引入了CBAM模塊。為了增強數(shù)據(jù)集的表現(xiàn)能力，優(yōu)化了Mosaic 方法。使本文優(yōu)化后的YOLOv5 模型具有精度高，推理速度快的特點。并且部署在樹莓派4B 上成功運行，證明了本文方法的可行性，具有更一定的推廣性和應用前景。