注意力與多尺度特征融合的水培芥藍花蕾檢測

夏紅梅，趙楷東，江林桓，劉園杰，甄文斌

（華南農業(yè)大學工程學院，廣州 510642）

0 引 言

設施環(huán)境下培育的水培芥藍無農藥污染，生長周期短，可多茬口周年生產，經濟效益高。水培芥藍應在成熟期及時采收，未成熟的芥藍尺寸和質量小，過成熟的芥藍不耐儲運，口感和品質差。準確判斷水培芥藍成熟程度，對實現(xiàn)適時采收、保障菜農收益具有重要意義。現(xiàn)有水培芥藍成熟程度檢測采用人工方式，缺乏客觀、精準的自動檢測方法。按等級規(guī)格行業(yè)標準[1-2],芥藍花蕾的數(shù)量、大小和開放程度是評估其成熟度的關鍵。未成熟芥藍花蕾數(shù)量較少、體積較小、呈閉合狀態(tài)；成熟適于采收的芥藍花蕾數(shù)量多、體積大、呈待開又未開狀態(tài)；過成熟芥藍的部分花蕾綻放開出白花。因此，提取辨識水培芥藍花蕾生長特征是檢測其成熟等級的有效途徑。

近年來，國內外學者對自然生長環(huán)境下果蔬檢測識別問題進行了廣泛研究，主要采用了圖像處理、機器學習和深度學習[3]方法。圖像處理方法利用果蔬形狀、顏色及紋理等特征差異進行檢測識別。如周文靜等[4]采用圓形Hough 變換識別葡萄果粒，依據葡萄果粒色調H 值將葡萄果穗分為4 個成熟度等級。Tan 等[5]結合L*a*b*顏色空間的a*和b*顏色分量與紋理特征識別了3 種不同成長階段的藍莓。圖像處理方法易受光照條件、遮擋、背景干擾等影響，檢測識別精度較低。

機器學習方法先由人工提取目標特征再利用分類器進行分類。常用特征提取算法有方向梯度直方圖HOG（Histogram of Oriented Gradient）、尺度不變特征變換SIFT（Scale-Invariant Feature Transform）、局部二值模式LBP（Local Binary Patterns）等；常用分類器有K-均值聚類、貝葉斯分類器、K-最近鄰聚類 KNN（K-Nears Neighbor）及支持向量機SVM（Support Vector Machine）等[6]。如張靖祺[7]利用K-均值聚類提取青熟、半熟和成熟番茄的顏色特征，輸入SVM 進行訓練，識別準確率超過92%。Behera 等[8]將LBP 特征、HOG 特征和灰度共生矩陣3 組特征與貝葉斯、KNN 和SVM 3 類分類器進行組合對比分析，發(fā)現(xiàn)具有HOG 特征的加權KNN 分類器對不同成熟度下木瓜的識別效果最優(yōu)。機器學習方法受限于分類器的學習能力，通常應用于小規(guī)模數(shù)據集，對異類數(shù)據敏感，魯棒性較差，對復雜目標檢測精度和實時性較低。

基于深度學習的目標檢測方法利用已有數(shù)據進行自主學習和分類，主要有單階段和兩階段兩種方法[9]。

YOLO（You Only Look Once）[10]、SSD（Single Shot MultiBox Detector）[11]等單階段方法將目標檢測視為回歸問題，直接通過卷積神經網絡CNN（Convolutional Neural Network）對目標類別和位置進行預測，檢測速度較高，但會損失一定的檢測精度。RefineNet[12]、Faster R-CNN[13]等兩階段算法基于區(qū)域生成思想，先生成目標建議框，再通過CNN 對建議框進行分類和位置回歸，檢測速度較低，但能獲得更高的檢測精度。如Tian 等[14]提出一種由DenseNet 方法處理的YOLOV3 網絡用于檢測3 個生長階段的蘋果，實現(xiàn)了特征重用并有效增強了特征傳播，平均識別精度達81.7%。閆建偉等[15]采用基于VGG16 的Faster R-CNN 檢測不同成熟度和不同遮擋程度的刺梨果實，對刺梨果實11 種形態(tài)的識別準確率最高為95.53%，最低為85.63%。

由于水培芥藍成熟度判別對準確性要求較實時性更高，本研究采用深度學習方法，選取Faster R-CNN 作為水培芥藍花蕾特征檢測框架。不同品種、生長環(huán)境與成熟度的水培芥藍花蕾在形態(tài)、尺度上存在較大差異，花蕾與葉片同為綠色，花蕾綻放的白花與栽培槽顏色相近，因此花蕾檢測識別需要解決背景干擾和花蕾尺寸跨度大等問題。采用Faster R-CNN 的主干網絡提取目標特征存在抗環(huán)境噪聲干擾能力低，深度卷積操作易丟失空間細節(jié)信息，僅利用最后一層融合特征圖進行預測易導致小尺度花蕾漏檢率高等問題。為此，提出一種注意力與多尺度特征融合的Faster R-CNN 水培芥藍花蕾檢測模型，基于InceptionV3 設計多尺度花蕾特征提取主干網絡，引入SENet 注意力集中機制[16]和FPN 特征金字塔網絡[17]以提高模型的抗干擾能力及對小尺度花蕾的識別成功率，并通過試驗對模型檢測效果進行驗證，以實現(xiàn)自然環(huán)境下水培芥藍花蕾成熟度等級的高精度檢測。

1 材料與方法

1.1 材料

試驗選取綠寶芥藍和香港白花芥藍兩個品種，圖像于2020 年11 月至2021 年7 月在華南農業(yè)大學農事訓練中心水培基地拍攝。攝像頭選用尼康（Nikon）D90 單反相機，搭載CMOS 傳感器及VR 2 代鏡頭，鏡頭焦距為18～55 mm，圖像分辨率為4 000×3 000?；卮笈飪仍耘嗉芫嗟孛娓叨确秶鸀?00～900 mm，相鄰管槽間距為25 mm，攝像頭固定在升降范圍為800～1 900 mm 和伸縮范圍為230～350 mm 的支架上。由人工移動支架使拍攝區(qū)域覆蓋大棚內各方位，在自然光條件下調整鏡頭距管道栽培架上部500～700 mm 處多角度俯拍。拍攝時間為芥藍種苗移植到栽培管后35～45 d 期間，每天在9:00－11:30 和14:00－16:30 時間段分別采樣一次。剔除模糊不清晰圖像，保留綠寶芥藍原始圖像462 幅，香港白花芥藍原始圖像420 幅。

為提升模型的識別精度并避免過擬合，對原始圖像進行隨機水平鏡像翻轉、豎直鏡像翻轉、水平豎直翻轉等幾何變換，以增加不同方向芥藍花蕾圖像；對原始圖像進行隨機亮度調整等灰度變換，以增加不同光照條件下的芥藍花蕾圖像。經過數(shù)據增強，共獲得綠寶芥藍圖像1 255 幅，香港白花芥藍圖像1 319 幅。將圖像按品種劃分為綠寶芥藍數(shù)據集、香港白花芥藍數(shù)據集及兩個品種混合數(shù)據集。3 組數(shù)據集均按7∶2∶1 的比例分劃分訓練集、驗證集和測試集。為縮短訓練時間，將每張圖像縮小為1 500×1 000（像素）。

依據芥藍生長成熟分級標準，將芥藍按薹莖主軸頂端花蕾生長特征不同分為未成熟、成熟和過成熟3 種成熟度等級，如圖1 所示。采用labelImg 圖像標注工具對芥藍花蕾圖像進行標記，并依照PASCALVOC 數(shù)據集格式進行位置和類別注釋，綠寶芥藍和香港白花芥藍標注實例如圖2 所示。

1.2 試驗平臺

試驗選用Intel? Xeon CPU E5-2620 v3 處理器和GTX1080Ti 顯卡，內存32G，硬盤200G。應用Windows 10 64 位專業(yè)版系統(tǒng)，選用 Python3.6 編寫程序，Pytorch1.6.0 框架搭建網絡模型。

1.3 方 法

1.3.1 基礎特征提取網絡

特征提取網絡寬度和深度是影響目標檢測效果的關鍵因素[18-19]。Inception 網絡在工程圖像分類中表現(xiàn)優(yōu)異，各階段模塊由多個不同尺度的卷積模塊構成，每一分支均優(yōu)先使用一個1×1 的卷積進行降維，同時將大卷積拆解為多個小卷積，如用2 個3×3 卷積代替5×5 的卷積，用1×7 和7×1 的兩個非對稱卷積代替7×7 卷積，以減小計算負擔并增加網絡深度。通過若干組大小不同的卷積并行提取多個尺度特征，增加網絡寬度來深入挖掘圖像空間局部相關性，減少計算量，充分融合不同感受野下的多種局部特征，實現(xiàn)淺層網絡豐富細節(jié)特征信息提取[20]。

不同成熟度水培芥藍花蕾的特征區(qū)別主要體現(xiàn)在局部細節(jié)結構。經典InceptionV3 網絡利用復雜網絡結構來獲取更多抽象語義特征，共有47 層，包含3 種Inception模塊及下采樣的ReductionA 和ReductionB，最后2 個Inception 模塊為擴展濾波器組。由于需要檢測分辨的花蕾類別只有3 種，過大的網絡深度和寬度均易導致過擬合，因此去掉最后2 個擴展濾波器組模塊和ReductionB，利用InceptionV3 前37 層網絡，將輸出特征由2048 維降至768 維，以增加網絡泛化能力。

1.3.2 SENet 注意力機制

基礎特征提取網絡采用直接拼接的特征融合方式，各尺度特征權重相同，融合的特征信息中也包含了背景噪聲等干擾，隨著網絡層數(shù)的增加會給模型帶來負面影響，降低模型的檢測精確度[21]。為此，引入通道注意力機制SENet（Squeeze and Excitation Networks）模塊。SENet 模塊并不改變輸入特征圖現(xiàn)有結構，只改變特征通道之間的權重差異，增大包含有效信息的通道權重，減小包含無效信息的通道權重。

SENet 模塊的結構如圖3 所示，將輸入特征經全局平均池化（Global Average Pooling）壓縮為一個c維向量，該向量得到每個通道所有元素的反饋。采用兩層全連接層從向量中提取通道權重，第一層將維度降為原來的1/16，通過Relu 函數(shù)激活，第二層用于恢復原始維度，采用Sigmoid 函數(shù)得到c個通道權重。兩層全連接層能增強非線性以更好擬合通道間的關系，同時也能減少計算量。最后將獲得的權重與輸入特征相乘，實現(xiàn)各通道關注度的調整。SENet 模塊通過自主學習各特征通道的權重來調整各通道的重要程度，提高網絡對重要特征的注意力，減少背景等無關特征對檢測結果的影響。

1.3.3 特征金字塔網絡

網絡頂層特征在持續(xù)下采樣過程中易丟失小目標的部分信息，若只用頂層特征圖檢測目標，易造成未成熟花蕾漏檢。特征金字塔網絡FPN（Feature Pyramid Network）可將任意大小的輸入圖像通過卷積的方式輸出多個不同尺度的特征映射，并將這些不同大小、深度的特征進行融合，以增加特征圖對淺層網絡信息的表達。為提高模型對小目標花蕾的檢測精度，采用FPN 融合不同階段特征，其結構如圖4 所示。將基礎特征提取網絡第2 組至第4 組卷積得到的特征圖{C2，C3，C4}通過FPN 層分別進行疊加融合，得到多尺度的特征圖金字塔結構{P2，P3，P4}。特征圖C2、C3、C4大小分別為 371×246×192、185×122×288、92×60×768，高維特征圖C4的感受野最大，包含圖像的全局信息。各特征圖在進行特征融合前均經1×1 的卷積降至192 維，高維特征通過上采樣以保證融合的特征圖在維度上的一致性，并通過逐元素相加引導特征自頂向下還原淺層細節(jié)信息。特征融合后，預測特征圖的語義信息和位置信息都得到了增強。由于高維特征中仍包含低維特征信息，融合過程中將造成特征冗余，故在融合后通過3×3 的卷積消除混疊效應，具體計算方法如公式（1）～（3）所示。

1.3.4 RPN 錨點尺度設計

RPN 與主干網絡共享圖像的卷積特征，對錨點生成的候選區(qū)域進行前背景的判斷及位置回歸。Faster R-CNN采用{128×128，256×256，512×512}三種尺度以及{2∶1，1∶1，1∶2}三種長寬比的錨點進行候選區(qū)域提取。為明確錨點是否適應水培芥藍花蕾檢測，對混合數(shù)據集內的各花蕾目標框尺寸進行統(tǒng)計，結果如圖5 所示。

圖5 表明，水培芥藍花蕾目標的尺度差異跨度較大，多數(shù)花蕾尺度集中在256×256（像素）以內，故將錨點尺度擴充至{16×16，32×32，64×64，128×128，256×256，512×512}，長寬比保持不變，共生成18 種不同的錨點，以保證覆蓋到不同尺寸的花蕾。

1.3.5 注意力與多尺度特征融合的檢測模型

為減小深度學習過程中下采樣對淺層網絡重要特征的抑制作用，提高小尺度目標的檢測精度，設計注意力與多尺度特征融合的Faster R-CNN 水培芥藍花蕾檢測模型如圖6 所示?；贗nceptionV3 設計基礎特征提取網絡并引入FPN 網絡，融合網絡中第2 組至第4 組卷積生成的3 個不同尺度的特征圖，將高層特征與淺層特征拼接融合，以更好地保留小尺度目標的語義信息。在基礎特征提取網絡的InceptionA、ReductionA 和InceptionB 模塊后分別嵌入SENet 模塊，篩選各模塊層對目標識別有利的特征通道，以減少背景噪聲對不同尺度特征圖的干擾，并減輕過擬合。FPN 網絡生成的三個不同尺度的融合特征圖P2、P3、P4被輸出到RPN 網絡和ROIHead 中分別進行預測。

RPN 網絡依據數(shù)據集中花蕾目標的邊框統(tǒng)計和特征圖金字塔結構為每個特征圖生成具有相應尺度和長寬比的錨框，被測花蕾可依據錨框的大小選取合適的特征圖進行預測，使得網絡對不同尺度的花蕾有更好的檢測效果。使用分類網絡對錨框進行前背景分類，并對前景錨框使用回歸網絡修正錨框位置，生成感興趣區(qū)域ROI（Region of Interesting）。ROI 子網通過池化方法把不同尺度的ROI 固定為7×7 大小的特征；再將特征分別傳入類別預測模塊和邊框回歸模塊，采用類別預測模塊對目標進行分類預測并計算置信度，利用邊框回歸模塊確定花蕾邊框范圍。

1.4 模型評價指標

為驗證模型檢測效果，采用準確率Pi(Precision rate)、召回率Ri(Recall rate)、平均準確率 AP(i)（Average Precision）和平均準確率均值 mAP（mean Average Precision）評價模型對不同成熟度水培芥藍花蕾的檢測性能，各指標計算如公式（4）～（7）所示。

2 結果與分析

2.1 模型訓練結果

式中i代表不同成熟度級別；N為成熟度級別總數(shù)，本研究中N取值為3；TP（True Positives）表示模型正確識別某一成熟度級別目標的個數(shù)；FP（False Positives）表示將背景識別為某一成熟度級別目標而誤識別的個數(shù)；FN（False Negatives）表示將某一成熟度級別目標識別為背景而漏識別的個數(shù)；AP(i)為某一成熟度級別P-R曲線的面積，反映了模型對某一成熟度級別目標的檢測性能；mAP反映模型對不同成熟度級別目標的整體檢測性能。

選擇隨機梯度下降法以近似聯(lián)合訓練方式對模型進行端到端訓練，利用InceptionV3 網絡在ImageNet 數(shù)據集上的預訓練權重初始化改進主干網絡，改進部分使用標準差為0.001 的高斯分布進行初始化，以提升模型的訓練收斂速度[22-23]。綜合考慮硬件設備性能和訓練效果，批大小設置為8，動量和權重衰減系數(shù)分別為0.9 和0.000 5，學習率設為0.005，每迭代5 次衰減為原來的1/3，訓練的總迭代數(shù)為50。

對3 種不同數(shù)據集進行模型的訓練和驗證，訓練和驗證的綜合損失值和平均精度均值變化如圖7 所示。3 種數(shù)據集在訓練和驗證迭代過程中的綜合損失值整體呈下降趨勢，均在迭代10 次后達到收斂；平均精度均值隨著迭代次數(shù)的增加而逐步上升，在迭代10 次后達到峰值。損失和精度曲線表明本研究提出的模型具有較強的擬合和泛化能力。

3 種不同數(shù)據集的花蕾成熟等級檢測結果如表1 所示。綠寶芥藍數(shù)據集的平均精度均值mAP 為96.5%，香港白花芥藍數(shù)據集的mAP 為95.9%，混合數(shù)據集的mAP為96.1%。3 種數(shù)據集的mAP 均超過95%，且最高與最低值間差異僅為0.6%。圖8 為模型對綠寶芥藍和香港白花芥藍的檢測效果實例，出現(xiàn)少量花蕾檢測失敗主要原因在于花蕾被葉片遮擋導致漏識別。表明模型對不同品種水培芥藍花蕾具有較好的泛化能力，檢測判別率均較高。

表1 不同品種數(shù)據集的識別結果Table 1 Influence of different dataset on detection results

2.2 消融試驗

為明確水培芥藍花蕾檢測模型中各模塊對特征提取網絡性能影響，驗證各模塊結構的有效性，設計消融實驗，采用混合數(shù)據集進行訓練，測試結果如表2 所示。僅采用基礎特征提取網絡對未成熟花蕾檢測的平均準確率最低為84.9%，對成熟和過成熟花蕾檢測的平均準確率分別為93.5%和93.7%，表明基礎特征提取網絡對尺度較大的成熟和過成熟花蕾檢測識別性能較好，但對尺度較小的未成熟花蕾檢測性能較低。

表2 不同模塊配置對檢測結果的影響Table 2 Influence of different structure on detection results

采用基礎特征提取網絡+SENet 模型結構或基礎特征提取網絡+FPN 的模型結構對不同成熟度的花蕾檢測效果均具有明顯提升。未成熟花蕾上的花苞數(shù)量少，花蕾尺寸小，采用基礎特征提取網絡+SENet 模型檢測的平均準確率為89.1%，基礎特征提取網絡+FPN 模型檢測的平均準確率為90.8%?；A特征提取網絡+SENet 模型對過成熟花蕾檢測的平均準確率最高為97.8%，表明引入SENet 模塊學習標定各特征通道的重要程度，對開出了白花、特征差異更明顯的過成熟花蕾檢測效果最好?；A特征提取網絡+FPN 模型對成熟花蕾檢測的平均準確率最高為97.3%，表明采用多層特征信息融合更利于完整提取尺度跨度大的花蕾特征信息。

基礎特征提取網絡+SENet+FPN 模型對不同成熟度花蕾檢測的平均準確率均為最高，未成熟花蕾檢測的平均準確率92.3%，成熟花蕾檢測的平均準確率98.2%，過成熟花蕾檢測的平均準確率97.9%，平均準確率均值最高為96.1%，表明模型設計具有合理性，能充分發(fā)揮各模塊的優(yōu)勢，達到綜合更好的檢測效果。

2.3 不同主干網絡對比分析

為驗證不同主干網絡對水培芥藍花蕾的檢測效果，對比VGG16、ResNet50、ResNet101、InceptionV3 及本文提出的主干網絡，利用混合數(shù)據集進行訓練，測試結果如表3 所示。VGG16、ResNet50 和ResNet101 網絡的平均精度均值分別為85.3%、87.8%和89.2%，表明深層網絡模型對花蕾檢測效果優(yōu)于淺層網絡。但對于未成熟花蕾，ResNet101 網絡的平均準確率最低為82.3%，低于VGG16 的平均準確率82.5%及ResNet50 的平均準確率85.8%，表明網絡層數(shù)過大反而會降低小尺度未成熟花蕾檢測的準確率。對比表2 中的基礎特征提取網絡和表3中的InceptionV3 檢測結果，InceptionV3 網絡對不同成熟度花蕾檢測平均準確率均值最低為83.4%，基礎特征提取網絡去掉InceptionV3 的2 個擴展濾波器組和ReductionB模塊后對不同成熟度花蕾檢測的平均準確率均有明顯提升，表明InceptionV3 網絡結構相對復雜反而會降低其泛化能力。表2 中的基礎特征提取網絡相較表3 中的ResNet101 平均精度均值提升1.5 個百分點，但對于小尺度未成熟花蕾的檢測（平均準確率為84.9%），低于ResNet50 網絡的85.8%。本文提出的主干網絡模型對不同成熟度花蕾檢測的平均準確率相較 VGG16、ResNet50、ResNet10 和InceptionV3 網絡均為最高，其平均準確率均值分別提高了10.8、8.3、6.9 和12.7 個百分點，表明引入注意力機制和特征金字塔模塊對不同成熟度花蕾檢測效果提升明顯。

表3 不同特征提取網絡的檢測效果Table 3 Detection results of different feature extraction network

圖9 為采用不同特征提取網絡對花蕾檢測的P-R（Precision-Recall）曲線。隨著召回率的增加，各特征提取網絡對不同成熟度花蕾檢測的準確率呈下降趨勢。對于檢測未成熟的花蕾，當召回率為80%時，本文提出的檢測模型的準確率保持在90%以上；對于檢測成熟和過成熟花蕾，當召回率為90%時，本文提出的檢測模型的準確率保持在90%以上。P-R 曲線表明本文提出的檢測模型具有較強的魯棒性，對于不同成熟度花蕾檢測無需以較大的精度損失來提高召回率。

3 結 論

1）依據花蕾特征信息準確辨識其成熟度情況是保障水培芥藍適時采收的關鍵基礎。針對自然環(huán)境下水培芥藍花蕾尺度特征跨度大，受背景信息干擾等問題，提出一種注意力與多尺度特征融合的Faster R-CNN 水培芥藍花蕾檢測模型。對綠寶芥藍數(shù)據集、香港白花芥藍數(shù)據集和兩個品種的混合數(shù)據集測試結果表明，三種數(shù)據集的平均準確率均值（mAP）均超過95%，最高mAP 為96.5%，最低mAP 為95.9%，模型能實現(xiàn)不同品種水培芥藍高準確率檢測。

2）模型消融試驗結果表明，基礎特征提取網絡增加SENet 模塊或FPN 模塊對檢測未成熟花蕾的平均準確率提升分別為4.2%和5.9%?；A特征提取網絡引入SENet模塊對過成熟花蕾檢測的平均準確率最高為97.8%，基礎特征提取網絡引入FPN 模塊對成熟花蕾檢測的平均準確率最高為97.3%。基礎特征提取網絡融合SENet 模塊和FPN 模塊對不同成熟度的花蕾檢測的平均準確率均為最高，未成熟花蕾檢測的平均準確率92.3%，成熟花蕾檢測的平均準確率98.2%，過成熟花蕾檢測的平均準確率97.9%，平均準確率均值為96.1%，表明本研究模型設計合理，能充分發(fā)揮各模塊的優(yōu)勢。

3）相比VGG16、ResNet50、ResNet101 和InceptionV3網絡，本研究模型對不同成熟度水培芥藍花蕾檢測的平均準確率均值分別提高了10.8、8.3、6.9 和12.7 個百分點，檢測效果具有較大提升。在召回率為80%時，對不同成熟度水培芥藍花蕾檢測的準確率均能保持在90%以上，具有較高的魯棒性。

針對影響識別準確率的葉片遮擋和背景干擾等問題，本研究模型仍有需要提升的空間。后續(xù)考慮應用圖像預處理技術，進一步優(yōu)化和改進模型結構，以準確獲取花蕾生長狀態(tài)數(shù)據，為水培芥藍采收提供可靠依據。