基于改進(jìn)Mask R-CNN 的番茄莖稈分類方法

項(xiàng)榮，張茂琛

（中國(guó)計(jì)量大學(xué) 質(zhì)量與安全工程學(xué)院，浙江 杭州 310018）

農(nóng)業(yè)機(jī)器人是實(shí)現(xiàn)農(nóng)業(yè)自動(dòng)化的重要方式，而視覺(jué)系統(tǒng)是農(nóng)業(yè)機(jī)器人實(shí)現(xiàn)作業(yè)目標(biāo)自動(dòng)識(shí)別和定位的主要部件.目前農(nóng)業(yè)機(jī)器人視覺(jué)系統(tǒng)研究多集中于果蔬識(shí)別［1-5］，對(duì)果蔬植株其他器官尤其是莖稈的識(shí)別研究較少.實(shí)現(xiàn)果蔬植株莖稈識(shí)別是農(nóng)業(yè)機(jī)器人實(shí)現(xiàn)對(duì)靶噴施、剪枝、疏葉、成簇采摘等作業(yè)自動(dòng)化的前提［6-7］，同時(shí)也有助于實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人作業(yè)時(shí)的自動(dòng)導(dǎo)航和避障［8］.

傳統(tǒng)的果蔬植株器官識(shí)別方法主要應(yīng)用于場(chǎng)景簡(jiǎn)單［9］、與背景異色的目標(biāo)識(shí)別.在目標(biāo)與背景近色，存在遮擋、重疊及光照不均勻的復(fù)雜應(yīng)用場(chǎng)景中，其目標(biāo)識(shí)別正確率不高［10］.與傳統(tǒng)的莖稈識(shí)別方法相比，深度學(xué)習(xí)方法識(shí)別正確率更高，受環(huán)境因素影響更小，在復(fù)雜場(chǎng)景下的果蔬植株器官，尤其是與背景近色的果實(shí)識(shí)別中得到了廣泛應(yīng)用［11］.然而，當(dāng)前基于深度學(xué)習(xí)的植株莖稈識(shí)別方法研究主要集中于主莖或與其他器官異色的樹(shù)枝的識(shí)別［12-13］.比較而言，與背景近色的果實(shí)個(gè)體輪廓分界分明，形狀相對(duì)規(guī)則，與背景異色的樹(shù)枝，顏色特征鮮明，而番茄莖稈相互貫通，形狀呈細(xì)長(zhǎng)的近似直線或不規(guī)則弧線，且與葉片等背景顏色相近，識(shí)別難度大.

Mask R-CNN（Mask Region-Convolutional Neu?ral Network）作為一種可對(duì)多個(gè)目標(biāo)同時(shí)進(jìn)行分割和識(shí)別的深度學(xué)習(xí)框架［14］，在植株器官識(shí)別中已得到初步應(yīng)用［15-16］.本文針對(duì)日間自然光條件下和夜間主動(dòng)照明條件下番茄植株不同區(qū)域光照條件不一致、莖稈與其他器官近色等帶來(lái)的番茄莖稈的分類難題，提出了一種基于改進(jìn)Mask R-CNN 的番茄莖稈分類方法.基于最小外接矩提取算法對(duì)Mask RCNN 模型的Mask 分支進(jìn)行了改進(jìn)，使其在生成莖稈掩膜的同時(shí)生成對(duì)應(yīng)的最小外接矩，同時(shí)提出了用于實(shí)例分割深度學(xué)習(xí)模型綜合性能評(píng)價(jià)的像素級(jí)評(píng)價(jià)指標(biāo)和掩膜邊框精確率評(píng)價(jià)指標(biāo)Re，以提高實(shí)例分割深度學(xué)習(xí)模型性能評(píng)價(jià)的準(zhǔn)確性.

1 試驗(yàn)材料和方法

1.1 試驗(yàn)材料與設(shè)備

1.1.1 試驗(yàn)材料與圖像采集

試驗(yàn)材料為溫室大棚中種植的虹越大番茄植株.分別采集了日間和夜間番茄莖稈圖像.

參照文獻(xiàn)［17］，夜間照明系統(tǒng)如圖1（a）所示，其中ACDF長(zhǎng)×寬為700 mm×600 mm.通過(guò)開(kāi)關(guān) 控制可實(shí)現(xiàn)不同的光源布局.圖像采集系統(tǒng)實(shí)物如圖1（b）所示.使用PointGreyResearch 公司的 Bumblebee2型雙目立體相機(jī)進(jìn)行夜間番茄植株圖像采集.相機(jī)安裝于三腳架，通過(guò)1394 連接線和采集卡MOGE1394 與計(jì)算機(jī)相連.所用計(jì)算機(jī)為DELLE4300，內(nèi)存2GB，CPU 為IntelCore2DuoP9400，操作系統(tǒng)Windows7.圖像存儲(chǔ)為JPG 格式（800 像素×600像素）.

圖1 夜間圖像采集系統(tǒng)Fig.1 Night image acquisition system

2018 年6―7 月使用兩盞2W LED 對(duì)角布局（AF）在溫室大棚采集夜間番茄植株圖像192 幅；2019 年6―7 月使用兩盞1W LED 對(duì)角布局（AF）在溫室大棚采集夜間番茄植株圖像272 幅，使用四盞1W LED 四角布局（ACDF）采集圖像63幅.2021年8月采集日間番茄植株圖像，其中于7：00―11：00 采集圖像106 幅，于14：00―18：00 采集圖像107 幅.圖像采集距離為300～600 mm.

1.1.2 深度學(xué)習(xí)軟硬件環(huán)境及數(shù)據(jù)制備

使用聯(lián)想拯救者R7000p 筆記本電腦進(jìn)行深度學(xué)習(xí)模型訓(xùn)練和測(cè)試，其內(nèi)存16 G，CPU為AMD Ry?zen 7 4800H with Radeon Graphics，顯卡為NVIDIA RTX 2060.操作系統(tǒng)Windows 10，基于Python，使用深度學(xué)習(xí)框架Tensorflow 1.6.0 和Keras 2.1.6 搭建深度學(xué)習(xí)環(huán)境.

使用自制的莖稈分類數(shù)據(jù)集對(duì)Mask R-CNN 模型進(jìn)行訓(xùn)練.以夜間莖稈分類數(shù)據(jù)集的制作為例，方法如下：使用標(biāo)注軟件labelme 4.2.0對(duì)圖像中莖稈輪廓進(jìn)行標(biāo)注，根據(jù)莖稈的生長(zhǎng)位置將莖稈分為主莖和側(cè)枝.主莖是直接生長(zhǎng)在地面上的莖稈，豎直向上生長(zhǎng)，較為粗壯，其標(biāo)簽為main stem.側(cè)枝為生長(zhǎng)在主莖上的莖稈，以主莖為中心向外側(cè)生長(zhǎng)，其標(biāo)簽為firstary side branch，如圖2 所示.圖像中的過(guò)暗莖稈、曝光莖稈不予標(biāo)注.由于葉片、支撐桿、繩子等雜物的遮擋以及曝光等環(huán)境因素的影響，番茄莖稈被分割為若干大小不等的片段，因此每幅圖像中標(biāo)注的平均莖稈對(duì)象數(shù)為5～20個(gè).

圖2 莖稈分類示例Fig.2 Example of stem classification

對(duì)夜間采集所得529 幅圖像進(jìn)行翻轉(zhuǎn)、平移等操作實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)后，按比例劃分獲得的訓(xùn)練集含1 012 幅圖像，驗(yàn)證集含200 幅圖像，測(cè)試集含109 幅圖像，3 個(gè)數(shù)據(jù)集含標(biāo)注莖稈對(duì)象數(shù)合計(jì)超 16 000個(gè).

日間莖稈分類數(shù)據(jù)集的制作類似.標(biāo)注完成后，經(jīng)數(shù)據(jù)增強(qiáng)、按比例劃分后得到的數(shù)據(jù)集含訓(xùn)練集圖像567幅，驗(yàn)證集圖像47幅，測(cè)試集圖像24幅.

1.2 番茄莖稈Mask R-CNN分類方法

1.2.1 番茄莖稈Mask R-CNN分類模型

如圖3 所示，基于Mask R-CNN 的番茄莖稈分類模型結(jié)構(gòu)可分為三部分.

圖3 Mask R-CNN結(jié)構(gòu)圖Fig.3 Structure diagram of the Mask R-CNN

1）主干網(wǎng)絡(luò)ResNet－FPN，是共享卷積層，用于提取輸入圖像的特征以生成特征圖.選用殘差網(wǎng)絡(luò)ResNet-101（Residual Network-101）結(jié)合特征金字塔網(wǎng)絡(luò)FPN（Feature Pyramid Networks）作為主干網(wǎng)絡(luò)，F(xiàn)PN 主要解決了目標(biāo)檢測(cè)中的多尺度檢測(cè)問(wèn)題.通過(guò)自底向上的卷積神經(jīng)網(wǎng)絡(luò)得到四級(jí)特征圖P2、P3、P4、P5，使用自頂向下和橫向連接的方法將四組特征圖融合起來(lái)，融合后的每層網(wǎng)絡(luò)都具有深層次和淺層次的特征.

2）區(qū)域建議網(wǎng)絡(luò)RPN（Region Proposal Net?work），用于生成可能含有檢測(cè)目標(biāo)的感興趣區(qū)域RoI（Region of Interest）.RPN 涉及的特征圖來(lái)自FPN 中金字塔特征層，首先由P5 下采樣得到P6，再分別在P2～P6 中提取5 種不同尺度，長(zhǎng)寬比分別為0.5、1 和2 的總計(jì)15 種可能含有檢測(cè)目標(biāo)的矩形框anchor 作為RoI，然后對(duì)生成的anchor 進(jìn)行分類和回歸.

3）三分支，用于回歸檢測(cè)物體的類別class、邊界框Bbox（Bounding box）及掩膜Mask.其中，邊界框Bbox 是一個(gè)內(nèi)含預(yù)測(cè)對(duì)象，且邊與圖像邊平行或垂直的矩形.掩膜Mask 是在使用選定的圖像、圖形或物體，對(duì)處理的圖像（全部或局部）進(jìn)行遮擋，來(lái)控制圖像處理的區(qū)域或處理過(guò)程中，用于覆蓋的特定圖像或物體.Mask 分支最后一層輸出掩膜類別設(shè)置為2類（主莖和側(cè)枝）.

Mask R-CNN的損失函數(shù)為［18］：

式中：Lcls為分類損失，指的是RPN在預(yù)測(cè)anchor時(shí)分類是否正確的二分類平均交叉熵?fù)p失；Lbox為邊界框回歸損失，指的是每個(gè)邊界框結(jié)果與真實(shí)邊界框之間各個(gè)偏移量之和的平均交叉熵?fù)p失；Lmask為掩膜預(yù)測(cè)損失，將每個(gè)預(yù)測(cè)掩膜與人工標(biāo)注前景各像素進(jìn)行比較，其結(jié)果經(jīng)過(guò)sigmoid 函數(shù)，最后計(jì)算平均交叉熵?fù)p失.

為了解決小樣本數(shù)據(jù)集訓(xùn)練效果較差、收斂時(shí)間較長(zhǎng)的問(wèn)題，引入遷移學(xué)習(xí)的思想.遷移學(xué)習(xí)是指使用現(xiàn)有數(shù)據(jù)集，對(duì)為實(shí)現(xiàn)其他任務(wù)而訓(xùn)練得到的深度學(xué)習(xí)模型的各項(xiàng)參數(shù)進(jìn)行微調(diào)（fine-tuning）得到目標(biāo)模型［19］.與傳統(tǒng)訓(xùn)練方法相比，遷移學(xué)習(xí)可以減少模型訓(xùn)練所需時(shí)間，加速模型收斂速度，在使用樣本數(shù)量較小的數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)可有效避免模型的過(guò)擬合.利用MS COCO（Microsoft Common Ob?jects in Context）數(shù)據(jù)集上預(yù)訓(xùn)練好的參數(shù)模型對(duì)Mask R-CNN 進(jìn)行初始化，結(jié)合完成標(biāo)注的番茄莖稈分類數(shù)據(jù)集對(duì)整個(gè)網(wǎng)絡(luò)層進(jìn)行微調(diào)，獲取番茄莖稈分類模型.

1.2.2 基于最小外接矩提取算法的Mask分支改進(jìn)

Mask R-CNN 對(duì)目標(biāo)進(jìn)行像素級(jí)分割，在生成掩膜的同時(shí)生成Bbox 作為掩膜的邊框.Bbox 內(nèi)往往包含大量冗余的背景信息.通過(guò)調(diào)用Numpy、OpenCv_Python（cv2）中函數(shù)，對(duì)Mask R-CNN 網(wǎng)絡(luò)三分支中的Mask 分支進(jìn)行了改進(jìn)，使模型生成掩膜的同時(shí)生成其最小外接矩.其中，一個(gè)凸多邊形的最小外接矩是指外接該凸多邊形且面積最小的矩形.使用最小外接矩作為掩膜的新邊框可有效減少邊框內(nèi)的背景信息，更為精確地反映莖稈掩膜的輪廓和位置.

Mask 分支掩膜最小外接矩提取算法流程如圖4所示.首先，針對(duì)輸入Mask 分支的每個(gè)RoI 生成掩模二值圖，對(duì)每張二值圖的尺寸進(jìn)行調(diào)整并將其映射到一幅空白圖像上.然后，提取每幅圖像中掩膜的坐標(biāo)，據(jù)此生成其最小外接矩坐標(biāo).最后，將掩膜及其最小外接矩繪制到原圖像中，得到一幅含掩膜及其最小外接矩的預(yù)測(cè)圖像.

圖4 掩膜最小外接矩提取算法流程Fig.4 Algorithm for the extraction of the minimum external moment of masks

為比較Mask 分支改進(jìn)前后掩膜邊框的精確性差異，提出了一種掩膜面積與其邊框面積比的評(píng)價(jià)指標(biāo)Re，如式（2）所示：

式中：N為測(cè)試集中被模型識(shí)別出的目標(biāo)數(shù)；SMask（i）為第i個(gè)目標(biāo)對(duì)應(yīng)掩膜的面積，其中1≤i≤N；SRect（i）為第i個(gè)目標(biāo)的掩膜邊框面積.

1.2.3 像素級(jí)Mask R-CNN性能評(píng)價(jià)指標(biāo)

當(dāng)前實(shí)例分割評(píng)價(jià)指標(biāo)多為基于交并比IOU（Intersection over Union）的目標(biāo)級(jí)評(píng)價(jià)指標(biāo)，IOU 計(jì)算如式（3）和圖5所示：

圖5 IOU計(jì)算原理Fig.5 The calculation principle of IOU

式中：SD∩G為圖中D與G的交集面積；SD為圖中D的面積；SG為 圖中G的面積.

IOU 計(jì)算完成后對(duì)其大小進(jìn)行判定，若其大于預(yù)設(shè)閾值且預(yù)測(cè)對(duì)象與真實(shí)對(duì)象標(biāo)簽一致，則該對(duì)象預(yù)測(cè)正確.根據(jù)預(yù)測(cè)正確的對(duì)象數(shù)目計(jì)算模型的精確率、召回率、F1值等目標(biāo)級(jí)評(píng)價(jià)指標(biāo)［20-22］.目標(biāo)級(jí)評(píng)價(jià)指標(biāo)適用于目標(biāo)檢測(cè)深度學(xué)習(xí)模型的性能評(píng)估，但無(wú)法準(zhǔn)確評(píng)價(jià)實(shí)例分割深度學(xué)習(xí)模型性能.基于實(shí)例分割模型性能評(píng)價(jià)的關(guān)鍵是判斷模型對(duì)目標(biāo)區(qū)域分割的正確性，本文提出了像素級(jí)實(shí)例分 割模型評(píng)價(jià)指標(biāo)，包括：像素精確率PP、像素召回率PR、像素F1值PF1score和像素平均正確率PAP，分別如 式（4）～（7）所示.

式中：PTP為掩膜的真陽(yáng)性像素?cái)?shù)，表示和人工標(biāo)注前景重合的掩膜像素?cái)?shù)；PFP為掩膜的假陽(yáng)性像素?cái)?shù)，表示背景被誤判為前景的掩膜像素?cái)?shù)；PFN為掩膜的假陰性像素?cái)?shù)，表示前景被誤判為背景的掩膜像素?cái)?shù).

式中：M為測(cè)試圖像數(shù)目.

為評(píng)價(jià)多類別對(duì)象實(shí)例分割模型的性能，基于目標(biāo)級(jí)全類平均正確率mAP提出了像素級(jí)全類平均正確率PmAP.當(dāng)模型識(shí)別對(duì)象僅有1 種類別時(shí)，PAP和PmAP等價(jià).

1.2.4 Mask R-CNN分類模型訓(xùn)練

夜間番茄莖稈分類模型訓(xùn)練步驟如下：

1）設(shè)置模型配置參數(shù)，包括RPN 的anchor 尺度、學(xué)習(xí)率、迭代步長(zhǎng)等.

2）加載預(yù)訓(xùn)練好的MS COCO 模型參數(shù)，開(kāi)始 訓(xùn)練.根據(jù)模型損失值loss 的變化規(guī)律，重復(fù)步驟1）～2）直至得到最優(yōu)配置參數(shù).

3）以夜間莖稈分類訓(xùn)練集對(duì)Mask R-CNN 模型進(jìn)行迭代，每進(jìn)行完1 輪迭代后輸出模型當(dāng)前的損失值loss和權(quán)重文件.迭代100輪后，完成訓(xùn)練.

4）使用測(cè)試集對(duì)模型性能進(jìn)行測(cè)試.

最優(yōu)模型參數(shù)設(shè)置為：模型訓(xùn)練的學(xué)習(xí)率為0.001，動(dòng)量因子為0.9，權(quán)重衰減系數(shù)為0.000 1，每輪迭代步長(zhǎng)為506，Batch Size 為2.RPN 的anchor 尺度為8、16、32、64和128.

日間莖稈分類模型使用日間莖稈數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試，其訓(xùn)練步驟和參數(shù)設(shè)置均與夜間莖稈分類模型相同.

2 試驗(yàn)結(jié)果與討論

2.1 基于像素級(jí)評(píng)價(jià)指標(biāo)的分類性能分析

為驗(yàn)證像素級(jí)評(píng)價(jià)指標(biāo)的有效性，以夜間番茄莖稈分類測(cè)試集圖像為例進(jìn)行分析.測(cè)試圖像、預(yù)測(cè)結(jié)果及人工標(biāo)注的莖稈分類真實(shí)結(jié)果Ground Truth的對(duì)比如圖6所示.

圖6 測(cè)試圖像、預(yù)測(cè)結(jié)果及Ground Truth二值圖對(duì)比Fig.6 Comparison of test image，predicted image，and binary image of Ground Truth

由人工定性評(píng)價(jià)圖6（b）和圖6（c）可見(jiàn)，模型對(duì)于該圖像莖稈的分類效果較好.分別使用目標(biāo)級(jí)評(píng)價(jià)指標(biāo)和像素級(jí)評(píng)價(jià)指標(biāo)對(duì)圖像預(yù)測(cè)結(jié)果進(jìn)行評(píng)價(jià)，目標(biāo)級(jí)F1值F1score 為30.30%，mAP 為30.20%，像素級(jí)F1值PF1score為70.23%，PmAP為67.99%.可見(jiàn)，像素級(jí)評(píng)價(jià)指標(biāo)與定性評(píng)價(jià)結(jié)果一致性更高，能更精確地反映番茄莖稈分類模型性能.

為定量評(píng)價(jià)模型性能，分別使用夜間和日間莖稈分類數(shù)據(jù)集對(duì)模型進(jìn)行測(cè)試，結(jié)果如表1 所示.可見(jiàn)：目標(biāo)級(jí)評(píng)價(jià)指標(biāo)值顯著低于像素級(jí)評(píng)價(jià)指標(biāo)值，結(jié)合圖6，進(jìn)一步驗(yàn)證了像素級(jí)評(píng)價(jià)指標(biāo)的有效性；像素召回率與像素精確率存在較大差距；日間番茄莖稈分類模型的像素F1值和像素全類平均正確率均高于夜間分類模型，說(shuō)明日間莖稈分類模型性能優(yōu)于夜間分類模型.

為與其他分類模型進(jìn)行性能對(duì)比，分別使用支持向量機(jī)SVM（Support Vector Machine）、基于遷移學(xué)習(xí)的YOLACT（You Only Look At CoefficienTs）訓(xùn)練番茄莖稈分類模型.支持向量機(jī)SVM是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行分類的廣義線性分類器［23］.YOLACT 在目標(biāo)檢測(cè)模型YOLO（You Only Look Once）的基礎(chǔ)上添加Mask 分支，繼承了YOLO 系列目標(biāo)檢測(cè)模型訓(xùn)練耗時(shí)短、識(shí)別速度快的優(yōu)點(diǎn)［24］.SVM 屬于傳統(tǒng)圖像分割算法，無(wú)法使用目標(biāo)級(jí)評(píng)價(jià)指標(biāo).對(duì)比表1 中的測(cè)試結(jié)果可見(jiàn)，Mask R-CNN 莖稈分類模型性能最優(yōu).莖稈分類錯(cuò)誤包括漏識(shí)別、分割不精確和誤識(shí)別，如圖7所示.

表1 不同數(shù)據(jù)集莖稈分類試驗(yàn)結(jié)果Tab.1 Test results of stem classification of different data sets

漏識(shí)別，即未識(shí)別出莖稈，如圖7（a）所示；分割不精確，即生成的掩膜未精確地覆蓋莖稈，如圖7（b）所示；誤識(shí)別，即莖稈識(shí)別錯(cuò)誤，包括將背景識(shí)別為莖稈，將主莖識(shí)別為側(cè)枝等，如圖7（c）所示.分析原因，包括：

圖7 識(shí)別與分割錯(cuò)誤示例Fig.7 Examples of recognition and segmentation errors

1）番茄莖稈分類數(shù)據(jù)集中標(biāo)注的莖稈對(duì)象數(shù)量龐大，不同莖稈對(duì)象，即使是同類莖稈，其長(zhǎng)度、直徑、形狀、顏色、亮度、清晰度等存在較大差異，Mask R-CNN學(xué)習(xí)同類莖稈共同特征的難度極大.

2）圖像中存在曝光和光照過(guò)暗莖稈區(qū)域.一方面，存在曝光或光照過(guò)暗的標(biāo)注莖稈對(duì)象數(shù)目較少，使模型難以學(xué)習(xí)該類莖稈的特征.另一方面，曝光或光照過(guò)暗使得莖稈的顏色特征缺失，進(jìn)而導(dǎo)致其大小、形狀等特征也缺失，導(dǎo)致模型性能下降.

3）莖稈與葉片、未成熟果顏色差異小，且部分細(xì)長(zhǎng)葉片區(qū)域與莖稈區(qū)域形狀相似，部分圖像背景中含非番茄綠色植株，增大了模型分類難度.

4）莖稈區(qū)域光照不均勻，使同一莖稈不同區(qū)域顏色特征存在較大差異，造成部分莖稈區(qū)域被誤判為背景，產(chǎn)生分割不精確的錯(cuò)誤.

為檢驗(yàn)番茄莖稈分類模型對(duì)不同類莖稈的分類性能，分別使用夜間和日間莖稈分類模型對(duì)相應(yīng)測(cè)試集中的2類莖稈進(jìn)行檢測(cè)，結(jié)果如表2所示.

表2 測(cè)試集不同種類莖稈分類試驗(yàn)結(jié)果Tab.2 Classification results of different types of stalks in the test set

由表2 可知，無(wú)論是夜間還是日間莖稈分類模型，主莖分類性能均優(yōu)于側(cè)枝.此外，日間莖稈分類模型對(duì)主莖的分類性能優(yōu)于夜間模型，對(duì)側(cè)枝的分類性能較差，可能原因如下：

1）主莖較粗，生長(zhǎng)方向豎直向上，特征明顯.日間光照充足且相對(duì)均勻，降低了主莖分類難度.

2）側(cè)枝較細(xì)，生長(zhǎng)方向具有隨機(jī)性，難以學(xué)習(xí)其共同特征.日間圖像中含有大量綠色非番茄植株，增大了模型對(duì)側(cè)枝的分類難度.

為測(cè)試在不同光照條件下的莖稈分類模型性能，將測(cè)試集按照光照條件進(jìn)行劃分，使用莖稈分類模型進(jìn)行測(cè)試，結(jié)果如表3所示.

表3 不同圖像采集條件下莖稈分類試驗(yàn)結(jié)果Tab.3 Test results of stem classification under different image acquisition

由表3 可見(jiàn)，對(duì)于夜間莖稈分類模型，1W LED條件下的莖稈分類性能更優(yōu).可能是由于相較于2W LED，1W LED 條件下莖稈表面照度適中，曝光區(qū)較少，降低了模型對(duì)主莖和側(cè)枝的分類難度.

為驗(yàn)證夜間莖稈分類模型在不同光照條件下的泛化能力，測(cè)試了模型對(duì)1W LED 四角布局（ACDF）光照條件下采集的63 幅圖像的莖稈分類性能，結(jié)果如表3 所示.可見(jiàn)，在該光照條件下，模型分類性能與1W LED 對(duì)角布局光照條件相近.該結(jié)果表明模型在不同的光照條件下具有一定的泛化能力.

對(duì)于日間莖稈分類模型，當(dāng)圖像采集時(shí)間段為9：00―11：00 時(shí)，像素F1值和像素全類平均正確率 要優(yōu)于其他時(shí)間段采集的圖像.可能原因?yàn)椋涸?9：00―11：00 時(shí)段，由于太陽(yáng)持續(xù)升高，光照逐漸變強(qiáng)卻不強(qiáng)烈，為莖稈表面提供了適宜光照，從而減少了莖稈區(qū)域的曝光和陰影，為模型提供了更多的莖稈特征.

2.2 基于掩膜邊框精確率的性能分析

Mask 分支改進(jìn)前后模型預(yù)測(cè)結(jié)果對(duì)比如圖8 所示.使用Re對(duì)改進(jìn)前后模型的掩膜邊框精確率進(jìn)行評(píng)估，結(jié)果如表4所示.

表4 Mask分支改進(jìn)前后不同數(shù)據(jù)集掩膜邊框精確率對(duì)比Tab.4 Comparison of mask border accuracy of different datasets before and after Mask branch improvement

結(jié)合圖8 與表4 可知，改進(jìn)后莖稈分類模型的Re有了顯著提升，預(yù)測(cè)結(jié)果內(nèi)包含的無(wú)用背景信息顯著減少，掩膜邊框的精確率有了明顯提升.

圖8 Mask分支改進(jìn)前后模型預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of model prediction results before and after Mask branch improvement

由表4 可知，夜間莖稈分類模型的掩膜邊框精確率優(yōu)于日間，可能原因是日間莖稈分類模型的分割不精確問(wèn)題較夜間嚴(yán)重，對(duì)莖稈掩膜生成最小外接矩作為新邊框時(shí)，框內(nèi)包含較多背景信息，導(dǎo)致日間莖稈分類模型的Re相對(duì)較差.

2.3 實(shí)時(shí)性能分析

以夜間莖稈分類測(cè)試集的100 幅圖像對(duì)夜間莖稈分類模型的實(shí)時(shí)性進(jìn)行測(cè)試.共計(jì)耗時(shí)30.20 s，平均每幅圖像耗時(shí)0.31 s，其中最長(zhǎng)耗時(shí)為0.39 s，最短耗時(shí)為0.26 s，說(shuō)明本文提出的番茄莖稈分類模型具有較強(qiáng)的實(shí)時(shí)性.

3 結(jié)論

本研究對(duì)日間、夜間相互貫通、形狀呈細(xì)長(zhǎng)的近似直線或不規(guī)則弧線、與葉片等背景顏色相近的目標(biāo)分類方法研究具有參考價(jià)值，可為剪枝機(jī)器人的研發(fā)提供方法基礎(chǔ)，主要結(jié)論如下：

1）對(duì)Mask R-CNN 模型的Mask 分支進(jìn)行了改進(jìn)，使模型在生成掩膜的同時(shí)生成最小外接矩，可有效減少分割結(jié)果中冗余的背景.

2）基于遷移學(xué)習(xí)訓(xùn)練的日間、夜間番茄莖稈分類模型，可實(shí)現(xiàn)日間、夜間番茄主莖和側(cè)枝的正確分類.

3）與常用的目標(biāo)級(jí)評(píng)價(jià)指標(biāo)相比，像素級(jí)評(píng)價(jià)指標(biāo)和掩膜邊框精確率評(píng)價(jià)指標(biāo)Re可更準(zhǔn)確地評(píng)價(jià)實(shí)例分割模型的綜合性能.