基于RGB-D相機的黃瓜苗3D表型高通量測量系統(tǒng)研究

徐勝勇 李 磊 童 輝 王成超 別之龍 黃 遠,

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院, 武漢 430070; 2.華中農(nóng)業(yè)大學(xué)深圳營養(yǎng)與健康研究院, 深圳 518000;3.中國農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所, 深圳 518000; 4.華中農(nóng)業(yè)大學(xué)園藝林學(xué)學(xué)院, 武漢 430070)

0 引言

種苗培育是蔬菜生產(chǎn)的重要環(huán)節(jié)。種苗表型測量是品種選育、栽培管理、生長建模等研究中必需的重要環(huán)節(jié)。植物葉片大小是監(jiān)測植物生長及預(yù)測植物生長的重要參數(shù)[1-2],而葉面積是衡量葉片大小的重要特征,葉面積對農(nóng)作物產(chǎn)量構(gòu)成具有重要作用,是作物栽培和育種實踐中常用的指標(biāo),對植物的生長發(fā)育有著顯著影響。真葉數(shù)量是判斷種苗生長階段的重要依據(jù),真葉也是植物后期進行光合作用和蒸騰作用的主要器官。下胚軸長、莖粗和株高等莖稈表型參數(shù)可以反映種苗的生長狀況,是壯苗評價的重要表型參數(shù)。當(dāng)前種苗表型檢測方法依賴于傳統(tǒng)的人工測量,存在效率低、主觀性強、誤差大、破壞種苗等問題,限制了數(shù)字化育苗的發(fā)展[3]。傳統(tǒng)依賴于人工的數(shù)據(jù)采集方式正面臨轉(zhuǎn)型升級。計算機視覺和人工智能等先進技術(shù)的應(yīng)用使得無損測量作物表型成為可能。Kinect傳感器是一種經(jīng)典的RGB-D相機,能夠同時獲取目標(biāo)的彩色、紅外和深度信息,具有成本低廉、體積小巧的特性和優(yōu)勢,使得該傳感器在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域獲得了推廣和應(yīng)用。

RBG-D相機在點云精度、處理速度和可自動化3方面表現(xiàn)較為均衡,廣泛應(yīng)用于表型測量[4]。RGB-D相機是在RGB攝像頭的基礎(chǔ)上增加了深度測量,主流深度測量方案包括結(jié)構(gòu)光、飛行時間(TOF)和雙目視覺等3種。①結(jié)構(gòu)光:它的基本原理是通過近紅外激光器主動發(fā)射一定結(jié)構(gòu)光到被測物體,再由紅外相機捕捉被測物體表面的結(jié)構(gòu)光圖案,再結(jié)合三角測量原理計算被測物體的位置和深度信息。這類深度相機主要包括Kinect V1、RealSense SR300/D415/D435、DKam 130和Asus Xtion Pro。文獻[5]基于RealSense SR300型深度相機采集褐蘑菇床圖像進行原位測量,計算出單體蘑菇的位置、直徑、偏向角、傾斜角。文獻[6]研究了通過使用RealSense D415型相機,基于深度學(xué)習(xí)的融合二維彩色圖像和深度圖像的生菜表型參數(shù)(濕質(zhì)量、干質(zhì)量、株高、直徑、葉面積)高精度估算算法。文獻[7]基于RealSense D435型相機建立了棉花生長點三維空間坐標(biāo)的計算模型,有助于實現(xiàn)棉花生長點的檢測和定位。②飛行時間(TOF):它的基本原理是根據(jù)發(fā)射的紅外光脈沖被物體反射返回傳感器之間的時間差來測量每個像素的距離。基于飛行時間測距的RGB-D相機主要包括Azure Kinect、Kinect V2、PMD深度相機,文獻[8]利用Azure Kinect對南瓜砧木根系表型進行無損測量。文獻[9]研究了利用Kinect V2深度相機基于幾何模型測量出綠蘿葉片外部表型參數(shù),包括葉長、葉寬和葉面積。文獻[10]基于Kinect V2相機,通過測量穴盤苗發(fā)芽率、株高、葉面積、壯苗指數(shù)實現(xiàn)了穴盤苗生長過程的無損監(jiān)測。③雙目視覺:它的基本原理是模擬人眼對周圍環(huán)境距離的感知,從兩部相機拍攝同一景物獲得左右兩幅視圖,進行立體匹配,計算出圖像對應(yīng)點間的位置偏差,從而獲取物體的三維信息的方法?；陔p目視覺測距的RGB-D相機主要包括ZED、小覓智能S1030-IR-120和Bumblebee2相機。文獻[11]提出了一種雙目相機結(jié)合改進YOLO v3目標(biāo)檢測算法的行人障礙物檢測和定位方法。文獻[12]將小覓智能S1030-IR-120型標(biāo)準(zhǔn)版雙目相機部署在拖拉機前方并結(jié)合噴霧機前進速度計算冠層體積。文獻[13]通過雙目立體視覺拍攝不同視角的擬南芥圖像,將二維圖像信息重建為三維模型,實現(xiàn)了對作物葉片長度、寬度和莖稈長度的測量,測量誤差均在5%以內(nèi)。

綜上所述,基于結(jié)構(gòu)光的深度相機,易受強光干擾且不適合遠距離深度信息采集;基于飛行時間的深度相機的分辨率較低,但其運算速度快能夠?qū)崟r測量且功耗較低;基于雙目立體視覺的深度相機重建速度快、結(jié)構(gòu)最簡單,但其高精度點云需要高性能的圖像和穩(wěn)定的成像環(huán)境[14]。而以Kinect為代表的深度相機(RGB-D)在提供深度信息的同時可以生成深度圖像,在機器視覺測量領(lǐng)域得到了廣泛應(yīng)用。目前,對于種苗表型的無損檢測技術(shù)研究相對較少,已經(jīng)成為限制種苗相關(guān)研究的瓶頸。本文以Azure Kinect深度相機為采集設(shè)備,以子葉期到2葉1心期共3個生長時期的黃瓜苗為實驗對象,開發(fā)一系列種苗表型無損測量算法,并研制自動化圖像采集平臺。

1 材料與方法

1.1 實驗材料與數(shù)據(jù)采集

實驗樣本為黃瓜,品種為津春4號。樣本于2021年12月到2022年1月在華中農(nóng)業(yè)大學(xué)園藝林學(xué)學(xué)院人工氣候室培育。溫湯浸種,處理后放置在28℃恒溫箱中催芽,待90%種子露白后播種到50孔的穴盤,播種前向基質(zhì)中添加雅苒苗樂復(fù)合肥料(1.0 kg/m3),基質(zhì)中草炭、蛭石、珍珠巖體積比為3∶1∶1。播種完成后將穴盤放置于溫室苗床上,晝/夜溫度為28℃/18℃,相對濕度為65%～85%。在1葉1心期后噴施1 000倍液萊瑞育苗專用肥1號,培育至2葉1心期結(jié)束。共培育10盤黃瓜苗。其中6盤黃瓜苗用于算法設(shè)計,另4盤黃瓜苗共197株用于驗證算法,其中對子葉展平時期、1葉1心時期和2葉1心時期共 150株黃瓜苗采取破壞性實驗進行表型算法驗證。

如圖1所示,通過使用自動化圖像采集平臺采集黃瓜苗圖像。為了確保獲取到高質(zhì)量的黃瓜苗的彩色圖和深度圖像,一臺Azure Kinect相機被安裝在距黃瓜苗正上方25～30 cm,用于獲取黃瓜苗的俯視圖像序列;另一臺被安裝在距黃瓜苗正前方25～30 cm,用于獲取黃瓜苗的側(cè)視圖像序列。自動化采集平臺通過機械手夾取分體式苗缽,移動穴盤苗到旋轉(zhuǎn)平臺,對黃瓜苗進行俯視視角和側(cè)視視角的圖像采集。圖像采集完成后,機械手夾取苗缽移動到空穴盤對應(yīng)位置。本文在SolidWorks、LabVIEW、OpenCV基礎(chǔ)上開發(fā)了圖像處理算法與控制電路。通過基于LabVIEW軟件開發(fā)的黃瓜苗表型測量軟件調(diào)用圖像采集與處理算法程序,控制兩臺相機拍攝黃瓜苗,得到4 096像素×3 072像素的彩色圖、1 024像素×1 024像素的深度圖、1 024像素×1 024像素的近紅外圖和1 024像素×1 024像素的RGB-D對齊圖。使用相機提供的SDK函數(shù),將RGB-D對齊圖和深度圖轉(zhuǎn)換為3D點云[4]。

圖1 自動化圖像采集平臺設(shè)計圖和實物圖

對采集圖像后的黃瓜苗,人工使用直尺測量生長點到基質(zhì)平面的距離作為株高,測量子葉節(jié)點到基質(zhì)表面的距離作為下胚軸長(精度1 mm);采用數(shù)顯游標(biāo)卡尺3次測量莖稈取平均值得到莖粗(精度為0.01 mm);使用Epson Expression 12000XL型掃描儀(愛普生公司,分辨率0.01 mm2)掃描人工采摘并鋪平的葉片,得到葉面積數(shù)據(jù)。

1.2 深度學(xué)習(xí)使用的訓(xùn)練數(shù)據(jù)集制作

利用自動化圖像采集平臺,共拍攝了281幅原始圖像數(shù)據(jù)集。為了提高網(wǎng)絡(luò)模型的精度和泛化性能,將訓(xùn)練集通過數(shù)據(jù)增強的方式進行擴充。分別通過圖像旋轉(zhuǎn)(45°、90°)、亮度調(diào)整(0.8倍和1.3倍)、對比度增強至0.8,數(shù)據(jù)集擴充到原來的5倍,其中訓(xùn)練集975幅,測試集430幅。人工使用數(shù)據(jù)標(biāo)注軟件對黃瓜苗的近紅外圖像進行標(biāo)注,以生成深度學(xué)習(xí)需要的訓(xùn)練數(shù)據(jù)集。使用 LabelMe 軟件對黃瓜苗近紅外圖像中的葉片和莖稈輪廓進行標(biāo)注,只標(biāo)注未遮擋部分的輪廓,對于一幅圖中的同一類標(biāo)簽用不同的順序進行標(biāo)注,標(biāo)注信息將會保存到與原圖像對應(yīng)的json文件中;使用LabelImg軟件對冠層RGB-D圖像中的生長點用矩形框進行標(biāo)注,標(biāo)注信息將會保存到與原圖像對應(yīng)的xml文件中。共制作了1 405幅近紅外圖、RGB-D對齊圖用于網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練數(shù)據(jù)集的制作如圖2所示。

圖2 訓(xùn)練數(shù)據(jù)集制作

2 黃瓜苗3D表型無損測量方法

本文技術(shù)流程圖如圖3所示。使用自動化圖像采集平臺拍攝俯視視角和側(cè)視視角下的黃瓜苗。俯視視角圖像用于葉片數(shù)、葉面積、株高、生長點等表型參數(shù)測量;側(cè)視視角圖像序列用于下胚軸長、莖粗表型參數(shù)測量。為驗證無損測量的準(zhǔn)確程度,對無損測量結(jié)果與人工測量結(jié)果進行了比較分析。

圖3 黃瓜苗3D表型無損測量技術(shù)流程圖

2.1 基于Mask R-CNN的黃瓜苗圖像分割算法

Mask R-CNN是在Faster R-CNN目標(biāo)檢測模型的基礎(chǔ)上增加了Mask分支,并用ROI Align改進原有的ROI Pooling模塊,解決了Faster R-CNN區(qū)域匹配存在誤差的問題[15]。Mask R-CNN網(wǎng)絡(luò)的處理流程如圖4所示,Mask R-CNN網(wǎng)絡(luò)模型由主干網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)、感興趣區(qū)域?qū)R層和R-CNN共 4個模塊構(gòu)成[16]。主干網(wǎng)絡(luò)由殘差網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)構(gòu)成,對輸入圖像進行特征提取并生成多尺度特征圖,區(qū)域生成網(wǎng)絡(luò)的作用是生成目標(biāo)候選區(qū)域,完成特征圖中前后景目標(biāo)分類和邊界框的回歸,并獲取前景目標(biāo)的粗略位置;感興趣區(qū)域?qū)R層是進一步對特征圖進行像素校正,然后分別輸入全連接層與全卷積網(wǎng)絡(luò)層;全連接層輸出含葉片邊緣邊界框位置和分類得分,全卷積網(wǎng)絡(luò)層輸出葉片區(qū)域掩膜。最后,R-CNN模塊綜合各分支輸出信息,得到一幅包含黃瓜苗器官類別、器官定位邊界框和器官分割掩膜的圖像。Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)模型是在Tensorflow-Gpu 1.13.2,Keras 2.1.5深度學(xué)習(xí)框架下展開,基于Windows 10 64位操作系統(tǒng),處理器為Inter Xeon E5-2650,顯卡為Nvidia Quadro p4000,訓(xùn)練每次迭代批處理量為1。

圖4 Mask R-CNN網(wǎng)絡(luò)分割葉片和莖稈示意圖

在使用Azure Kinect相機時,由于深度攝像頭和彩色攝像頭相機間的視差導(dǎo)致使用開源函數(shù)Depth_Image_to_Color_Camera進行RGB-D對齊造成明顯的顏色映射錯誤,產(chǎn)生重影。為了解決此問題,本文提出一種改進的RGB-D對齊方法,如圖5所示。先對近紅外圖像使用實例分割網(wǎng)絡(luò)Mask R-CNN生成預(yù)測結(jié)果,再對預(yù)測結(jié)果進行二值化,二值化結(jié)果與相機對齊結(jié)果進行掩膜,該方法可以得到高質(zhì)量的對齊結(jié)果與器官圖像分割結(jié)果。

圖5 改進冠層、側(cè)視視角RGB-D對齊方法流程圖

2.2 基于YOLO v5s網(wǎng)絡(luò)的黃瓜苗生長點檢測算法

YOLO v5網(wǎng)絡(luò)模型共有YOLO v5s、YOLO v5m、YOLO v5l和YOLO v5x等4個版本,其主要區(qū)別是網(wǎng)絡(luò)特征提取模塊的寬度和深度不同[17]。自動化圖像采集平臺獲取的黃瓜苗圖像背景相對簡單,生長點與周圍壞境相比特征明顯,故選用YOLO v5系列中深度最小、速度最快的YOLO v5s網(wǎng)絡(luò)進行黃瓜苗生長點的檢測。圖6為YOLO v5s的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。YOLO v5s 在結(jié)構(gòu)上分為 4 部分,分別為:①輸入端:將輸入圖像進行預(yù)處理,調(diào)整到與網(wǎng)絡(luò)輸入的大小保持一致,進行歸一化等操作,通過使用 Mosaic 數(shù)據(jù)增強提高目標(biāo)檢測的準(zhǔn)確性和訓(xùn)練速度。②Backbone:對圖像進行卷積和切片操作,用于提取輸入圖像的特征。③Neck網(wǎng)絡(luò):采用 FPN+PAN 結(jié)構(gòu)進一步提高對圖像的檢測精度。④預(yù)測:采用非極大抑制的方法,消除干擾框,用于對目標(biāo)位置進行預(yù)測。YOLO v5s網(wǎng)絡(luò)模型是在Tensorflow-Gpu 1.13.2,Keras 2.1.5深度學(xué)習(xí)框架下展開,基于Windows 10 64位操作系統(tǒng),處理器為Inter Xeon E5-2650,顯卡為Nvidia Quadro p4000,訓(xùn)練每次迭代批處理量為1。

圖6 YOLO v5s網(wǎng)絡(luò)預(yù)測流程圖

2.3 鄰域最值濾波改進算法

點云中存在背景、離群和懸浮點這3種類型的噪聲。對點云進行濾波是提高點云質(zhì)量和測量準(zhǔn)確性的重要環(huán)節(jié)。背景噪聲在上述的改進RGB-D對齊方法中已被消除。離群噪聲使用統(tǒng)計濾波[18]去除。懸浮點噪聲使用鄰域最值濾波方法。然而該方法在有效去除懸浮點的同時也將部分目標(biāo)點云錯誤剔除了,這不僅降低了點云質(zhì)量還影響了測量的結(jié)果。因此,本文提出了一種深度圖插值法,對鄰域最值濾波[4]的結(jié)果進行進一步處理,以恢復(fù)誤剔除的目標(biāo)點云。主要算法流程包括:

(1)首先,利用訓(xùn)練好的Mask R-CNN模型對黃瓜苗葉片進行分割。

(2)然后,通過遍歷步驟(1)葉片分割后對應(yīng)的深度圖,檢索非0像素點的位置坐標(biāo)(xi,yi)。

(3)針對深度圖中坐標(biāo)為(xi,yi)的像素點,計算其像素距離小于等于N的鄰域范圍內(nèi)某像素點的深度信息,并計算鄰域范圍內(nèi)的最值Zm。

(4)計算并與給定的閾值D比較,若任意一個大于D即判斷為懸浮點,令像素點的像素值為0,去除該懸浮點。

(5)重復(fù)上述步驟,遍歷整幅深度圖。

(6)在步驟(5)結(jié)束后,同時遍歷二值圖和深度圖,檢索二值圖中像素值為255、深度圖中像素值為0的像素點,搜索其像素距離小于等于M的鄰域范圍,將距離該像素點最近的像素點的深度信息進行填充。

通過多次實驗發(fā)現(xiàn),N為3、D為5、M為5時對黃瓜苗懸浮點的剔除效果最好,能夠?qū)崿F(xiàn)保邊去噪的效果。圖7展示了改進鄰域最值濾波算法的效果,可以明顯看出葉片和莖稈點云在邊緣處的質(zhì)量得到大幅度的提升。

圖7 改進的領(lǐng)域最值濾波算法效果

2.4 黃瓜苗表型計算方法

2.4.1葉片表型無損測量

Mask R-CNN網(wǎng)絡(luò)屬于實例分割網(wǎng)絡(luò),它不僅能夠分辨圖像中每個實例所包含的像素,也能統(tǒng)計每個類別的數(shù)量。本文利用Mask R-CNN網(wǎng)絡(luò)預(yù)測的結(jié)果可同時獲取子葉和真葉的葉片數(shù)量與分割結(jié)果。利用Mask R-CNN生成的預(yù)測二值圖與原圖相乘,獲得僅包含葉片的圖像。再采用本文提出的鄰域最值濾波改進算法,獲得單片葉片的三維點云。由于本文采用單視角測量黃瓜苗冠層表型,在拍攝時可能會存在葉片的遮擋,葉片遮擋處理有基于點云修復(fù)[19]和二維彩色信息修復(fù)。本文使用文獻[20]提出的一種針對無監(jiān)督圖像翻譯的循環(huán)生成對抗網(wǎng)絡(luò)CycleGAN對葉片的二維圖像進行修復(fù)。因為同種苗的同種類的葉片形狀具有高度的相似性,可以使用CycleGAN網(wǎng)絡(luò)對遮擋葉片進行修復(fù),具體測量流程包括:

(1)Mask R-CNN分割種苗RGB-D圖像得到二值圖,遍歷二值圖中像素值為255的像素點,計算其平均深度。

(2)使用CycleGAN網(wǎng)絡(luò)修復(fù)葉片RGB-D圖像。

(3)將修復(fù)結(jié)果的二值圖與原分割結(jié)果的二值圖相減,得到葉片被修復(fù)的部分。

(4)將步驟(1)得到的平均深度賦值給步驟(3)的修復(fù)部分對應(yīng)的深度圖。

(5)經(jīng)過以上步驟得到修復(fù)后的RGB-D葉片圖像和深度圖像,葉片的遮擋部分被修復(fù),轉(zhuǎn)換為葉片點云。

將得到的葉片點云進行下采樣、點云濾波處理,再使用最小二乘法平滑點云數(shù)據(jù),最后采用貪婪投影三角化對葉片點云進行三角面片化[21]。經(jīng)三角面片化后的葉片由若干個三角面片組成,再利用海倫公式,計算葉片包含的所有三角面片,累加求和后得到葉片面積A,公式為

(1)

其中

(2)

(3)

式中A——葉片面積,mm2

Ai——第i個三角形面積,mm2

a、b、c——三角形邊長,mm

pi——第i個三角形周長的一半,mm

n——三角形個數(shù)

2.4.2株高無損測量

株高是幼苗品質(zhì)判別的關(guān)鍵因子,株高定義為植株基部至主莖頂部即生長點的距離[10]。單株黃瓜苗株高測量示意圖如圖8所示。利用訓(xùn)練好的YOLO v5s網(wǎng)絡(luò)模型識別黃瓜苗的生長點,然后將生長點像素坐標(biāo)映射到相應(yīng)深度圖中,可以測量出生長點距離相機平面的深度信息H2。為減小因深度相機成像誤差對測量精度造成的影響,本文在拍攝前,使用深度相機測量拍攝平面到相機平面的距離H1,使用直尺測量苗缽高度H3。株高測量示意圖如圖8所示,黃瓜種苗株高計算公式為

圖8 莖稈表型測量示意圖

(4)

式中H——株高,mm

β——最小外接矩形的傾斜角,(°)

2.4.3莖粗無損測量

莖稈與種苗的生長狀況密切相關(guān)[22]。黃瓜種苗莖稈較細(xì)且在整個生長期間粗細(xì)不均勻和Azure Kinect相機精度影響,莖粗無損測量的準(zhǔn)確率一直難以得到較高提升[23]。本文為提高黃瓜苗莖粗測量的準(zhǔn)確性,首先在測量時選擇固定的莖粗測量位置作為測量結(jié)果。本文莖粗測量方法是先利用Mask R-CNN對莖稈的分割圖使用minAreaRect函數(shù)找到莖稈的最小外接矩形,并得到最小外接矩形的參數(shù),包括傾斜角β。之后將莖稈部分4等分并計算等分線y1、y2和y3的y軸坐標(biāo),通過測量坐標(biāo)((xi,y1),(xi+1,y1),…,(xi+n1,y1));((xj,y2),(xj+1,y2),…,(xj+n2,y2));((xz,y3),(xz+1,y3),…,(xz+n3,y3))在深度中x軸方向上的相鄰像素點的實際距離并取其平均值作為相鄰兩點的實際距離。又因為莖稈在生長過程中并不是直立生長的,會由于環(huán)境等因素造成莖稈產(chǎn)生不同程度的傾斜,故在y1、y2和y3處的莖粗只是莖稈在水平方向上的莖粗P1、P2和P3,再通過結(jié)合莖稈的傾斜角β,由Mask R-CNN提取出的下胚軸區(qū)域,即可測量出莖稈的實際莖粗d,莖粗測量示意圖如圖8所示,莖粗計算公式為

(5)

其中

式中d——莖稈的實際莖粗,mm

d1——y1位置的實際莖粗,mm

d2——y2位置的實際莖粗,mm

d3——y3位置的實際莖粗,mm

devx——x軸相鄰像素點的平均距離,mm

2.4.4下胚軸長度無損測量

下胚軸長度是地面與子葉節(jié)之間的距離[24]。為準(zhǔn)確測量黃瓜苗下胚軸長度,利用Mask R-CNN生成的莖稈的二值圖像與原圖像進行像素相乘,獲得莖稈圖像。結(jié)合只包含有莖稈的二值圖像與深度圖像,通過測量y軸方向相鄰像素點之間的歐氏距離取平均值獲得黃瓜苗的胚軸部位在y軸方向的平均深度距離,再通過對二值圖中的下胚軸區(qū)域進行骨架提取,計算出骨架所包含的像素數(shù)量,根據(jù)計算出的深度圖在y軸方向上的兩點像素之間的平均距離,得到下胚軸長度,下胚軸長度測量示意圖如圖8所示,下胚軸長度計算公式為

L=Ndevy

(6)

式中L——下胚軸長度,mm

N——骨架所包含的像素數(shù)量

devy——y軸相鄰像素點的平均距離,mm

3 實驗結(jié)果與分析

3.1 實例分割網(wǎng)絡(luò)檢測和分割性能評估

為了更加全面、客觀評價分析Mask R-CNN對黃瓜苗器官分割數(shù)據(jù)處理的可行性,將本文算法與使用場景較多的實例分割算法YOLACT進行實驗對比。YOLACT算法是一階段實例分割算法,即利用網(wǎng)絡(luò)自身的平移可變性這一特性,生成對不同實例產(chǎn)生不同響應(yīng)的特征圖,將特征圖進行線性組合,進而區(qū)分不同實例[25]。Mask R-CNN是二階段算法,即先通過錨框產(chǎn)生ROI區(qū)域,再對該區(qū)域進行分類、邊界框回歸和掩膜預(yù)測。利用已有的黃瓜苗數(shù)據(jù)集分別對Mask R-CNN、YOLACT網(wǎng)絡(luò)進行訓(xùn)練,并將訓(xùn)練好的網(wǎng)絡(luò)模型在測試集上進行了實驗分析。本實驗采用掩膜交并比、準(zhǔn)確率、召回率和F1值作為模型指標(biāo)評價黃瓜苗器官分割數(shù)據(jù)處理結(jié)果。算法分割結(jié)果和真實結(jié)果區(qū)域面積的交并比,用以衡量模型器官分割精確度;又因為黃瓜苗的葉片檢測包括葉片類型和數(shù)量,故采用準(zhǔn)確率、召回率和F1值作為模型評價指標(biāo)。準(zhǔn)確率表示在預(yù)測中正確預(yù)測樣本占模型認(rèn)為是正樣本的比例;召回率表示正確預(yù)測樣本占所有正樣本的比例,F1值表示準(zhǔn)確率和召回率的調(diào)和平均?？紤]到真葉對作物生長后續(xù)階段的作用更大,故選用真葉的分割情況作為黃瓜苗真葉分割模型算法性能評估,表1是黃瓜苗真葉分割模型性能評價對比。

表1 黃瓜苗真葉分割模型性能評價對比

從表1可以看出,Mask R-CNN和YOLACT在紅外圖中對真葉識別的準(zhǔn)確率、F1值相同,但在掩膜交并比評價指標(biāo)下,Mask R-CNN高于YOLACT,而掩膜交并比數(shù)值越接近于1,該模型的分割性越好。因此,本文選擇了Mask R-CNN算法作為葉片分割算法,可以滿足后續(xù)表型測量的分割要求。

3.2 葉片表型檢測結(jié)果與分析

圖9為3個生長時期黃瓜苗真葉數(shù)和子葉數(shù)的算法計算與人工測量結(jié)果的對比圖。測量結(jié)果證明Mask R-CNN網(wǎng)絡(luò)能夠有效對黃瓜苗葉片進行分類、識別、計數(shù)。隨著生長時期的變化,黃瓜苗葉片數(shù)測量產(chǎn)生的誤差也增大。誤差產(chǎn)生的主要原因是黃瓜苗從子葉時期到2葉1心時期,真葉從發(fā)芽到變大變多,導(dǎo)致子葉和真葉遮擋情況的發(fā)生,從而造成子葉和真葉的誤檢測。

圖9 黃瓜苗真葉和子葉數(shù)量的測量結(jié)果

利用冠層視角測量黃瓜苗葉面積時,會因為視角問題,造成子葉和真葉的遮擋。但在大部分的遮擋情況是只存在于子葉的遮擋,又因為黃瓜苗的子葉近似于橢圓形,故先通過改進IP-basic算法[26]利用葉片未遮擋部分的輪廓對子葉進行擬合,并對發(fā)生遮擋的子葉利用臨近像素間的深度信息恢復(fù)其缺失的深度信息。圖10為經(jīng)過改進IP-basic算法對子葉進行橢圓擬合后,真葉未處理,每一片葉面積的算法計算結(jié)果與人工測量結(jié)果擬合圖,葉面積測量結(jié)果與真實值相比決定系數(shù)R2分別為0.91、0.93、0.96,均方根誤差分別為0.25、1.00、1.14 mm2,平均絕對誤差分別為4.22%、9.62%、11.10%。

圖10 單片葉面積使用改進IP-basic算法計算與人工測量的線性擬合結(jié)果

但是,僅考慮子葉的遮擋是不恰當(dāng)?shù)?在2葉1心時期,黃瓜苗的第2片真葉逐漸變大,可能會造成真葉的遮擋。為了解決子葉和真葉在葉面積測量中的遮擋問題,采用CycleGAN對抗網(wǎng)絡(luò)修復(fù)子葉和真葉的遮擋。圖11為經(jīng)過網(wǎng)絡(luò)修復(fù)的葉面積計算值與人工測量結(jié)果擬合圖,葉面積測量結(jié)果與真實值相比決定系數(shù)R2分別為0.95、0.95、0.83,均方根誤差分別為0.41、1.39、2.71 mm2,平均絕對誤差分別為3.80%、6.23%、7.20%。該測量結(jié)果表明,基于CycleGAN修復(fù)子葉和真葉,在單視角黃瓜苗測量是可行的。葉面積測量產(chǎn)生誤差的原因如下:部分葉片表面與相機成像平面成一個陡峭的角度,導(dǎo)致相機無法捕獲反射回的深度信息,造成了葉片點云缺失;在對鄰域最值濾波后的點云進行矯正修補時,存在誤差,造成了無損測量值的增大;在子葉時期和1葉1心時期,子葉幾乎是展平的,但是在2葉1心時期,子葉逐漸彎,導(dǎo)致利用基于CycleGAN葉面積測量時造成較大誤差。

圖11 CycleGAN修復(fù)葉面積與人工測量葉面積的線性擬合分析

3.3 株高測量結(jié)果與分析

本文通過準(zhǔn)確率、召回率和F1值來評價黃瓜苗生長點模型的檢測性能,表2為不同生長時期黃瓜苗在置信度為0.7時生長點模型評價數(shù)據(jù)。通過表2可以看出YOLO v5s對子葉、1葉1心、2葉1心時期的黃瓜苗生長點識別具有較為準(zhǔn)確的識別精度。

表2 置信度為0.7時生長點檢測結(jié)果評估

圖12為3個生長期黃瓜苗的株高算法計算與人工測量結(jié)果擬合圖。株高測量結(jié)果與真實值相比決定系數(shù)R2分別為0.90、0.90、0.92,均方根誤差分別為1.78、1.52、1.73 mm,平均絕對誤差分別為4.72%、3.56%、3.83%。

圖12 黃瓜苗株高算法計算值與人工測量值線性擬合分析

株高產(chǎn)生測量誤差原因如下:植物在生長過程中具有趨光性,這導(dǎo)致在整盤育苗時位于穴盤邊緣的種苗會出現(xiàn)向光源彎曲生長,這造成了株高測量誤差較大;在進行人工測量時,穴盤基質(zhì)平面不平整導(dǎo)致了測量誤差。

3.4 莖粗測量結(jié)果與分析

圖13為3個生長時期莖粗算法計算和人工測量結(jié)果擬合圖。莖粗測量結(jié)果與真實值相比決定系數(shù)R2為0.83、0.88、0.91,均方根誤差分別為0.14、0.16、0.12 mm,平均絕對誤差分別為8.59%、6.79%、4.16%。該測量結(jié)果表明,算法測量黃瓜苗莖粗誤差較大。實驗結(jié)果雖在誤差允許的范圍內(nèi),但仍需要進一步改善,提高表型測量的精度。

圖13 黃瓜苗莖粗算法計算值與人工測量值線性擬合分析

莖粗測量誤差主要原因如下:子葉時期的黃瓜苗莖稈部分纖細(xì),一旦獲取到的莖稈深度數(shù)據(jù)缺失一部分,莖粗測量誤差就較大;莖稈的橫截面類似橢圓,測量結(jié)果與相機正對被測苗的方向有關(guān)。

3.5 下胚軸長測量結(jié)果與分析

圖14為3個生長期黃瓜苗下胚軸長算法計算和人工測量結(jié)果擬合圖。下胚軸長測量結(jié)果與真實值相比決定系數(shù)R2為0.90、0.92、0.92,均方根誤差分別為1.12、0.88、1.02 mm,平均絕對誤差分別為4.61%、2.69%、2.49%。測量結(jié)果表明,本研究提出的測量方法精確度較高,可以較好地替代人工測量。下胚軸長產(chǎn)生誤差原因:受子葉時期的黃瓜苗莖稈纖細(xì)程度和相機精度影響,深度圖可能丟失部分深度信息,造成測量誤差。

圖14 黃瓜苗下胚軸長算法計算值與人工測量值線性擬合分析

4 結(jié)論

(1)設(shè)計了一套自動化的RGB-D圖像采集平臺,可以滿足自動化的種苗表型檢測需求,不僅減輕了圖像數(shù)據(jù)采集的工作強度,還提高了黃瓜苗表型檢測的效率,兼顧測量的全面性、精確性和高通量需求。

(2)設(shè)計了一系列基于黃瓜苗圖像的深度學(xué)習(xí)分割算法。通過Mask R-CNN網(wǎng)絡(luò)分割俯視角度下的黃瓜苗紅外圖,再將Mask R-CNN的分割結(jié)果與RGB-D對齊圖掩膜,得到RGB-D圖像中真葉、子葉的分割結(jié)果,其中真葉分割結(jié)果的掩膜交并比在0.94以上;使用YOLO v5s網(wǎng)絡(luò)檢測RGB-D圖像中的黃瓜苗生長點,置信度為0.7的情況下生長點預(yù)測準(zhǔn)確率均在97.96%以上。

(3)提出了單株黃瓜苗表型參數(shù)的計算方法。針對獲取的黃瓜苗三維點云,設(shè)計了一系列點云計算方法,通過相關(guān)的方法計算黃瓜苗葉片數(shù)、葉面積、株高、下胚軸長和莖粗等參數(shù)。實驗結(jié)果表明,本文方法滿足種苗科研所需的測量精度要求,可較好地替代人工測量方式。