基于多視圖幾何的白菜薹分割與關(guān)鍵表型測(cè)量

王瑞萍，劉東風(fēng)，王先琳，楊會(huì)君,3,4

基于多視圖幾何的白菜薹分割與關(guān)鍵表型測(cè)量

王瑞萍1，劉東風(fēng)2，王先琳2，楊會(huì)君1,3,4※

（1. 西北農(nóng)林科技大學(xué)信息工程學(xué)院，楊凌 712100；2. 深圳市農(nóng)業(yè)科技促進(jìn)中心，南山 518057；3. 陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100；4. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100）

植物表型調(diào)查是選育優(yōu)良品種和基因功能研究的重要依據(jù)，為理解植物生長(zhǎng)發(fā)育規(guī)律及環(huán)境的作用提供有力支持。針對(duì)傳統(tǒng)葉菜類(lèi)植物表型分析方法存在速度慢、誤差大、維度限制等問(wèn)題，該研究提出了一種基于高通量重建和莖葉自動(dòng)分割的白菜薹關(guān)鍵表型參數(shù)提取方法。首先，基于多視圖立體幾何技術(shù)對(duì)白菜薹進(jìn)行多視角RGB圖像三維重建、尺度恢復(fù)、均勻簡(jiǎn)化、背景去除及點(diǎn)云去噪等預(yù)處理。之后，提出基于超體素的改進(jìn)植物器官自動(dòng)分割算法，將植株分為莖、葉片等不同語(yǔ)義類(lèi)別。在此基礎(chǔ)上，給出有效的表型參數(shù)計(jì)算方法，完成了株高、葉長(zhǎng)、顏色等7個(gè)關(guān)鍵性狀的無(wú)損、精確測(cè)量。試驗(yàn)結(jié)果表明，該研究實(shí)現(xiàn)了白菜薹關(guān)鍵表型自動(dòng)分析，莖葉器官分割的精確率、召回率及1分?jǐn)?shù)的均值分別為0.961、0.940、0.943；株高、株幅、葉長(zhǎng)、葉寬的均方根誤差分別為0.261、0.313、0.174、0.100 cm，葉面積及葉片數(shù)的均方根誤差分別為1.608 cm2和0.283，平均絕對(duì)百分比誤差分別為1.659%、1.643%、1.417%、2.486%、8.258%、6.000%。與其他方法相比，該研究具有較低的綜合誤差，可適應(yīng)葉片形狀不規(guī)則的植物表型參數(shù)提取研究。同時(shí)，克服了當(dāng)前植物冠層幼葉難以分割、表型性狀提取效率低等困難，為精準(zhǔn)農(nóng)業(yè)領(lǐng)域葉菜表型高效分析提供有效的技術(shù)手段，可在進(jìn)一步的基因型到表型研究中發(fā)揮重要作用。

三維；數(shù)字化；莖葉分割；表型測(cè)量；白菜薹

0 引 言

表型是基因型和環(huán)境共同作用的結(jié)果，然而大量性狀數(shù)據(jù)缺失成為分子育種技術(shù)中基因差異研究的難題。傳統(tǒng)田間性狀測(cè)量需要投入大量的人力物力及時(shí)間，測(cè)量結(jié)果易受測(cè)量人員、測(cè)量工具及環(huán)境等因素影響。所以，建立一種高效、準(zhǔn)確、可重復(fù)、高通量的表型研究方法，對(duì)有效監(jiān)測(cè)植物生長(zhǎng)情況、培育優(yōu)質(zhì)品種、推進(jìn)性狀調(diào)控機(jī)制研究等具有重要意義[1-2]。

計(jì)算機(jī)視覺(jué)技術(shù)無(wú)需接觸待測(cè)植物，便可以準(zhǔn)確測(cè)量出植物的形態(tài)、結(jié)構(gòu)、顏色、紋理等表型特征，成為植物性狀無(wú)損測(cè)量的主要技術(shù)手段。如植物圖像中葉片提取和葉數(shù)計(jì)算[3]；玫瑰叢蓮座面積、葉長(zhǎng)和總?cè)~展開(kāi)量等性狀提取[4]；基于擊中擊不中變換和密度聚類(lèi)DBSCAN（Density-Based Spatial Clustering of Applications with Noise）的油菜角果長(zhǎng)度識(shí)別和每角粒數(shù)預(yù)測(cè)[5]。然而，基于圖像的表型測(cè)量技術(shù)由于植株間遮擋導(dǎo)致精度不高，缺乏深度信息不適合用于測(cè)量體積、葉長(zhǎng)等三維形態(tài)學(xué)參數(shù)[6]。

相比二維圖像，三維信息能夠更準(zhǔn)確地描述植物空間形態(tài)，避免了因維度限制而難以監(jiān)測(cè)植物性狀的情況。隨著激光掃描儀、飛行時(shí)間相機(jī)、激光雷達(dá)等3D重建技術(shù)的快速發(fā)展，基于點(diǎn)云的植物表型研究逐漸展開(kāi)。Xiang等[7]使用Kinect v2相機(jī)采集高梁植株點(diǎn)云并創(chuàng)建3D骨架化算法，獲取株高、葉角和葉面積等參數(shù)；Miao等[8]利用最小二乘法，結(jié)合主成分分析和最短路徑計(jì)算玉米葉片性狀；陽(yáng)旭等[9]采用三維激光掃描LiDAR技術(shù)獲取棉花植株的多時(shí)序點(diǎn)云數(shù)據(jù)，進(jìn)而通過(guò)隨機(jī)采樣一致性、匈牙利算法等實(shí)現(xiàn)了株高、葉長(zhǎng)、葉寬等表型參數(shù)的動(dòng)態(tài)量化。然而，三維掃描設(shè)備價(jià)格普遍高昂，激光雷達(dá)操作復(fù)雜且采集的數(shù)據(jù)量過(guò)大[10]，對(duì)算法運(yùn)行效率帶來(lái)較大影響。深度相機(jī)對(duì)環(huán)境要求高，受光照條件影響較大。相比以上高成本傳感器直接獲取三維點(diǎn)云，多視圖幾何（Multiple View Stereo，MVS）的重建技術(shù)因具備自校正、受環(huán)境約束較少、僅需低廉RGB相機(jī)等優(yōu)勢(shì)，在植物表型獲取與分析中的應(yīng)用更加普遍。Elnashef等[11]使用多視圖幾何方法快速重建小麥、玉米、棉花等三維模型并基于張量分割莖葉，進(jìn)而基于密度聚類(lèi)DBSCAN、主成分分析評(píng)估葉長(zhǎng)和葉寬；Fang等[12]對(duì)茄子、辣椒和黃瓜等植物的圖像序列進(jìn)行三維重建，采用區(qū)域生長(zhǎng)法完成植株分割，Geomagic Studio軟件測(cè)量葉片參數(shù)。

上述三維表型測(cè)量方法主要針對(duì)玉米、棉花和高粱等幾種植物進(jìn)行形態(tài)分析，算法復(fù)雜度較高、獲取與處理的自動(dòng)化程度低[13-14]，且對(duì)于彼此接近的新葉，容易發(fā)生骨架提取或器官分割錯(cuò)誤[15]。針對(duì)以上問(wèn)題，本文以形態(tài)特征不規(guī)則的葉菜類(lèi)植物——白菜薹為研究對(duì)象，基于多視圖立體幾何技術(shù)獲取白菜薹點(diǎn)云，提出一種基于超體素的改進(jìn)莖葉器官自動(dòng)分割算法，并給出株高、株幅、葉片數(shù)、葉長(zhǎng)、葉寬、葉面積以及植株顏色等關(guān)鍵表型性狀的無(wú)損、精確測(cè)量方法，對(duì)白菜薹品種評(píng)價(jià)及育種效率提高具有重要意義。

1 材料與方法

1.1 方法概述

本文白菜薹關(guān)鍵表型性狀測(cè)量技術(shù)研究框架如圖1所示，主要包含以下3個(gè)步驟：

1）數(shù)據(jù)獲取及預(yù)處理：使用普通RGB采集白菜薹高分辨率視頻，基于MVS技術(shù)重建3D模型后進(jìn)行預(yù)處理，高效獲取純凈的白菜薹點(diǎn)云。

2）植株器官分離：針對(duì)表型復(fù)雜的白菜薹等葉菜類(lèi)植物器官的分割需求，改進(jìn)基于超體素的點(diǎn)云分割方法，自動(dòng)分離莖桿和葉片。

3）關(guān)鍵表型計(jì)算：提出適應(yīng)白菜薹植株及其葉片性狀計(jì)算方法，測(cè)量整株和器官的尺寸參數(shù)、色彩性狀。

注：MVS為多視圖幾何方法。下同。

1.2 數(shù)據(jù)獲取與預(yù)處理

1.2.1 白菜薹三維重建

本文從深圳市農(nóng)業(yè)科技促進(jìn)中心試驗(yàn)示范場(chǎng)適宜栽培的試驗(yàn)品種、植株生長(zhǎng)規(guī)律等方面展開(kāi)調(diào)查，最終選擇泡泡溫室中以盆栽種植的品種1（702-1-4）、品種2（49-7）、品種3（49-5）、品種4（深早3-1-1-10）、品種5（雄心一號(hào)）和品種6（增城尖葉5-1-2-3）白菜薹品種作為研究對(duì)象，種植行距和株距均為13 cm。其中，每個(gè)品種選擇10株，獲取苗期、生長(zhǎng)期、抽薹期的白菜薹數(shù)據(jù)，因篇幅關(guān)系，圖2僅展示了生長(zhǎng)期的部分白菜薹植株。此外，補(bǔ)充拍攝了10株氮肥試驗(yàn)下品種3的抽薹期植株，與常規(guī)植株的顏色性狀形成對(duì)比。

白菜薹多視角視頻數(shù)據(jù)的采集裝置如圖3所示，通過(guò)遙控器發(fā)射紅外信號(hào)控制智能電動(dòng)轉(zhuǎn)盤(pán)旋轉(zhuǎn)，轉(zhuǎn)速為3 r/min。在攝影棚頂部前后2個(gè)位置固定條形光源來(lái)減少陰影。將植株放置在攝影棚中的轉(zhuǎn)盤(pán)上，RGB相機(jī)定焦到植株中部位置。使用支架調(diào)整相機(jī)高度和角度，在20～25 s內(nèi)拍攝1高度的頂部45°俯視角和2高度的中部平視角下的360°旋轉(zhuǎn)視頻，以覆蓋植株完整表面，保證三維重建質(zhì)量。

a. 品種1（702-1-4）a. Variety 1 (702-1-4)b. 品種2（49-7）b. Variety 2 (49-7)c. 品種3（49-5）c. Variety 3 (49-5) d. 品種4（深早3-1-1-10）d. Variety 4 (Shenzao 3-1-1-10)e. 品種5（雄心一號(hào)）e. Variety 5 (Xiongxin-1)f. 品種6（增城尖葉5-1-2-3）f. Variety 6 (Zengcheng sharp-leaf 5-1-2-3)

1.攝影棚 2.電源線 3.智能電動(dòng)轉(zhuǎn)盤(pán)開(kāi)關(guān) 4.可伸縮相機(jī)支架 5.RGB相機(jī) 6.紅外遙控器

1.Photostudio 2.Power cable 3.Intelligent electric turntable switch 4.Retractable camera bracket 5.RGB camera 6.Infrared remote control

注：1、2分別為頂部俯視高度和中部平視高度，cm。

Note:1and2are the top view height and the middle view height, cm, respectively.

圖3 植物表型數(shù)據(jù)采集裝置

Fig.3 Plant phenotypic data acquisition device

抽取相鄰圖像重疊區(qū)域?yàn)?0%～80%的幀序列并通過(guò)分水嶺算法[16]去噪，以提升重建效率和數(shù)據(jù)純凈度。之后，使用RealityCapture軟件對(duì)多視角圖像進(jìn)行重建處理，恢復(fù)密集的彩色點(diǎn)云，如圖4a～4d所示。在標(biāo)準(zhǔn)三維空間中，基于MVS技術(shù)生成的點(diǎn)云模型的尺度與實(shí)際植株相比存在尺度差異[17]，同時(shí)模型數(shù)據(jù)量大，包含花盆、土壤等無(wú)關(guān)背景噪聲，需要進(jìn)行預(yù)處理以建立純凈的白菜薹植株三維模型。

1.2.2 尺度恢復(fù)

本文利用隨機(jī)采樣一致性算法[18]擬合植株生長(zhǎng)背景中花盆的最大切面，求取多次擬合所得的平均直徑MVS從而減小誤差。以真實(shí)直徑true（12.5 cm）作為基準(zhǔn)，計(jì)算比例因子，如式（1）所示。將點(diǎn)云坐標(biāo)逐一與比例因子相乘，可恢復(fù)厘米級(jí)的植株真實(shí)尺度如圖4e。

1.2.3 均勻簡(jiǎn)化

由于重建得到的點(diǎn)云較為稠密，影響算法處理速度，需對(duì)三維植株模型進(jìn)行簡(jiǎn)化處理。本文采用均勻下采樣方法，通過(guò)創(chuàng)建三維體素柵格，并以每個(gè)體素的重心近似代表體素內(nèi)所有點(diǎn)，實(shí)現(xiàn)植物點(diǎn)云精簡(jiǎn)。依據(jù)白菜薹植株厘米級(jí)的小尺度特點(diǎn)，將體素大小設(shè)為固定值0.04，算法運(yùn)行時(shí)間為2～5 s，植株點(diǎn)云模型簡(jiǎn)化率保持在30%左右，能夠較好地保留特征信息，如圖4f所示。

1.2.4 背景去除

基于HSV模型對(duì)植株點(diǎn)云進(jìn)行直方圖統(tǒng)計(jì)，有效去除紅色花盆、棕色土壤等無(wú)關(guān)背景。將點(diǎn)云的RGB空間轉(zhuǎn)換到HSV空間，建立三維點(diǎn)的值（色調(diào)）頻率直方圖和核密度圖。無(wú)關(guān)背景與植株在色調(diào)統(tǒng)計(jì)直方圖上的分布區(qū)域存在明顯差異，分別為∈(0, 60)、∈(70, 100)，可根據(jù)值范圍提取植株點(diǎn)云?？紤]到植株可能包含少量發(fā)黃發(fā)白的葉片，需要適度擴(kuò)大值范圍。將植株的約束范圍設(shè)為∈(60, 120)時(shí)，算法運(yùn)行時(shí)間為2～3 s，均能達(dá)到如圖4g所示的背景去除效果。

1.2.5 點(diǎn)云去噪

式中標(biāo)準(zhǔn)差系數(shù)取1.0。

初步去噪后，點(diǎn)云中仍留存一些懸空的孤立點(diǎn)或無(wú)效點(diǎn)，因其包含的信息量較小可以忽略不計(jì)，本文利用半徑濾波方法進(jìn)行去除。以每個(gè)點(diǎn)在半徑鄰域內(nèi)的近鄰點(diǎn)數(shù)作為判斷依據(jù)，當(dāng)數(shù)量大于給定值時(shí)，保留該點(diǎn)，否則剔除。當(dāng)取0.8，取100時(shí)，可實(shí)現(xiàn)噪點(diǎn)的有效去除，如圖4h所示。整個(gè)去噪過(guò)程所需時(shí)間為1～2 s。

a. 視頻幀序列a. Video frame sequenceb. 圖像去噪b. Image denoisingc. MVS重建c. MVS reconstructiond.原始點(diǎn)云模型d. Original point cloud model e. 尺度恢復(fù)e. Scale recoveryf. 均勻簡(jiǎn)化f. Uniform simplificationg. 背景去除g. Background removalh. 點(diǎn)云去噪h. Point cloud denoising

1.3 白菜薹三維點(diǎn)云分割

植物點(diǎn)云的莖、葉分割是性狀準(zhǔn)確測(cè)量的前提。為解決現(xiàn)有方法對(duì)先知條件或人工的依賴[19]，本文提出一種改進(jìn)超體素的莖葉自動(dòng)分離方法。該方法通過(guò)以下3個(gè)步驟，減少計(jì)算量，提升分割速度和精度。1）基于超體素聚類(lèi)對(duì)三維植株進(jìn)行過(guò)分割，用于加快點(diǎn)云處理速度并獲取良好的邊界依附性；2）利用凹凸性判據(jù)融合過(guò)分割結(jié)果，以提升超體素邊界分割準(zhǔn)確度，解決因植株整體顏色差異較小導(dǎo)致的器官分割錯(cuò)誤問(wèn)題；3）高效檢測(cè)植株的部分莖點(diǎn)實(shí)現(xiàn)莖葉自動(dòng)分離，以適應(yīng)白菜薹植株復(fù)雜形態(tài)，如圖5所示。

a. 植株點(diǎn)云a. Plant point cloudb. 器官分割b. Organ segmentationc. 莖點(diǎn)檢測(cè)c. Stem point detectiond. 莖葉分離d. Stem and leaf separation

1.3.1 超體素聚類(lèi)

1.3.2 凹凸性分割

根據(jù)conv創(chuàng)建超體素凸度圖，并采用基于超體素的區(qū)域生長(zhǎng)算法[21]將小區(qū)域聚類(lèi)成較大區(qū)域。最終得到白菜薹點(diǎn)云的器官分割結(jié)果如圖5b所示，復(fù)雜葉片仍存在過(guò)分割現(xiàn)象，但莖、葉的片段分割正確，未發(fā)生粘連。

1.3.3 莖葉自動(dòng)分離

由于白菜薹不具備棉花、玉米等植物所擁有的直線特征，難以在器官凹凸性分割的基礎(chǔ)上直接識(shí)別莖桿和葉片。為提升器官提取效率和準(zhǔn)確度，本研究依據(jù)白菜薹莖桿呈現(xiàn)的圓柱特征，利用隨機(jī)采樣一致性算法檢測(cè)不同高度上莖點(diǎn)，進(jìn)而抽取莖點(diǎn)所屬的超體素區(qū)域，實(shí)現(xiàn)莖葉器官的自動(dòng)分離，如圖5c～5d所示。根據(jù)白菜薹莖稈的統(tǒng)計(jì)特性和先驗(yàn)知識(shí)，將迭代過(guò)程中圓柱模型的半徑范圍設(shè)為0.2?？紤]到莖桿的不完全規(guī)則性，適度放寬模型擬合條件，將距離閾值設(shè)為0.03。

1.4 白菜薹關(guān)鍵性狀計(jì)算

依據(jù)白菜薹DUS測(cè)試指南[22]，本文將研究性狀主要分為三類(lèi)：株高、株幅等整體尺寸參數(shù)，葉長(zhǎng)、葉寬、葉面積和葉片數(shù)等器官尺寸參數(shù)，顏色性狀參數(shù)。

1.4.1 整體尺寸參數(shù)

設(shè)計(jì)了結(jié)合主成分分析（Principal Components Analysis，PCA）和有向包圍盒（Oriented Bounding Box，OBB）的植物株高、株幅性狀計(jì)算方法。由于重建得到的三維點(diǎn)云模型生長(zhǎng)方向與真實(shí)植物不一致（圖6a），通過(guò)PCA計(jì)算主方向并對(duì)坐標(biāo)進(jìn)行校正。首先，獲取植物點(diǎn)云質(zhì)心并建立協(xié)方差矩陣，將矩陣特征值從大到小排序，對(duì)應(yīng)的特征向量即為植物點(diǎn)云的3個(gè)主成分方向。之后，通過(guò)質(zhì)心和主方向創(chuàng)建旋轉(zhuǎn)平移矩陣，將點(diǎn)云主方向與參考坐標(biāo)系的坐標(biāo)軸進(jìn)行對(duì)齊，實(shí)現(xiàn)圖6b所示的坐標(biāo)校正。最后，取坐標(biāo)軸邊界值構(gòu)建圖6c所示的OBB有向包圍盒。以植株點(diǎn)云第一主成分方向上（軸）包圍盒長(zhǎng)度作為株高，以第二、三主成分方向上（、軸）較大值為株幅，完成株高和株幅性狀計(jì)算，算法耗時(shí)約2 s。

a. 三維模型初始位置a. Initial position of 3D modelb. 坐標(biāo)校正后位置b. Position after coordinate correctionc. 包圍盒c. Bounding box d. 葉片集群d. Blade clusterse. 聚類(lèi)分割e. Clustering segmentationf. 噪點(diǎn)去除f. Noise removal

1.4.2 葉片器官參數(shù)測(cè)量

1）葉片數(shù)

對(duì)于莖葉分離所得的葉片集群（圖6d），本文采用基于平滑閾值的區(qū)域增長(zhǎng)算法[23]，通過(guò)聚集特征相似點(diǎn)來(lái)提取獨(dú)立的完整葉片，進(jìn)而完成葉片數(shù)計(jì)算。選擇曲率最小點(diǎn)作為初始種子點(diǎn)，并依據(jù)平滑閾值Thresh和曲率閾值Thresh約束對(duì)葉片點(diǎn)云進(jìn)行生長(zhǎng)聚類(lèi)。當(dāng)聚類(lèi)的點(diǎn)數(shù)少于閾值Thresh時(shí)，將其視為極小幼葉或噪點(diǎn)進(jìn)行去除。葉片集群分割結(jié)果如圖6e～6f，聚類(lèi)數(shù)量即為植株葉片數(shù)。通過(guò)固定其他參數(shù)變化1個(gè)參數(shù)進(jìn)行多組試驗(yàn)，最終得到Thresh取值為5，Thresh為3，Thresh為500，計(jì)算過(guò)程耗時(shí)2 s左右。

2）葉長(zhǎng)、葉寬

為提高葉脈提取效率，本文提出基于主成分分析的路徑搜索算法。相較于復(fù)雜的最短路徑算法[13]，僅需極少參數(shù)便可實(shí)現(xiàn)葉長(zhǎng)、葉寬的快速準(zhǔn)確估計(jì)。

3）葉面積

本文基于貪婪投影三角化算法[24]對(duì)白菜薹葉片點(diǎn)云進(jìn)行曲面重建。利用海倫公式（式（7））計(jì)算單個(gè)三角形的面積并求和，即可得到整個(gè)葉片面積。對(duì)三角化過(guò)程的算法參數(shù)進(jìn)行多次調(diào)試，最終得到搜索鄰域的大小為2.5個(gè)體素柵格，三角形最大邊長(zhǎng)為0.25 cm，三角形最大角和最小角分別為120°和10°，算法耗時(shí)1～2 s。

1.4.3 顏色性狀度量

顏色性狀作為反映植物營(yíng)養(yǎng)狀況的重要特征，可用于植物養(yǎng)分缺失與否的快速判斷[25]。根據(jù)白菜薹植株色調(diào)敏感特點(diǎn)，本文提出一種基于HSV模型和均值顏色直方圖的顏色性狀度量算法，實(shí)現(xiàn)植株色調(diào)（Hue）比例的直觀表達(dá)。首先將植物從RGB空間轉(zhuǎn)換到HSV空間，在Hue維度統(tǒng)計(jì)像素分布情況。為提高精確度，采取以Hue兩倍范圍（0°～360°）為基準(zhǔn)的30個(gè)色調(diào)區(qū)間均勻劃分法。將像素點(diǎn)色調(diào)取均值作為對(duì)應(yīng)區(qū)間的顏色，進(jìn)而通過(guò)直方圖統(tǒng)計(jì)獲得不同色調(diào)區(qū)間的比例。

本研究綜合農(nóng)藝專(zhuān)家的育種經(jīng)驗(yàn)及DUS測(cè)試標(biāo)準(zhǔn)，將植物劃分為黃綠色、中等綠色、深綠色3個(gè)等級(jí)，使用顏色性狀度量算法獲取不同植株中3個(gè)顏色等級(jí)之間的比例。其中，以黃綠色的占比作為判斷依據(jù)，區(qū)分常規(guī)條件和缺氮條件下白菜薹植株的細(xì)微顏色差異。

2 結(jié)果與分析

2.1 分割試驗(yàn)

選取本文所有白菜薹品種不同生育期的60個(gè)植株作為分割試驗(yàn)對(duì)象，結(jié)合精確率（precision）、召回率（recall）及1分?jǐn)?shù)（1-score）設(shè)計(jì)分割算法精度評(píng)估指標(biāo)，并與CloudCompare軟件標(biāo)注的真實(shí)值進(jìn)行對(duì)比，實(shí)現(xiàn)植株器官分割總體準(zhǔn)確性的量化評(píng)價(jià)，如式（8）～式（10）所示。

式中TP表示與當(dāng)前器官真實(shí)標(biāo)注匹配的點(diǎn)數(shù)，F(xiàn)P表示將其他器官錯(cuò)誤劃分為當(dāng)前器官的點(diǎn)數(shù)，F(xiàn)N表示將當(dāng)前器官錯(cuò)誤劃分為其他器官的點(diǎn)數(shù)。

將本文分割方法和常用的基于平滑閾值的區(qū)域增長(zhǎng)分割方法[23]、基于顏色的區(qū)域增長(zhǎng)分割方法[26]進(jìn)行對(duì)比，每次試驗(yàn)均通過(guò)控制變量策略將以上2種方法的參數(shù)值調(diào)整到最優(yōu)，最終植株器官整體分割精度的對(duì)比情況如表1所示。本文器官分割方法的精確率、召回率和1分?jǐn)?shù)的均值分別為0.961、0.940和0.943，明顯高于其他方法，更適用于白菜薹植株的器官分割過(guò)程。

表1 植株器官分割精度對(duì)比

2.2 數(shù)量性狀測(cè)量試驗(yàn)

依據(jù)性狀分析的對(duì)象類(lèi)別接近程度、植株性狀計(jì)量單位（厘米級(jí)）以及表型技術(shù)應(yīng)用普及性，本文對(duì)其他性狀測(cè)量方法進(jìn)行了分析。如，利用坐標(biāo)極差、最短路徑及截面切分等測(cè)量玉米株高和葉片性狀[27]；基于骨架提取技術(shù)獲取水稻株高、葉長(zhǎng)及葉片數(shù)等性狀[28]；通過(guò)神經(jīng)網(wǎng)絡(luò)模型估測(cè)綠蘿葉片性狀[29]；采用自適應(yīng)加權(quán)算子計(jì)算玉米葉長(zhǎng)[30]；使用Geomagic Studio 軟件提取黃瓜葉片參數(shù)[12]。與以上植物表型性狀計(jì)算方法相比，本文方法的均方根誤差RMSE和平均絕對(duì)百分比誤差MAPE（<10%）均處于較低水平，在株高、株幅、葉長(zhǎng)及葉寬等性狀的測(cè)量方面具有顯著優(yōu)勢(shì)（表2），能夠提供更為準(zhǔn)確的形態(tài)學(xué)分析。

注：RMSE為均方根誤差，MAPE為平均絕對(duì)百分比誤差。下同。本文的測(cè)試數(shù)據(jù)量為50，部分?jǐn)?shù)據(jù)點(diǎn)發(fā)生重疊。其中，葉片數(shù)具有較多完全重合的數(shù)據(jù)點(diǎn)，數(shù)據(jù)點(diǎn)半徑隨頻數(shù)增加而變大。

表2 白菜薹性狀測(cè)量誤差

注：株高、株幅、葉長(zhǎng)及葉寬RMSE單位為cm，葉面積RMSE單位為cm2。Note: The RMSE unit of plant height, plant width, leaf length and leaf width is cm, and the RMSE unit of leaf area is cm2.

2.3 非數(shù)量性狀試驗(yàn)

為了更好地評(píng)估本文所提出顏色性狀度量方法的有效性，設(shè)計(jì)了氮肥缺失對(duì)植株顏色的影響評(píng)價(jià)試驗(yàn)。在其他環(huán)境條件相同的情況下，以品種3為試驗(yàn)對(duì)象，分別種植了常規(guī)和氮肥缺失2組白菜薹植株。從視頻中批量抽取不同白菜薹植株的序列圖像，并基于 PyCharm2019.1.1環(huán)境使用Python2.7和OpenCV4.1.1量化顏色性狀，記錄黃綠色占比，如表3所示。

表3 植物圖像中黃綠色比例統(tǒng)計(jì)

表3統(tǒng)計(jì)了常規(guī)、缺氮植株共671張圖像的黃綠色比例，由比例均值和范圍可知，2種植株存在明顯差異，將黃綠色比例作為分類(lèi)依據(jù)較為合理。然而，2種植株的黃綠色比例范圍存在重合區(qū)域20.081%～36.970%，需劃分一個(gè)明確的分界線。常規(guī)植株中黃綠色比例大于30%的異常圖像有28張，僅占總體的4.173%，而缺氮植株中黃綠色比例小于30%的異常圖像有22張，僅占總體的3.279%。因此，為減小統(tǒng)計(jì)和分類(lèi)誤差，以30%為分界線，將黃綠色比例位于區(qū)間[5%，30%]的植株視為健康狀態(tài)，將黃綠色比例位于區(qū)間(30%，80%]的植株視為缺氮狀態(tài)。為驗(yàn)證以上分類(lèi)標(biāo)準(zhǔn)的正確性，使用精確率、召回率、1分?jǐn)?shù)等指標(biāo)對(duì)分類(lèi)結(jié)果進(jìn)行評(píng)價(jià)。通過(guò)計(jì)算可得：精確率、召回率和1分?jǐn)?shù)分別為0.922、0.938、0.930。

3 討 論

根據(jù)國(guó)家白菜薹品種測(cè)試標(biāo)準(zhǔn)[30]，株高、株幅、葉片數(shù)、葉長(zhǎng)、葉寬、葉面積、葉色是評(píng)價(jià)白菜薹品種的部分關(guān)鍵性狀指標(biāo)，本文方法可同時(shí)提供這7個(gè)表型性狀的量化評(píng)估（表2、表3）。Guo等[31]通過(guò)雷達(dá)建立冠層點(diǎn)云的方法實(shí)現(xiàn)植株個(gè)別性狀高通量、自動(dòng)化測(cè)量，但設(shè)備昂貴，需配套軌道支架，葉片遮擋還會(huì)造成數(shù)據(jù)采集不完整。而本文方法具有設(shè)備簡(jiǎn)單、成本低、使用方便等特點(diǎn)，用于白菜薹品種測(cè)試時(shí)代替部分人工，提高調(diào)查效率。

白菜薹葉片數(shù)、面積與產(chǎn)量呈正相關(guān)[32]，也決定著商品性，因此葉片數(shù)和面積是品種評(píng)價(jià)的重要農(nóng)藝性狀。本文提出的植物器官提取方法自動(dòng)化程度高，能夠正確分割冠層新生葉片。然而，白菜薹葉片褶皺及葉柄與桿連接處特征差異度較小，葉片往往會(huì)發(fā)生過(guò)分割問(wèn)題（圖 5b），致使后續(xù)葉片性狀測(cè)量出現(xiàn)錯(cuò)誤。本研究在計(jì)算葉片數(shù)之前，對(duì)葉片集群進(jìn)行聚類(lèi)分割和去噪處理。試驗(yàn)表明，能提取包含葉柄與葉面的完整葉片（圖6f），葉長(zhǎng)、葉寬、葉片數(shù)等性狀的計(jì)算誤差較低。盡管對(duì)上層新生葉片和下層被遮擋葉片具有較好的分割效果，對(duì)于最下層、不完整的枯萎葉片識(shí)別效果欠佳，該類(lèi)葉片接受光照較少，對(duì)品質(zhì)評(píng)價(jià)影響較小。

本文提出的植物數(shù)量性狀計(jì)算方法的綜合誤差低，顏色性狀度量法分辨植株細(xì)微顏色差異的1分?jǐn)?shù)高達(dá)0.930，適用于形態(tài)特征復(fù)雜的葉菜類(lèi)植物表型自動(dòng)分析。其中株高、株幅、葉長(zhǎng)、葉寬等表型參數(shù)的提取準(zhǔn)確率比葉面積、葉片數(shù)高。主要原因是：人工測(cè)量葉面積依靠玻璃板壓平、標(biāo)尺和ImageJ圖像軟件實(shí)現(xiàn)，葉片預(yù)處理不當(dāng)會(huì)導(dǎo)致葉面積被低估；人工測(cè)量葉片數(shù)時(shí)，是否將頂部幼小葉片納入統(tǒng)計(jì)等未統(tǒng)一標(biāo)準(zhǔn)，因此人工測(cè)量值與真值之間可能會(huì)有偏差。

4 結(jié) 論

本研究提出了基于超體素改進(jìn)的準(zhǔn)確莖葉分割方法和白菜薹關(guān)鍵表型性狀測(cè)量算法。在6個(gè)品種上的試驗(yàn)結(jié)果表明，本文的植物器官分割過(guò)程復(fù)雜程度低、無(wú)需人工參與，分割的精確率、召回率及1分?jǐn)?shù)分別為0.961、0.940、0.943；本文方法表型參數(shù)提取能力較強(qiáng)，算法測(cè)量值與人工測(cè)量值之間線性關(guān)系顯著，且綜合誤差低，均方根誤差低至0.100 cm、平均絕對(duì)百分比誤差低至1.417%；基于HSV的均值顏色直方圖可評(píng)估不同環(huán)境下的植株顏色差異，實(shí)現(xiàn)植物健康狀況區(qū)分，精確率、召回率及1分?jǐn)?shù)分別為0.922、0.938、0.930。本研究提出的關(guān)鍵表型分析方法，可推廣至甜菜、芥藍(lán)等植物的高通量表型自動(dòng)分析研究和品種分類(lèi)應(yīng)用。

本文方法暫未覆蓋全生育期的花、薹等器官性狀研究。未來(lái)可通過(guò)進(jìn)一步研究薹粗、薹體積等表型性狀，完善國(guó)家白菜薹測(cè)試數(shù)字化標(biāo)準(zhǔn)，提高作物測(cè)試自動(dòng)化水平，緩解現(xiàn)有測(cè)試標(biāo)準(zhǔn)定性化、手工化、不準(zhǔn)確等問(wèn)題。

[1] 陸健強(qiáng)，蘭玉彬，毋志云，等. 植物三維建模ICP點(diǎn)云配準(zhǔn)優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[2] Li Y, Wen W, Miao T, et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning[J]. Computers and Electronics in Agriculture, 2022, 193: 106702.

[3] Kumar J P, Domnic S. Image based leaf segmentation and counting in rosette plants[J]. Information Processing in Agriculture, 2019, 6(2): 233-246.

[4] An N, Palmer C M, Baker R L, et al. Plant high-throughput phenotyping using photogrammetry and imaging techniques to measure leaf length and rosette area[J]. Computers and Electronics in Agriculture, 2016, 127: 376-394.

[5] 姚業(yè)浩，李毅念，陳玉侖，等. 基于油菜角果長(zhǎng)度圖像識(shí)別的每角粒數(shù)測(cè)試方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(23)：153-160.

Yao Yehao, Li Yinian, Chen Yulun, et al. Testing method for the seed number per silique of oilrape based on recognizing the silique length images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 153-160. (in Chinese with English abstract)

[6] Li C, Adhikari R, Yao Y, et al. Measuring plant growth characteristics using smartphone based image analysis technique in controlled environment agriculture[J]. Computers and Electronics in Agriculture, 2020, 168: 105123.

[7] Xiang L, Bao Y, Tang L, et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis[J]. Computers and Electronics in Agriculture, 2019, 162: 951-961.

[8] Miao T, Zhu C, Xu T, et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud[J]. Computers and Electronics in Agriculture, 2021, 187: 106310.

[9] 陽(yáng)旭，胡松濤，王應(yīng)華，等. 利用多時(shí)序激光點(diǎn)云數(shù)據(jù)提取棉花表型參數(shù)方法[J]. 智慧農(nóng)業(yè)(中英文)，2021，3(1)：51-62.

Yang Xu, Hu Songtao, Wang Yinghua, et al. Cotton phenotypic trait extraction using multi-temporal laser point clouds[J]. Smart Agriculture, 2021, 3(1): 51-62. (in Chinese with English abstract)

[10] Zhu Y, Sun G, Ding G, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiology, 2021, 187: 716-738.

[11] Elnashef B, Filin S, Ran N L. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[12] Fang H, Zhu J, Hu P, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[13] Panjvani K, Dinh A V, Wahid K A. LiDARPheno – A low-cost LiDAR-based 3D scanning system for leaf morphological trait extraction[J]. Frontiers in Plant Science, 2019, 10: 147.

[14] Zermas D, Morellas V, Mulla D, et al. 3D model processing for high throughput phenotype extraction – the case of corn[J]. Computers and Electronics in Agriculture, 2019, 172: 105047.

[15] Wu S, Wen W, Xiao B, et al. An accurate skeleton extraction approach from 3D point clouds of maize plants[J]. Frontiers in Plant Science, 2019, 10: 248.

[16] 孫釗，潘磊，謝運(yùn)鴻，等. 分水嶺算法在林業(yè)中的應(yīng)用[J]. 世界林業(yè)研究，2021，34(3)：63-67.

Sun Zhao, Pan Lei, Xie Yunhong, et al. Application of watershed algorithm to forestry[J]. World Forestry Research, 2021, 34(3): 63-67. (in Chinese with English abstract)

[17] Rr A, Caa B, Ll A, et al. Implementation of an algorithm for automated phenotyping through plant 3D-modeling: A practical application on the early detection of water stress[J]. Computers and Electronics in Agriculture, 2022, 197: 106937.

[18] Ghahremani M, Williams K, Corke F, et al. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC[J]. Computers and Electronics in Agriculture, 2021, 187(13): 106240.

[19] Turgut K, Dutagaci H, Galopin G, et al. Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods[J]. Plant Methods, 2022, 18(1): 1-23.

[20] Stein S C, Schoeler M, Papon J, et al. Object partitioning using local convexity[C]//Computer Vision & Pattern Recognition. Columbus, Ohio, USA: IEEE, 2014, 304-311.

[21] Luo N, Jiang Y, Wang Q. Supervoxel based region growing segmentation for point cloud data[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2021, 35: 2154007.

[22] 中華人民共和國(guó)農(nóng)業(yè)部. 植物新品種特異性、一致性和穩(wěn)定性測(cè)試指南不結(jié)球白菜：[S]. 2012.

[23] Rabbani T, Heuvel F A, Vosselman G. Segmentation of point clouds using smoothness constraint[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, 36: 248-253.

[24] 彭程，李帥，苗艷龍，等. 基于三維點(diǎn)云的番茄植株莖葉分割與表型特征提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[25] 韓旭，趙春江，吳華瑞，等. 基于注意力機(jī)制及多尺度特征融合的番茄葉片缺素圖像分類(lèi)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[26] 王雯，任小玲，陳逍遙. 一種改進(jìn)的區(qū)域增長(zhǎng)彩色3D點(diǎn)云分割算法[J]. 國(guó)外電子測(cè)量技術(shù)，2018，37(11)：10-14.

Wang Wen, Ren Xiaoling, Chen Xiaoyao. Improved region growing segmentation algorithm based on color 3D points cloud[J]. Foreign Electronic Measurement Technology, 2018, 37(11): 10-14. (in Chinese with English abstract)

[27] 朱超，苗騰，許童羽，等. 基于骨架和最優(yōu)傳輸距離的玉米點(diǎn)云莖葉分割和表型提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：188-198.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[28] 魏天翔，汪小旵，施印炎，等. 基于三維重建的秸稈地單株水稻生長(zhǎng)形態(tài)檢測(cè)研究[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2021，44(6)：1197-1208.

Wei Tianxiang, Wang Xiaochan, Shi Yinyan, et al. Detection of single rice early growth morphology based on 3D reconstruction under straw returning condition[J]. Journal of Nanjing Agricultural University, 2021, 44(6): 1197-1208. (in Chinese with English abstract)

[29] 陳玲，王浩云，肖海鴻，等. 利用FL-DGCNN模型估測(cè)綠蘿葉片外部表型參數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(13)：172-179.

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract)

[30] 胡建平，劉凱，郭新宇，等. 自適應(yīng)加權(quán)算子結(jié)合主曲線提取玉米葉片點(diǎn)云骨架[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(2)：166-174.

Hu Jianping, Liu Kai, Guo Xinyu, et al. Point cloud skeleton extraction of maize leaves based on adaptive weighting operator and principal curve[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 166-174. (in Chinese with English abstract)

[31] Guo Q, Wu F, Pang S, et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China (Life Sciences), 2018, 61(3): 328-339.

[32] 吳湖龍，成紅波，劉樂(lè)承. 白菜薹主要數(shù)量性狀的選擇及與單株產(chǎn)量的關(guān)系研究[J]. 長(zhǎng)江大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，16(2)：60-64.

Wu Hulong, Cheng Hongbo, Liu Lecheng. Relationship between the selection of main quantitative trait and yield per plant of flowering Chinese cabbage[J]. Journal of Yangtze University (Natural Science Edition), 2019, 16(2): 60-64. (in Chinese with English abstract)

Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry

Wang Ruiping1, Liu Dongfeng2, Wang Xianlin2, Yang Huijun1,3,4※

(1.,,712100,; 2.,518057,; 3.,712100,; 4.,,712100,)

Plant phenotype has been one of the most important indicators to select and breed superior varieties in modern agriculture. The traditional phenotypic analysis of leafy vegetables cannot fully meet the requirement of large-scale production in recent years, such as the slow speed, large error, and limited dimension. Moreover, most morphological measurements have been currently confined to only several plants (such as maize, cotton and sorghum), particularly with the complex procedure and low automation. Taking the Chinese cabbage sprout as the research object, this study aims to extract the key phenotypic parameters of the plant using the high-throughput reconstruction and automatic segmentation of stem and leaf. Firstly, a multi-view geometry was utilized to reconstruct the three-dimensional model of Chinese cabbage sprout from sequence images. A series of pre-processing operations were used to establish the three-dimensional model of pure plants with the actual scale, including scale recovery, background removal, point cloud denoising, and uniform simplification. Secondly, the stem and leaf organs were automatically segmented using the convexity criterion and random sampling consistency. Thirdly, the principal component analysis and directed bounding box were combined to measure the plant height and width for the phenotypic parameters. The number of leaves was counted by the cluster segmentation of leaf clusters. The shortest path searching was selected to accurately calculate the leaf length and width. A greedy projection triangulation was used to calculate the leaf area. An HSV model and mean color histogram were utilized to measure the color characteristics for distinguishing health status of plants. The classification accuracy, recall, and1-score were 0.922, 0.938, and 0.930, respectively. Finally, the segmentation experiments were carried out on the six varieties of Chinese cabbage sprouts at different growth stages. A comparison was then made with the ground truth. It was found that the parts belonging to stem and leaf were segmented correctly. The average precision, recall, and1-score of stem and leaf organ segmentation were 0.961, 0.940 and 0.943 respectively, indicating better performance than the smoothing threshold-based and the color-based region growth. In addition, 50 samples were tested to verify the measurement. A regression analysis was performed between the algorithmic and manual measurements of Chinese cabbage sprout plant traits. The experimental results showed that the determination coefficients of plant height, plant width, leaf length, leaf width, leaf area, and leaf number were 0.987, 0.982, 0.984, 0.985, 0.922, and 0.924, respectively. The mean absolute percentage errors were 1.659%, 1.643%, 1.417%, 2.486%, 8.258%, and 6.000%, respectively. Among them, the Root Mean Square Error (RMSE) of plant height, plant width, leaf length, and leaf width were 0.261, 0.313, 0.174, and 0.100 cm, respectively. The RMSE of leaf area and number were 1.608 cm2, and 0.283, respectively. Consequently, the automatic measurement was realized for the seven key phenotypes of Chinese cabbage sprouts, including the plant height, leaf length, and color in lower error. Therefore, the segmentation and measurement can be expected to extract the plant phenotypic parameters with irregular leaf shape, especially in the young leaves of plant canopy, with high efficiency of phenotype extraction. The finding can provide an effective technical means for the efficient and accurate phenotypic analysis of leafy vegetables.

three dimensional; digitization; stem and leaf segmentation; phenotype measurement; Chinese cabbage sprout

10.11975/j.issn.1002-6819.2022.16.027

TP391.4

A

1002-6819(2022)-16-0243-09

王瑞萍，劉東風(fēng)，王先琳，等. 基于多視圖幾何的白菜薹分割與關(guān)鍵表型測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：243-251.doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

Wang Ruiping, Liu Dongfeng, Wang Xianlin, et al. Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 243-251. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

2022-05-02

2022-08-07

陜西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021NY-179）；廣東省鄉(xiāng)村振興戰(zhàn)略專(zhuān)項(xiàng)-農(nóng)業(yè)生產(chǎn)發(fā)展項(xiàng)目（2130122）

王瑞萍，研究方向?yàn)橹参锶S重建與表型分析。Email：wrp@nwafu.edu.cn

楊會(huì)君，博士，副教授，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、三維重建。Email：yhj740225@163.com