基于機器視覺的大田植株生長動態(tài)三維定量化研究

朱冰琳 劉扶桑 朱晉宇 郭 焱 馬韞韜

(1.中國農(nóng)業(yè)大學(xué)資源與環(huán)境學(xué)院， 北京 100193； 2.中國農(nóng)業(yè)科學(xué)院蔬菜花卉研究所， 北京 100081)

0 引言

全球人口數(shù)量的增加、土地退化以及可利用耕地的減少等已嚴(yán)重威脅到世界糧食供應(yīng)[1]。因此，更好地理解作物基因與環(huán)境互作機理對加速育種進程等至關(guān)重要[2]。高通量基因測序技術(shù)的發(fā)展使調(diào)控作物重要性狀的基因信息得以詳盡地挖掘[3]。然而，為了分析更為復(fù)雜性狀的遺傳基礎(chǔ)，實現(xiàn)從基因型到表現(xiàn)型的轉(zhuǎn)化，育種學(xué)家面臨著巨大的挑戰(zhàn)[4-5]。對植物表型參數(shù)收集的傳統(tǒng)方法主要依賴于人工測量，耗時耗力，效率較低。因此，找到一種高效非破壞性的表型獲取技術(shù)是當(dāng)前表型組研究的熱點[6-7]。

高通量的植物表型分析是從基因組學(xué)到表型組學(xué)研究解決瓶頸問題的核心技術(shù)，是生物學(xué)與遺傳育種前沿研究的重點。高通量的植物三維表型研究是判定植株表型最直觀的特征。這一類研究主要通過傳感器直接獲取葉片的三維點云，如LiDAR法[8-11]。此類方法能夠獲得高精度的植株點云，但存在所需儀器設(shè)備復(fù)雜昂貴、數(shù)據(jù)量大、重建效率低、使用中受環(huán)境(如光)限制等問題。隨著植物表型技術(shù)的發(fā)展，廉價且受環(huán)境因素影響小的基于機器視覺重建植物三維結(jié)構(gòu)的方法已在溫室中廣泛應(yīng)用[12-18]，并能動態(tài)監(jiān)測植株的生長過程[19-20]。然而，此方法在大田環(huán)境中應(yīng)用較少。

圖2 基于機器視覺的植株生長動態(tài)三維定量化流程圖Fig.2 Flow charts of three-dimensional quantification of plant growth dynamics based on machine vision method

本文將機器視覺成像分析技術(shù)應(yīng)用到獲取大田不同生長時期玉米、大豆植株個體和群體的三維結(jié)構(gòu)中，基于測量數(shù)據(jù)對重建精度進行評估。又基于重建的三維結(jié)構(gòu)進一步提取株高、冠幅和器官生長動態(tài)，為田間植株個體、群體表型的研究提供新的思路。

1 材料與方法

1.1 大田實驗設(shè)計

田間實驗在中國農(nóng)業(yè)大學(xué)吉林梨樹實驗站(43°16′N, 124°26′E)進行。實驗區(qū)的土壤類型為黑土，容重為1.3 g/cm3。供試玉米(ZeamaysL.)品種為先玉335，大豆(Glycinemax)品種為吉玉47。玉米、大豆行距均為50 cm，株距分別為20 cm和10 cm。每個處理選取長勢均勻的2行，每行2株，用白、紅、黃、藍(lán)四色膠帶對不同植株進行原位定株，便于統(tǒng)計區(qū)分，田間原位植株群體如圖1所示。

圖1 田間原位植株群體圖像Fig.1 Field experiment images for maize and soybean

選擇無風(fēng)、晴朗的天氣，使用單反相機(Canon 500D,日本)在玉米5、6、7、9葉期對大豆和玉米群體進行不同視角拍照，針對不同作物不同生育期采集60～200幅不等的圖像，具體實驗設(shè)置和數(shù)據(jù)處理流程如圖2所示。由于植株形態(tài)受自然風(fēng)影響較大，為了避免自然風(fēng)對拍攝效果的影響，設(shè)計了擋風(fēng)設(shè)備，該設(shè)備主要由黑白棋盤格圖案的布料及鐵架搭建而成。選取的布料需具有不反光的特性，且黑白格圖案顏色反差強烈，有利于拍攝時對植株特征點的捕捉。根據(jù)不同的植株位置、生育期及相互遮擋的程度，以10°～30°為間隔環(huán)繞植株一周獲得拍攝群體的多視角側(cè)視及俯視的圖像序列，拍照方式如圖2a所示。由于田間環(huán)境較為復(fù)雜，采用拍照位置呈半球形分布并結(jié)合局部加密的拍照方式，以改善植株間相互遮擋嚴(yán)重的問題。從而更好地獲得植株基部、冠層以及葉片較密處的信息，相機位置及重建點云如圖2a所示。

1.2 植株三維點云重建

將獲取的一系列圖像采用支持向量機(Support vector machine,SVM)的方法進行分割預(yù)處理[21]，自動去除背景像素點的顏色信息，得到相應(yīng)的只含目標(biāo)植株群體像素信息的圖像序列(圖2b)。然后，調(diào)用基于多視覺立體運動恢復(fù)結(jié)構(gòu)(Structure from motion with multi-view stereo,SFM- MVS)的開源軟件VisualSFM自動獲取只含目標(biāo)植株群體的三維點云信息。VisualSFM中實現(xiàn)重建步驟為：①通過尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform, SIFT)點特征檢測算法提取出圖像中不受光照、尺度和旋轉(zhuǎn)變化的特征點[22]。②采用近似最近鄰分類算法(Approximate nearest neighbor,ANN)對提取的SIFT特征點進行匹配[23]。③采用隨機采樣一致性算法(Random sample and consensus,RANSAC)去除錯誤的匹配點[24]。④采用SFM法循環(huán)迭代解出基礎(chǔ)矩陣、相機參數(shù)和投影矩陣并使用光束平差法(Bundle adjustment,BA)進行優(yōu)化得到稀疏點云[25]。⑤使用多視覺聚簇法(Cluster multi-view stereo,CMVS)對SFM結(jié)果圖像進行聚簇[26]。⑥再利用基于面片模型的密集匹配法(Patch-based multi-view stereo,PMVS)通過匹配、膨脹、過濾得到目標(biāo)群體的稠密點云[27-28]。

1.3 器官尺度的點云分割與重建

由于田間拍照時手的抖動、環(huán)境中光照以及風(fēng)等因素帶來的影響，點云數(shù)據(jù)不可避免地出現(xiàn)一些噪聲點，故需進行濾波預(yù)處理，將噪聲點、離群點等去除，獲得相對較為平滑的稠密點云。本研究調(diào)用基于Visual C++平臺的點云庫(Point cloud library, PCL)中的濾波模塊對目標(biāo)植株進行自動去噪?；赑CL的點云去噪包含創(chuàng)建濾波器對象、設(shè)置待濾波點云、設(shè)置在進行統(tǒng)計時考慮查詢的點臨近數(shù)以及判斷是否為離群點的閾值等步驟。對不同作物器官去噪時需對閾值進行調(diào)整，以達到最優(yōu)去噪結(jié)果。最終獲得目標(biāo)植株的原始點云，其中紅色的點代表噪聲點。再用Meshlab軟件從群體點云中提取出單株目標(biāo)植株的點云數(shù)據(jù)。采用區(qū)域增長分割算法[29]實現(xiàn)點云分割。該算法首先在當(dāng)前點集中選擇有最小曲率的點加入種子點集。然后尋找種子點的鄰域點，對于位于當(dāng)前點集中且與種子點的法向量夾角小于閾值的鄰域點加入當(dāng)前區(qū)域中，如果其曲率小于閾值則也加入種子點集，不斷重復(fù)此步驟。最終輸出一組類，每個類的點都認(rèn)為是同一平滑表面的一部分，從而實現(xiàn)植株器官分割。本研究中后兩個時期葉片較為繁密，相互遮擋嚴(yán)重，該算法并不能很好地識別不同植株相互交叉重疊的區(qū)域。因此，后兩個生育期需結(jié)合手動分割的方式進行優(yōu)化和校正。最終獲取單株所有單個葉片的點云數(shù)據(jù)，如圖2b中所示，不同顏色代表不同葉位。

1.4 植株動態(tài)生長信息的計算

基于重建目標(biāo)群體間放置的白色標(biāo)記牌的固定長寬值，進行比例換算，獲得植株的實際尺寸。本文將莖基部與土壤交界點到植株最高點的垂直距離定義為株高，通過讀取Geomagic中自動框定的植株各個方向伸展的X、Y、Z軸最大距離獲取植株的株高(圖3a)。將冠層橫向最遠(yuǎn)點云之間投影到地面上的垂直距離定義為冠層最大長，相應(yīng)的縱向距離定義為冠層最大寬。將冠層最大長與冠層最大寬的乘積定義為冠幅，如圖3a綠色矩形底面所示，冠幅的自動獲取方法同株高。

圖3 大豆植株及葉片稠密點云Fig.3 Dense points clouds of soybean plant and single blade

分割單個葉片點云后，根據(jù)葉片與植株主莖點云的距離確定該葉片的葉基和葉尖點，以葉基點為原點將葉尖點旋轉(zhuǎn)到X軸正方向，實現(xiàn)葉片中脈三維到二維的降維處理。采用局部多項式回歸算法擬合葉中脈[13]，實現(xiàn)葉片長度的自動提取(圖3b)?；谌~中脈點計算切向量，根據(jù)切向量求出各點對應(yīng)的法平面，從而獲得葉表面與法平面的一系列交點，采用葉長的計算方法獲得垂直于葉中脈方向的多個葉寬，其最大值即為葉最大寬(圖3c)。選擇4個生育期計算株高、葉片長度和葉最大寬的動態(tài)變化，同時采用卷尺測量所有目標(biāo)植株的2～3個葉片的葉長和葉片最大寬度信息，用于進行重建模型精度的驗證。

2 結(jié)果與分析

2.1 群體株型的三維重建與精度驗證

圖4 田間玉米、大豆植株分割后圖像、三維點云和三維面片對比Fig.4 Comparisons of images after division, 3D points cloud and 3D patches of field maize and soybean

圖4為玉米和大豆植株田間原位分割后圖像及三維重建效果的對比。圖4b、4e為玉米和大豆的三維重建點云。由于大豆未展開心葉很小，難以提取其點云信息，故未對其進行三維面片重建。從圖4c、4f中可看出，三維重建模型包含著植株相應(yīng)的顏色和紋理信息，表明此方法在田間植株形態(tài)構(gòu)建上有很好的效果，能較為真實地還原植株形態(tài)和生長狀態(tài)。玉米、大豆4個生育期生長動態(tài)三維重建效果如圖5所示。

玉米、大豆葉片長度和葉最大寬計算值與實測值的比較如圖6所示?；跈C器視覺獲取圖像序列構(gòu)建的植株三維模型計算的葉長和葉最大寬與手動測量結(jié)果吻合程度很高，R2均在0.97以上。表明即使在田間較為復(fù)雜的環(huán)境下，此方法也能夠較準(zhǔn)確地反映葉片的長、寬屬性。

2.2 植株群體生長動態(tài)

玉米、大豆平均株高和平均冠幅的動態(tài)變化如圖7所示。4個生育期玉米株高從36.2 cm到112.3 cm，冠幅從824.6 cm2到3 775.0 cm2；大豆株高從11.1 cm到47.3 cm，冠幅從210.1 cm2到1 864.5 cm2。

圖5 大豆和玉米三維重建圖Fig.5 3D reconstruction diagrams of soybean and maize populations

圖6 玉米、大豆葉長和葉最大寬測量值和計算值的比較Fig.6 Comparisons between measured and calculated values of blade length and maximum blade width of maize and soybean plants

圖7 玉米、大豆平均株高、冠幅動態(tài)變化Fig.7 Dynamic changes of average plant height and crown surface of maize and soybean

圖8為玉米、大豆葉長、葉最大寬的動態(tài)變化曲線。在此測量時期，玉米第5葉已完全展開，隨著出苗后天數(shù)的增加，第5葉葉長和葉最大寬略有減小。其他葉片的葉長、葉最大寬均呈現(xiàn)先增加后略有減小的趨勢。此趨勢主要是由于葉片老化萎蔫，影響葉片尖端、葉緣處特征點的提取，致使部分三維點云缺失。由于大豆植株間分支較多，葉位不易確定，在此僅選擇3個相鄰葉片(記為L1、L2、L3)進行葉長和葉最大寬生長動態(tài)的分析。大豆出苗后42 d，植株間遮擋嚴(yán)重，植株三維重建時部分點云缺失，對葉片形態(tài)等參數(shù)的提取有一定的影響。

圖8 玉米、大豆葉長、葉最大寬動態(tài)變化曲線Fig.8 Dynamic changes of blade length, maximum blade width of maize and soybean

3 討論

目前基于機器視覺的三維重建多是在室內(nèi)進行的，大多停留在單株尺度上，且目標(biāo)作物的葉片通常較為獨立，相互遮擋較少，獲得的三維重建效果較好[13,30-31]，表明此方法在影響因素較少的室內(nèi)環(huán)境中已很成熟。而在植株遮擋較為嚴(yán)重的大田環(huán)境中，由于田間不可控的風(fēng)、光照等諸多因素的影響，基于此類方法重建獲取的多為群體尺度的信息，如植株葉面積指數(shù)LAI和冠層覆蓋度等[32-34]。本研究將此方法應(yīng)用到獲取大田玉米、大豆植株三維個體、群體結(jié)構(gòu)，取得了較好的結(jié)果。未來基于精確的植物三維結(jié)構(gòu)，可以進行株型[35]及冠層輻射分布[36]等的評估。

本文重建的最后一個時期玉米株高約110 cm，大豆約50 cm，此時群體植株間遮擋已很嚴(yán)重，位于冠層內(nèi)部和相鄰兩植株間葉片的重建效果不理想，出現(xiàn)葉片重建缺失等情況。為了便于對應(yīng)三維重建的單個葉片與手動測量的葉片，用于精度校準(zhǔn)的葉片均位于冠層中上層，遮擋相對較少。課題組曾選擇呈半球形分布并結(jié)合局部加密的拍照方式，替代傳統(tǒng)的單層或者雙層拍照[31]以更好地獲得植株基部、冠層以及葉片較密處信息，但該方式解決植株生長后期的遮擋問題仍然有限。未來可以考慮結(jié)合深度相機和綠敏感相機，增加信息獲取維度[13]，期望更好地解決冠層遮擋的問題。

本文在株高、冠幅、葉長、葉最大寬的提取以及目標(biāo)植株群體與背景分割的過程中實現(xiàn)了自動化；在生長前期時器官分割也實現(xiàn)了自動化，但隨著植株間葉片遮擋嚴(yán)重，需手動干預(yù)進行器官分割。由于本實驗中玉米、大豆種植較密，當(dāng)株距、行距加大時，植株間遮擋情況將能進一步改善。研究中重建的群體數(shù)目僅限于3行3列9株群體，植株群體數(shù)量較少，雖然目標(biāo)植株周圍的植株也可以實現(xiàn)三維重建，但重建效果和精度遠(yuǎn)不及目標(biāo)植株。未來將采用無人機結(jié)合田間表型機器人的方式，建立自動化表型分析平臺，進行多算法融合[37]，獲取更大目標(biāo)群體的三維信息，實現(xiàn)高通量表型的無損、準(zhǔn)確、快速研究，為育種等工作提供基礎(chǔ)數(shù)據(jù)。

4 結(jié)束語

以大田生長的玉米、大豆群體為研究對象，基于機器視覺的方法對不同生長時期的玉米、大豆植株個體和群體進行了三維重建。采取呈半球形分布并結(jié)合局部加密的拍照方式以減少田間植株相互遮擋的影響。采用SVM的方法對圖像進行分割預(yù)處理，從而獲得僅含目標(biāo)植株的三維點云，進而自動提取了株高、冠幅和葉片生長動態(tài)等植株表型信息。與手動測量結(jié)果對比精度較高，表明大田環(huán)境下此方法也可以滿足作物表型提取的精度要求。研究結(jié)果可為大田植株表型及自動化平臺的構(gòu)建提供研究思路。

1 FISCHER G. World food and agriculture to 2030/50[C]∥Technical Paper from the Expert Meeting on How to Feed the World in 2050, 2009:24-26.

2 CHAVES M M, MAROCO J P, PEREIRA J S. Understanding plant responses to drought-from genes to the whole plant[J]. Functional Plant Biology, 2003, 30(3): 239-264.

3 DANIELJ M, MATTHEWP R. Quantifying genetic effects of ground cover on soil water evaporation using digital imaging[J]. Functional Plant Biology, 2010, 37(8):703-712.

4 HOULE D, GOVINDARAJU D R, OMHOLT S. Phenomics: the next challenge[J]. Nature Reviews Genetics, 2010, 11(12):855.

5 MINERVINI M, SCHARR H, TSAFTARIS S A. Image analysis: the new bottleneck in plant phenotyping[J]. IEEE Signal Processing Magazine, 2015, 32(4):126-131.

6 CHAPMAN S C, CHAN A, JACKWAY P, et al. Pheno-copter: alow-altitude, autonomous, remote-sensing robotic helicopter for, high-throughput field-based phenotyping[J]. Agronomy, 2014, 4(2):279-301.

7 DEERY D, JIMENEZBERNI J, JONES H, et al. Proximal remote sensing buggies and potential applications for field-based phenotyping[J]. Agronomy, 2014, 4(3):349-379.

8 KAMINUMA E, HEIDA N, TSUMOTO Y, et al. Automatic quantification of morphological traits via three-dimensional measurement of Arabidopsis[J]. Plant Journal for Cell & Molecular Biology, 2004, 38(2):358-365.

9 DORNBUSCH T, WERNECKE P, DIEPENBROCK W. A method to extract morphological traits of plant organs from 3D point clouds as a database for an architectural plant model[J]. Ecological Modelling, 2007, 200(1-2):119-129.

10 OMASA K, KONISHI A. 3D lidar imaging for detecting and understanding plant responses and canopy structure[J]. Journal of Experimental Botany, 2007, 58(4):881-898.

11 PAULUS S, SCHUMANN H, KUHLMANN H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121:1-11.

12 POUND M P, FRENCH A P, MURCHIE E H, et al. Automated recovery of three-dimensional models of plant shoots from multiple color images[J]. Plant Physiology, 2014, 166(4):1688-1698.

13 DUAN T, CHAPMAN S C, HOLLAND E, et al. Dynamic quantification of canopy structure to characterize early plant vigour in wheat genotypes[J]. Journal of Experimental Botany, 2016, 67(15):4523-4534.

14 KUMAR P, CAI J, MIKLAVCIC S. High-throughput 3D modelling of plants for phenotypic analysis[C]∥Conference on Image and Vision Computing, 2012:301-306.

15 QUAN L, TAN P, ZENG G, et al. Image-based plant modeling[J]. ACM Transactions on Graphics, 2006, 25(3):599-604.

16 POUND M P, FRENCH A P, FOZARD J A, et al. A patch-based approach to 3D plant shoot phenotyping[J]. Machine Vision & Applications, 2016, 27(5):767-779.

17 OQIELAT M N, BELWARD J A, TURNER I W, et al. A hybrid clough-tocherradial basis function method for modelling leaf surfaces[C]∥Proceedings of the International Congress on Modelling & Simulation, 2007.

18 KEMPTHORNE D M, TURNER I W, BELWARD J A, et al. Surface reconstruction of wheat leaf morphology from three-dimensional scanned data[J]. Functional Plant Biology, 2015, 42(5):444-451.

19 FANG S, CLARK R T, ZHENG Y, et al. Genotypic recognition and spatial responses by rice roots[J]. Proceedings of the National Academy of Sciences of the United States of America, 2013, 110(7):2670-2679.

20 KEMPTHORNE D M, TURNER I W, BELWARD J A. A comparison of techniques for the reconstruction of leaf surfaces from scanned data[J]. SIAM Journal on Scientific Computing, 2014, 36(6):B969-B988.

21 郭文濤, 王文劍, 白雪飛. 基于視覺注意的SVM彩色圖像分割方法[J]. 計算機工程與應(yīng)用, 2011, 47(36):174-176.

22 LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

23 ARYA S. An optimal algorithm for approximate nearest neighbor searching fixed dimensions[J]. Journal of the ACM, 1998, 45(6):891-923.

24 FISCHLER M A, BOLLES R C.Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[M]∥FISCHLER M A,BOLLES R C.Readings in Computer Vision, 1987:726-740.

25 WU C, AGARWAL S, CURLESS B, et al. Multicore bundle adjustment[C]∥Computer Vision and Pattern Recognition. IEEE, 2011:3057-3064.

26 FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards internet-scale multi-view stereo[C]∥Computer Vision and Pattern Recognition. IEEE, 2010:1434-1441.

27 FURUKAWA Y, PONCE J. Accurate, dense, and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(8):1362-1376.

28 FURUKAWA Y, PONCE J. Accurate camera calibration from multi-view stereo and bundle adjustment[C]∥IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2008, 2008:257-268.

29 RABBANI T, HEUVEL F A V D, VOSSELMAN G. Segmentation of point clouds using smoothness constraint[C]∥International Archives of Photogrammetry, Remote Sensing & Spatial Information Sciences,2012.

30 胡鵬程, 郭焱, 李保國,等. 基于多視角立體視覺的植株三維重建與精度評估[J]. 農(nóng)業(yè)工程學(xué)報, 2015, 31(11):209-214.

HU Pengcheng, GUO Yan, LI Baoguo,et al.Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method[J].Transactions of the CSAE, 2015,31(11):209-214. (in Chinese)

31 趙春江, 楊亮, 郭新宇, 等. 基于立體視覺的玉米植株三維骨架重建[J]. 農(nóng)業(yè)機械學(xué)報, 2010, 41(4): 157-162.

ZHAO Chunjiang, YANG Liang, GUO Xinyu, et al. Corn skeleton reconstruction based on stereo vision[J].Transactions of the Chinese Society for Agricultural Machinery,2010,41(4):157-162.(in Chinese)

32 SHAFIEKHANI A, KADAM S, FRITSCHI F B, et al. Vinobot and vinoculer: two robotic platforms for high-throughput field phenotyping[J]. Sensors, 2017, 17(1):214.

33 BISKUP B, SCHARR H, SCHURR U, et al. A stereo imaging system for measuring structural parameters of plant canopies[J]. Plant, Cell and Environment, 2007, 30(10):1299-1308.

34 JAY S, RABATEL G, HADOUX X, et al. In-field crop row phenotyping from 3D modeling performed using structure from motion[J]. Computers&Electronics in Agriculture, 2015, 110:70-77.

35 ZHENG B, SHI L, MA Y, et al. Comparison of architecture among different cultivars of hybrid rice using a spatial light model based on 3-D digitising[J]. Functional Plant Biology, 2008, 35(9):900-910.

36 WANG X, GUO Y, LI B, et al. Evaluating a three dimensional model of diffuse photosynthetically active radiation in maize canopies[J]. International Journal of Biometeorology, 2006, 50(6):349-357.

37 丁永軍, 張晶晶, 李民贊. 小波變換與分水嶺算法融合的番茄冠層葉片圖像分割[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2017,48(9): 32-37. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170904&journal_id=jcsam. DOI:10. 6041/j.issn.1000-1298.2017.09.004.

DING Yongjun, ZHANG Jingjing, LI Minzan. Segmentation of tomato leaves from canopy images by combination of wavelet transform and watershed algorithm[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(9): 32-37. (in Chinese)