基于機(jī)器視覺的玉米三維表型參數(shù)提取算法

李 哲,宋青峰,朱新廣,胡 勇*,鞏彩蘭,卜弘毅

(1中國科學(xué)院紅外探測與成像技術(shù)重點(diǎn)實(shí)驗(yàn)室,中國科學(xué)院上海技術(shù)物理研究所,上海 200083;2中國科學(xué)院大學(xué),北京 100049;3中國科學(xué)院分子植物科學(xué)卓越創(chuàng)新中心,上海 200032)

玉米是全世界的主要糧食作物之一[1],提高玉米產(chǎn)量能夠有效解決糧食安全問題。在當(dāng)今大數(shù)據(jù)時(shí)代,植物表型組學(xué)在育種中的作用開始得到重視[2],該學(xué)科通過研究植物個(gè)體間表型參數(shù)差異,能夠有針對性地對農(nóng)作物進(jìn)行改良育種,提高作物產(chǎn)量[3]。植物表型組學(xué)的發(fā)展瓶頸在于如何獲取大量植株表型參數(shù)。

傳統(tǒng)的表型參數(shù)獲取主要依靠人工使用直尺和量角器等工具測量,存在效率低、主觀誤差大、有破壞性等缺點(diǎn)。為解決這些缺點(diǎn),三維表型參數(shù)提取方法[4-6]成為研究熱點(diǎn)。目前三維信息提取類研究主要通過深度相機(jī)掃描獲取三維點(diǎn)云,如Kinect法[7]。此方法能夠直接獲得高精度的植株點(diǎn)云,操作簡單,但存在所需設(shè)備昂貴、使用受天氣影響、數(shù)據(jù)量龐大等問題。隨著相機(jī)硬件設(shè)備和圖像算法的發(fā)展,基于機(jī)器視覺重建三維結(jié)構(gòu)方法[8]因設(shè)備廉價(jià)、數(shù)據(jù)提取速度快、魯棒性好等優(yōu)點(diǎn),得到廣泛應(yīng)用。但玉米葉片具有薄、存在翻折、葉片邊緣為不規(guī)則波浪形、互相遮擋等特點(diǎn),目前基于機(jī)器視覺提取玉米三維表型特征的方法存在準(zhǔn)確率低、耗時(shí)長、需要一定手工操作、不能完全自動(dòng)化等問題。

針對上述問題,本研究擬提出一種高精度、高通量和自動(dòng)化的玉米生長動(dòng)態(tài)定量化測量方法,以期實(shí)現(xiàn)玉米植株三維表型參數(shù)以及生長動(dòng)態(tài)自動(dòng)化測量。

1 材料與方法

1.1 試驗(yàn)材料與設(shè)備

田間試驗(yàn)在中國科學(xué)院上海生命科學(xué)研究院植物生理生態(tài)研究所實(shí)驗(yàn)基地(30°94＇N,121°13＇E)進(jìn)行。玉米選用自交系A(chǔ)619和W64A,這兩個(gè)玉米自交系株型結(jié)構(gòu)差別主要在于W64A的葉片數(shù)比A619多、葉片長度比A619短,兩者的莖稈高度和葉片寬度無明顯差異。每個(gè)玉米自交系種植15盆,10盆用于測量,5盆用于備份。盆栽種植采用白色20 L塑料桶,每桶播種2粒已催芽的種子,間距7 cm,播種深度3 cm,長至三葉期后每桶僅留下1株長勢均勻的玉米。植株放置于戶外生長。播種后30 d開始測量,每隔7 d測一次,測量持續(xù)到玉米抽穗,共測量4次。

測量時(shí)將植株置于室內(nèi),采用瞬時(shí)成像設(shè)備[9]拍照。瞬時(shí)成像設(shè)備由64臺(tái)18—55 mm鏡頭的佳能EOS 1300D型相機(jī)、拍攝支架和分布式數(shù)據(jù)采集控制器組成(圖1),每個(gè)支架8臺(tái)相機(jī),共8個(gè)支架圍繞植株拍攝。瞬時(shí)拍攝系統(tǒng)能在亞秒級(jí)時(shí)間輸出64個(gè)不同角度的拍攝圖像,避免拍攝同一植株過程中因光線變化或植株抖動(dòng)等因素導(dǎo)致的三維重建誤差。相鄰兩個(gè)角度的拍攝圖像重疊率達(dá)75%以上,保證三維重建獲取點(diǎn)云的準(zhǔn)確率。

圖1 瞬時(shí)成像設(shè)備結(jié)構(gòu)圖Fig.1 Instantaneous imaging equipment structure

采用張正友[10]的方法標(biāo)定相機(jī)參數(shù),內(nèi)參標(biāo)定使用棋盤格,外參標(biāo)定使用標(biāo)定架。標(biāo)定架如圖2所示,標(biāo)定架一共包含160個(gè)靶標(biāo),其中149個(gè)黑色靶標(biāo)用于圖像拼合,11個(gè)白色靶標(biāo)用于確定坐標(biāo)與尺寸。標(biāo)定每臺(tái)相機(jī)參數(shù)后,移動(dòng)世界坐標(biāo)系,使得XY軸方向如圖2c所示,Z軸沿標(biāo)定架方向,原點(diǎn)位于地面上方25 cm處,即玉米植株基部。以靶標(biāo)之間距離為標(biāo)準(zhǔn)調(diào)整世界坐標(biāo)系的比例,使得世界坐標(biāo)系下的長度與真實(shí)世界長度相同。

圖2 標(biāo)定架結(jié)構(gòu)圖Fig.2 Calibration frame structure

1.2 點(diǎn)云獲取

測量當(dāng)天,先拍攝一組背景圖像,再依次把每棵植株放到標(biāo)定的世界坐標(biāo)系原點(diǎn)位置拍攝,每張拍攝圖像去除對應(yīng)背景圖像可以得到無背景的植株圖像,如圖3所示。

拍攝得到64個(gè)角度的無背景植株圖像后,基于機(jī)器視覺獲取玉米植株三維點(diǎn)云。首先利用尺度不變特征變換從每幅圖像中提取特征點(diǎn);然后使用快速近似最近鄰搜索庫實(shí)現(xiàn)兩兩圖像間描述子向量匹配,并選擇匹配點(diǎn)最多的兩幅圖計(jì)算初始點(diǎn)云;之后每次選取其余圖像的特征點(diǎn)中與目前已知點(diǎn)云匹配數(shù)量最高的圖像加入,利用隨機(jī)抽樣一致算法根據(jù)匹配點(diǎn)求新增圖像的投影矩陣,并將新計(jì)算的三維點(diǎn)加入已知點(diǎn)云;不斷重復(fù)上一步過程,直至所有圖像都被添加,再利用光束平差法進(jìn)行優(yōu)化得到稀疏點(diǎn)云;最后通過多視覺聚簇法將稀疏點(diǎn)聚類到不同的影像集,每個(gè)影像集分別基于面片的三維多視角立體視覺算法通過法線和位置約束對稀疏點(diǎn)云形成的種子面片進(jìn)行擴(kuò)散,利用灰度一致性和幾何一致性約束對面片過濾,最終得到稠密三維點(diǎn)云。

去除背景可以減少背景噪聲點(diǎn)云和錯(cuò)誤匹配點(diǎn)云,提高點(diǎn)云精度,但點(diǎn)云重建結(jié)果仍存在少部分背景噪聲,可以利用世界坐標(biāo)系位置特殊性再次去除背景噪聲。玉米植株根部位于世界坐標(biāo)系原點(diǎn)而且世界坐標(biāo)系尺度與真實(shí)世界一致,設(shè)置植株大致的長寬高范圍,即植株點(diǎn)云的坐標(biāo)值范圍,可以獲取無背景噪聲植株點(diǎn)云(圖3 d)。

圖3 去除背景以及三維重建結(jié)果Fig.3 Background removal and 3D reconstruction results

1.3 葉尖和葉基部重定位骨架

基于拉普拉斯的骨架提取算法[11-12]得到玉米點(diǎn)云骨架的主要步驟為:(1)構(gòu)造單環(huán)鄰域;(2)幾何收縮,獲取零體積的網(wǎng)格或點(diǎn)云;(3)拓?fù)浼?xì)化,得到一維曲線;(4)中心化處理,得到骨架。該算法魯棒性強(qiáng),但提取的玉米骨架誤差大,不符合玉米植株特性。本研究通過葉尖和葉基部重定位骨架提高參數(shù)精度。

葉尖提取優(yōu)化:葉尖點(diǎn)缺失導(dǎo)致計(jì)算葉長值小于實(shí)測值,通過葉尖提取優(yōu)化提高葉長精度。優(yōu)化步驟如下:1)根據(jù)骨架點(diǎn)之間鄰接關(guān)系劃分葉片骨架和莖稈骨架;2)依據(jù)式(1)得到第i個(gè)葉片點(diǎn)云LPi;3)在LPi中找與距離最大的100個(gè)點(diǎn)作為葉尖備選點(diǎn)Ti。是LSi最后一個(gè)點(diǎn),即第i個(gè)葉片基部點(diǎn)。是LSi第一個(gè)點(diǎn),即第i個(gè)葉片葉尖點(diǎn)。(4)對于Ti中第j個(gè)點(diǎn)(j=1,2,3,...,100),它與30個(gè)鄰近點(diǎn)nk(k=1,2,3,...,30)的向量和為,在滿足式(2)的所有點(diǎn)中選取與距離最遠(yuǎn)的點(diǎn),作為葉尖點(diǎn),添加到第i個(gè)葉片骨架中。

式中LSi是第i個(gè)葉片骨架點(diǎn)集合,P是濾波點(diǎn)云集合。

葉尖提取優(yōu)化即在原始骨架上新增一個(gè)骨架點(diǎn)作為葉尖點(diǎn),圖4a中黑色的點(diǎn)為新增葉尖點(diǎn),紅色點(diǎn)為原始骨架。新增葉尖點(diǎn)后,骨架長度隨之增加,而且從圖4b中可以看出新增葉尖點(diǎn)全部精準(zhǔn)定位在植株真實(shí)葉尖位置,優(yōu)化后葉片骨架長度彌補(bǔ)了原始骨架長度缺失,更加接近葉長的真實(shí)值。

圖4 葉尖提取優(yōu)化結(jié)果示意圖Fig.4 Optimization results of leaf tip extraction

莖稈骨架優(yōu)化:經(jīng)觀察發(fā)現(xiàn),玉米莖稈骨架在葉片基部附近向葉片方向傾斜,針對這個(gè)問題,利用玉米莖稈基本呈直線的先驗(yàn)知識(shí),優(yōu)化莖稈骨架。優(yōu)化步驟如下:(1)計(jì)算莖稈骨架點(diǎn)集SS與均值點(diǎn),ss∈SS的誤差和矩陣;(2)使用奇異值分解[13]計(jì)算e的特征向量,e最大特征值對應(yīng)的特征向量就是莖稈的方向向量;(3)莖稈擬合直線為,將每個(gè)莖稈骨架點(diǎn)z值帶入l重新計(jì)算位置。

葉基部重定位:葉片基部與莖稈相連,但莖稈骨架優(yōu)化后,葉基部可能不在莖稈上,需要重新定位。優(yōu)化過程偽碼如圖5所示。

圖5 葉基部重定位偽代碼Fig.5 Pseudocode for leaf base relocation

莖稈骨架優(yōu)化前后,莖稈骨架點(diǎn)位置如圖6a和6b所示,優(yōu)化結(jié)果符合玉米植株實(shí)際情況。葉基部重定位前后,葉基部點(diǎn)位置如圖6c和6d所示,優(yōu)化后的葉基部點(diǎn)全部落在莖稈擬合直線上,還原了葉基部點(diǎn)的真實(shí)位置,葉基部點(diǎn)精確定位是求取高精度葉夾角和葉長等參數(shù)的基礎(chǔ)。

圖6 葉基部高度重定位Fig.6 Relocation of leaf base height

1.4 植株表型參數(shù)提取

株高、葉基部高度和葉長提取:將植株基部到植株最上部展開葉的最高點(diǎn)的高度差作為株高,由于植株基部在Z=0平面上,所以株高就是所有點(diǎn)云坐標(biāo)z值的最大值;葉基部高度是植株基部到葉片著生點(diǎn)位置的高度差,葉基部重定位后已知每個(gè)葉片的著生點(diǎn)坐標(biāo),又由于植株基部在Z=0平面上,葉基部高度即為骨架著生點(diǎn)坐標(biāo)z值;葉長為葉片的相鄰骨架點(diǎn)之間連接線段長度的總和。

葉最大寬度提取:做一個(gè)過第i個(gè)葉片骨架中點(diǎn),垂直于中點(diǎn)切線方向的垂面。由于點(diǎn)云P稀疏,垂面Si與點(diǎn)云的交點(diǎn)較少甚至可能沒有,所以應(yīng)該將垂面Si左右移動(dòng)0.5 cm,對夾在中間的點(diǎn)集Wi做直線擬合,如圖7a所示;將Wi所有點(diǎn)中x值最小和最大的兩點(diǎn)和值帶入擬合直線得到和,第i個(gè)葉片的葉最大寬度如式(3)所示。

葉夾角提取:規(guī)定莖稈與葉片1∕4長度位置的中心點(diǎn)為葉夾角,如圖7b所示。其中點(diǎn)o是葉片骨架著生點(diǎn),點(diǎn)m是莖稈擬合直線上一點(diǎn),點(diǎn)n是葉片1∕4長度位置截線的中點(diǎn),截線獲取方式與葉最大寬度獲取方式相同。葉夾角按公式(4)計(jì)算。

最小包圍盒體積提取:對植株點(diǎn)云P進(jìn)行主成分分析,并將植株點(diǎn)云轉(zhuǎn)到主成分方向上構(gòu)成新的點(diǎn)云集合P＇。最小包圍盒是求取能夠完整包裹物體且棱長平行于坐標(biāo)軸的最小長方體,如圖7c所示,將點(diǎn)云在XYZ軸的范圍相乘即可得到最小包圍盒體積,如式(5)所示。

圖7 植株表型參數(shù)提取示意圖Fig.7 Plant phenotypic parameters extraction

2 結(jié)果與分析

2.1 表型參數(shù)提取精度驗(yàn)證

如表1所示,兩個(gè)玉米自交系在骨架優(yōu)化后葉長和葉基部高度精度都有明顯提升。這是因?yàn)槿~尖提取優(yōu)化和葉基部重定位分別精確定位了每個(gè)葉片的葉尖和葉著生點(diǎn),所以自交系A(chǔ)619和W64A的葉長均方根誤差下降了50%左右。葉基部高度精度提升是由于葉基部重定位,得到了葉基部點(diǎn)精確位置。同時(shí)可以看到,骨架優(yōu)化對葉最大寬度參數(shù)準(zhǔn)確率也有少量提升,這是因?yàn)槿斯y量的葉最大寬度是葉片一半長度處的展開寬度,與葉長相關(guān),葉最大寬度精度隨著葉長精度提高也稍有提升。

表1 骨架提取算法改進(jìn)前后表型參數(shù)誤差對比Table 1 Comparison of phenotypic parameter errors before and after improvement of skeleton extraction algorithm

參數(shù)提取結(jié)果中葉基部高度略大于真實(shí)測量值,而葉長小于真實(shí)測量值,這是由于人工測量葉基部高度和葉片長度是從葉片背面測量,而參數(shù)提取算法是從莖稈和葉片分離較明顯的位置測量得到的,即葉基部包裹莖稈那一部分是誤差的主要來源。

A619和W64A兩個(gè)玉米自交系葉長、葉最大寬度和葉基部高度的測量值和計(jì)算值的比較如圖8所示。葉長、葉最大寬度和葉基部高度的R2均在0.9以上,表明即使是不同的玉米自交系,此方法也能夠較準(zhǔn)確地反映葉長、葉最大寬度寬和基部高度屬性,展現(xiàn)了較好的魯棒性。

圖8 A619和W64A的葉長、葉最大寬度和葉基部高度的測量值和計(jì)算值Fig.8 Measured and calculated values for leaf length,maximum leaf width and leaf base height of A619 and W64A

2.2 玉米植株生長動(dòng)態(tài)分析

如圖9所示,出苗后21—42 d,自交系A(chǔ)619株高從42 cm生長到138 cm,自交系W64A株高從40 cm生長到134 cm。A619和W64A在出苗后28—35 d快速增高,35 d后株高基本不變。

圖9 A619和W64A株高動(dòng)態(tài)變化Fig.9 Dynamic changes of plant height of A619 and W64A

圖10展示了自交系A(chǔ)619和W64A葉長、葉最大寬度和葉基部高度的變化曲線。由于玉米底部葉片會(huì)在生長過程中逐漸衰老脫落,本研究選取第4—7片葉子(L4—L7)記錄動(dòng)態(tài)變化曲線,葉片按照葉基部高度從下到上排序,序號(hào)越小葉齡越大。從誤差棒可以看出,W64A的動(dòng)態(tài)范圍較大,每棵植株間差異大。從變化曲線可以看出,A619在出苗后28 d,第4、5、6片葉子完全展開,之后隨著植株生長,葉片發(fā)黃萎縮,葉片長度和葉最大寬度略微減小;第7片葉子在整個(gè)測量時(shí)間一直在生長狀態(tài)。W64A生長狀態(tài)與A619基本一致,不同在于第5和第6片葉子直到出苗后第35天才完全展開。

圖10 A619和W64A的葉長、葉最大寬度和葉基部高度變化曲線Fig.10 Variation curves of leaf length,maximum leaf width and leaf base height of A619 and W64A

3 討論

植株點(diǎn)云骨架在器官分割以及參數(shù)求解中有較好的效果,近兩年越來越多的研究人員將植株骨架用于三維表型參數(shù)提取。2018年,溫維亮等[14]利用接觸式三維數(shù)字化儀獲取玉米各器官的植株骨架結(jié)構(gòu),并制定了參數(shù)獲取的規(guī)范流程。該方法需要人工使用探測筆沿著玉米每個(gè)器官劃過,通過定位跟蹤得到骨架,參數(shù)獲取方法耗時(shí)耗力,而且葉片易受力位移造成誤差。本研究只需使用瞬時(shí)成像設(shè)備拍攝圖像,經(jīng)由算法在10 min內(nèi)獲取玉米骨架并輸出參數(shù),避免人為誤差,實(shí)現(xiàn)快速和全自動(dòng)化測量。2019年,蘇偉等[15]提出基于地面激光掃描獲取大田玉米表型參數(shù)的方法,該方法提取表型參數(shù)方法與本研究相同,都是通過點(diǎn)云得到三維骨架,然后利用骨架信息獲取三維表型參數(shù)。但該方法激光掃描獲取點(diǎn)云掃描時(shí)間長、點(diǎn)云數(shù)據(jù)量龐大,而且需要手動(dòng)完成點(diǎn)云配準(zhǔn)和裁剪,不能實(shí)現(xiàn)完全自動(dòng)化;而本研究采用的基于機(jī)器視覺的三維重建只需要多角度圖像就可以實(shí)現(xiàn)自動(dòng)、快速的點(diǎn)云獲取。2020年,Wu等[16]提出了一種低成本的表型分析平臺(tái),該方法通過計(jì)算機(jī)視覺得到植株三維模型,通過骨架提取算法得到骨架,并利用骨架提取表型參數(shù),該方法株高、葉寬和葉面積的均方根誤差分別為2.96、1.27和75.03。本研究同樣采用機(jī)器視覺和骨架提取算法,但是通過改進(jìn)植株骨架,提升了獲取表型參數(shù)精度。本研究中玉米葉長、葉最大寬度、葉基部高度的均方根誤差分別為4.64、0.47和3.99,對于相同的參數(shù)葉寬,均方根誤差相對于該方法少50%以上。

本研究采用瞬時(shí)成像設(shè)備,實(shí)現(xiàn)64個(gè)角度圍繞植株瞬時(shí)成像,且相鄰相機(jī)圖像重疊度達(dá)75%以上,保證了重建精度;利用基于拉普拉斯的骨架提取算法獲取植株點(diǎn)云骨架,并對葉尖和葉基部骨架進(jìn)行改進(jìn),準(zhǔn)確分割葉片,提高了參數(shù)提取精度;從圖像直接得到三維表型參數(shù),實(shí)現(xiàn)了完全自動(dòng)化。

4 結(jié)論

本研究提出了一種高精度、高通量、自動(dòng)化的玉米表型參數(shù)提取算法,該算法主要改進(jìn)了植株骨架葉尖和葉基部的識(shí)別過程。利用改進(jìn)的算法獲得的玉米葉長、葉最大寬度和葉基部高度的平均絕對百分比誤差分別下降5.89%、0.04%和0.86%?；诒狙芯糠椒ㄌ崛〉谋硇蛥?shù)決定系數(shù)均大于0.9,證明算法能夠準(zhǔn)確地反映葉長、寬和基部高度屬性,并用于全自動(dòng)化參數(shù)提取,為高通量玉米表型分析提供了有效的方法。