基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的無規(guī)則植物葉片面積三維測量方法

陳 輝 王婷婷 代作曉 黃云峰

(1.上海電力大學(xué)自動(dòng)化工程學(xué)院, 上海 200090； 2.中國科學(xué)院上海技術(shù)物理研究所, 上海 200083)

0 引言

葉片是植物進(jìn)行光合作用、制造氧氣、合成營養(yǎng)物質(zhì)的主要器官，是進(jìn)行蒸騰作用進(jìn)而為根提供從外界吸收和運(yùn)輸水分動(dòng)力的主要途徑[1-2]，在植物生長過程中不可或缺。葉片面積影響光截獲[3]、表面蒸發(fā)以及生長量等，是研究植物生長最常用的指標(biāo)之一，快速、準(zhǔn)確、無損傷的植物葉片面積三維測量對(duì)指導(dǎo)現(xiàn)代農(nóng)業(yè)生產(chǎn)具有重要意義。傳統(tǒng)的植物葉片面積測量方法一般基于單個(gè)葉片進(jìn)行接觸式面積測量，如方格作圖法、稱紙重法、打孔稱重法、回歸方程法和數(shù)字圖像處理法等[4-5]，這些方法易對(duì)葉片表面造成損傷，影響三維測量結(jié)果。文獻(xiàn)[6]提出一種基于Android手機(jī)的植物葉片面積快速無損測量系統(tǒng)，該系統(tǒng)可測量多種不同形狀的植物葉片面積，由于生長形態(tài)和變形等因素使葉片不可能是一個(gè)絕對(duì)的平面，直接采用二維圖像進(jìn)行測量，其葉片卷曲部分將會(huì)導(dǎo)致測量誤差。文獻(xiàn)[7]利用不同方位光源照射下的圖像明暗特征來擬合葉片空間平面，恢復(fù)葉片空間傾斜信息，雖然該方法利用了葉片在三維空間中的形態(tài)特征，但僅對(duì)于葉片無遮擋條件下的測量精度較高。文獻(xiàn)[8]利用超體素分割和KD-tree紋理映射的貪婪投影三角化算法結(jié)合三維激光掃描點(diǎn)云對(duì)樹木枝葉進(jìn)行分割和三維重建，但三維激光掃描點(diǎn)云數(shù)量巨大，數(shù)據(jù)處理復(fù)雜，且所需成本高。文獻(xiàn)[9]應(yīng)用結(jié)構(gòu)光視覺測量技術(shù)，利用體素濾波實(shí)現(xiàn)降采樣，并進(jìn)行平滑處理，對(duì)分割后的不同類別點(diǎn)云進(jìn)行線性擬合，實(shí)現(xiàn)了棉花幼苗葉片性狀解析，但基于結(jié)構(gòu)光的深度圖像系統(tǒng)對(duì)光照環(huán)境的配置要求較高。

植物葉片面積測量的難點(diǎn)主要是：在不接觸葉片時(shí)恢復(fù)葉片的三維結(jié)構(gòu)，從繁雜的背景中提取葉片結(jié)構(gòu)，以及從重疊葉片中分離出單個(gè)葉片。基于上述問題，本文提出一種基于智能手機(jī)的非接觸式植物葉片面積三維測量方法，從多個(gè)角度對(duì)自然生長條件下的多類別植株進(jìn)行拍照，通過運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from motion, SfM)進(jìn)行三維重建，利用特征點(diǎn)匹配算法得到植株葉片的三維點(diǎn)云模型，采用顏色特征空間閾值分割對(duì)三維點(diǎn)云去噪，利用模糊C均值(Fuzzy C-means, FCM)聚類算法分割重疊葉片中的單個(gè)葉片，以期實(shí)現(xiàn)葉片面積三維測量。

1 材料與方法

1.1 植株樣本材料

實(shí)驗(yàn)樣本植株信息如表1所示，主要以四季青幼苗植株作為實(shí)驗(yàn)對(duì)象，分別從葉片數(shù)量及重疊率兩方面分析方法可靠性，另外選擇楊樹、銀杏樹、梧桐樹3類葉片完全不同的植物進(jìn)行采樣，從葉片形狀復(fù)雜性的角度來進(jìn)一步驗(yàn)證本文方法的有效性。

1.2 總體框架

本文方法總體結(jié)構(gòu)如圖1所示，主要分為圖像采集、三維點(diǎn)云模型重建、葉片面積計(jì)算3部分。

表1 實(shí)驗(yàn)樣本植株信息Tab.1 Plant information of experiment materials

1.2.1圖像采集

使用智能手機(jī)相機(jī)作為采集設(shè)備，為保證平臺(tái)采集的穩(wěn)定性和可行性，整個(gè)采集過程中手機(jī)相機(jī)設(shè)置為自動(dòng)對(duì)焦模式，禁止閃光燈及獲取HDR圖像。在距離植株0.5 m范圍內(nèi)采集植株圖像，確保相機(jī)中心共線以完成全景拼接。以植株為中心，旋轉(zhuǎn)一周，每隔10°～20°拍攝一幅圖像。采集的圖像尺寸均為4 032像素×3 024像素，保存為JPG格式。

圖2為實(shí)驗(yàn)采集的植株樣本，A組為四季青幼苗樣本，其中，A1號(hào)植株采集55幅圖像，A2號(hào)植株采集86幅圖像，A3號(hào)植株采集100幅圖像；B1號(hào)植株為楊樹苗植株樣本，采集74幅圖像；C1號(hào)植株為銀杏樹苗植株樣本，采集78幅圖像；D1號(hào)植株為梧桐樹苗植株樣本，采集79幅圖像。

1.2.2三維點(diǎn)云模型重建

基于1.2.1節(jié)中采集的圖像集，利用SfM方法進(jìn)行三維重建。通過尺度不變特征轉(zhuǎn)換算法(SIFT)在已建立的圖像尺度空間中尋找極值點(diǎn)，檢測其潛在的特征點(diǎn)[10-11]，并選擇最穩(wěn)健點(diǎn)作為最終特征點(diǎn)。計(jì)算特征點(diǎn)之間歐氏距離可決定匹配度，歐氏距離越短，匹配度越高。然而，SIFT匹配在搜索相似特征時(shí)會(huì)產(chǎn)生錯(cuò)誤匹配對(duì)點(diǎn)，對(duì)后續(xù)稀疏點(diǎn)云重建造成影響，本文采用隨機(jī)抽樣一致性算法[12-13]對(duì)匹配點(diǎn)進(jìn)行篩選，以剔除錯(cuò)誤匹配對(duì)。由于在計(jì)算位姿時(shí)易存在噪聲干擾，在此采用光束平差法[14]進(jìn)行參數(shù)優(yōu)化。

SfM方法獲得的三維點(diǎn)云具有稀疏性，采用基于面片的三維多視角立體視覺算法[15]進(jìn)一步擴(kuò)展，獲取稠密點(diǎn)云的三維重建結(jié)果(圖3)，其中A1號(hào)植株得到2 411 949個(gè)密集點(diǎn)云，A2號(hào)植株得到2 657 958個(gè)密集點(diǎn)云，A3號(hào)植株為2 993 183個(gè)密集點(diǎn)云；B1號(hào)植株為2 089 776個(gè)密集點(diǎn)云，C1號(hào)植株為2 873 681個(gè)密集點(diǎn)云，D1號(hào)植株為2 067 818個(gè)密集點(diǎn)云。

1.2.3葉片面積計(jì)算

基于三維點(diǎn)云模型進(jìn)行葉片面積計(jì)算，主要分為點(diǎn)云去噪、單個(gè)葉片分割、葉片表面網(wǎng)格重建、葉片面積計(jì)算。

(1)點(diǎn)云去噪

點(diǎn)云獲取過程中，由于人為擾動(dòng)或設(shè)備本身缺陷易產(chǎn)生噪聲點(diǎn)云，使所測數(shù)據(jù)與實(shí)際物體之間存在偏差，因此，需對(duì)原始三維點(diǎn)云模型進(jìn)行去噪與平滑，主要分為背景分離和植株去噪。對(duì)于存在大片背景點(diǎn)云的植株，使用Meshlab軟件中的濾波器工具從背景點(diǎn)云中提取植株，得到去除背景和樹干的完整植株葉片點(diǎn)云，如圖4所示。

從圖4中可以看出，植株葉片部分由于表面反光或葉片遮擋產(chǎn)生了白色噪點(diǎn)，難以去除。以噪點(diǎn)顏色與葉片點(diǎn)云顏色特征不同為依據(jù)去除噪點(diǎn)。典型的顏色空間[16]有RGB顏色空間、YUV顏色空間、HSV顏色空間，其中HSV顏色空間類似于人類感知顏色的方式，可直觀表達(dá)色彩的色調(diào)、明暗，更利于顏色提取。因此，選取HSV顏色空間作為特征，提取葉片的顏色閾值創(chuàng)建掩膜函數(shù)，在Color Threshold可視化界面中，提取葉片顏色特征邊界值[17]。通道1的閾值為[0.175,0.413]，通道2的閾值為[0.164,0.829]，通道3的閾值為[0.121,0.641]，輸出掩膜矩陣，利用掩膜矩陣生成去噪后的植株葉片光滑點(diǎn)云，如圖5所示。去噪后，點(diǎn)云數(shù)量發(fā)生明顯變化，其中A1號(hào)植株點(diǎn)云數(shù)為325 289個(gè)，A2號(hào)植株點(diǎn)云數(shù)為492 496個(gè)，A3號(hào)植株點(diǎn)云數(shù)為585 366個(gè)；B1號(hào)植株點(diǎn)云數(shù)為536 566個(gè)，C1號(hào)植株點(diǎn)云數(shù)為129 783個(gè)，D1號(hào)植株點(diǎn)云數(shù)為1 058 048個(gè)。

(2)單個(gè)葉片分割

根據(jù)葉片在三維空間中的分布情況，任意兩片葉片之間存在空隙，為單個(gè)葉片分割提供了前提條件。為減少運(yùn)算時(shí)間，先對(duì)葉片點(diǎn)云按比例采樣再分割。本文采用FCM聚類[18]進(jìn)行單個(gè)葉片分割，通過隸屬度矩陣和聚類中心把x個(gè)樣本點(diǎn)劃分為C個(gè)不同的類別，即利用拉格朗日乘數(shù)法最小化目標(biāo)函數(shù)，進(jìn)而得到聚類中心和隸屬度矩陣的迭代公式，不斷更新聚類中心和隸屬度矩陣，直到滿足迭代終止條件輸出聚類結(jié)果，葉片點(diǎn)云聚類分割結(jié)果如圖6所示。

(3)葉片表面網(wǎng)格重建

由于植物葉片表面存在不平整現(xiàn)象，直接使用離散點(diǎn)云求取面積，會(huì)造成最終結(jié)果不準(zhǔn)確，為解決該問題，本文采用Delaunay三角網(wǎng)格剖分[19-20]重建葉片表面網(wǎng)格模型，以有效識(shí)別曲面邊界，完成表面網(wǎng)格重建。

Delaunay三角網(wǎng)格剖分基本步驟[21]為：①首先構(gòu)造一個(gè)包含所有點(diǎn)的超級(jí)三角形。②再插入散點(diǎn)，根據(jù)空?qǐng)A特性找出其外接圓包含插入點(diǎn)的三角形，刪除影響三角形的公共邊。③循環(huán)執(zhí)行步驟②，直到?jīng)]有多余的散點(diǎn)能夠形成三角形，圖形化結(jié)果如圖7所示。圖8為葉片表面網(wǎng)格重建效果圖。

(4)葉片面積計(jì)算

葉片點(diǎn)云表面網(wǎng)格重建后，表面形成多個(gè)小三角形，計(jì)算所有三角形的面積總和可得出葉片的總面積。葉片點(diǎn)云中的各點(diǎn)可作為各個(gè)三角形的頂點(diǎn)，而各點(diǎn)坐標(biāo)已知，以圖7d中單個(gè)三角形PBC為例，根據(jù)3個(gè)頂點(diǎn)的坐標(biāo)可確定各邊邊長為

(1)

(2)

(3)

式中DPB、DBC、DCP——三角形PBC的各邊邊長

(xB,yB,zB)——三角形頂點(diǎn)B的坐標(biāo)

(xP,yP,zP)——三角形頂點(diǎn)P的坐標(biāo)

(xC,yC,zC)——三角形頂點(diǎn)C的坐標(biāo)

根據(jù)海倫公式可得該三角形的面積[22]為

(4)

其中

p=(DPB+DBC+DCP)/2

式中SPBC——三角形PBC的面積

在整個(gè)點(diǎn)云模型表面網(wǎng)格中

(5)

式中r——葉片點(diǎn)云表面網(wǎng)格重建的三角形數(shù)量

Si——第i個(gè)三角形的點(diǎn)云面積

S——葉片的點(diǎn)云面積

借鑒二維圖像計(jì)算面積的方法[23]，求解葉片真實(shí)面積。為與植株點(diǎn)云顏色區(qū)別以及減小誤差，制作一黑一紅兩個(gè)邊長為4 cm的正方形小方塊作為參照物。

(6)

式中SC——參照物點(diǎn)云面積

Sy——葉片的實(shí)際面積

2 結(jié)果與討論

為驗(yàn)證所提出葉片面積三維測量方法的有效性，進(jìn)行實(shí)驗(yàn)分析，同時(shí)與二維圖像法以及網(wǎng)格作圖法計(jì)算面積進(jìn)行對(duì)比分析。圖像采集設(shè)備為iPhone 6s手機(jī)，后置攝像頭為1 200萬像素，光圈為f/2.2，運(yùn)行內(nèi)存2 GB。

二維圖像法計(jì)算面積是基于所求葉片區(qū)域的圖像像素?cái)?shù)與整個(gè)圖像像素?cái)?shù)的比值等于所求葉片面積與整個(gè)圖像面積的比值，再通過比例尺計(jì)算出葉片實(shí)際面積。利用PhotoShop軟件得到相關(guān)區(qū)域像素?cái)?shù)并用標(biāo)尺工具測量圖像與實(shí)際物體間的比例尺，計(jì)算出葉片面積[24-25]。在網(wǎng)格作圖法實(shí)驗(yàn)中，要求葉片展平并按壓平整，在單位為1 mm×1 mm標(biāo)準(zhǔn)的網(wǎng)格紙上用細(xì)筆勾畫出葉片輪廓，然后統(tǒng)計(jì)網(wǎng)格個(gè)數(shù)，求和即可得葉片面積。

對(duì)比實(shí)驗(yàn)采用離體葉片，從植株上收割葉片，在充分按壓平整的條件下進(jìn)行實(shí)驗(yàn)。由于最小網(wǎng)格面積為1.00 mm2，網(wǎng)格數(shù)對(duì)葉片面積影響微乎其微，因此只要作圖和統(tǒng)計(jì)過程較為精準(zhǔn)，可將其視為真值參照。對(duì)于植株A1、A2、A3、B1、C1、D1，3種方法的葉片面積計(jì)算結(jié)果如圖9所示。

四季青組內(nèi)誤差對(duì)比和植株組間誤差對(duì)比結(jié)果分別如表2和表3所示，A組中，本文方法與網(wǎng)格作圖法相比，3次實(shí)驗(yàn)的平均絕對(duì)誤差為0.99 cm2，相對(duì)誤差為5.96%；二維圖像法與網(wǎng)格作圖法相比，3次實(shí)驗(yàn)結(jié)果的平均絕對(duì)誤差為1.16 cm2，相對(duì)誤差為6.94%，從計(jì)算結(jié)果可知，本文方法較二維圖像法準(zhǔn)確度提高了0.98個(gè)百分點(diǎn)。在B1、C1、D1組中，本文方法與網(wǎng)格作圖法相比，3次實(shí)驗(yàn)結(jié)果的平均絕對(duì)誤差為2.74 cm2，相對(duì)誤差為4.81%；二維圖像法與網(wǎng)格作圖法相比，3次實(shí)驗(yàn)結(jié)果的平均絕對(duì)誤差為2.59 cm2，相對(duì)誤差為4.38%。相較A組實(shí)驗(yàn)樣本，B、C、D組樣本葉片形狀復(fù)雜度提高，但由于葉片面積的增大，本文方法與網(wǎng)格作圖法的相對(duì)誤差的平均值和二維圖像法與網(wǎng)格作圖法的相對(duì)誤差的平均值都有一定程度的降低，說明本文方法和二維圖像法都更適合較大的葉片面積測量。

表2 四季青組內(nèi)誤差分析結(jié)果Tab.2 Analysis results of within error of Sijiqing group

另外，對(duì)A2、C1、D1的測量結(jié)果分析可知，本文方法誤差平均值略高于二維圖像法，其原因?yàn)椋簩?duì)于植株A2，由于底層葉片被遮擋而無法重建，葉面積誤差會(huì)略微增大，但該誤差在重建過程中是可預(yù)見、可處理的(為簡化實(shí)驗(yàn)以及保證實(shí)驗(yàn)的真實(shí)性，本文中未做多余補(bǔ)全缺失點(diǎn)云處理)；對(duì)于植株C1、D1來說，其葉片類別復(fù)雜度較高，不僅存在葉片卷曲、不平整等普通葉片的常見問題，還會(huì)出現(xiàn)裂口、倒刺等其他問題。二維圖像法需要人工進(jìn)行葉片預(yù)處理，即需要整理并按壓平整等，本文方法不需要搭載復(fù)雜的系統(tǒng)及人工干預(yù)，簡單便捷，且不會(huì)對(duì)植株造成不可逆轉(zhuǎn)的傷害，具有一定的可靠性和穩(wěn)定性。

表3 組間誤差分析結(jié)果Tab.3 Intergroup error analysis results

為進(jìn)一步驗(yàn)證本文方法的有效性，選取枝葉茂密的香樟樹苗，如圖10a所示，在該植株中選擇樹葉重復(fù)率和遮蓋率較高的部分作為本次驗(yàn)證實(shí)驗(yàn)的主體樣本，共28片樹葉，具體葉片細(xì)節(jié)如圖10b所示，經(jīng)過去噪處理(圖10c)后，由FCM聚類分割葉片，如圖10d所示。由圖10d可知，葉片能被大致分割，但在個(gè)別相交部分，存在混雜情況，對(duì)于該情況采用手動(dòng)刪除已聚類部分后再重新聚類剩余部分，直至全部分割完成，葉片面積計(jì)算結(jié)果如圖11所示。葉片誤差分析見表4，本文方法與網(wǎng)格作圖法相比，實(shí)驗(yàn)結(jié)果的平均絕對(duì)誤差為0.64 cm2，相對(duì)誤差為6.25%；二維圖像法與網(wǎng)格作圖法相比，實(shí)驗(yàn)結(jié)果的通過上述實(shí)驗(yàn)結(jié)果分析可知，除了形狀復(fù)雜的葉片之外，本文方法計(jì)算所得的葉片面積比二維圖像法計(jì)算所得的葉片面積精確度更高，操作更加簡單、成本低廉，且具有不破壞植株的優(yōu)點(diǎn)。從數(shù)據(jù)結(jié)果來看，相較于網(wǎng)格作圖法，本文方法測得的葉片面積存在部分?jǐn)?shù)據(jù)偏大或偏小的情況，這是由于葉片面積測定結(jié)果與點(diǎn)云面積關(guān)聯(lián)較大。測定結(jié)果偏大原因?yàn)椋河捎讷@取點(diǎn)云時(shí)并非利用高精度的設(shè)備，故點(diǎn)云會(huì)存在微小的錯(cuò)位情況，植物葉片的卷曲度可能在一定程度上變大，導(dǎo)致點(diǎn)云面積增大；某些葉片產(chǎn)生反射或噪點(diǎn)顏色與葉片顏色接近，在點(diǎn)云去噪過程中不能完全去除，導(dǎo)致點(diǎn)云面積增大。測定結(jié)果偏小原因：葉片在按壓過程中，由于葉片較軟且參差不齊，葉片邊緣部分存在內(nèi)折無法展開，導(dǎo)致用二維圖像法或網(wǎng)格作圖法所測葉面積結(jié)果偏?。辉谙鄼C(jī)繞植株一周時(shí)，存在某些葉片被其他葉片遮擋的情況，相機(jī)無法捕捉該部分葉片，在重建過程中該部分點(diǎn)云缺失，導(dǎo)致點(diǎn)云面積減小。

平均絕對(duì)誤差為0.72 cm2，相對(duì)誤差為7.02%，根據(jù)表4可知，相比二維圖像法本文方法準(zhǔn)確度提高了0.77個(gè)百分點(diǎn)。

表4 葉片誤差分析結(jié)果Tab.4 Blade error analysis result

3 結(jié)束語

提出了一種在普通環(huán)境下利用智能手機(jī)相機(jī)和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)獲取三維點(diǎn)云的葉面積測量方法。以四季青、楊樹、銀杏、梧桐植株為實(shí)驗(yàn)對(duì)象進(jìn)行了葉片面積測量，結(jié)果表明，在葉片重疊率和復(fù)雜性角度上，本文方法面積測量的平均相對(duì)誤差分別為6.25%和4.81%。本文方法更適合于處理普通形狀葉片，對(duì)于普通重疊率的整個(gè)植株葉片總面積測量結(jié)果比采用二維圖像法的面積測量結(jié)果精確度提高0.98個(gè)百分點(diǎn)，對(duì)重疊率高的葉片提高了0.77個(gè)百分點(diǎn)。相較二維圖像法和網(wǎng)格作圖法而言，本文方法測量工作量大大降低，成本低，可操作性強(qiáng)，且不會(huì)對(duì)植物造成不可逆轉(zhuǎn)的傷害，能夠滿足實(shí)際農(nóng)業(yè)生產(chǎn)的測量需要。