基于消費級深度相機的玉米植株三維重建

勞彩蓮 楊 瀚 李 鵬 馮 宇

(1.中國農(nóng)業(yè)大學(xué)現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室， 北京 100083；2.中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點實驗室， 北京 100083)

0 引言

近年來，隨著計算機和信息技術(shù)的發(fā)展，對作物三維點云模型的研究逐步成為國內(nèi)外農(nóng)業(yè)研究領(lǐng)域的重點和熱點[1-5]。利用三維重建技術(shù)構(gòu)建精確真實的植物三維形態(tài)模型，對于科學(xué)指導(dǎo)農(nóng)作物的智能化管理以及作物表型的無損測量具有重要意義[6-8]。

獲取三維點云數(shù)據(jù)是三維重建的第1步，選擇合適的點云數(shù)據(jù)獲取工具尤為重要。隨著計算機軟硬件、激光、CCD、PSD等技術(shù)的飛速發(fā)展，對數(shù)字圖像處理、計算機視覺理論研究的深入，基于計算機視覺理論的三維信息獲取技術(shù)成為該領(lǐng)域技術(shù)發(fā)展的主流。根據(jù)文獻[9]對三維結(jié)構(gòu)信息獲取技術(shù)的研究, 激光掃描儀和普通數(shù)碼相機是獲取三維信息比較常用的設(shè)備。其中，激光掃描儀的精度高，能捕獲到較多細節(jié)，但設(shè)備體積大，價格昂貴；而數(shù)碼相機目前難以滿足實時性的要求?，F(xiàn)代消費級深度(RGB-D)相機價格低廉、幀速率高，可以提供密集的深度估算。按原理RGB-D相機主要分為兩類，一類是基于結(jié)構(gòu)光的原理[10]，如微軟的Kinect v1型和華碩的Asus Xtion Pro型；另一類是基于TOF(Time of flight) 技術(shù)[11]，如微軟的Kinect v2型。消費級RGB-D 掃描設(shè)備或深度相機的普及，為復(fù)雜物體的三維重建提供了更多手段，并且因其廉價、輕巧(質(zhì)量是數(shù)碼相機的一半) 的特點，而得到廣泛的研究和應(yīng)用[12-15]。

點云配準(zhǔn)是基于計算機視覺實現(xiàn)三維重建的關(guān)鍵步驟。對于紋理比較豐富的物體，常利用顏色信息提取關(guān)鍵點實現(xiàn)點云的配準(zhǔn)，比如文獻[16]用Kinect相機獲取不同視角下植株彩色圖像和深度圖像，合成原始植株彩色點云，完成配準(zhǔn)。文獻[17]提取彩色圖像匹配點，并根據(jù)彩色圖像特征點與三維點云之間的關(guān)系得到三維特征點，然后通過奇異值分解完成初始配準(zhǔn)。對于紋理不豐富的物體，方法一是通過在植物周圍放置標(biāo)記物，作為點云配準(zhǔn)的檢測點。如文獻[18]在玉米植株周圍懸掛標(biāo)定物，通過配準(zhǔn)標(biāo)定物來間接配準(zhǔn)玉米。文獻[19]將玉米植株放置在貼著棋盤格的地面上，通過檢測棋盤格的角點來輔助玉米的三維重建。方法二是通過標(biāo)定轉(zhuǎn)盤與相機的關(guān)系，通過轉(zhuǎn)動轉(zhuǎn)盤實現(xiàn)點云配準(zhǔn)。如文獻[20]利用EM-ICP算法標(biāo)定轉(zhuǎn)盤與相機的關(guān)系。文獻[21]首先將彩色相機與深度相機進行配準(zhǔn)，然后在轉(zhuǎn)盤上鋪上棋盤格，借助彩色相機尋找特征點完成點云配準(zhǔn)。對于點云結(jié)構(gòu)特征比較明顯的物體，可以根據(jù)點云結(jié)構(gòu)提取物體特征點，實現(xiàn)點云配準(zhǔn)。如文獻[22]通過歸一化對齊徑向特征算法搜尋點云關(guān)鍵點，并使用快速點特征直方圖描述子計算關(guān)鍵點處的特征向量，然后實現(xiàn)點云配準(zhǔn)。可見，傳統(tǒng)的基于計算機視覺的三維重建方法需要提取特征點，并使用ICP算法實現(xiàn)點云拼接。這常需要彩色相機或其他工具進行輔助，而植物的特征點受遮擋等因素的影響而不易提取，這種從被測物體上尋找特征點實現(xiàn)點云配準(zhǔn)拼接的方式應(yīng)用在植物上稍顯困難。

本文提出基于消費級深度相機的植物三維重建方法，只需通過外部標(biāo)定做一次相機姿態(tài)的配準(zhǔn)，不需要從被測植物上尋找配對的特征點，以解決植物特征點不易提取、影響三維重建效果的問題。

1 實驗材料和方法

1.1 實驗材料

本文采用的實驗材料是3棵高度分別為1、1.4、1.9 m的玉米植株塑料模型，如圖1所示。

圖1 實驗用玉米植株塑料模型Fig.1 Plastic model of corn plant for experiment

1.2 系統(tǒng)組成

1.2.1Asus Xtion Pro簡介

結(jié)構(gòu)光深度相機Asus Xtion Pro是華碩公司研發(fā)的一款深度相機,使用PrimeSense公司的深度感知技術(shù), 即結(jié)構(gòu)光技術(shù)。 Xtion設(shè)備的核心部件包括紅外線激光發(fā)射器、紅外線激光接收器、處理芯片PS1080等部分。此外還包括1個RGB攝像頭、2個麥克風(fēng)，如圖2所示。其功耗低于2.5 W，數(shù)據(jù)線接口的類型為USB2.0，支持的平臺有Windows、Ubuntu、Android。

圖2 Xtion Pro深度相機Fig.2 Xtion Pro depth camera1、5.麥克風(fēng) 2.紅外線激光發(fā)射器 3.紅外線激光接收器 4.RGB彩色攝像頭

Xtion Pro的有效距離是0.4～3.5 m，水平視角58°，垂直視角45°，對角線視角70°，分辨率為320像素×240像素。

1.2.2實驗裝置

三維重建系統(tǒng)主要包括3個設(shè)備: Xtion Pro深度相機、旋轉(zhuǎn)云臺和便攜式計算機，如圖3所示。其中，旋轉(zhuǎn)平臺的旋轉(zhuǎn)角可精確控制。

圖3 三維重建系統(tǒng)Fig.3 3D reconstruction system1.云臺 2.三腳架 3.深度相機 4.帶USB3.0接口的便攜式計算機

1.3 基本原理

三維重建的基本原理公式為

(1)

其中

fx=f/dxfy=f/dy

式中zc——比例因子

u、v——像素坐標(biāo)值f——焦距

dx——單個像素橫坐標(biāo)方向的長度

dy——單個像素縱坐標(biāo)方向的長度

u0、v0——像素中心坐標(biāo)值

T——外部參數(shù)矩陣

Xw、Yw、Zw——世界坐標(biāo)系下的坐標(biāo)值

三維重建過程主要包括兩部分：①深度相機的內(nèi)部參數(shù)標(biāo)定。經(jīng)過內(nèi)部參數(shù)標(biāo)定，即可求出系數(shù)fx、fy和u0、v0，則相機坐標(biāo)系下的點云可求。②點云配準(zhǔn)。經(jīng)過配準(zhǔn)，可以求取相機坐標(biāo)系和世界坐標(biāo)系之間的外部參數(shù)矩陣T，則相機坐標(biāo)系下的點云可轉(zhuǎn)換到世界坐標(biāo)系中。

1.4 深度相機內(nèi)部參數(shù)標(biāo)定及畸變矯正

1.4.1內(nèi)部參數(shù)標(biāo)定

本文的三維重建只用到深度信息，因此只需要對紅外攝像頭進行標(biāo)定。針對Xtion Pro深度相機，采用張正友標(biāo)定法[23]進行標(biāo)定。對使用深度相機獲取的25幅不同角度的紅外圖像進行標(biāo)定，所選的25幅圖像應(yīng)盡量分布于相機視野內(nèi)的每個位置，如圖4所示。經(jīng)過內(nèi)部參數(shù)標(biāo)定可求出系數(shù)fx、fy、u0、v0。

圖4 用于標(biāo)定的棋盤格圖片F(xiàn)ig.4 Checkerboard picture used for calibration

1.4.2深度畸變矯正

深度相機的深度畸變表現(xiàn)在，隨著測量距離的增大，所測得的深度值偏離實際值。在深度相機的深度畸變矯正方面，許多學(xué)者進行了深入研究，如文獻[24]利用機器學(xué)習(xí)計算出每個像素對應(yīng)的相機讀取的深度和實際距離的比值, 以實現(xiàn)矯正, 并用激光掃描儀進行對比評估。文獻[25]提出一種基于可視SLAM系統(tǒng)的深度在線標(biāo)定方法。文獻[26]通過對流形的聯(lián)合自適應(yīng)正則化和閾值化對RGB-D相機數(shù)據(jù)進行深度恢復(fù)。文獻[27]利用兩臺計算機和兩臺Kinect相機搭建數(shù)據(jù)獲取平臺，兩臺Kinect相機深度信息的相互輔助，為系統(tǒng)誤差提供補償。文獻[28]提出一種考慮空間和熱影響的深度精確標(biāo)定方法。文獻[29]利用激光掃描儀的測量數(shù)據(jù)為深度相機提供參考，以實現(xiàn)深度畸變矯正。本文主要參考文獻[29]提出的方法進行深度畸變矯正。該方法需要保持深度相機姿態(tài)不動的前提下，水平移動深度相機。為了保持相機運動的平穩(wěn)性，搭建了圖5所示的深度測量裝置。

圖5 深度畸變矯正測量裝置Fig.5 Depth distortion correction measuring device1.滑軌 2.深度相機 3～5.步進電機

1.5 點云配準(zhǔn)矩陣

點云配準(zhǔn)的主要思想是，將最后一個角度獲取的點云n視為世界坐標(biāo)系下的點云，其他視角下的點云都將以點云n為基準(zhǔn)進行拼接，相鄰兩片點云之間的旋轉(zhuǎn)角度是θ，見圖6。將不同方向獲取的點云，按照轉(zhuǎn)盤的旋轉(zhuǎn)角θ拼接在一起，而θ是人為規(guī)定的，其對應(yīng)的矩陣T可求。則不同角度下獲取的點云有如下關(guān)系

(2)

式中Pworld——世界坐標(biāo)系下的最終三維點云

Pi——第i個點云

圖6 深度相機拍攝過程示意圖Fig.6 Schematic of depth camera shooting process

圖6中，點云逆時針旋轉(zhuǎn)θ(任意值，本文定為22.5°)對應(yīng)的矩陣T為所求。假定點云1位于坐標(biāo)系1下，點云2位于坐標(biāo)系2下，取坐標(biāo)系1中的點集p1，并找到它們在坐標(biāo)系2對應(yīng)的點集p2，然后利用奇異值分解計算矩陣T。本文通過一個棋盤格來尋找點集p1和p2，具體過程為：

(1)將棋盤格置于轉(zhuǎn)盤上，然后分別獲取一幅紅外圖像和一幅深度圖像。

(2)對紅外圖像進行角點檢測，根據(jù)角點在紅外圖像中的位置找到其在深度圖像中的位置(由于紅外圖像與深度圖像是同一個攝像頭獲取的，所以棋盤格角點的位置在紅外圖像與深度圖像中相同)，并根據(jù)深度相機內(nèi)部參數(shù)系數(shù)計算角點在空間中對應(yīng)的點云，然后將這些點云歸入點集p1。

(3)不改變棋盤格與轉(zhuǎn)盤的相對位置，將轉(zhuǎn)盤旋轉(zhuǎn)θ，然后重復(fù)步驟(2)的操作過程，但是計算所得點云歸入點集p2。

(4)多次改變棋盤格的姿態(tài)，任意兩個姿態(tài)都不應(yīng)重疊，且棋盤格應(yīng)盡量出現(xiàn)在測量范圍內(nèi)的每個空間。然后重復(fù)步驟(1)～(3)，最終得到點集p1以及p2。注意，點集中的點應(yīng)盡量分布在整個測量空間。

(5)對p1和p2通過奇異值分解求矩陣T。

1.6 植株三維重建步驟

1.6.1植株點云數(shù)據(jù)獲取與拼接

將植株放在轉(zhuǎn)盤上，每旋轉(zhuǎn)θ獲取一幅深度圖像，直至旋轉(zhuǎn)完一周，得n幅深度圖像。對每幅深度圖像，利用深度相機內(nèi)部參數(shù)矩陣計算出對應(yīng)點云，然后根據(jù)計算所得矩陣T和式(2)，實現(xiàn)點云拼接。

1.6.2點云濾波

先使用直通濾波器提取出只包含玉米的區(qū)域，然后利用統(tǒng)計濾波器對點云進行濾波。統(tǒng)計濾波器采用文獻[30]提出的K-nearest方法對點云數(shù)據(jù)進行濾波去噪。該方法計算每個點云到其k個鄰近點的平均距離d、全局平均距離μ和標(biāo)準(zhǔn)差σ，將d>μ+σ的點視為噪聲點，從點云數(shù)據(jù)中刪除。其中，參數(shù)α與搜索鄰近點個數(shù)k有關(guān)，經(jīng)過多次測試并結(jié)合文獻[31]，本文設(shè)定k值為10，α為5。

2 結(jié)果分析

2.1 標(biāo)定

根據(jù)圖4中用于標(biāo)定的紅外圖像，利用張正友標(biāo)定法標(biāo)定后，得內(nèi)部參數(shù)系數(shù)為：fx=285.92像素，fy=286.10像素，u0=162.91像素，v0=124.21像素。

2.2 深度畸變矯正結(jié)果

使深度相機垂直于平整的墻面，獲取不同距離的墻面點云。將深度矯正前后，不同距離的墻面點云沿著三維空間的y軸一同顯示, 見圖7。對比矯正前后的同一距離的平面點云可知, 矯正后點云的畸變基本消除。

圖7 矯正前后對比Fig.7 Comparison charts before and after correction

2.3 點云配準(zhǔn)矩陣計算

當(dāng)轉(zhuǎn)盤旋轉(zhuǎn)θ時，矩陣T為

(3)

矩陣T只需要求解一次，以后在進行點云配準(zhǔn)時，只需每次都旋轉(zhuǎn)θ拍攝，再結(jié)合式(2)即可完成點云拼接。

2.4 植株點云數(shù)據(jù)獲取與處理

16個不同角度獲取的點云如圖8所示。

圖8 不同角度獲取的玉米點云Fig.8 Corn point clouds from different angles

將16個角度的玉米點云拼接，再經(jīng)過直通濾波和統(tǒng)計濾波后，如圖9所示?？梢姡瑸V波后葉片周圍的點云噪聲明顯減少。

圖9 玉米點云圖Fig.9 Corn point clouds

2.5 效果分析

從配準(zhǔn)、重建效果、效率和魯棒性幾方面對本系統(tǒng)進行分析。分別用商業(yè)軟件Skanect和本系統(tǒng)對不同的3棵玉米植株進行了實驗，重建所得點云模型如圖10所示。

圖10 不同大小玉米植株的重建效果Fig.10 Reconstruction effects of maize plants of different sizes

2.5.1點云配準(zhǔn)

本文提出的方法，預(yù)先標(biāo)定好配準(zhǔn)變化矩陣，不依賴于被測植株上的特征點，只需要進行一次配準(zhǔn)。所以，即使被測植株特征點較少，葉片遮擋較為嚴(yán)重，也可以得到較好的配準(zhǔn)效果。

而傳統(tǒng)的點云配準(zhǔn)如ICP算法，比較依賴于植株上的特征點，特征點尋找得越準(zhǔn)確，配準(zhǔn)效果就越好。但玉米植株比較纖細，且容易發(fā)生遮擋，不利于特征點的提取，容易導(dǎo)致配準(zhǔn)失敗。

2.5.2點云模型還原度

玉米葉尖部分比較纖細，容易被當(dāng)作噪聲過濾掉。本文的三維點云模型獲取方法，能較完整地保留玉米植株葉尖的信息，質(zhì)量較好。利用meshlab軟件，分別對商用軟件Skanect和本系統(tǒng)獲取的玉米三維網(wǎng)格模型的相同部位葉片的長度進行測量，并與實際長度進行比較，結(jié)果如表1所示。通過與商用軟件Skanect的獲取結(jié)果進行比較可知，Skanect獲取的玉米三維點云模型葉片比較殘缺，葉尖信息丟失嚴(yán)重，與實際葉片長度相差較多，整個點云模型還原度較低，品質(zhì)較差；而本文方法獲取的三維點云模型葉片比較完整，葉尖信息保存完好，葉片長度與實際情況比較接近，點云還原度較高，品質(zhì)較好，更適合于進一步做植物表型的研究。

表1 玉米網(wǎng)格模型葉片長度和實際葉片長度對比Tab.1 Comparison of leaf length between corn grid model and actual corn cm

2.5.3獲取效率

系統(tǒng)在運行前，要預(yù)先對系統(tǒng)進行標(biāo)定，獲取轉(zhuǎn)盤旋轉(zhuǎn)角θ對應(yīng)的配準(zhǔn)變化矩陣，此過程大約需要10 min，僅需進行一次。僅考慮系統(tǒng)掃描的時間，分別用Skanect和本系統(tǒng)獲取3棵玉米植株的點云模型，掃描時間見表2。由于幀與幀之間需要尋找特征點，隨著植株變大，為了能更全面地掃描玉米，Skanect的掃描時間需要更長；而本文方法的掃描時間主要消耗在轉(zhuǎn)盤的轉(zhuǎn)動以及每個角度停下來獲取深度圖像的過程上，整體比Skanect快。

表2 系統(tǒng)掃描時間Tab.2 Scanning time of system min

2.5.4系統(tǒng)魯棒性

本系統(tǒng)具有較強的魯棒性。由圖10可知，與Skanect相比，本文方法對3棵不同大小的玉米植株均有較好的重建效果，展現(xiàn)了較好的魯棒性。

3 結(jié)論

(1)本文重建方法點云配準(zhǔn)只需進行一次，穩(wěn)定性強。傳統(tǒng)的點云配準(zhǔn)算法，如ICP等，都需要尋找特征點，而植物由于葉片遮擋等問題，特征點不易提取，很容易導(dǎo)致誤配準(zhǔn)，影響三維重建。

(2)重建的效果好，還原度高。消費級深度相機受硬件性能限制，深度信息存在畸變。本文通過預(yù)先對相機進行深度畸變矯正，使得深度信息更準(zhǔn)確，重建效果更好，具體表現(xiàn)在葉片更薄、葉尖更完整。

(3)與商業(yè)軟件Skanect相比，本文方法效率更高。Skanect通過尋找特征點的方式實現(xiàn)點云拼接。由于幀與幀之間需要尋找特征點，隨著植株變大，為了能更全面地掃描玉米，Skanect的掃描時間需要更長。而本文方法不受尋找特征點這一步驟的約束，可以更快完成掃描。

(4)系統(tǒng)的魯棒性更高。本系統(tǒng)對3棵不同高度的玉米植株均有較好的重建效果，表現(xiàn)了較好的魯棒性。