基于SFM算法的山核桃生長發(fā)育三維模型研究

夏其表　姜廣宇　王潔　尹建新

摘要：論文以山核桃樹為研究對象，提出通過基于兩張圖像的快速SFM算法，建立樹木的3D模型，并分析各個樹齡段的山核桃樹木模型，為模擬真實山核桃樹的生長過程打下基礎(chǔ)。它可以幫助研究者通過圖形方式更有效地觀察與解釋山核桃生長中的結(jié)構(gòu)與功能、生長發(fā)育等各種規(guī)律，增強對問題的洞察與見解能力，并加快模型驗證工作。

關(guān)鍵詞：三維重建；運動恢復(fù)結(jié)構(gòu)（SFM）；生長模型

中圖分類號：TP311 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）18-0252-03

Research on Three Dimensional Model of Hickory Trees Growth and Development Based on SFM Algorithm

XIA Qi-biao1， JIANG Guang-yu1，WANG Jie2， YIN Jian-Xin1

（1. School of Information Engineering， Zhejiang A & F University， Linan 311300， China； 2. School of Foreign Language， Zhejiang A & F University， Linan 311300， China）

Abstract： In this paper， a fast SFM algorithm based on two images was proposed to establish the 3D model of trees and to analyze the model of hickory trees in different tree ages， which lays a foundation for simulating the growth process of real hickory trees. The findings not only can contribute to effective observation and explanation of the rules of growth of hickory trees， but also can accelerate the model verification.

Key words： Three-dimensional reconstruction； structure from motion algorithm； growth model

1 引言

樹木的三維結(jié)構(gòu)不僅反映樹木的生長狀況，同時也決定和影響著樹木的生長發(fā)育[1]。樹木生長發(fā)育分析是林業(yè)科學(xué)研究的一項基本的和常見的操作，包括對樹高，冠幅，生物量等因子的測量和計算。山核桃是浙江省特色名優(yōu)干果，是我國特有的高檔干果和木本油料植物?，F(xiàn)實中對山核桃生長發(fā)育研究單一靜止，主要是數(shù)據(jù)的測量和圖表繪制，無法動態(tài)立體反映山核桃農(nóng)戶的經(jīng)營管理效果，并且不利于經(jīng)驗的交流。

隨著計算機輔助設(shè)計與圖形學(xué)（CAD&CG;）的深入研究，樹木三維結(jié)構(gòu)模擬作為其中的分支得到迅猛發(fā)展[2]，樹木三維結(jié)構(gòu)重建技術(shù)日趨成熟，模型已廣泛應(yīng)用于城市規(guī)劃和設(shè)計、森林經(jīng)營決策、森林景觀等方面。鑒于樹木受自身固有幾何學(xué)復(fù)雜性和外界環(huán)境的交互影響，樹木三維結(jié)構(gòu)重建成為計算機視覺領(lǐng)域中熱衷研究的難點問題[3]?，F(xiàn)如今樹木三維結(jié)構(gòu)重建技術(shù)主要分為兩大類：基于分形的方法和基于圖像的方法。

幾何分形是進行樹木建模比較成熟的技術(shù)，使用一些數(shù)學(xué)模型模擬樹木生長，通過少量的參數(shù)產(chǎn)生復(fù)雜的樹結(jié)構(gòu)，不同的樹種模擬可能需要使用不同的數(shù)學(xué)模型[4-7]。

基于圖像的建模是使用數(shù)碼相機拍攝的照片來模擬三維樹木模型，采用盡量少的操作重建三維環(huán)境，克服了基于幾何分形建模方法的許多缺陷，是獲取特定物體三維模型的一種方法。近年來基于圖像重建樹木的三維結(jié)構(gòu)模型的方法，因其科學(xué)合理，重建后和現(xiàn)實樹木的相似度高，而受到研究者關(guān)注[8-11]。

SFM算法 （structure from motion algorithm）是指基于運動圖像或者圖像序列恢復(fù)三維信息，其中包括成像攝像機的運動參數(shù)以及場景的結(jié)構(gòu)信息的一種方法，常用于快速重建物體的三維模型[12]。目前的SFM算法大都需要一系列角度拍攝的多張圖像，在生成物體的三維模型時要考慮非常多的復(fù)雜因素，特別是在模擬樹木的三維模型時，由于樹葉和樹枝的遮擋性會導(dǎo)致重建樹木的全貌非常困難。而且，林業(yè)中實際應(yīng)用的樹木結(jié)構(gòu)并不要求將每片葉子和每條枝杈都現(xiàn)場重建，而只要將樹木的樹干結(jié)構(gòu)和樹冠輪廓描述清楚即可。因此本論文希望通過兩張圖像的對比，最終重建樹木（山核桃）的三維樹干（結(jié)構(gòu)）模型，將模型算法大大簡化。

基于多視點的運動恢復(fù)結(jié)構(gòu)（structure from motion algorithm）算法，主要利用一系列相互重疊的影像集，通過特征匹配來恢復(fù)相機的姿態(tài)參數(shù)及三維幾何信息。該算法在重建過程中可實現(xiàn)相機的自標(biāo)定，對影像要求低，且不依賴于特定的假設(shè)條件，通用性好，目前已得到廣泛應(yīng)用[13]。

2 研究方法與方案

計算機圖像處理技術(shù)和SFM算法在重建樹木三維結(jié)構(gòu)上的應(yīng)用，為山核桃生長發(fā)育三維結(jié)構(gòu)的研究提供可能。因此本項目首先收集和消化有關(guān)樹木三維結(jié)構(gòu)重建的技術(shù)方法，然后加以改進，將其引入到山核桃生長發(fā)育的動態(tài)研究上來。其次將建立的模型作為山核桃生物學(xué)研究的輔助工具。通過重建模型和實際測量的數(shù)據(jù)做配對檢測，在驗證數(shù)據(jù)準(zhǔn)確的基礎(chǔ)上計算人工難以測量的數(shù)據(jù)，并演示山核桃空間結(jié)構(gòu)的動態(tài)變化，保證數(shù)據(jù)和演示效果準(zhǔn)確科學(xué)合理。最終建立山核桃生長發(fā)育三維結(jié)構(gòu)模型，反演山核桃生長發(fā)育變化，為山核桃經(jīng)營管理提供可視化的輔助工具。

3 實驗論證

研究以臨安市某山核桃示范區(qū)中不同樹齡的山核桃為研究對象，在夏季和冬季分別對同一棵樹拍攝獲得山核桃有葉和枝干圖片。在拍攝的基礎(chǔ)上，利用攝像機自動跟蹤系統(tǒng)提取樹木點源，通過編程語言重建樹干結(jié)構(gòu)和抽取樹冠三維點源，兩者結(jié)合重建不同年齡段山核桃樹木的三維結(jié)構(gòu)，進而模擬出山核桃生長動態(tài)變化的三維可視圖。計算人工難以測量的山核桃生長數(shù)據(jù)，輔助其生物學(xué)的研究；反演上山核桃生長發(fā)育過程，為山核桃經(jīng)營管理提供可視化模型。具體包括：

（1） 圖像獲得和求解（本項目研究基礎(chǔ)）

基于圖像的山核桃生長發(fā)育模型的基礎(chǔ)是獲得準(zhǔn)確可靠的山核桃圖片信息。由于山核桃為多年生山地闊葉樹種，獲得準(zhǔn)確可靠的不同樹齡段的清晰圖片是重建模型的基礎(chǔ)和前提。從圖片中求解點云信息和攝像機參數(shù)，為重建模型提供技術(shù)支持。其內(nèi)容包括：

①重建山核桃三維模型所拍攝照片均來自臨安市某山核桃示范區(qū)。海拔300-500m，陰坡的占62%。土層厚度在30-40cm的占44%，大于40cm的占56%；坡位在中，下坡位的占85%；坡度在0-10°之間的85%；坡形以平為主，約占80%；母巖以花崗巖為主。根據(jù)示范基地種植的資料數(shù)據(jù)，在技術(shù)人員的帶領(lǐng)下對樹齡在5年、8年、11年、15年、20年和20年以上的山核桃進行拍攝，獲得同一棵樹有葉（夏季）和無葉（冬季）圖片。

②利用高清攝像機繞山核桃拍攝一周得到的連續(xù)圖像序列。并選取其中兩張角度稍有不同的樹木圖像作為SFM分析的對象。

（2） 樹干二維模型（項目研究基礎(chǔ)）

①由于野外拍攝背景復(fù)雜，我們必須利用圖像分割技術(shù)去除兩張圖像中的噪聲點（背景點）和樹葉，只留下構(gòu)成樹木的主干。

②利用圖像參數(shù)，建立樹干模型。樹干模型主要用于計算人工難以測量的樹木數(shù)據(jù)，輔助林木生物學(xué)的研究和經(jīng)營管理。樹干模型的重建中，其中最為重要的為關(guān)鍵點的選取。關(guān)鍵點是一段樹木的起點和終點，也就是樹枝的分叉點或者樹枝的最終端點。通過樹枝關(guān)鍵點，兩個關(guān)鍵點可以確定一段樹枝，可以構(gòu)建一棵樹的主干，建立主干模型，并生成點云數(shù)據(jù)，如圖2所示。

（3）相機自標(biāo)定程序

相機自標(biāo)定程序是SFM算法中比較重要的一個環(huán)節(jié)，它的主要原理是通過提供幾幅存在一定通訊關(guān)系的圖像，計算相機的內(nèi)在參數(shù)和外在參數(shù)。

相機自標(biāo)定程序可以標(biāo)記為如下公式：

其中p表示照相機的投影矩陣。m是相應(yīng)的二維圖像點。K為照相機的標(biāo)定矩陣，其中F是焦距，S代表照相機方位，α是不規(guī)則斜率像素點，（u0，v0）表示圖像焦點，即光軸與圖像平面的焦點。

在我們的實驗中使用的測試圖像都是由數(shù)碼相機拍攝的，圖像尺寸一般為640像素*480像素。因為我們需要相機焦距保持不變，在我們的算法中，我們的測試圖像都是在固定攝像機下拍攝的，即沒有重新聚焦和縮放。通過匹配局部區(qū)域搜索兩張圖片的共同點和區(qū)分點，從而分析山核桃樹的模型結(jié)構(gòu)。

（3） 三維結(jié)構(gòu)模型

提取出樹木的主干模型（二維）模型后，我們利用SFM算法，并結(jié)合攝像機自標(biāo)定算法（攝像機定位參數(shù)）和最小曲率約束條件等，將樹干分成很多個多邊形網(wǎng)格進行計算，并通過比對兩張圖像的網(wǎng)格數(shù)據(jù)（另外一張圖像主要用于比對相似點上的網(wǎng)格曲率，計算三維形狀），其他序列圖片再加以驗證，最終生成山核桃樹木的三維模型，如下圖所示。

（4）山核桃生長發(fā)育模型

分別重建不同樹齡段的山核桃樹木的三維結(jié)構(gòu)圖，并通過相似山核桃樹推演山核桃樹的生長發(fā)育情況，為山核桃的生產(chǎn)經(jīng)營提供幫助。

4 結(jié)束語

將計算機圖形學(xué)技術(shù)和SFM算法引入山核桃生物學(xué)研究。山核桃樹干高聳，樹冠狹小，長期以來其樹高、冠幅、枝干長度等生物學(xué)因子都依靠手工測量，肉眼觀察，時間跨度和工作量大，測量結(jié)果也僅僅是一組數(shù)據(jù)而已，且對于以樹齡為參照的樹木動態(tài)生長過程的分析不直觀不方便。利用計算機輔助設(shè)計和圖形學(xué)，輔助林木生物學(xué)研究，計算人工難以測量的數(shù)據(jù)。

建立山核桃生長發(fā)育模型，反演山核桃生長變化規(guī)律。山核桃生長周期長，時間跨度大，而建立山核桃生長發(fā)育三維模型不僅可以克服時間跨度大的問題，還可以作為經(jīng)營管理可視化的輔助工具。

結(jié)合林木生物學(xué)知識和計算機輔助設(shè)計和圖形學(xué)技術(shù)，設(shè)計一個能夠描述樹木形態(tài)的通用模型。

參考文獻：

[1] 常樹紅，葛寒松，.譚同德.三維樹木模擬研究與應(yīng)用 [J].河南科技大學(xué)學(xué)報（自然科學(xué)版），2012，2（1）：41-44.

[2] 顏君萍，陳宇拓.基于圖像的樹木三維建模[J] 電腦編程技巧與維護.2013.02：73-75.

[3] 湯孟平. 森林空間經(jīng)營理論和實踐[M].北京：中國林業(yè)出版社， 2007.

[4] 熊啟明，楊柳青，陳偉.基于GIS的樹木三維模型研究[J].中南林業(yè)科技大學(xué)，2011，4（31）：174-177.

[5] P.Prusmkiewicz， L.Mundermann， R.Karwowski， at al. The Use of Positional Information in the Modeling of Plants[J] In ACM SIGGRAPH，2001：289-300.

[6] C. Pradal， F. Boudon， C. Nouguier， J. Chopardb， C. Godin. PlantGL： A Python-based geometric library for 3D plant modeling at different scales[J].Graphical Models， 2009，71：1–21.

[7] X.Chen，B.Neubert，Y.Q.Xu.Sketch-Based Tree Modeling Using Markov Random Field[J].ACM Trans.Graph， 2008，27（5）：109.

[8] I.Shlyakhter，M.Rozenoer， J.Dorsey，et al.Reconstructing 3D Tree Models from Instrumented Photographs. [J] IEEE Computer Graphics and Applications，2001，21（2）：53-60.

[9] 劉彥宏，王洪斌，杜威.基于圖像的樹類物體的三維重建. [J] 計算機學(xué)報，2004，25（9）：930-935.

[10]B. Neubert， T. Franken， O. Deussen. Approximate image-based tree modeling using particle flows. [J] ACM SIGGRAPH，2007.

[11] P.Tan，T.Fang，J.X.Xiao，et al.Sing Image Tree Modeling[J].ACM Transaction on Graphics.2008， 27（5）：108-113.

[12]王洋，張濤，李歡利，等.應(yīng)用SFM和多視圖面片實現(xiàn)牙模三維重建[J] 計算機測量與控制，2013，21（4）：1067-1070.

[13] 許志華，吳立新，等. 顧及影像拓?fù)涞腟fM 算法改進及其在災(zāi)場三維重建中的應(yīng)用[J].武漢大學(xué)學(xué)報（信息科學(xué)版），2015.5（40）：599-606.