基于變化光源方向多圖像的植物葉片表觀三維模擬

苗 騰，郭新宇，趙春江※，肖伯祥，王傳宇，溫維亮

（1. 北京農業(yè)信息技術研究中心，北京 100097；2. 國家農業(yè)信息化工程技術研究中心，北京 100097；3. 農業(yè)部農業(yè)信息技術重點實驗室，北京100097；4. 數字植物北京市重點實驗室，北京 100097；5. 沈陽農業(yè)大學信息與電氣工程學院，沈陽 110866）

基于變化光源方向多圖像的植物葉片表觀三維模擬

苗 騰1,2,3,4,5，郭新宇1,2,3,4，趙春江1,2,3,4※，肖伯祥1,2,3,4，王傳宇1,2,3,4，溫維亮1,2,3,4

（1. 北京農業(yè)信息技術研究中心，北京 100097；2. 國家農業(yè)信息化工程技術研究中心，北京 100097；3. 農業(yè)部農業(yè)信息技術重點實驗室，北京100097；4. 數字植物北京市重點實驗室，北京 100097；5. 沈陽農業(yè)大學信息與電氣工程學院，沈陽 110866）

為了真實準確地模擬植物葉片表觀顏色，提出一種基于多圖像的葉片表觀模擬方法。首先搭建基于線性光源的表觀圖像采集系統(tǒng)，用以獲得400張視線角度固定、光源方向變化的葉片圖像集合；采用擬合方法自動地從400張圖像中獲得整個葉片表面的表觀特征參數，包括漫反射強度、高光反射強度和粗糙度；利用該擬合方法對線性光源移動條件下理想物體的各種反射特征的變化情況進行仿真計算，然后針對葉片圖像中的每個像素尋找與仿真計算結果最接近的表觀模型參數作為擬合結果。通過該擬合方法，可將葉片表面上各個位置的表觀參數合成3張表觀參數圖像，采用基于點光源的實時光照方法測試最終的可視化模擬效果。從模擬結果中可以看出利用該文方法得到的結果能夠真實地表現葉片自身的表觀質感特性，相對于傳統(tǒng)方法更加真實準確。

三維；可視化；光源；葉片；表觀模擬；數字植物

0 引言

中國農業(yè)科學研究和生產方式已經向數字化、可視化、精準化和智能化轉變，農林植物作為農業(yè)科學研究的重要對象和載體，利用三維建模與可視化技術表達農林植物生命和生產系統(tǒng)，對探索植物生長過程中的生命規(guī)律，深化傳統(tǒng)的農學研究、拓展農業(yè)知識的傳播途徑等具有重要的理論價值[1]。葉片是植物體的重要器官，其外觀反映了植物自身的基因特征和生長狀態(tài)，對葉片形態(tài)表觀的精確描述是植物建模與可視化工作的關鍵環(huán)節(jié)。

葉片三維形態(tài)的建模方法目前已比較成熟，從早期的交互式編輯建模[2-3]、基于規(guī)則的建模[4-6]，到近期應用更加廣泛的基于三維數據的建模[7-8]，這些方法都可以較準確地描述葉片形態(tài)結構特征。相對于形態(tài)，葉片表觀（顏色紋理）模擬仍是具有挑戰(zhàn)性的工作[9-11]。葉片表觀是光環(huán)境與自身相互作用的結果，是復雜的生理物理過程。如果從數學上進行抽象，葉片形態(tài)只需三維空間即可精確描述，而表觀則需要14維，因此對葉片表觀的模擬具有更大難度。傳統(tǒng)方法多采用基于圖像的紋理貼圖方法模擬葉片表觀[12]，該類方法利用拍攝的單張照片作為葉片顏色特征進行表觀可視化模擬。單張照片是特定光環(huán)境、相機空間位置和葉片自身幾何形態(tài)共同作用的結果，用其作為葉片表觀進行可視化計算，會使結果包含圖像中光照、視角等帶來的噪聲信息，降低模擬的準確性以及可視化質量。直接編輯葉片表觀參數可以消除外部環(huán)境帶來的噪聲，一些方法通過構建經驗性的數學模型[13-17]表示葉片的表觀特征，但是由于缺少標準的葉片表觀數據作為參考，這類方法的模擬結果質量同樣較差。

本文提出一種基于多圖像的葉片表觀模擬方法，基于大量不同光源方向的圖像數據對葉片表觀參數進行自動擬合并最終用于表觀模擬，該方法可以獲得更加本質的葉片表觀屬性，排除外部環(huán)境的噪聲信息，使模擬結果更準確真實。

1 葉片表觀模型

作物葉片表觀反映其與光的作用方式。如圖1所示，葉片作為半透明物體，入射光線L射到其表面P點之后，一部分會直接在P點處反射形成高光反射L1（高光反射指未進入葉片內部，在葉片表面即被反射出的光線）；剩余部分則折射進入葉片內部，并在組織之間形成多次散射和吸收，最終以漫反射形式從P點周圍區(qū)域離開葉片，通常將這種光的傳輸方式稱為次表面散射，其可以用雙向散射表面反射率分布函數（bidirectional scattering surface reflectance distributed function，BSSRDF）[18-23]進行表示。在實際模擬中，常見的作物葉片厚度遠遠小于葉片長、寬，同時絕大多數場景中單個葉片大小也只占據畫面較小的分辨率，所以光的入射點P與P周圍區(qū)域的出射點可簡化為同一點，為此可將BSSRDF簡化為雙向反射分布函數（bidirectional reflectance distribution function，BRDF）。

圖1 光與作物葉片的作用方式示意圖Fig.1 Interaction between light and plant leaves

本文將葉片看做內部均一物體，利用Ward BRDF經驗模型描述葉片表面任意點P將（iθ，iφ）方向的入射光線反射至（rθ，rφ）方向的分布特征，該模型的公式如下

式中δ為P點處法向量n與向量h（（0.5×iθ+0.5×rθ，0.5×iφ+0.5×rφ））之間的夾角，δ、iθ、rθ、iφ、rφ，(°)；dρ為漫反射強度（RGB三通道），無量綱；sρ為高光反射強度（RGB三通道），無量綱；α為粗糙度參數，無量綱；這3個向量是物體自身的表觀材質屬性，也是本研究需要擬合的表觀參數。

2 表觀圖像采集系統(tǒng)

形態(tài)結構的三維特征可利用三維掃描儀進行精確獲取，目前三維掃描技術已比較成熟。而對物體表觀數據的采集仍是難點，目前并沒有成熟的產品銷售，一些研究機構搭建出特定的采集環(huán)境進行表觀數據采集[24-26]。為了獲得植物葉片的表觀特征數據，本文采用Gardner的方法[25]，搭建了一套簡化的線性光源光度儀系統(tǒng)。與原始方法相比，本文方法根據植物葉片的形態(tài)特點，通過試驗將原系統(tǒng)中各種可變的結構尺寸參數確定為固定參數；同時，由于葉片的高光反射并不強烈，因此忽略了葉片褶皺帶來的凹凸變化，將系統(tǒng)改造為只適合平展物體的結構，提高了數據采集的效率。

系統(tǒng)結構如圖2所示，其主要由驅動系統(tǒng)、光源、相機和載物臺構成，各模塊的位置均精確擺置，因此它們之間的相對三維位置可準確計算。驅動系統(tǒng)主要由步進電機和若干支撐部件組成，并利用運動控制程序進行自動控制，其用來驅動光源移動；光源包含一根白光燈管（長30 cm，直徑為1 cm）和一個一字線形的激光器，兩者按3 cm的間隔固定于驅動系統(tǒng)上，白光燈高度距離載物臺30 cm。相機選用佳能A640數字相機，該相機以5 s為間隔進行自動圖像獲取，相機鏡頭方向與垂直方向呈55°，固定于X方向100 cm，Y方向30 cm，Z方向60 cm處。載物臺在X軸方向長80 cm，Y軸方向長60 cm，其用來承載被測植物葉片，同時載物臺上還放置標準反射物體。在獲取數據時，光源隨步進電機從原點O出發(fā)，沿X軸方向自動勻速運動80 cm，相機每5 s自動拍攝圖片，在對樣本進行數據獲取時，樣本位置和相機位置保持恒定，僅光源位置發(fā)生變化，激光定位器固定在光源后部，使紅色激光線與光源形成的白光帶保持固定間隔3 cm。對于每一個樣本，最終獲得400張只有光環(huán)境發(fā)生變化的樣本圖像，圖3為實際設備和利用該設備拍攝的部分葉片圖像序列。

圖2 表觀圖像采集系統(tǒng)結構圖Fig.2 Structure diagram of apparent image acquisition system

圖3 表觀圖像采集系統(tǒng)實物及采集的圖像數據Fig.3 Apparent image acquisition system and appearance

3 表觀數據擬合

基于采集的400張圖像對葉片表面上任意P點的表觀參數進行估算，400個P點的像素值表示400個不同光源方向下的P點反射值，本文將該400個反射值形成的集合稱為反射軌跡。圖4a為反射軌跡形成的曲線。

依據下述物理現象對表觀參數進行提?。▓D5）：假設葉片平展，因此葉片任意點處的法向量均為(0,0,1)；對于表面任意點P，當光源方向處于P點正上方時，P點主要呈現漫反射；當光源方向與P點法向量之間的夾角等于相機視點方向與法向量之間的夾角（即rθ）時，P點出現高光反射峰值。利用表觀采集系統(tǒng)獲取圖像數據時，將整個數據采集時間離散成400個時間點（也可以看成是400個離散的光源方向），與400張圖像一一對應，將第1張圖像對應的序號設為T1，第i張圖像對應的序號為Ti，假設Ta序號圖像中P點為漫反射，Tb圖像中P點為高光反射峰值，Tc為出現激光反射峰值的圖像序號，3個圖像出現的先后順序為Tb

圖4 葉片表面一點的反射軌跡曲線Fig.4 Reflectance trace curves of point on leaf surface

圖5 表觀參數擬合原理說明圖Fig.5 Principle illustration of our appearance parameters fitting method

實際中，由于葉片并非理想平展，其表面的凹凸會影響Ta和Tb的計算，為了盡可能減少誤差，并未直接選取Ta和Tb時刻的圖像作為漫反射和高光反射峰值點。對于漫反射，首先根據式（2）計算Ta，之后在Ta前后30張圖像中尋找激光峰值圖像Tc（R/(R+G+B)值最大的圖像），由于激光器與白光燈間距為3 cm，所以取第Tc-15張圖像中P點值作為漫反射亮度峰值Dp，并令Ta=Tc-15。對于高光反射峰值，根據公式（2）計算Tb，然后在Tb前后30張圖像中尋找P點最大亮度值的圖像TB，并將該圖像中P點值作為高光亮度峰值Sp，并令Tb=TB。得到Dp和Sp值之后，可對式（1）中dρ、sρ和α進行估算。

Dp值是光強與dρ共同作用的結果，為了將光強的干擾去除，本文通過Ta圖像中標準漫反射體的亮度值Ds進行矯正，假設標準漫反射體的漫反射強度為dρ′，則dρ可通過下式計算

漫反射是葉片表觀的低頻特征，在任何半球光源方向下，漫反射的影響均不能忽略，為了估算高光反射參數，需將P點反射率軌跡中的漫反射貢獻去除。根據實際系統(tǒng)的構建方式，在計算機中對線性光源的漫反射特征進行仿真計算，構建30 cm×1 cm的長方形表示線性光源，計算其在X軸d cm、Z軸30 cm的三維位置處，對XY平面上80 cm×60 cm區(qū)域內任意點的漫反射作用（假設所有點的漫反射強度為1），計算方法采用蒙特卡洛積分進行離散，最終獲得一個不同光源方向（即400張圖像數據中的不同圖像）下漫反射強度的參考集合。本文用400×1大小的一維圖像進行存儲，為了更好地說明該圖像樣式，將其表示為一個2維圖像，其中縱坐標上亮度恒定（圖6a）。Dp與漫反射參考表中數值相乘計算得到P點反射軌跡中的漫反射貢獻，其形成曲線如圖4b，本文稱為漫反射軌跡。用P點反射軌跡減去漫反射貢獻之后的值為高光反射的貢獻，本文稱其為高光反射軌跡（如圖4c）。

圖6 反射強度參考集合的圖像表示Fig.6 Image representation of reference set of reflection intensity

根據式（1）的數學形式可以看出，高光貢獻實際上是一種類似正態(tài)分布的數學分布，自變量為sρ和α，其中sρ和α值共同影響高光分布強度，而α影響整個分布的幅度。具體到本文獲取的反射軌跡中，Sp由光強、sρ和α決定，而Ta與Tb之間反射軌跡的曲線形態(tài)由α確定。與漫反射擬合過程類似，同樣采用蒙特卡洛積分對線性光源的高光反射特性進行數值仿真，為了區(qū)分仿真和實際樣本中的符號，用α′、sρ′、dρ′表示仿真計算中的參數，而α和sρ表示樣本的待擬合表觀參數，反射率的計算采用公式（1）。將光源強度設為1.0，利用30 cm×1 cm的長方形表示線性光源，計算其在X軸1.5d? 50（即Tb時刻）、Z軸30 cm處對P點的高光反射貢獻（設P點處dρ′=0，sρ′=1）。以0.005為步長，計算α′從0.01到0.5遞增中100個不同α′值下的高光反射參考值集合，將計算的結果以400×100大小的二維圖像表示（如圖6b），像素值為高光反射強度，從圖中可以看到，α′值越小，高光反射幅度越窄，相反，α′值越大，高光反射幅度越廣。得到仿真的高光軌跡集合之后，計算不同α′值高光軌跡的2個統(tǒng)計學指標——標準差δ′以及高光強度總和S′，之后利用2個指標對實際葉片樣本的高光反射參數值進行擬合。對于實際樣本的高光反射軌跡，同樣計算標準差δ以及高光強度總和S，但在計算時，只需統(tǒng)計Ta至Tb區(qū)間的軌跡即可計算δ和2S（因為S只是Ta至Tb區(qū)間軌跡的總和，且整個分布是基本對稱的，所以估算整個高光軌跡強度總和時需乘以2）。在仿真的高光軌跡集合中遍歷不同α′下的δ′，從中查找與實測δ最接近的值，選擇該δ′值對應的α′為實測樣本的α，并利用α′值對應的S′計算sρ，公式如下

利用上述方法對圖像中所有像素點均可估算dρ、sρ 和α，進而可形成3張表觀參數圖像，用于記錄葉片表面不同位置的表觀參數，這些圖像可用于對葉片表觀的可視化模擬。以綠蘿葉片為例，3張表觀圖像如圖7。

圖7 表觀參數圖像Fig.7 Appearance parameters images

4 基于表觀參數的葉片顏色模擬

采用紋理映射方法將表觀參數圖像與三維葉片模型進行關聯(lián)，這樣葉片模型上任意三維點P均可根據紋理坐標從表觀圖像中獲得3個表觀參數dρ，sρ以及α。之后基于輻射度傳輸積分計算葉片的表觀顏色，本文為了加快計算速度，利用多個點光源對輻射度傳輸積分進行簡化，計算公式如下

本文搭建的表觀獲取設備采用了線光源，但提取的表觀參數則是植物葉片的自身屬性，與光源類型無關，因此在進行顏色模擬時，可以采用這些表觀參數重建植物的表觀材質，進而參與到任意形式光環(huán)境下的輻射度傳輸計算中。

5 結果與分析

5.1 算法效果

算法在配置為3.0 GHz CPU、DDR8G內存的PC機上進行了測試，以綠蘿葉片為例，獲取400張表觀圖像，并擬合生成3張1 200×600分辨率的表觀參數圖像，整個擬合時間20 min；表觀模擬方法在渲染3 000個頂點的模型時，速度達到800幀/s，可進行流暢的三維實時交互瀏覽。圖8為本文方法和傳統(tǒng)照片貼圖方法的模擬效果對比圖，從結果中可以明顯看到，本文方法得到的結果與真實的葉片更加接近。傳統(tǒng)方法由于使用的照片包含特定光環(huán)境以及視點信息，所以在進行顏色模擬時會存在光照的冗余信息（如高光、亮度等顏色噪聲），降低了模擬質量。圖8b、8c在形態(tài)上的差異，是由觀察角度不同導致的透視效果，兩者模擬的均是圖8a中的葉片。

圖8 本文方法與單張紋理映射方法的效果對比圖Fig.8 Simulation result generated by our method compared with texture mapping method using single image

利用本文方法對作物不同生育期的表觀顏色變化過程進行可視化模擬，以玉米為例開展相關工作驗證方法可行性。在北京農科院試驗場開展玉米田間試驗，試驗品種選為先玉335，測量并提取玉米6葉展、9葉展、13葉展、吐絲、灌漿和成熟期的第6、12、和18葉位的玉米葉片漫反射強度數據。測量整個葉片表面的漫反射強度（圖9a），并將所有樣本的強度分為5類并排序（圖9b），排序結果代表了葉片生長過程中按時間順序依次出現的主要漫反射特征。顏色模擬時，在每個特征中隨機選取一個值作為玉米葉片的漫反射參數，再利用式(4)進行可視化模擬，即可得到葉片整個老化過程的漫反射顏色變化過程（圖9c）。

圖9 本文方法在玉米漫反射顏色模擬中的應用Fig.9 Simulation of diffuse color transition of corn leaf using our method

5.2 算法評價

相對于使用照片作為紋理貼圖的方法，本文方法在表觀顏色模擬上更加真實、準確，主要在于本文方法去除了外部光照及拍攝角度帶來的影響，而傳統(tǒng)紋理貼圖中仍保留這些信息，因此在光照計算環(huán)節(jié)會出現噪聲現象。

通過定量化方式對該問題進行解釋。假設用作紋理的照片是在點光源照明條件下拍攝獲得, 以照片上任一點像素x'為例進行分析，設x'像素在拍攝場景下的三維空間坐標為x，x點的表觀材質按式（1）形式給出，其實際漫反射強度為,高光反射強度為,粗糙度為αx，點光源對x照射的光源方向為，到達x點的輻照度為，相機相對于x的拍攝方向為則x'處的像素值 Lr( x )為

如果利用上述照片作為紋理貼圖進行模擬，實際上是將Lr( x )作為漫反射強度參與光照計算進行可視化模擬。仍然以單個點光源為照明環(huán)境進行分析，對x點進行三維模擬，設點光源對x照射的光源方向為到達x點的輻照度為，到達x點的輻照度為，相機相對于x的觀察方向為,如果x點對應的紋素為x'，則實際將x點的漫反射強度設定為Lr( x )，為了方便分析，假設用戶對x點的高光反射強度設定為，粗糙度為，即對于兩者的設定與真實材質一致，則模擬結果 Lr( x )′為

而在上述光照環(huán)境和觀察角度下，物體實際的正確結果應為

從式（5）與（6）的對比中可以看出，即使當用戶對高光參數以及粗糙度αx的設定與真實材質相同時，利用照片直接作為紋理使用造成的結果仍會出現冗余項O（式（4）減式（5））。

從式（7）中可以看出，冗余項分別為照片中的光照環(huán)境(項B)和拍攝角度帶來的誤差(項D)。而本文方法則盡可能正確地估測物體的表觀材質，使估算結果，為了方便分析，同樣假設本文方法得到的高光強度與粗糙度正確，即，則得到模擬結果為

模擬結果與真實情況相比，多出冗余項O′（式（8）與式（6）相減）為

從結果中可以看出，本文方法已經不存在照片中關于光照以及拍攝角度帶來的冗余項，因此從理論上更加合理。

然而，本文方法包含了較復雜的數據采集過程以及參數擬合算法，整個參數提取過程花費的時間相比于傳統(tǒng)方法要多。為盡可能地加快擬合速度，總結如下2個策略：

1）降低圖像分辨率。如果葉片在整個屏幕中占的比例較大，采用50萬分辨率的表觀圖像即可獲得較好的模擬結果，此時擬合時間在15 min左右；如果葉片在整個屏幕中占得比例較小，采用5萬～10萬之間的圖像分辨率即可。當圖像分辨率降低至5萬時，整個擬合過程需要的時間僅需要2 min。

2）通過少量樣本點擬合整個葉片的高光參數。整個擬合算法95%的時間耗費在高光反射參數的計算中，因此通過減少高光參數的擬合時間來提高運行效率是有效途徑。本文對葉片的表觀特征作如下假設：具有相同漫反射特征的葉片位置同樣具有相同的高光反射特征?；谏鲜黾僭O，可以首先擬合出葉片表面所有點的漫反射參數，然后交互地選擇N個樣本點進行高光反射參數擬合（N的數值取決于葉片表面的紋理樣式，需盡可能全面地將葉片表面所有具有顯著漫反射特征的表面部位作為樣本），再依次計算葉片表面剩余位置與該N個樣本點漫反射強度的歐式距離，選擇最小距離的樣本點高光參數作為待測點的高光參數，這樣可以將幾十萬次高光反射計算減少至N次計算，大大降低擬合時間。雖然通過這種策略得到的高光參數與完整計算的結果在整個葉片表面上高光參數的分布有差別，但若不以真實樣本數據進行對比，兩者差別帶來的視覺感受并不明顯，僅從可視化的角度看這個策略是有效的。

6 結論

本文提出一種基于多圖像的植物葉片表觀模擬方法，克服傳統(tǒng)單張紋理映射方法包含外部環(huán)境噪聲導致的表觀可視化質量較差的問題，提高了表觀模擬的準確性和真實感。該方法可提取漫反射強度、高光反射強度、粗糙度3個表觀參數；對于表觀參數的擬合時間在2～20 min之間；3 000個頂點的模型時，可視化速度達到800 幀/s，達到實時水平。

本文方法擬合出的表觀參數是葉片自身的本征屬性，只與葉片的生理屬性和結構特征相關，與傳統(tǒng)的顏色信息相比，表觀參數更加適用于作為表型特征分析作物生命狀態(tài)，因此本文方法有很大潛力應用于農業(yè)科研、生產的相關領域。

[1] 趙春江，陸生鏈，郭新宇，等. 數字植物研究進展：植物形態(tài)結構三維數字化[J]. 中國農業(yè)科學，2015，48(17)：3415－3428. Zhao Chunjiang, Lu Shenglian, Guo Xinyu, et al. Advances in research of digital plant: 3D digitization of plant morphological structure[J]. Scientia Agricultura Sinica, 2015, 48(17): 3415－3428. (in Chinese with English abstract)

[2] Mündermann L, MacMurchy P, Pivovarov J, et al. Modeling lobed leaves[C]//Proceedings of Computer Graphics International, Tokyo, Japan, 2003: 60－65.

[3] Lu S L, Guo X Y, Zhao C J, et al. Modeling of organs and structures generating for crops[C]//International Symposium on Crop Modeling and Decision Support, Nanjing, China, 2008.

[4] Rozenberg G, Lindenmayer A. Developmental systems with locally catenative formulas[J]. Acta Informatica, 1973, 2: 214－248.

[5] Rodkaew Y, Lursinsap C , Fujimoto , et al. Modeling leaf shapes using L-systems and genetic algorithms[C]// Proceedings of NICOGRAPH2002, Tokyo, Japan, 2002: 73－78.

[6] Runions A, Fuhrer M, Lane B, et al. Modeling and visualization of leaf venation patterns[J]. ACM Transactions on Graphics, 2005, 24(3): 702－711

[7] Quan L, Tan P, Zeng G, et al. Image-based plant modeling[J]. ACM Transactions on Graphics, 2006, 25(3): 599－604

[8] Loch B, Belward J, Hanan J. Application of surface fitting techniques for the representation of leaf surfaces[C]//Zerger A, Argent R M. International Congress on Modelling and Simulation. Melbourne: MODSIM Press, 2005: 1272－1278.

[9] Hanrahan P, Krueger W. Reflection from layered surfaces due to subsurface scattering[J]. Proceedings of Siggraph, 1993: 165－174.

[10] Wang L, Wang W, Dorsey J, et al. Real-time rendering of plant leaves[J]. Acm Transactions on Graphics, 2005, 24(3): 712－719.

[11] 苗騰，郭新宇，溫維亮，肖伯祥，陸聲鏈. 基于圖像的作物病害狀態(tài)表觀三維模擬方法[J]. 農業(yè)工程學報，2016，32(7)：181－186. Miao Teng, Guo Xinyu, Wen Weiliang, Xiao Boxiang, Lu Shenglian. Three dimensional visual simulation method of crop disease state based on image[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(7):181－186. (in Chinese with English abstract)

[12] 陸聲鏈，郭新宇，李長鋒. 3維植物葉片精確建模和繪制技術研究[J]. 中國圖象圖形學報，2009，14(4)：731－737. Lu Shenglian, Guo Xinyu, Li Changfeng ,et al. Research on techniques for accurate modeling and rendering 3D plant leaf[J]. Journal of Image and Graphics, 2009, 14(4): 731－737. (in Chinese with English abstract)

[13] Braitmaier M, Diepstraten J, Ertl T. Real-time rendering of seasonal influenced trees[C]//Proceedings of Theory and Practice of Computer Graphics, 2004: 152－159.

[14] Zhou N, Dong W, Mei X. Realistic simulation of seasonal variant maples[C]//Proceedings of PMA '06, Beijing China, IEEE Computer Society Press, 2006: 295－301.

[15] Miao T, Zhao C J , Guo X Y, et al. A framework for plant leaf modeling and shading[J]. Mathematical and Computer Modelling, 2013, 58(3): 710－718.

[16] Baranoski G V G, Rokne J G C. An algorithmic reflectance and transmittance model for plant tissue[J]. Computer Graphics Forum, 1997, 16(3): 141－150.

[17] Baranoski G V G, Rokne J G. Efficiently simulating scattering of light by leaves[J]. The Visual Computer, 2001, 17(8): 491－505.

[18] Jensen H W, Marschner S R, Levoy M, et al. A practical model for subsurface light transport[C]//Proceedings of the 28th annual Conference on Computer Graphics and Interactive Techniques, ACM, 2001: 511－518.

[19] Jensen H W, Buhler J. A rapid hierarchical rendering technique for translucent materials[J]. ACM Transactions on Graphics, 2002, 21(3): 576－581.

[20] Franzke O, Deussen O. Rendering plant leaves faithfully[C]// Proceedings of SIGGRAPH 2003, New York, USA, 2003.

[21] Donner C, Jensen H W. Light diffusion in multi-layered translucent materials[J]. ACM Transactions on Graphics, 2005, 24(3):1032－1039.

[22] Donner C, Weyrich T, D’Eon E, et al. A layered, heterogeneous reflectance model for acquiring and rendering human skin[J]. ACM Transactions on Graphics, 2008, 27(5): 32－39.

[23] Habel R, Kusternig A, Wimmer M. Physically based real-time translucency for leaves[J]. Proceedings Eurographics Symposium on Rendering, Eurographics Association, 2007: 253－263.

[24] Dong Y, Wang J, Tong X, et al. Manifold bootstrapping for SVBRDF capture[J]. ACM Transactions on Graphics, 2010, 29(4): 157－166.

[25] Gardner A, Tchou C, Hawkins T, et al. Linear light source reflectometry[J]. ACM Transactions on Graphics, 2003, 22(3): 749－758.

[26] Aittala M, Weyrich T, Lehtinen J. Two-shot SVBRDF capture for stationary materials[J]. ACM Transactions on Graphics, 2015, 34(4): 1－13.

Three dismensional appearance simulation of plant leaves based on multiple images with light source change

Miao Teng1,2,3,4,5, Guo Xinyu1,2,3,4, Zhao Chunjiang1,2,3,4※, Xiao Boxiang1,2,3,4, Wang Chuanyu1,2,3,4, Wen Weiliang1,2,3,4
(1. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China; 2. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China; 3. Key Laboratory for Information Technology in Agriculture, Ministry of Agriculture, Beijing 100097, China; 4. Beijing Key Lab of Digital Plant, Beijing 100097, China; 5. College of Information and Electrical Engineering, Shenyang Agricultural University, Shenyang 110866, China)

Three-dimensional (3D) Plant modeling and visualization is a key research issue in both digital plant and agricultural application. Leaf is one of the vital organs in a plant, so the 3D modeling and shading of plant leaves is an important and fundamental work for achieving the goals of digital plant. Appearance simulation of plant leaves is still a challenging issue because of its intricate underlying structure and complex and subtle interaction with light. Texture mapping using leaf photo is a common method for appearance simulation, however, it could bring noise caused by light environment and camera position in lighting simulation step. This paper presents a technique for simulating the appearance of plant leaves with multiple images. Our method can estimate the spatially-varying reflectance properties of plant leaf surface based on a few images, which capture leaves' appearance transition information with different light directions. An apparent image acquisition system using linear light source is built for capturing 400 images with a fixed camera viewpoint and a single direction of motion for the linear light source. This system is composed of a driving module, a linear source module, a background module and a camera. Using a linear light rather than a point light source as the illuminant, we can obtain a piece of area with more intensive illumination. With these image data, we develop a fitting method, which is able to estimate the diffuse color, specular color and specular roughness of each point on the leaf surface. In our method, the isotropic ward model is utilized as the appearance model for specifying that how the leaf surface reflects light. Our fitting technique first simulates the change of reflectance attributes of diffuse and specular reflectance lobes under moving linear light source. In this process, a rectangle is employed to simulate the linear light source and Monte Carlo integration method is used to calculate the radiation transmission process. When we have the simulating results, the appearance parameters of each pixel are determined by comparing its actual parameter values to the simulating results. By above fitting method, 3 kinds of spatially-varying appearance parameters are saved into 3 parameter images for rendering leaf appearance. For quickly shading, multipoint point light sources are used for simulating various illumination conditions instead of complex radiative transfer integral. Using appearance parameter images and shading method, static appearance or dynamic appearance transition of plant leaves can be generated realistically. From the results obtained by this method, we find that it can render more accurate and real appearance texture of leaves compared to traditional texture mapping methods. The advantages of our method are that the appearance parameter images for rendering have removed the light and viewport noise, and only contained the appearance material information. In order to prove this conclusion, we quantitatively analyze the reason for this advantage by some formula derivations in this paper. But for obtaining these advantages, our method needs more complex data acquisition process and parameter fitting algorithm, which will reduce the efficiency of simulation. For improving the efficiency of our method, 2 approaches are discussed in this paper, including reducing image resolution and fitting the specular parameters of the whole leaf by a few sample points. Our method can estimate some appearance parameters which are plant leaf own intrinsic properties. We believe this characteristic will make these appearance parameters used not only for visualization, but also as some important phenotypes instead of so-called color data. In the future work, we will extend the application of our method in agriculture, such as monitoring plant growth status with the appearance parameters, or analyzing the differences among plant varieties.

three dimensional; visualization; light resources; leaf; appearance modeling; digital plant

10.11975/j.issn.1002-6819.2016.09.021

TP391.4; S126

A

1002-6819(2016)-09-0150-07

苗 騰，郭新宇，趙春江，肖伯祥，王傳宇，溫維亮. 基于變化光源方向多圖像的植物葉片表觀三維模擬[J]. 農業(yè)工程學報，2016，32(9)：150－156.

10.11975/j.issn.1002-6819.2016.09.021 http://www.tcsae.org

Miao Teng, Guo Xinyu, Zhao Chunjiang, Xiao Boxiang, Wang Chuanyu, Wen Weiliang. Three dismensional appearance simulation of plant leaves based on multiple images with light source change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(9): 150－156. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2016.09.021 http://www.tcsae.org

2015-08-21

2016-02-26

北京市科技計劃項目（D151100004215004）；北京市自然科學基金（4162028）；國家自然科學基金（31501217）；北京市農林科學院博士后基金項目。

苗 騰，博士后，講師，主要從事數字植物技術研究。北京 北京農業(yè)信息技術研究中心，農業(yè)部農業(yè)信息技術重點開放實驗室，數字植物北京市重點實驗室，100097； 沈陽 沈陽農業(yè)大學信息與電氣工程學院，110866。Email：caumiao@126.com

※通信作者：趙春江，研究員，主要從事農業(yè)信息化技術研究。北京 北京農業(yè)信息技術研究中心，農業(yè)部農業(yè)信息技術重點開放實驗室，數字植物北京市重點實驗室，100097。Email：zhaocj@nercita.org.cn