基于對稱性的單幅圖像花朵建模

繆永偉, 劉麗麗, 張旭東, 劉 震

(1. 浙江工業(yè)大學 計算機科學與技術學院， 浙江 杭州 310023； 2. 浙江工業(yè)大學 理學院， 浙江 杭州 310023)

?

基于對稱性的單幅圖像花朵建模

繆永偉1, 劉麗麗1, 張旭東1, 劉 震2

(1. 浙江工業(yè)大學 計算機科學與技術學院， 浙江 杭州 310023； 2. 浙江工業(yè)大學 理學院， 浙江 杭州 310023)

基于自然界各類花朵普遍具有的對稱特性,提出了一種利用單幅圖像的三維花朵建模方法.根據輸入的單幅花朵圖像,用戶通過交互方式描繪花朵每個花瓣的2條邊緣曲線,對花朵邊緣曲線的頂部頂點和底部頂點進行最小二乘圓錐擬合,利用擬合得到的圓錐計算花朵各花瓣的對稱面;根據不同種類花朵所固有的對稱特性和各個花瓣的對稱面信息,計算花瓣2條邊緣曲線上所有采樣點的深度,得到其三維構造曲線;利用恢復了深度信息的三維構造曲線作離散化網格處理，構建各個花瓣的三維模型,進而重建整個花朵的三維模型;最后根據輸入的單幅圖像紋理信息合成花朵的表面紋理,得到了真實感較強的花朵模型.實驗結果表明：該建模方法充分利用了花朵的對稱特性,用戶交互少、建模效率高,能夠準確地從單幅花朵圖像中恢復其深度信息和整體結構,方便快捷地實現(xiàn)花朵的三維重建.

三維重建;對稱特性;花朵模型;手繪線條;深度計算

植物的三維建模是計算機圖形學和計算機視覺等領域的研究熱點[1-5].隨著圖形學算法、虛擬現(xiàn)實及可視化技術等的發(fā)展,三維建模技術也更多地應用于花朵建模.三維花朵模型在室內外場景重建、植物學和生物學研究、園林藝術發(fā)展以及真實感游戲等方面均發(fā)揮著重要作用.然而,花朵幾何結構和種類的多樣性，使得其建模過程較復雜和困難.具體地說,花朵三維幾何結構的多樣性主要表現(xiàn)在任何種類的花朵都包含花瓣、雄蕊、雌蕊和花萼等結構,且各種結構之間相互約束;花朵的種類復雜性主要體現(xiàn)在花朵種類繁多且不同種類花朵結構差異較大.目前，已有的花朵建模方法主要為基于手繪曲線的交互式建模,PRUSINKIEWICZ等[6]將花瓣看作廣義的柱體,通過用戶定義的手繪曲線表示花瓣的軸來進行花朵建模,IJIRI等[7]提出了花卉表和花序的概念.這種建模方法雖然能夠創(chuàng)建完整的花朵模型,但需要較多的用戶交互，建模時間長、過程復雜,且基于手繪的建模對自然界真實花朵的形態(tài)及種類的表示缺乏真實性.因此，需要尋求快速創(chuàng)建花朵三維模型的統(tǒng)一方法.

一般來說,人們可以根據花朵的花瓣來表征自然界各類花朵的形狀結構[8],IJIRI等[9]、LI等[10]、LIANG等[11]在研究過程中僅使用花瓣的形狀變化來模擬花朵的生長過程.因而，要解決花朵建模中的結構復雜性問題,可主要考慮花朵的花瓣結構而忽略雄蕊、雌蕊和花萼等其他附屬結構.

同時,研究發(fā)現(xiàn)，絕大多數花朵在生長乃至進化的過程中,結構上表現(xiàn)出一定的對稱性[12]，有兩側對稱和輻射對稱2種形式[13].兩側對稱是指通過花中心軸有且只有一個對稱軸能將花朵分為對等的兩半,而輻射對稱是指花中所有同類型的器官(如花瓣等)都完全相同且均勻排列在花托周圍,形成2個或者2個以上對稱面.HONG等[14]利用對稱性以及多視角幾何解決了單幅圖像的結構以及標定問題.CORDIER等[15-16]提出了一種鏡像對稱的物體表面重建算法,使得生成的三維模型側影輪廓可以垂直投影為輸入的二維曲線.根據臨摹描繪得到對稱物體的二維手繪線畫圖,?ZTIRELI等[17]提出了一種可以從一系列平面曲線重建三維對稱物體的方法.TEVS等[18]提出了一種利用幾何體的對稱關系實現(xiàn)復雜幾何匹配的算法.MIAO等[19]提出了一種利用對稱性計算手繪線條深度信息的方法,從而重建生成三維對稱自由形體.將建筑物的對稱特性引入相機校準中,JIANG等[20]提出了一種基于單幅圖像輸入的三維建筑物重建方法.

與以往的花朵建模方法相比,本文使用的建模方法旨在利用花朵對稱性及其結構的特殊性,通過對輸入的單幅圖像進行少量的交互處理，結合一定的深度計算重建花朵模型.主要貢獻有:1)提出了一種新穎的花朵建模方法,即使用對稱性解決花朵的三維重建問題;2)通過對輸入圖片簡單的交互處理,實現(xiàn)了對多層花朵結構的三維建模,減少了對輸入圖像的預處理工作;3)設計了一個簡單的花朵建模平臺,在建模的過程中將圖片交互窗口和三維渲染窗口分開,使得三維建模過程更加方便、高效.

1 相關工作

花朵的三維建模方法主要包括:過程式的全交互花朵建模方法[7]、基于花瓣數據庫的形狀匹配與變形擬合的花朵建模方法[21]、基于單幅圖像的花朵建模方法[22].

在過程式的交互建模方面,IJIRI等[7]提出了一種基于花卉表和花朵花序的交互式快速建模系統(tǒng),該系統(tǒng)將結構編輯與幾何編輯分開,并采用自下而上的建模方式生成結構復雜的花朵模型.結合交互式手繪建模方式[23-24],IJIRI等[25]提出了一種由圖像引導的手繪式花朵建模系統(tǒng),該系統(tǒng)采用從上到下的建模過程,即在概念設計過程中就完成整體的花朵結構設計,在建模過程中根據最初設計的花朵結構引導各部分的建模.基于花朵的生物學機理,宋成芳等[26]采用交互式方法實現(xiàn)了花朵的三維建模并模擬了花開的過程.過程式的交互花朵建模方法雖然能夠創(chuàng)建出復雜的花朵模型,但需要大量的人工交互,耗時長且過程復雜.

為了減少用戶交互，實現(xiàn)高效建模,研究者們提出采用模板數據庫的方法進行花朵建模.ZHANG等[21]針對需要重建的不同種類花朵,如百合花、三色堇等,構建了其對應的花瓣數據庫,實現(xiàn)了數據驅動的花朵建模.葛娟等[27]使用三維掃描點云并結合不同葉片法，對差距較大的葉片進行聚類,用一個葉子模型將每個類擬合成三維模型.數據驅動的建模方法能夠構造圖像中的花朵模型,但該類方法需要進行較多預處理,包括預先進行圖像分割和花瓣數據庫構建等,其建模的精準性往往和提供的模型庫有關.

基于單幅圖像的建模方式，得到了計算機圖形學和計算機視覺等領域研究者的普遍關注[22,28-30].為了減少用戶交互,YAN等[22]利用單幅圖像實現(xiàn)了花朵的半自動建模,該方法通過擬合花朵生成一個花瓣模板模型,并對照其他花瓣利用該模板模型進行相應變形，實現(xiàn)花朵的三維建模.TAN等[28-29]根據輸入的單幅圖像,通過定義植物生長規(guī)則創(chuàng)建的三維分支庫實現(xiàn)花朵樹木的建模.為了重建單幅輸入圖像中的物體,繆永偉等[30]提出了一種利用二維手繪線畫圖重建生成三維自由形體的方法.

基于花朵普遍具有的對稱特性,本文提出了一種基于單幅圖像的三維花朵建模方法.根據輸入的單幅花朵圖像,首先通過交互描繪圖像中花朵各個花瓣的2條邊緣曲線,根據這些邊緣曲線的頂點信息，將花朵擬合到一個圓錐面上,并利用花朵特有的結構和對稱性，計算每個花瓣的對稱面,然后根據求得的對稱面計算每個花瓣的2條構造曲線的深度信息,最終構建整個花朵的三維模型.不同花瓣的邊緣曲線深度的計算方法完全統(tǒng)一,因此該方法適用于處理不同花瓣數目和不同對稱面數目的花朵建模;同時該方法能夠簡單快速地創(chuàng)建真實感較強的三維花朵模型.與已有的花朵建模方法相比,本文提出的建模方法充分利用了花朵的對稱特性并輔以少量的用戶交互,從而可高效恢復輸入圖像中花朵花瓣的精確深度信息,快捷生成三維花朵模型.

2 方法概述

自然界中花朵對稱均衡的結構美成為很多藝術家及學者研究的重點.根據對稱類型可以將花朵分為兩側對稱花(如圖1(a)中僅有一個對稱面的花)和輻射對稱花(如圖1(b)中有多個對稱面的花)[13].然而,利用單幅輸入圖像時,由于兩側對稱花所包含的結構信息較少，難以利用花朵的對稱性很好地恢復其深度信息.

圖1 花朵的對稱性Fig.1 Symmetries of flowers

本文主要考慮輻射對稱的單視圖花朵建模，旨在利用對稱性及其結構的特殊性,通過對單幅輸入圖像進行少量的交互,計算花瓣深度信息以重建花朵模型.建模流程如圖2所示.

(1)基于單幅圖像的花瓣線畫圖生成.根據輸入的單幅二維圖像(見圖2(a)),用戶在圖像畫板上交互地手動描繪花朵上每個花瓣的2條邊緣曲線(見圖2(b)),系統(tǒng)即時捕捉手繪邊緣曲線上的點,并插值生成相應的二次B樣條曲線,然后根據用戶自定義的每條邊緣曲線應包含的采樣點數，對得到的二次B樣條曲線進行均勻采樣.

(2)利用對稱性計算花瓣邊緣曲線的深度信息.在確定每個花瓣的2條邊緣手繪曲線后,利用對稱性計算這2條手繪曲線上每對采樣點的深度信息.基于花朵特殊的對稱結構和生物結構,在把花瓣的2條手繪邊緣輪廓線看作其三維構造曲線投影線的前提下,先將整個花朵擬合到一個圓錐上(見圖2(c)),通過擬合圓錐確定花朵上每個花瓣的對稱面.通過遍歷每個花瓣上的2條邊緣手繪曲線,結合求得的該花瓣對稱面信息,計算該花瓣2條構造曲線的深度信息.

(3)多層花瓣對稱性的處理.對于層次結構較清晰的花朵,在擬合圓錐時可以使用多層花瓣的特殊處理方式解決.根據輸入的花朵圖像,對位于不同層上的花瓣進行相應的圓錐擬合,求得不同層上花瓣的對稱面,并通過遍歷每層花瓣的2條邊緣手繪曲線,結合分層處理時得到的相應花瓣的對稱面信息,計算每個花瓣2條曲線的深度信息.

(4)花朵模型的生成和紋理合成.在計算得到每個花瓣的2條邊緣曲線的深度信息后,為了達到更好的三維建模效果,算法規(guī)定花朵三維模型上每個頂點處的深度值均大于零.在完成每個花瓣的處理后,通過離散化網格構建每個花瓣的三維模型,進而得到整個花朵的三維模型(見圖2(d)).進一步,根據輸入圖像的紋理信息為生成的花朵模型進行紋理合成,最終生成真實感很強的三維花朵模型(圖2(e)為模型的正視圖,圖2(f)～(h)分別為模型左、右和側視圖).

3 單幅圖像花朵建模

3.1 基于單幅圖像的花瓣線畫圖生成

在花朵的三維建模中,根據輸入的單幅圖像,用戶交互，描繪圖像中每個花瓣的2條邊緣曲線,并對邊緣曲線進行采樣處理.花瓣線畫圖生成，包括用戶交互和花瓣邊緣曲線采樣預處理,具體如下.

圖2 基于對稱性的花朵建模流程Fig.2 Diagram of symmetry based 3D flower modeling

3.1.1 用戶交互

在單視圖建模中,直接利用圖像的幾何投影信息得到其三維深度信息比較困難,這是由于輸入的單幅圖像往往信息不全,比如圖像中存在物體遮擋現(xiàn)象,導致建立的三維模型精度不高.為了有效克服該缺陷,采用少量人工交互的方式對遮擋的花瓣曲線進行補全.根據單幅花朵圖像,用戶以交互方式描繪每個花瓣的2條邊緣曲線,對于被遮擋的花瓣，用戶可根據花瓣邊緣曲線走向將其補全.需要注意的是,本文方法需要利用花瓣邊緣曲線的起點和終點擬合表示花朵整體結構的橢圓,如圖3所示的花朵,花瓣的起點通常取為P1、P2、P3、P4和P5,每個頂點Pi為每個花瓣2條邊緣曲線的共同起點;終點通常取花朵花蕊的中心即圓錐頂點O.

圖3 用戶交互Fig.3 User interactions

3.1.2 花瓣邊緣曲線的采樣預處理

根據用戶在描繪的花朵圖像中每個花瓣的2條邊緣曲線,系統(tǒng)自動捕獲花瓣邊緣手繪線的離散采樣點并將其保存.隨后在利用花朵的對稱特性計算每個花瓣的對稱面時,不再對各個花瓣手繪的先后順序作任何要求,但每個花瓣的2條邊緣曲線作為三維空間中對稱曲線的投影線需成對保存.

利用系統(tǒng)自動捕獲每個花瓣一對對稱曲線采樣點,通過等間距插值生成二次B樣條曲線,并對每條二次B樣條曲線進行均勻離散采樣,采樣時通常要求每條二次B樣條曲線被重采樣為用戶指定數目的采樣頂點集合.需要注意的是,采樣點數目過少會影響花瓣模型的建模效果,過多會增加計算量,本文采樣頂點數目取150.在花朵的三維重建中,需要恢復每個花瓣重采樣后的2條邊緣曲線的三維信息,下節(jié)將詳細介紹利用花朵結構的對稱性，結合曲線采樣點的對稱關系，計算每個花瓣上采樣點的深度信息.

3.2 利用對稱性計算花瓣邊緣曲線深度信息

對于預處理階段生成的花朵每個花瓣一對離散化邊緣曲線,結合花朵結構的對稱性,計算手繪線條上對稱采樣點的深度坐標信息,并利用求得的坐標深度信息生成各花瓣邊緣的三維構造曲線.研究發(fā)現(xiàn)[12-13],自然界中大量花朵的整體結構都可以用一個倒圓錐表示.利用圓錐擬合以簡化花朵建模的相關計算,同時可用擬合的圓錐快速計算花朵各個花瓣的對稱面法向量，最后利用各個花瓣對稱面計算花瓣邊緣曲線的深度.

3.2.1 花朵整體結構的圓錐擬合

根據預處理過程中對花朵每個花瓣的2條邊緣曲線產生的對稱點集合,采用最小二乘法對花朵整體結構進行圓錐擬合,具體如下:

1)首先，利用最小二乘法對各個花瓣的邊緣曲線起點集合(如圖4中的P1、P2、P3、P4和P5)進行橢圓擬合,得到的橢圓實際上是三維圓錐底面在投影下的二維成像,從而可以得到橢圓圓心(圖4(a)中的O′點)及其長短軸的長度.

2)然后，利用各個花瓣邊緣曲線的底端終點集合，取其平均值點作為圓錐頂點(圖4(a)中的O點).

3)為了得到花朵整體結構的三維擬合圓錐,需要計算圓錐高即圖4(a)中的OO″長度R.如圖4(a)所示,設平面∏1為二維投影面即XOY平面,三維空間中的圓錐經過正投影變換后,圓錐的底面圓投影成為二維橢圓,即在步驟1)中由花瓣起點集合擬合的橢圓.利用步驟2)中得到的圓錐頂點O計算其與投影橢圓的圓心O′之間的距離r.設平面∏2是過OO′且垂直于投影平面∏1截三維圓錐得到的平面,由正投影性質易知,平面∏2上圓錐底面直徑AB的長度為擬合橢圓的長軸,AB的投影BC的長度為擬合橢圓的短軸.花朵三維圓錐結構的底面中心O″的投影點為O′,且設垂直投影高度為h,如圖4(a)所示,由于OO″⊥AB,OO′⊥O′O″,AC⊥BC,在平面∏2中由△ABC～△OO″O′可得:

(1)

根據式(1)可以求得R的值,同時橢圓的傾斜角θ和h值分別計算如下:

(2)

(3)

在求出R和θ后,便得到了花朵整體結構的三維擬合圓錐.圖4(b)展示了在圓錐擬合后的花朵結構中,各個花瓣的對稱面分別為OO″Pi(i=1,2,…,5).

圖4 花朵的圓錐擬合Fig.4 Conic fitting of flower

3.2.2 花瓣對稱面法向量的計算

在具有輻射對稱的花朵中,每個花瓣的對稱面法向量的計算具有相似性,本節(jié)中的法向量計算及下一小節(jié)中花瓣曲線深度的計算均以一個花瓣的計算為例,其余花瓣可以類似得到.

方便起見，直接使用用戶描繪的畫板繪制平面作為XOY平面,即該平面上點的z值為0,人工交互輸入的花朵每個花瓣邊緣曲線的手繪線條可以看作相應三維構造曲線的平行投影,投影方向垂直于繪制平面.因此,所求三維構造曲線上點x、y的取值，即為畫板上輸入的相應花瓣邊緣曲線上采樣點的x坐標和y坐標.花朵各個花瓣的2條邊緣構造曲線的三維信息計算，主要取決于花瓣邊緣曲線上對稱采樣點z坐標的計算.如圖4(b)所示,在將花朵擬合到圓錐上后,算法需要計算各花瓣的對稱面法向量.

如圖5所示,點P是花瓣頂點,平面OPO″為花瓣對稱面,n為其法向量.由輸入的單幅圖像可得點O、O″及P的x、y坐標,且OO″⊥O″P,O″z=Oz+h.

由于OO″⊥PO″，故

(O″x-Ox)·(O″x-Px)+(O″y-Oy)·

(O″y-Py)+(O″z-Oz)·(O″z-Pz)=0,

(4)

即

O″z-Pz=[(O″x-Ox)·(O″x-Px)+

(O″y-Oy)·(O″y-Py)]/(-h).

(5)

另外,n為對稱面法向量,故n⊥O″P,n⊥OO″,有

n=PO″×OO″=

(6)

由已知O″z-Oz=h得到式(5),進而可以計算該花瓣對稱面法向量n,如式(6)所示.同時, 其余花瓣的對稱面法向量可以類似計算,且計算過程中花瓣之間互不影響.此外,由于該方法是根據之前保存的花瓣結構順序求其對應的法向量,故手繪花瓣的邊緣曲線時可以根據用戶的習慣自定義手繪順序,但必須保證一個花瓣的2條邊緣曲線描繪完后再進行下一個花瓣的描繪.

圖5 花瓣對稱面法向量計算Fig.5 Normal vector computation of petal symmetry plane

3.2.3 花瓣邊緣曲線深度的計算

根據計算得到的各個花瓣對稱面信息,類似于MIAO等[19]的方法,可以求出每個花瓣2條邊緣曲線上每對對稱采樣點的深度.

如圖6所示,設點P1和P2分別為花瓣2條邊緣曲線上的一對對稱點,花瓣對稱面為∏3,對應法向量為n,n⊥為n的某一垂直向量,由對稱性可知:

(P2+P1)·n=0,

(7)

(P2-P1)·n⊥=0.

(8)

圖6 花瓣邊緣曲線深度計算Fig.6 Depth computation of petal edge lines

為計算方便,若n=(nx,ny,nz)(此處nx和nz均不為零),不妨取n⊥=(-nz,0,nx),解得:

z1=

(9)

z2=

(10)

從而,可以計算得到花瓣2條邊緣曲線的各對稱采樣點的深度,進而得到每個花瓣的2條三維邊緣構造曲線.

3.3 多層花瓣對稱性的處理

多層花朵的建模與單層花朵類似,可以將其擬合到2個甚至多個圓錐面上,同時遍歷花瓣的每一層,對每個處在同一層的花瓣分別執(zhí)行單層花朵建模計算,從而完成整個花朵的三維建模,如圖7所示.對于輸入的花朵照片,用戶首先判斷圖中的花朵分為幾層以及每一層的花瓣數目;然后對每一層花瓣分別進行圓錐擬合(見圖7(b)),求出每一層花各個花瓣的2條三維邊緣構造曲線;最終構建出整個花朵的三維網格模型(見圖7(c)).

圖7 多層花朵的建模處理Fig.7 Modeling of multi-layer petal

為計算方便,僅考慮2層花朵的建模.在用戶手繪過程中,首先按順序描繪第1層上的所有花瓣,接著繼續(xù)描繪第2層上的所有花瓣.設第1層花瓣數目為m,將前m個花瓣單獨保存并作為單個花朵進行圓錐擬合處理和深度計算;接著處理第2層花瓣,設其花瓣數目為n,將后n個花瓣單獨保存并作與前m個花瓣類似的處理.需要指出的是,由于對同一層的花朵花瓣需進行圓錐擬合,因此要求每一層上的花瓣數目至少為3個,當然不同層上的花瓣數目可以不同.

3.4 花朵模型的生成和紋理合成

圖8 模型生成和紋理合成Fig.8 Flower model generation and texture synthesis

4 實驗結果與討論

本算法在3.40 GHz Intel(R)Core(TM)PC機上利用Visual C++實現(xiàn),圖形渲染采用OSG3.0.1渲染引擎.根據輸入的單幅花朵圖像,用戶通過交互方式描繪花朵每個花瓣的2條邊緣曲線,系統(tǒng)能夠對花朵整體結構進行圓錐擬合;進一步利用擬合圓錐計算花朵各花瓣的對稱面信息;基于花瓣對稱面信息,計算各個花瓣的邊緣構造曲線的深度信息,從而得到花瓣的三維模型;最終重建生成整個花朵的三維模型.

圖9給出了利用本文方法重建花朵三維模型的例子,圖9(a)為輸入的花朵圖像,圖9(b)為生成的三維花朵模型,圖9(c)為經紋理合成后的三維花朵模型,圖9(d)和圖9(e)分別為不同視角下的花朵模型.從中可以看出,本文方法對具有3～6個花瓣的花朵均能實現(xiàn)高效三維建模.同時,方法對重建的花朵種類沒有限制,不同花瓣數目的花朵有相應數目的對稱面,如圖9中自上而下分別給出了3個花瓣的紫露草花(有3個對稱面)、4個花瓣的禿瘡花(有4個對稱面)、5個花瓣的賽葵花(有5個對稱面)、6個花瓣的百合花(有6個對稱面)的建模結果.需要指出的是,花瓣的數目并不影響其建模方法,只要圖像中的花朵視角一定,便可構建具有真實感效果的花朵模型.

基于單幅輸入圖像,本方法能夠方便快捷地重建三維花朵模型.為了驗證該方法的有效性,請一些沒有專業(yè)建模技能的同學通過簡單的學習使用該建模系統(tǒng)進行花朵建模,建模效果如圖9所示,平均建模耗時在5 min以內,且大部分時間花費在花朵花瓣邊緣曲線的描繪上,多數同學認為該建模系統(tǒng)操作容易.用戶體驗發(fā)現(xiàn),圖像中花朵處于左視角或者右視角時建模效果較好(如圖9中的紫露草花、百合花等),而在正視角下,建模效果相對不理想(如圖9第2行的側視圖效果),這主要由正視圖下圓錐擬合產生較大的圓錐誤差造成.

此外,利用本文的建模方法可以處理層次結構分明的多層花瓣的花朵,圖10給出了多層花朵的建模效果.其中第1行是蔥蘭花,其花朵有2層,每層上有3個花瓣,花朵共有6個對稱面.第2行是韭蘭花,2層,每層有4個花瓣,花朵共有8個對稱面,每層上有4個對稱面.相對于單層花朵建模來說,多層花朵交互手繪的線條數目較多,結構相對復雜,建模過程往往存在一定的誤差.圖10第1行給出了具有6個對稱面的蔥蘭花的建模效果,圖10(b)給出了重建后結構清晰的三維模型,圖10(c)、(d)和(e)分別給出了不同視角下經紋理合成后的蔥蘭花模型.對比圖10中第2行的具有8個花瓣的韭蘭花,可以看出花朵的對稱面數目較多,往往存在一定的重建誤差.

相較IJIRI等[7]的傳統(tǒng)交互式花卉建模方法,本文方法大大降低了用戶的交互工作量,建模速度更快,操作更加簡單.不需要用戶掌握復雜的建模過程，僅需用戶描繪圖像中花朵各花瓣的2條邊緣曲線,從而大大簡化了花朵的三維建模過程.從建模效率上看,本方法創(chuàng)建花朵模型的時間基本在5 min以內,而IJIRI等[7]的方法由于需要創(chuàng)建具有完整結構的花朵模型,一般需15 min左右,創(chuàng)建復雜花朵場景一般在30～40 min.值得注意的是,與YAN等[22]的方法相比(見圖11),本方法利用花朵特殊的結構性和對稱性,計算每個花瓣的三維構造曲線,從而構建具有較強真實感的花朵三維模型;而YAN等[22]的方法則利用一個擬合好的花瓣模板來匹配圖像中的花朵花瓣,該方法雖然可以創(chuàng)建出較好的花朵模型,但無法給出圖像中花朵的相對深度信息，且預處理操作較多.與ZHANG等[21]方法中百合花建模效果的比較(見圖12),其中第1行為ZHANG等[21]的建模效果,第2行為本方法的建模效果.ZHANG等[21]的方法是利用同一花朵物種花瓣形狀的尺度不變性,構建花朵物種的花瓣數據庫,結合輸入的花朵單視角圖片的分割結果并對此圖片進行掃描，得到花瓣的三維數據信息,進行花瓣模型變形與匹配構建花朵模型.與ZHANG等[21]方法相比,本方法在花朵建模中僅需利用單幅輸入圖像,建模過程更簡單便捷.

圖9 單層花朵的三維建模Fig.9 3D model reconstruction of single-layer flowers

圖10 多層花朵的三維建模Fig.10 3D model reconstruction of muti-layer flowers

圖11 與YAN等方法的比較Fig.11 Comparison of the existing method of YAN et al

圖12 與ZHANG等方法的比較Fig.12 Comparison of the existing method of ZHANG et al第1行為ZHANG等的建模效果，第2行為本方法的建模效果.The first line is the method of ZHANG et al, the second line is our method.

5 結 語

基于單幅輸入圖像,提出了一種結合花朵對稱性的三維重建方法.通過在繪制平面上手動描繪輸入圖像中花朵花瓣的2條邊緣曲線,根據其特殊的生物結構特性及輸入的邊緣曲線信息，將花朵擬合到一個三維圓錐上；再根據花朵的對稱性求出每個花瓣對應的對稱面,進一步得到每個花瓣2條邊緣曲線上每一對對稱點的深度,構造三維邊緣曲線；最后通過離散化網格處理生成花朵的三維模型.由實驗結果可知,該方法可以方便快捷地重建輸入圖像中的花朵模型.

然而,輸入圖像中花朵的拍攝視角、用戶手繪花瓣邊緣時產生的誤差等都可能對建模效果產生影響.在未來的工作中,需要減少用戶交互，以減少用戶手繪輸入誤差對建模效果的影響.針對復雜的花朵場景建模，亦是一項有意義的工作.

[1] FRANCON J. The algorithmic beauty of plants [J]. Plant Science,1997,122(1):109-110.

[2] PRUSINKIEWICZ P, HAMMEL M, HANAN J, et al. L-systems: From the theory to visual models of plants[C]//Proceedings of the 2nd CSIRO Symposium on Computational Challenges in Life Sciences,1996(3):1-32.

[3] LONGAY S, RUNIONS A, BOUDON F, et al. TreeSketch: Interactive procedural modeling of trees on a tablet [C]// Proceedings of Eurographics Symposium on Sketch-based Interfaces & Modeling. Switzerland: Eurographics Association, 2012:107-120.

[4] LINTERMANN B, DEUSSEN O. A modelling method and user interface for creating plants [J]. Computer Graphics Forum,1998,17(1):73-82.

[5] 劉彥宏,王洪斌,杜威,等.基于圖像的樹類物體的三維重建[J].計算機學報,2002,25(9):930-935. LIU Yanhong, WANG Hongbin, DU Wei, et al. Image-based 3D reconstruction of tree-like objects[J]. Chinese Journal of Computers,2002,25(9):930-935.

[6] PRUSINKIEWICZ P, NDERMANN L, KARWOWSKI R, et al. The use of positional information in the modeling of plants[C]//Conference on Computer Graphics and Interactive Techniques. New York:ACM,2001:289-300.

[7] IJIRI T, OWADA S, OKABE M, et al. Floral diagrams and inflorescences: Interactive flower modeling using botanical structural constraints [J]. ACM Transactions on Graphics, 2005,24(3):720-726.

[8] ENDRESS P K. Symmetry in flowers: Diversity and evolution [J]. International Journal of Plant Sciences, 1999,160(S6):3-23.

[9] IJIRI T, YOKOO M, KAWABATA S, et al. Surface-based growth simulation for opening flowers[C]//Graphics Interface 2008 Conference. Windsor: Canadian Information Processing Society Toronto,2008:227-234.

[10] LI J, LIU M, XU W, et al. Boundary-dominant flower blooming simulation[J]. Computer Animation & Virtual Worlds,2015,26(3/4):433-443.

[11] LIANG H, MAHADEVAN L. Growth, geometry, and mechanics of a blooming lily[J]. Proceedings of the National Academy of Sciences, 2011,108(14):5516-5521.

[12] RUDALL P J, BATEMAN R M. Evolution of zygomorphy in monocot flowers: Iterative patterns and developmental constraints [J]. New Phytologist, 2004,162(1):25-44.

[13] 李交昆,唐璐璐.花對稱性的研究進展[J].生物多樣性,2012,20(3):280-285. LI Jiaokun, TANG Lulu. Progress in the study of floral symmetry [J]. Biodiversity Science, 2012,20(3):280-285.

[14] HONG W, YANG A Y, HUANG K, et al. On symmetry and multiple-view geometry: Structure, pose, and calibration from a single image[J]. International Journal of Computer Vision, 2004,60(3):241-265.

[15] CORDIER F, SEO H, MELKEMI M, et al. Inferring mirror symmetric 3D shapes from sketches [J]. Computer-Aided Design, 2013,45(2):301-311.

[16] CORDIER F, SEO H, PARK J, et al. Sketching of mirror-symmetric shapes[J]. IEEE Transactions on Visualization & Computer Graphics, 2010,17(11):1650-1662.

[17] ?ZTIRELI A, UYUMAZ U, POPA T, et al. 3D modeling with a symmetric sketch [C]// Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling. New York: ACM Press,2011:23-30.

[18] TEVS A, HUANG Q, WAND M, et al. Relating shapes via geometric symmetries and regularities[J]. ACM Transactions on Graphics, 2014,33(4):Article No. 119.

[19] MIAO Y, HU F, ZHANG X, et al. SymmSketch: Creating symmetric 3D free-form shapes from 2D sketches [J]. Journal of Computational Visual Media, 2015,1(1):3-16.

[20] JIANG N J, TAN P, CHEONG L F. Symmetric architecture modeling with a single image [J]. ACM Transactions on Graphics, 2009, 28(5): Article No. 113.

[21] ZHANG C, YE M, FU B, et al. Data-driven flower petal modeling with botany priors[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014:636-643.

[22] YAN F, GONG M, COHEN-OR D, et al. Flower reconstruction from a single photo[J]. Computer Graphics Forum, 2014,33(2):439-447.

[23] ANDRE A, SAITO S. Single-view sketch based modeling[C]// Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling. New York: ACM Press, 2011:133-140.

[24] IGARASHI T, MATSUOKA S, TANAKA H. Teddy: A sketching interface for 3D freeform design [J]. ACM Transactions on Graphics, 2007,26(3):Article No. 21.

[25] IJIRI T, OWADA S, IGARASHI T. Seamless integration of initial sketching and subsequent detail editing in flower modeling[J]. Computer Graphics Forum, 2006,25(3):617-624.

[26] 宋成芳,彭群生,丁子昂,等.基于草圖的花開建模與動畫[J].軟件學報,2007,18(增刊):45-53. SONG Chengfang, PENG Qunsheng, DING Zi’ang, et al. Sketch-based modeling and animation of floral blossom [J]. Journal of Software, 2007,18(Supp):45-53.

[27] 葛娟,周煒,劉瀏,等.結合法向聚類的大葉片植物重建[J].計算機輔助設計與圖形學學報,2010,22(11):1940-1944. GE Juan, ZHOU Wei, LIU Liu, et al. Large-leaf-plant modeling with normal direction clustering [J]. Journal of Computer-Aided Design & Computer Graphics, 2010,22(11):1940-1944.

[28] TAN P, ZENG G, WANG J, et al. Image-based tree modeling [J]. ACM Transactions on Graphics, 2007,26(3):Article No. 43.

[29] TAN P, FANG T, XIAO J, et al. Single image tree modeling [J]. ACM Transactions on Graphics, 2008,27(5):Article No. 108.

[30] 繆永偉,胡非夏,馮小紅,等.基于單幅圖像的三維對稱自由形體重建[J].計算機輔助設計與圖形學學報,2015,27(9):1637-1647. MIAO Yongwei, HU Feixia, FENG Xiaohong, et al. Single image based 3D symmetric free-form objects reconstruction[J]. Journal of Computer-Aided Design & Computer Graphics, 2015,27(9):1637-1647.

MIAO Yongwei1, LIU Lili1, ZHANG Xudong1, LIU Zhen2

(1.CollegeofComputerScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou310023,China; 2.CollegeofScience,ZhejiangUniversityofTechnology,Hangzhou310023,China)

Symmetry based 3D flower modeling using single-image. Journal of Zhejiang University(Science Edition), 2016,43(6):647-656

Based on the common symmetry properties of natural flowers, an interactive approach is proposed in this paper for modeling 3D flower using a single floral image. Firstly, the user interactively sketches two edge lines of each flower petal on the input single image. A cone then can be constructed by least squares fitting on the top and bottom sample points of the edge lines. Thus, the symmetry plane of each petal can be determined by the fitted cone. Further, the depth information of the couple edge lines on each petal can also be calculated with respect to the inherent symmetry properties of different kinds of flowers and their symmetry planes. Using the 3D constructive curves, each petal model can be generated as a triangular mesh, and the whole 3D flower model can be obtained. Finally, according to the texture information of the input image, the realistic flower model can be created by synthesizing the flower texture. Experimental results illustrate that our modeling scheme for 3D flowers can recover the depth information effectively and create the whole flower structure accurately, which can generate the 3D realistic flower models in a convenient manner.

3D reconstruction; symmetry property; flower model; sketch curves; depth calculation

2016-07-18.

國家自然科學基金資助項目(61272309)；浙江省自然科學基金資助項目(LY16A010021).

繆永偉(1971-)，ORCID:http://orcid.org/0000-0002-5479-9060,男，博士，教授，主要從事計算機圖形學、數字幾何處理、計算機視覺、虛擬現(xiàn)實等研究，E-mail:ywmiao@zjut.edu.cn.

10.3785/j.issn.1008-9497.2016.06.004

TP 391

A

1008-9497(2016)06-647-10