李澤群 閆豐亭 李舒平 祁汝璠 史志才,2
(1.電子電氣工程學院,上海工程技術大學 上海市 201620 2.上海市信息安全綜合管理技術重點實驗室 上海市 200180)
虛擬現(xiàn)實動植物系統(tǒng)可以通過虛擬現(xiàn)實技術展示動植物,滿足用戶的體驗甚至的科學研究的需要[1]。虛擬現(xiàn)實的動物不需要飼養(yǎng)員豢養(yǎng)動物,也不需要花費很高費用購買飼料,虛擬動物也不會對體驗的用戶造成真正的傷害,而且可以滿足用戶通過互聯(lián)網上的虛擬現(xiàn)實隨時隨地體驗動物的觀賞。虛擬植物不需要園丁培育修剪,也不用花費金錢購買土地及廢料養(yǎng)護,卻可以滿足用戶網上在線跨時空欣賞各種植物,細致觀察植物的樣貌,感受綠意和鮮花環(huán)境的美好體驗。
對于虛擬動植物的研究向來已久,已有眾多的專家對于虛擬動物、虛擬植物以及形成的系統(tǒng)平臺進行了研究。尹瑩瑩[2]基于建模軟件實現(xiàn)了虛擬動植物模型的搭建,并在農業(yè)院校教學中進行了研究,發(fā)現(xiàn)了采用虛擬現(xiàn)實手段可以很好的展示虛擬動物和植物。裴玉[3]設計實現(xiàn)了大慶濕地旅游的虛擬現(xiàn)實系統(tǒng),并在該系統(tǒng)平臺中提出了具有地域特點的動物的建模及植物建模,最終采用了虛擬現(xiàn)實技術將兩種模型統(tǒng)一到了一個系統(tǒng)平臺中。閆雪[4]研究了植物的動態(tài)生長規(guī)律,攻破了研究中的關鍵技術,基于數學模型自動生長出多種姿態(tài)的虛擬植物。在農業(yè)應用中,胡海輝[5]研究針對糧食作物的虛擬現(xiàn)實仿真技術及實現(xiàn)。在教育領域中,張孝飛等[6]專家研究了虛擬現(xiàn)實技術在動植物建模及系統(tǒng)實現(xiàn)上的價值及意義?;诰W頁的虛擬現(xiàn)實技術難度大,但技術創(chuàng)新性高。在網頁虛擬現(xiàn)實系統(tǒng)的研發(fā)中,目前還鮮見動植物為交互內容的虛擬現(xiàn)實系統(tǒng)。本文的貢獻是設計實現(xiàn)了一個WebVR 的動植物交互系統(tǒng)原型平臺。
網頁上的動植物虛擬現(xiàn)實系統(tǒng),需要具有3 個數據庫:
(1)動物數據庫;
(2)植物數據庫;
(3)場景數據庫。
基于這些數據庫,本文通過構建動植物場景形成了可交互的VR 動植物園區(qū)。最后,通過代碼的編寫,形成了可以在場景內進行虛擬漫游體驗的系統(tǒng)平臺。整個系統(tǒng)架構如圖1 所示。
根據系統(tǒng)功能的需要,該WebVR 數據庫需要包括3 部分,分別是動物模型庫、植物模型庫以及場景數據庫。其中,動物模型數據庫是盡量多地包括了系統(tǒng)場景中需要的動物模型,每個模型綁定了動物骨骼,可以驅動動物完成VR 動畫表現(xiàn)。植物模型數據庫需要包括多種場景中需要顯示的植物模型,根據植物的不同種類和樣式進行建模并準備在系統(tǒng)中完成加載。其中,植物包括樹木類植物以及草本植物和花。場景包括了動物場所以及其他建筑,是動物和植物的所在場所。
圖1:網頁上的動植物虛擬現(xiàn)實系統(tǒng)架構
根據一個完整動物、植物園中涉及到動物模型和植物模型的實際情況,需要在系統(tǒng)內設計豐富的動物種類,并且需要形象地呈現(xiàn)動物的活動以及生活的環(huán)境。在動物生活環(huán)境以及周圍的場景中,需要實現(xiàn)植物模型的實現(xiàn),以及植物模型的輕量化處理,確保在場景變大的時候,系統(tǒng)依然可以網上在線呈現(xiàn)VR 內容。
基于以上的目標,計劃設計并實現(xiàn)32 種動物模型,其中包括了斑馬、長頸鹿、獅子、老虎、花豹、野豬、大象、仙鶴、火烈鳥、燕子、麻雀、鴿子、山雞、孔雀、白天鵝、黑天鵝、蜜蜂、鯨魚、鯊魚、鲅魚、帶魚、黃花魚、鯽魚、草魚、食人魚、海豚、海象、海馬、海虹、海蜇、海蠣子、蛤蜊。同時,針對植物的類型,計劃設計實現(xiàn)22 種樹木和花草植被。其中,樹木包括柏樹、香樟樹、海棠樹、櫻花樹、梨樹、蘋果樹、梧桐樹、無花果樹、白玉蘭樹、紅玉蘭樹、黃玉蘭樹、荊條灌木、槐樹、椰子樹、百香果、杜鵑花、月季花、君子蘭、竹子、梅花、茶花、青草。
在動物數據庫中,需要為所有的動物加上骨骼動畫,并在動物模型上設計好合適的貼圖以及光照,然后準備好對應動物的鳴叫的聲音文件,在人和動物進行交互的時候可以聽到動物的鳴叫聲音。
在植物數據庫中,需要為樹木完成輕量化的樹枝處理以及葉片處理,確保樹木的數據量不會超過1M 字節(jié)的數據量。同時在灌木的建模及實現(xiàn)過程中,需要確保灌木的每個枝杈都和實際的灌木生長規(guī)律相對應。對于花本植物,不僅具有花瓣而且葉片也需要清晰可視化。對于草皮的可視化處理,通過檢測攝像頭的位置完成草皮的貼圖或者草的模型的動態(tài)切換。
系統(tǒng)需要滿足用戶在網頁端進行沉浸感的VR 體驗,完成動植物園區(qū)的瀏覽和場景內具體的交互。系統(tǒng)在完成場景模型流式化傳輸和漸進式加載后,需要具有人和虛擬對象間的交互能力,所以設計了交互算法(AP 算法,動植物交互算法),以下是該算法的描述:
圖2:虛擬場景中動植物模型
基于該AP 算法,可以漸進式加載各種模型數據,并通過數據的流式化傳輸完成數據的網上在線實時傳輸,在客戶端網頁上進行場景模型、動物模型以及植物模型的渲染和呈現(xiàn),之后進入到用戶和場景中動物及植物的交互,可以通過點擊動物觀看動物的行為,傾聽動物鳴叫的聲音。在場景內點擊植物,可以看到植物的生長過程以及搖動的樣式。用戶可以選擇兩種漫游方式:自動漫游和自主漫游。自動漫游中,系統(tǒng)會為用戶提供一條漫游的路徑,攝像機讀入漫游路徑數據組的數據,按照一定的速度完成漫游過程。自主漫游中,用戶通過操控鍵盤的W/A/D/X,可以在場景中自主漫游游覽場景。
該系統(tǒng)的具體實現(xiàn),是基于Maya 技術建模,通過Unity3D 場景實現(xiàn),最后通過代碼編寫,最終實現(xiàn)了一個動植物WebVR 系統(tǒng),通過該系統(tǒng)可以網上在線體驗動植物樂園,滿足用戶在線體驗逼真的樂園游玩。根據設計中的目標,需要實現(xiàn)一個完整的數據庫,數據庫中的模型主要包括動物類的模型、植物類的模型以及整個場景模型這三類。
通過Maya 技術在建模工具中完成了22 種植物建模,設計了不同植物的幾何結構,給模型附上了貼圖,并通過編程將模型進行了數據解析以及在Unity3D 平臺上的可視化渲染。同時,基于Maya 技術構建了32 種動物的模型,根據不同動物的體型以及身體幾何特征,構建了模型的樣式,確保動物模型的真實性,同時給動物附上了貼圖,不同的動物的貼圖具有各自的特點,在細節(jié)上呈現(xiàn)動物的特征,使得動物模型看起來和真實動物的樣式更加的逼真。在模型的處理上,給動物模型加了骨骼動畫,完成了骨骼動畫的綁定,使得動物模型可以自然地動起來,進一步確保動物模型的真實性。
對于整個動植物場景也完成了設計,并通過模型技術和真實場景數據的匹配,實現(xiàn)了一個動植物的場景。如圖2 所示,首先是整體的園景場景,接著是樹木以及多種植物花卉,這些植物是植物數據庫中的模型。然后是群體的動物,這里展現(xiàn)了長頸鹿以及斑馬。分別從正面和側面展現(xiàn)了長頸鹿的樣式,長頸鹿模型的幾何結構、樣式是根據真實的長頸鹿的身高、體長、體寬數據來構建的。長頸鹿模型的貼圖,也是從拍攝了真實長頸鹿的圖片,并進行了貼圖數據的裁剪和烘焙處理,最后貼到長頸鹿模型上。群體的斑馬真實地展示斑馬日常群居的生活習性,通過斑馬模型的實現(xiàn)以及貼圖的處理,使得斑馬的幾何結構以及體型特征和真實的斑馬非常的相似,賦予斑馬的骨骼動畫,也確保了斑馬可以在場景草原上進行群體飛奔,形成萬馬奔騰的場景。
圖2 中的整體場景,是該動植物園的3D 場景模型。模型中有各個動物、植物園區(qū),并有道路河流等場景模型。其中,紅色點區(qū)域是場景中的動物景點區(qū)域。通過整個場景區(qū)的搭建,以及基于網絡的傳輸,可以在Web 頁面完成VR 場景的渲染和繪制。
在場景規(guī)模變大,場景中動物、植物模型數據量變多的情況下,對場景的加載及渲染也造成了苦難,所以本文采用了漸進式場景加載以及視域內場景模型渲染的技術。
通過將場景區(qū)域分為很多的塊,當攝像機進入到哪個區(qū)域則對應加載哪個區(qū)域的場景及模型,這樣也相應地渲染該場景中的動植物模型。所以,該技術的實現(xiàn)確保了大規(guī)模場景數據的加載不會影響用戶的體驗感,在數據加載及渲染量上又可以滿足系統(tǒng)動植物的實時渲染,所以用戶可以在該場景中進行自動漫游和自主漫游,在漫游的過程中可以交互式、沉浸式地走近每一個動物和每一棵植物,觀察欣賞動物植物,并和動植物進行“人-物”交互。
圖2 中的動物模型,是系統(tǒng)動物模型庫中實現(xiàn)的一組長頸鹿及斑馬的動物模型,通過和動物模型的交互可以在系統(tǒng)內沉浸式觀看動物的細節(jié),滿足用戶足不出戶就可以暢游動物樂園。通過人和動物的交互,用戶不但可以近距離觀看動物樣貌,還可以近距離觀看動物的行為,傾聽動物發(fā)出的鳴叫聲音。
圖2 中的植物模型,是系統(tǒng)實現(xiàn)的一組樹木、草及花卉的模型,通過和植物模型的交互可以在系統(tǒng)內沉浸式欣賞每一棵植物的樣貌,同樣可以滿足用戶足不出戶就可以暢游植物的樂園。通過人和植物近距離的交互,用戶不但可以近距離觀看植物的每一片葉子,每一個枝干,還可以近通過點擊植物,觀看植物的生長以及植物的搖曳。
總之本文提出的AP 算法,可以為用戶在Web 上進行VR 提供基礎,該算法具有實時性模型展示、實時性人機交互以及功耗計算的特點。本文實現(xiàn)的WebVR 動植物模型逼真,實現(xiàn)的系統(tǒng)具有交互性特點,實現(xiàn)的“人-物”交互功能具有自動漫游交互和自主漫游交互的靈活性,可以滿足用戶足不出戶就可以網上在線沉浸游玩和欣賞動植物樂園。